Сева Скворцов из VK Видео рассказал, как настроить ИИ-агента для аналитики
Руководитель отдела аналитики рекламной монетизации VK Видео Сева Скворцов рассказал, с чего начать настройку ИИ-агента для аналитических задач, какие пояснения хранить в общей базе и как поддерживать её в порядке. Об этом сообщает «Код Дурова».
«Возьмите реальную задачу, которая уже стоит перед аналитиком, например первичный разбор A/B-теста после запуска функции. Попросите агента проверить, дошло ли изменение до пользователей, как прошёл запуск и что произошло в разных сегментах аудитории. Укажите период, группы для сравнения и вид готового материала: таблица, короткие выводы или слайды. Полученный разбор сверьте с исходными данными. По ходу станет ясно, какой рабочий контекст стоит сохранить для следующих запросов», — пишет «Код Дурова».
Рабочий контекст стоит собирать в одном месте. Запрос «Покажи топ авторов по времени просмотра» понятен коллегам, но требует расшифровки для агента: по какой метрике строить рейтинг, где лежат данные и в каких единицах записано время. Для A/B-тестов нужна и ссылка на принятый в команде протокол расчёта MDE — минимального эффекта, который тест позволяет заметить. Подобные определения, источники данных и формат результатов можно хранить в Confluence или Markdown-файлах репозитория.
Другая часть контекста связана только с текущим поручением: цель анализа, решения со встречи, нужный период. Её добавляет в запрос человек, который ставит задачу: «Сравни авторов за прошлую неделю и подготовь три вывода к пятничной встрече».
Если в таблице доля показана как 0,125, а для презентации нужен формат 12,5%, уточнение можно сделать в диалоге и попросить обновить результат. После проверки расчётов пояснение стоит отметить для общей базы, если такой формат принят в команде.
Пояснения для ИИ-агента из рабочих диалогов тоже можно собирать с помощью агентов: например, первый отмечает новую договорённость как возможное дополнение к базе, второй проверяет, нет ли её там, сверяет доступные источники и добавляет недостающее в Markdown-файлы на GitLab.
Отдельные скиллы и подключения к данным похожи на острова, между ними нужен «океан» командного контекста: общие значения метрик, пути к данным и привычные способы работы.
Проверять, как агент использует базу, можно на контрольных задачах: выбирает ли нужную метрику, обращается ли к верному источнику, соблюдает ли принятый формат. Новые записи при необходимости просматривают аналитики-разработчики. Контекст меняется вместе с данными и процессами, поэтому важно знать, когда появилась запись и когда её проверяли в последний раз. Этот механизм пока дорабатывают.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
