Яндекс открыл технологию обработки данных в реальном времени

Яндекс открыл исходный код YTsaurus Flow — технологии для непрерывной обработки больших потоков данных. Она позволяет анализировать события практически сразу после их появления, без ожидания накопления больших массивов информации. Об этом сообщает IXBT News.

YTsaurus Flow обрабатывает клики, показы, лайки, заказы и другие события в реальном времени. Это помогает сервисам быстрее учитывать изменения интересов пользователей, обновлять рекомендации и рекламные предложения, а также выявлять подозрительную активность.

Технология уже используется в сервисах Яндекса. В «Яндекс Рекламе» она обрабатывает более 100 ГБ данных и миллионы событий каждую секунду. Раньше подготовка информации для дообучения некоторых рекламных моделей занимала свыше 10 часов. С YTsaurus Flow задержку удалось практически устранить.

Решение также применяется для анализа спроса в «Маркете», работы антифрод-систем, обновления данных в приложениях и подготовки информации для машинного обучения. При сбоях нагрузка распределяется между доступными серверами, а каждое событие обрабатывается один раз, без потерь и дублирования.

YTsaurus Flow создан командами Yandex Infrastructure и «Яндекс Рекламы». Технология доступна в открытом виде по лицензии Apache 2.0 и может использоваться в коммерческих проектах.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.