«Яндекс» открыл код системы, которая считает клики и лайки без очереди
«Яндекс» выложил в открытый доступ технологию YTsaurusFlow, которая разбирает потоки данных сразу, а не спустя несколько часов.
Обычно информацию о кликах, лайках и других действиях пользователей сначала накапливают, а уже потом обрабатывают, и на это уходит до нескольких часов. Технология устроена иначе.
Систему рассчитали на высокую нагрузку: она учитывает каждое событие ровно один раз и не останавливается при сбоях. Работает Flow в составе открытой платформы YTsaurus для хранения и обработки больших данных.
Внутри «Яндекса» разработку уже используют. В «Маркете» она ускоряет сбор статистики, в антифроде помогает находить злоумышленников, а в «Яндекс Рекламе» – подбирать интересные предложения. В рекламном сервисе технология обрабатывает более 100 ГБ данных и миллионы событий в секунду.
