Платформа работает на рынках: Display banners, Mobile banners, Video ads, Native ads.
Используемый стек технологий: С++, Apache, Nginx, Postgree SQL, Golang, PHP, JavaScript.
Обработка больших данных полностью написана на С++. Реализованы технологии:
– библиотеки обработки входящих запросов на рекламные показы;
– параллельная запись данных в долговременное хранилище и обработка (обогащение, классификация, кластеризация);
– создан блок для использования нативных команд графических сопроцессоров для параллельной обработки данных.
В результате такого подхода была получена производительность, которая в тесте дает следующие показатели.
Расчет подсчета числа строк в файле с логами истории посещений, в котором 1 309 252 903 строк, происходит:
Конфигурация 1: несжатые данные, 56 ядер, процессор – Intel Xeon CPU E5-2660 v4 2.00GHz. Spark решает задачу 7,2 мин.
Конфигурация 2: несжатые данные, 24 ядра, процессор – Intel Xeon CPU E5-2620 v3 2.00GHz. МедиаСнайпер решает задачу 2,2 мин.
Конфигурация 3: несжатые данные, 24 ядра, процессор – Intel Xeon CPU E5-2660 v4 2.00GHz. МедиаСнайпер решает задачу 1,2 мин.
