VK Видео: замена асессоров VLM-разметкой для видеопоиска

Основой стала Qwen3-VL-4B, прошедшая две фазы обучения: полный файнтюнинг на кросс-платформенном контенте VK (логи видеопоиска, статьи Дзена, посты ВКонтакте) и затем LoRA-алайнмент на сбалансированном наборе с ручной разметкой. Первая попытка полностью заменить людей провалилась, поэтому построили Golden Set для валидации и перешли на гибрид: модель размечает основной поток, человек проверяет пограничные случаи. Инференс держит 10 RPS на A100.

Вендор и технология: VK, гибридная схема на Qwen3-VL-4B с full fine-tuning и LoRA-алайнментом.

Ручная асессорская оценка релевантности упёрлась в три стены: инструкция разрасталась по мере накопления краевых случаев, стоимость росла из-за требований к квалификации асессоров, а производительность упиралась в потолок около 1 млн точек в месяц при потребности в миллионах.

• Снять узкое место ручной разметки без потери качества

• ускорить проверку гипотез до запуска A/B

• обеспечить непрерывное улучшение алгоритма ранжирования

• удержать качество на уровне Golden Set

• снизить стоимость точки разметки

• Результаты

• 4,5 млн примеров собрано за 5 дней

• датасет перестроен и стал в 6 раз больше предыдущего

• стоимость точки разметки снижена в 60 раз

• скорость выросла с недель до часов, 10 RPS на A100

• продуктовая метрика ранжирования растёт на 1,5 п.п. в неделю

• гибридная схема даёт 0,85 EM против 0,82 у базового варианта Финансы

• Стоимость разметки снижена в 60 раз Нагрузка и масштаб

• 4,5 млн размеченных примеров, предыдущий потолок людей — около 1 млн точек в месяц Сроки

• Публикация 10.07.2026

Стоимость разметки снижена в 60 раз