VK: кросс-доменный нейропрофиль пользователя Heimdall в рекомендациях

Двухбашенная архитектура: башня пользователя обрабатывает до 1024 последовательных действий и через self-attention выдаёт динамический эмбеддинг, ловящий и долгосрочные интересы, и текущее намерение; башня контента кодирует свойства объекта. Каждый токен взаимодействия склеивается из эмбеддинга контента (из мультимодальных моделей), эмбеддинга события (лайк, репост, глубина просмотра, дизлайк), эмбеддинга источника и временных сигналов по схеме Time2Vec — абсолютное время, время от начала сессии и интервалы между событиями. Обучение двухстадийное: претрейн на неявных сигналах с Sampled Softmax и causal fine-tune на явных сигналах без утечки. Раскатка через инструмент Profile Stream.

Вендор и технология: Команда рекомендательных технологий AI VK, двухбашенный трансформер собственной разработки.

В большой экосистеме каждый отдельный сигнал описывает интересы пользователя лишь частично, а модели отдельных сервисов не видят связей между разными паттернами потребления контента.

• Связать сигналы пользователя из разных сервисов экосистемы

• построить единый динамический эмбеддинг вместо изолированных профилей

• учесть тип события и источник, а не только сам контент

• корректно кодировать время

• превзойти существующий однодоменный трансформер

• Результаты

• VK Клипы — время просмотра +5,5%

• главная VK Видео — TVT +1,1% поверх уже работавшего однодоменного трансформера

• обработка миллиардов взаимодействий пользователь–контент Нагрузка и масштаб

• Миллиарды взаимодействий, до 1024 действий в истории пользователя, внедрено в VK Видео и VK Клипы