Lamoda — семантический поиск и поиск по фото на основе CLIP и Metric Learning
Описание проекта
Lamoda Tech разработала и внедрила систему семантического поиска товаров на основе Metric Learning (Triplet Loss). Нейросеть обучена сближать в пространстве эмбеддингов поисковые запросы пользователей и релевантные товары, отодвигая нерелевантные. Query Encoder обрабатывает запросы (на базе BERT/RoBERTa), Document Encoder — атрибуты товаров. В качестве второй модальности интегрирован CLIP для совместной работы с текстом и фотографиями товаров (zero-shot и дообученная версии на русскоязычном CLIP).
В 2025 году запущен поиск по фото — собственное технологическое решение, которое позволяет пользователю загрузить фото понравившейся вещи из соцсетей или любого источника и получить подборку аналогичных товаров в каталоге Lamoda. К 2025 году персонализация покрывает 85% ежедневной аудитории (80% видят персонализированные товары в каталоге и поиске).
А/Б тест семантического поиска успешно завершён в Q1 2024: зафиксирован прирост конверсии в покупку и снижение доли пустых поисковых выдач.
Задача
Обычный keyword-поиск не справляется с нетипичными, неточными или размытыми запросами пользователей, особенно в fashion-категориях (цвет, стиль, крой, повод). Высокая доля «пустых» выдач снижала конверсию.
Цели внедрения
-
Повысить релевантность поисковой выдачи при нетипичных запросах
-
Снизить долю пустых поисковых выдач
-
Поддержать визуальный поиск по загруженному фото
-
Увеличить конверсию из поиска в покупку
Результаты
-
Качество и эффективность
-
А/Б тест Q1 2024: прирост конверсии в покупку подтверждён; снижение доли пустых поисковых выдач
-
К 2025 году: 85% ежедневной аудитории получают персонализированные результаты в поиске и каталоге
-
Поиск по фото позволяет находить товары по изображению из любого внешнего источника Нагрузка и масштаб
-
Обрабатывает весь поисковый трафик маркетплейса (миллионы запросов)
-
Модель обучена на данных Lamoda (поисковые запросы, действия пользователей, каталог) Качественный эффект: Переход от keyword-поиска к нейросетевому семантическому поиску с поддержкой визуальных запросов — конкурентное преимущество в сегменте fashion e-commerce.