RAG (Retrieval-Augmented Generation, генерация с дополнением найденными данными) – архитектура приложений на основе больших языковых моделей. На запрос пользователя система сначала ищет подходящие фрагменты в документах компании, а затем передаёт их модели вместе с вопросом, чтобы ответ опирался на актуальные и проверяемые источники. Подход описан в статье исследователей Facebook AI в 2020 году.
Как работает
- Документы разбиваются на фрагменты и индексируются: векторные представления (эмбеддинги) и/или полнотекстовый индекс.
- По вопросу ищутся релевантные фрагменты (семантический, гибридный поиск, переранжирование).
- Фрагменты и вопрос передаются модели в промпте.
- Модель формирует ответ со ссылками на источники.
Преимущества
- Ответы по внутренним документам без дообучения модели.
- Актуальность: достаточно обновить индекс.
- Ссылки на источники и меньше выдуманных фактов.
- Учёт прав доступа к документам.
Где применяется
Корпоративные ассистенты по базе знаний, поддержка клиентов, поиск по нормативным документам, помощь юристам, инженерам, сотрудникам техподдержки.
