«Сколтех» и Сбербанк: метод «Тона» для выявления галлюцинаций языковых моделей в RAG
Описание проекта
Исследователи «Сколтеха» и Центра практического искусственного интеллекта Сбербанка предложили метод «Тона» для выявления галлюцинаций больших языковых моделей в системах с поиском по внешним источникам (RAG). Подход анализирует топологическую структуру карт внимания модели и позволяет обнаруживать ответы, не подтверждаемые предоставленным контекстом. Метод не требует обучения дополнительных моделей и использует лишь небольшой объём размеченных примеров для настройки. Среди авторов исследования — доцент «Сколтеха» Алексей Зайцев, руководитель совместной лаборатории «Сколтех-Сбербанк» (LARSS).
Вендор и технология: Совместная лаборатория «Сколтех-Сбербанк» (LARSS) — метод «Тона» на основе топологического анализа карт внимания модели.
Задача
Большие языковые модели всё чаще становятся основой ИИ-ассистентов и автономных агентов, но выдают ответы, не подтверждённые предоставленным контекстом. Существующие способы контроля галлюцинаций требуют обучения дополнительных моделей и больших размеченных выборок.
Цели внедрения
-
Выявлять галлюцинации LLM в RAG-системах
-
анализировать топологическую структуру карт внимания модели
-
обойтись без обучения дополнительных моделей
-
использовать минимальный объём размеченных примеров
-
повысить надёжность ИИ-ассистентов и автономных агентов
Результаты
-
Результаты
-
Разработан метод «Тона», обнаруживающий не подтверждённые контекстом ответы LLM в RAG-системах
-
метод не требует обучения дополнительных моделей и настраивается на небольшом объёме размеченных примеров Нагрузка и масштаб
-
RAG-системы на базе больших языковых моделей Сроки
-
Результаты опубликованы 31 августа 2026 г