Evaluation (оценка модели) – этап жизненного цикла машинного обучения, на котором качество модели измеряется на данных, не участвовавших в обучении, по заранее выбранным метрикам. По результатам принимается решение: выводить ли модель в эксплуатацию, какая из версий лучше, нужно ли доработать данные.
Метрики
- Классификация: точность, полнота, F1, ROC AUC.
- Регрессия: MAE, RMSE, MAPE.
- Ранжирование и поиск: nDCG, MRR, точность в топе.
- Генеративные модели: автоматические метрики, оценка людьми, оценка другой моделью по критериям.
Для языковых моделей и RAG
- Набор контрольных вопросов с эталонными ответами.
- Проверка фактической точности, полноты, следования инструкциям, безопасности.
- Отдельная оценка поиска документов и генерации ответа.
Практики
- Тестовые наборы, близкие к реальным данным.
- Оценка по сегментам, а не только в среднем.
- Регрессионные тесты при каждом изменении модели или промпта.
- Мониторинг качества после внедрения.
