Датасет (набор данных) – структурированная коллекция данных для конкретной задачи: таблица с признаками и целевой переменной, набор размеченных изображений, корпус текстов с метками, записи речи с расшифровками. Качество датасета определяет качество модели сильнее, чем выбор алгоритма.
Разделение
- Обучающая выборка – для настройки модели.
- Валидационная – для подбора гиперпараметров.
- Тестовая – для итоговой оценки на невиданных данных.
Качество датасета
- Репрезентативность: данные похожи на те, с которыми модель будет работать.
- Корректность и согласованность разметки.
- Баланс классов и учёт редких случаев.
- Отсутствие утечек: признаки не должны содержать ответ.
- Юридическая чистота: права на данные, согласия, обезличивание персональных данных.
Управление датасетами
Версионирование датасетов, описание происхождения и состава, каталог данных и ML-платформы помогают воспроизводить эксперименты и контролировать изменения.
