Разметка данных (аннотирование) – процесс, при котором люди или алгоритмы добавляют к исходным данным правильные ответы: класс изображения, рамку вокруг объекта, контур, сущности в тексте, тональность, расшифровку аудио. Размеченные данные нужны для обучения с учителем и оценки моделей.
Виды разметки
- Классификация: метка для объекта целиком.
- Детекция: ограничивающие рамки.
- Сегментация: попиксельные маски.
- Разметка текста: сущности, отношения, интенты.
- Транскрибация и разметка аудио.
- Оценка и ранжирование ответов языковых моделей.
Организация
- Инструкция для разметчиков с примерами.
- Перекрёстная разметка и контроль согласованности.
- Активное обучение: модель предлагает спорные примеры для разметки.
- Предразметка моделью с проверкой человеком.
Инструменты
Платформы разметки с открытым кодом и коммерческие сервисы, а также краудсорсинговые площадки. Для конфиденциальных данных разметку организуют в собственном контуре.
