Обучение в контексте (in-context learning) – способность больших языковых моделей выполнять задачу, описанную прямо в промпте: модели показывают несколько примеров «вход – выход» или дают инструкцию, и она применяет закономерность к новому входу. Веса модели при этом не меняются. Явление широко описано на примере модели GPT-3 в 2020 году.
Варианты
- Zero-shot – только инструкция без примеров.
- One-shot – один пример.
- Few-shot – несколько примеров.
Зачем нужно
- Быстрая настройка модели под задачу без дообучения.
- Классификация, извлечение данных, перевод в заданный формат, генерация в нужном стиле.
Ограничения
- Размер контекстного окна ограничивает число примеров и объём данных.
- Качество зависит от выбора и порядка примеров.
- Каждый запрос с примерами длиннее и дороже.
При большом объёме однотипных задач обучение в контексте дополняют или заменяют дообучением модели.
