GPT (Generative Pre-trained Transformer) – тип языковых моделей, которые предварительно обучаются на больших корпусах текста предсказывать следующий токен, а затем дообучаются для выполнения инструкций. Название ввела компания OpenAI для своей серии моделей: GPT (2018), GPT-2 (2019), GPT-3 (2020), GPT-4 (2023) и последующие. На их основе работает чат-сервис ChatGPT.
Принцип работы
- Архитектура трансформера (декодер) с механизмом внимания.
- Авторегрессионная генерация: текст создаётся токен за токеном.
- Предобучение на больших данных, затем инструктивное дообучение и согласование с предпочтениями людей.
Возможности
- Ответы на вопросы, написание и редактирование текстов.
- Перевод, суммаризация, классификация.
- Генерация и объяснение кода.
- Работа с изображениями и вызов инструментов в мультимодальных версиях.
В России
Модели OpenAI официально недоступны российским пользователям. Российские компании используют отечественные большие языковые модели и открытые модели, разворачиваемые в собственном контуре.
