T5 (Text-to-Text Transfer Transformer) – языковая модель, представленная исследователями Google в 2019 году. Её ключевая идея – формулировать все задачи как преобразование входного текста в выходной: перевод, суммаризация, классификация и ответы на вопросы описываются текстовой инструкцией, например «summarize: …».
Архитектура
- Трансформер с кодировщиком и декодером.
- Предобучение на большом очищенном корпусе C4 с задачей восстановления пропущенных фрагментов.
- Модели разных размеров – от десятков миллионов до миллиардов параметров.
Развитие
- mT5 – многоязычная версия, включая русский.
- Flan-T5 – версия, дообученная на инструкциях.
- Русскоязычные модели на архитектуре T5 от российских исследователей.
Где применяется
Суммаризация, перефразирование, исправление текста, перевод, извлечение информации; компактные версии подходят для работы без мощных GPU.
