BERT (Bidirectional Encoder Representations from Transformers) – языковая модель, представленная Google в 2018 году. Она использует кодировщик трансформера и при обучении учится восстанавливать замаскированные слова по контексту слева и справа. Это сделало BERT сильной основой для задач понимания текста.
Задачи
- Классификация текстов: тематика, тональность, спам.
- Извлечение именованных сущностей (NER).
- Поиск и ранжирование документов, ответы на вопросы по тексту.
- Получение векторных представлений предложений.
Варианты и русский язык
Существуют многоязычные и специализированные версии, в том числе модели, обученные на русскоязычных текстах (например, семейство RuBERT). Компактные дистиллированные версии работают быстро даже без GPU.
BERT и GPT
- BERT – кодировщик для понимания и анализа текста.
- GPT – декодер для генерации текста.
Для классификации и поиска BERT-подобные модели часто эффективнее и дешевле больших генеративных моделей.
