Токен в языковых моделях – элемент, на которые токенизатор разбивает текст перед подачей в модель. Обычно это часть слова: частые слова – один токен, редкие разбиваются на несколько. Модель принимает и генерирует последовательности токенов.
Почему это важно
- Размер контекстного окна модели измеряется в токенах.
- Стоимость облачных API обычно считается по числу входных и выходных токенов.
- Скорость генерации измеряется в токенах в секунду.
Токены и языки
Количество токенов для одного и того же смысла зависит от языка и токенизатора. Для русского текста многие токенизаторы, обученные преимущественно на английском, дают больше токенов на слово; модели с хорошей поддержкой русского используют более эффективные словари.
Методы токенизации
- BPE (Byte Pair Encoding) и его байтовые варианты.
- WordPiece.
- SentencePiece (Unigram).
