Llama – семейство больших языковых моделей, которые выпускает компания Meta. Первая версия LLaMA вышла в феврале 2023 года для исследователей, затем последовали Llama 2 (2023), Llama 3 (2024) и следующие версии. Веса моделей распространяются по собственной лицензии Meta, которая разрешает коммерческое использование с ограничениями.
Особенности
- Модели разных размеров – от небольших для устройств до очень крупных.
- Инструктивные версии для диалога и выполнения заданий.
- Мультиязычность в новых версиях, мультимодальные варианты.
Применение
- Основа для дообучения под язык, домен и задачи: на Llama построены многие производные модели, в том числе адаптированные для русского языка.
- Развёртывание в собственном контуре для работы с конфиденциальными данными.
- RAG-ассистенты, классификация, суммаризация.
Что учитывать
- Условия лицензии Meta и ограничения на использование.
- Требования к GPU для выбранного размера модели.
- Качество на русском языке – проверять на своих задачах.
