Термин · Глоссарий B2B-ПО

LoRA (LoRA)

Low-Rank Adaptation – метод экономичного дообучения больших моделей, при котором обучаются небольшие матрицы низкого ранга, а исходные веса не меняются.

Буква «L» В категориях: 2 Платформ: 6+

Решения в каталоге

75 продуктов рубрики «ML-платформы»

Все 75 →

Продукт	Цена	Оценка	Реестры
ML Space Облачные Технологии	по запросу	мало отзывов	–	Подробнее →
Сайбокс ИННОТЕХ	1 ₽	4,7 · 9	Реестр ПО	Подробнее →
SDP DataLab СБЕРБАНК	по запросу	мало отзывов	Реестр ПО	Подробнее →

Первые три в порядке каталога. Рейтинг рубрики →

LoRA (Low-Rank Adaptation) – метод параметрически эффективного дообучения больших нейросетей, предложенный исследователями Microsoft в 2021 году. Вместо изменения всех весов модели к выбранным слоям добавляются пары небольших матриц низкого ранга, и обучаются только они. Исходные веса заморожены.

Преимущества

Обучается доля процента от параметров модели, что снижает требования к памяти GPU.
Адаптер занимает мегабайты, а не гигабайты, его легко хранить и переключать.
На одной базовой модели можно держать множество адаптеров под разные задачи.
После обучения адаптер можно слить с весами модели, чтобы не замедлять вывод.

Разновидности

QLoRA – обучение адаптеров поверх квантованной (сжатой) модели, что ещё сильнее снижает требования к памяти.
Другие варианты адаптеров из семейства PEFT.

Где применяется

Дообучение языковых моделей под задачи компании, генеративных моделей изображений под стиль, моделей распознавания под домен.

Понятия из глоссария Цифрового маркетплейса, которые часто встречаются вместе с термином «LoRA».

Платформы класса «LoRA»

Решения из каталога Цифрового маркетплейса, относящиеся к этому классу ПО. Ссылки ведут на полные профили платформ с тарифами, обзорами и кейсами внедрения.

ПE