VK Cloud: борьба с деградацией продакшен-инференса LLM

Разбор четырёх механизмов деградации продакшен-инференса и внедрённых против них решений. Paged Attention выделяет KV-кэш блоками, а не непрерывными кусками. Chunked prefill режет длинные префиллы на порции и чередует их с декодированием, снимая head-of-line blocking. FP8-квантизация KV-кэша даёт двукратную экономию памяти относительно FP16 при минимальной потере качества. Автоматическое кэширование префиксов и tail-aware планирование добивают хвостовые задержки. Инфраструктура — A100 40 ГБ, модели Llama-2 13B и 70B, изоляция через vGPU с квотами.

Вендор и технология: VK Tech, Paged Attention, chunked prefill, FP8-квантизация KV-кэша и tail-aware планирование.

Демонстрационные стенды работают ровно, а продакшен деградирует постепенно: фрагментация KV-кэша, OOM на длинных контекстах, блокировка коротких запросов длинными в батче и расхождение p50 и p99. Реальный кейс — сервис код-ревью на 200 RPS с p50 1,2 с и p99 47 с из-за диффов на 8000 строк с 45-секундным префиллом.

• Убрать фрагментацию KV-кэша

• удержать длинные контексты без OOM

• снять head-of-line blocking

• сократить разрыв между p50 и p99

• выстроить упреждающий мониторинг вместо реактивного

• Результаты

• Традиционное непрерывное резервирование теряет 60–80% ёмкости KV-кэша, PagedAttention снижает потери до менее 4% и повышает пропускную способность в 2–4 раза относительно FasterTransformer

• GQA на 8 головах против MHA на 64 головах для 70B при контексте 8K — 2,6 ГБ против 20 ГБ на запрос (восьмикратная экономия)

• FP8 против FP16 для 13B на A100 40 ГБ при батче 16 — 6 ГБ против 11 ГБ на 4K, 13 ГБ против OOM на 16K

• попадание в кэш префиксов до 87% на структурированных промптах

• tail-aware планирование снижает p99 на 35–50% и TTFT на 34–47%

• деградация 13B под нагрузкой: при 5 RPS TTFT p99 ~0,9 с, при 35 RPS ~28 с Нагрузка и масштаб

• A100 40 ГБ, модели 13B и 70B, нагрузки до 35 RPS, реальный сервис код-ревью на 200 RPS Сроки

• Публикация 04.08.2026