Обновление vLLM 0.34 может сломать запуск: разбираем новые умолчания

Что изменилось по умолчанию в vLLM 0.34, что сломается при обновлении и как вернуть прежнее поведение.

Обложка: Обновление vLLM 0.34 может сломать запуск: разбираем новые умолчания

Команда vLLM, открытого движка для запуска LLM на своих серверах, в ночь на 17 ноября по Москве (16 ноября, 23:22 UTC) выпустила версию 0.34.0. В неё вошли 1061 коммит от 412 авторов, поддержка 10 новых моделей, включая Mistral Large 4, и ускорения на Blackwell и AMD MI355X до 1,95 раза. Но главное для тех, кто уже держит vLLM в продакшене, — новые значения по умолчанию: движок теперь сам рассчитывает KV-кэш по фактически свободной видеопамяти и по умолчанию не держит прежний запас, размер блока вырос с 16 до 64, а старый Model Runner V1 удалён.

Если вы обновляете образ vllm/vllm-openai:latest без чтения changelog, сервис может не стартовать (переменная окружения VLLM_USE_V2_MODEL_RUNNER=0 теперь приводит к ошибке) или начать вести себя иначе под нагрузкой. Ниже — что изменилось, что сломается и как вернуть прежнее поведение.

Ключевые выводы
  • Extensible KV cache включён по умолчанию: кэш размеряется по памяти, реально свободной после прогрева, а gpu_memory_utilization по умолчанию 1.0 вместо 0.92.
  • Пример из релиза: у MiniMax-M3 на H200 кэш вырос с 433 до 672 тыс. токенов, но задержка на токен у некоторых моделей может вырасти на 6–18%.
  • Ломающие изменения: удалён Model Runner V1, --block-size по умолчанию 64, нужен huggingface_hub не ниже 2.0.0, образы ROCm 7.2 больше не выпускаются.
  • Новые модели: Mistral Large 4 (1 трлн параметров, 52 млрд активных), MiniMax-M3.1-Flash, Nemotron-3.5-Transcribe и ещё семь.
  • Kimi K3.1 в этой версии запустить нельзя: подготовка кода есть, поддержки нет.

Что меняет новый KV-кэш по умолчанию?

KV-кэш — это память, где движок хранит промежуточные результаты внимания для каждого запроса. Чем он больше, тем больше одновременных запросов и длинных контекстов помещается на GPU. Раньше vLLM считал размер кэша по оценке и в версии 0.33 по умолчанию оставлял около 8% видеопамяти про запас (gpu_memory_utilization=0.92).

В 0.34 на CUDA и ROCm кэш размеряется по памяти, которая действительно свободна после захвата CUDA-графов и прогрева (PR 56492), а gpu_memory_utilization, если не задан, равен 1.0. Это не значит, что кэш забирает всю память: механизм оставляет измеренный резерв под временные выделения. По данным релиза, большинство моделей получают больший кэш, а значит больше пропускной способности и меньшее время до первого токена (TTFT) при высокой конкурентности. Пример из release notes: MiniMax-M3 на H200 — 672 тыс. токенов кэша вместо 433 тыс.

У этого есть цена, и разработчики её называют: задержка между токенами (TPOT) у некоторых моделей на H200 при 128 одновременных запросах выросла на 6–18%. Если для вас важнее скорость генерации одного ответа, чем общая пропускная способность, новый режим может оказаться хуже. Есть два варианта: ограничить бюджет памяти явно (новый расчёт останется, но с заданным вами лимитом) или полностью вернуть старый механизм расчёта по оценке:

			# ограничить бюджет памяти, новый алгоритм расчёта остаётся
vllm serve <model> --gpu-memory-utilization 0.9

# вернуть прежний расчёт по оценке (лимит по умолчанию снова 0.92)
vllm serve <model> --no-enable-extensible-kv-cache
		

Есть и тонкость: если вы явно задали gpu_memory_utilization между 0,8 и 1,0, и это оставляет без дела 1 ГиБ памяти или больше, vLLM напишет предупреждение в лог. Если на той же видеокарте живут другие процессы, например второй экземпляр модели или эмбеддер, значение лучше задать явно: при 1.0 им может не хватить памяти. В релиз вошли и исправления фрагментации аллокатора, падений по нехватке памяти на старте и сильно заниженного кэша на DGX Spark, где он раньше мог быть меньше нужного до 84%.

Что сломается при обновлении?

Разработчики вынесли список в начало release notes под пометкой «эти изменения могут сломать существующие установки». Основное:

Ломающие изменения vLLM 0.34.0

8 сервисов, 2 столбца
Ломающие изменения vLLM 0.34.0
ИзменениеЧто сделать
Удалён Model Runner V1Убрать VLLM_USE_V2_MODEL_RUNNER=0 (любое значение кроме 1 теперь падает на старте); перенести свои logits processors на vllm.v1.worker.gpu.sample.logits_processor
--block-size по умолчанию 64 вместо 16Передать --block-size 16, если нужно старое поведение; ROCm paged attention по-прежнему использует 16
Extensible KV cache, gpu_memory_utilization = 1.0--gpu-memory-utilization 0.9 или --no-enable-extensible-kv-cache
Нет сборок ROCm 7.2Перейти на колёса и образы ROCm 10.0; теги -rocm72 больше не публикуются
huggingface_hub не ниже 2.0.0Также нужны tokenizers не ниже 0.23.3 и timm не ниже 1.0.30
Удалены QuTLASS и fp_quantЧекпоинты fp_quant больше не загружаются
Удалён Marlin W4A8Использовать --quantization humming с VLLM_HUMMING_INPUT_QUANT_CONFIG вместо VLLM_MARLIN_INPUT_DTYPE
Удалены Keye-VL и Keye-VL-1.5Остаться на 0.33 или сменить модель
Листайте столбцы →Смахните влевоВсе 2 столбца
Источник: release notes vLLM 0.34.0

Вместе с Model Runner V1 исчезли и несколько опций: метод спекулятивного декодирования custom_class, use_heterogeneous_vocab, disable_padded_drafter_batch, конвейерный параллелизм с external_launcher и поддержка x86-процессоров без Triton. Изменилось и поведение API: парсер llama3_json больше не стримит аргументы вызова инструментов по кусочкам, транскрипция через Canary без параметра language возвращает 400, а пустой массив tools теперь принимается, как в OpenAI API.

Если вы поднимали сервер по нашему руководству по vLLM 0.33, проверьте флаги запуска: явно заданный --block-size по-прежнему имеет приоритет, а вот поведение по умолчанию изменилось. Для pip версия требует Python от 3.11 до 3.14 включительно, сказано на странице пакета на PyPI.

Какие модели и ускорения добавились?

Новые модели: Mistral Large 4 (1 трлн параметров, из них 52 млрд активных, FP8 и NVFP4, работает на NVIDIA Blackwell и Hopper и AMD MI350), MiniMax-M3.1-Flash, речевая NVIDIA Nemotron-3.5-Transcribe (30B-A4B, аудиочат и /v1/audio/transcriptions), Ricursive Ripple-65B Preview, Zyphra ZAYA1 (8B и 74B-preview), Baidu Unlimited-OCR-2, семейство Liquid AI LFM3 (текстовая, VL и Audio), NVIDIA Canary-1B-v2, Ming3-ASR и NVIDIA Parakeet TDT через плагин. Для Kimi K3.1 в код попала подготовка, но, как прямо сказано в release notes, запустить её в этой версии нельзя.

Ускорения в release notes указаны для конкретного железа и режимов, это замеры самих разработчиков, чаще всего нового пути исполнения против прежнего в той же конфигурации, а не версии 0.34 против 0.33; точные условия описаны в соответствующих PR:

  • Step5 в NVFP4 на 4 GB200 — до 1,95 раза быстрее декодирование;
  • GLM-5.3-Flash с DeepGEMM FP8 MegaMoE — в 1,6 раза выше пропускная способность по выходным токенам против той же конфигурации DEP4 с обычным MoE;
  • GLM-5.3 на GB200 — TTFT в 1,24–1,40 раза меньше на контексте 32–128 тыс. токенов, включено по умолчанию;
  • Muse Spark Open на GB300 — в 1,5 раза быстрее декодирование одного потока в синтетическом замере со спекулятивным декодированием DSpark (включается вручную);
  • Kimi-K3 на GB300 — в 1,34–1,59 раза быстрее ядро внимания при декодировании в микробенчмарке, сквозной прирост по описанию PR заметно меньше, порядка нескольких процентов (включается флагом --attention-backend KIMI_K3_KV_BALANCED_MLA);
  • Qwen3.5 (9B и 35B-A3B на GB200) — задержка между токенами ниже на 3,0–8,8% за счёт breakable CUDA-графов и слитых ядер вместо torch.compile.

Почти все крупные цифры относятся к Blackwell (GB200, GB300) и AMD MI355X. На потребительских картах и A100 таких приростов ждать не стоит, хотя общие оптимизации планировщика полезны всем: например, на промпте в 128 тыс. токенов подготовка входных токенов запроса стала занимать в 40 раз меньше процессорного времени (замер одного участка, а не сквозной скорости), а wheel для x86_64 CUDA стал примерно на 82 МБ (около 25%) меньше.

Что ещё нового для эксплуатации?

  • Checkpoint/restore: HTTP-маршруты /checkpoint/prepare, /checkpoint/status и /checkpoint/restore готовят и восстанавливают состояние движка, а снимок процесса через CRIU и cuda-checkpoint делает внешний оркестратор; маршруты работают с --enable-sleep-mode.
  • Отказоустойчивость при DP+EP: по команде оркестратора (POST /v1/fault_tolerance/apply) упавшие ранги удаляются, а их эксперты перераспределяются без перезапуска; работает только в поддерживаемой конфигурации: включённый режим fault tolerance, внешний балансировщик нагрузки и EPLB с резервными экспертами.
  • Привязка к NUMA включена по умолчанию в режиме best-effort, отключается флагом --no-numa-bind.
  • Суффиксное декодирование работает на Model Runner V2 со спекулятором на GPU, отдельная библиотека Arctic Inference больше не нужна.
  • API: thinking_token_budget в /v1/responses, в совместимом с Anthropic Messages API — min_tokens и thinking.type=between_tools; Responses API принимает неполную историю рассуждений, например от Codex.
  • Безопасность: исправлен ReDoS в санитайзере ошибок валидации, /v1/systemone теперь отклоняет шаблоны чата из запроса без флага --trust-request-chat-template.

Сборки: колёса для CUDA 13.0 ставятся через pip install vllm, для ROCm — только версии 10.0. Docker-образ по умолчанию vllm/vllm-openai:v0.34.0 теперь содержит пользовательскую часть AWS EFA, есть отдельные образы для ROCm, CPU и Intel XPU.

Как обновиться без сюрпризов?

  1. Зафиксируйте тег образа v0.34.0 вместо latest, чтобы обновление было осознанным.
  2. Удалите VLLM_USE_V2_MODEL_RUNNER из окружения или выставьте 1.
  3. Обновите зависимости: huggingface_hub 2.0.0+, tokenizers 0.23.3+, timm 1.0.30+, transformers не ниже 5.16.1 и ниже 5.23.0, mistral-common 1.13.0+.
  4. Если GPU делится с другими процессами, задайте --gpu-memory-utilization явно.
  5. Прогоните нагрузочный тест на своей конкурентности и сравните TPOT и TTFT с 0.33. Если задержка выросла, попробуйте --no-enable-extensible-kv-cache или старый --block-size 16.
  6. На ROCm перейдите на образы и колёса ROCm 10.0.

Тем, кто запускает модели на CPU или ноутбуке, vLLM по-прежнему не лучший выбор: для этого чаще берут llama.cpp и его форки, которые, например, уместили DeepSeek-V4-Flash в 64 ГБ ОЗУ. Из хвостов прошлых версий: флаг --mamba-cache-mode ни на что не влияет, но его удаление отложено, а он и --ir-op-priority в коде 0.34 всё ещё предупреждают об удалении «в 0.34.0». Новый срок разработчики пока не назвали.

Источники: vLLM v0.34.0 release notes, PyPI: vllm 0.34.0, PR 56492: extensible KV cache по умолчанию

Изображение на обложке: Логотип: vLLM Project