Обновление vLLM 0.34 может сломать запуск: разбираем новые умолчания
Что изменилось по умолчанию в vLLM 0.34, что сломается при обновлении и как вернуть прежнее поведение.
Команда vLLM, открытого движка для запуска LLM на своих серверах, в ночь на 17 ноября по Москве (16 ноября, 23:22 UTC) выпустила версию 0.34.0. В неё вошли 1061 коммит от 412 авторов, поддержка 10 новых моделей, включая Mistral Large 4, и ускорения на Blackwell и AMD MI355X до 1,95 раза. Но главное для тех, кто уже держит vLLM в продакшене, — новые значения по умолчанию: движок теперь сам рассчитывает KV-кэш по фактически свободной видеопамяти и по умолчанию не держит прежний запас, размер блока вырос с 16 до 64, а старый Model Runner V1 удалён.
Если вы обновляете образ vllm/vllm-openai:latest без чтения changelog, сервис может не стартовать (переменная окружения VLLM_USE_V2_MODEL_RUNNER=0 теперь приводит к ошибке) или начать вести себя иначе под нагрузкой. Ниже — что изменилось, что сломается и как вернуть прежнее поведение.
Ключевые выводы
- Extensible KV cache включён по умолчанию: кэш размеряется по памяти, реально свободной после прогрева, а
gpu_memory_utilizationпо умолчанию 1.0 вместо 0.92. - Пример из релиза: у MiniMax-M3 на H200 кэш вырос с 433 до 672 тыс. токенов, но задержка на токен у некоторых моделей может вырасти на 6–18%.
- Ломающие изменения: удалён Model Runner V1,
--block-sizeпо умолчанию 64, нуженhuggingface_hubне ниже 2.0.0, образы ROCm 7.2 больше не выпускаются. - Новые модели: Mistral Large 4 (1 трлн параметров, 52 млрд активных), MiniMax-M3.1-Flash, Nemotron-3.5-Transcribe и ещё семь.
- Kimi K3.1 в этой версии запустить нельзя: подготовка кода есть, поддержки нет.
Что меняет новый KV-кэш по умолчанию?
KV-кэш — это память, где движок хранит промежуточные результаты внимания для каждого запроса. Чем он больше, тем больше одновременных запросов и длинных контекстов помещается на GPU. Раньше vLLM считал размер кэша по оценке и в версии 0.33 по умолчанию оставлял около 8% видеопамяти про запас (gpu_memory_utilization=0.92).
В 0.34 на CUDA и ROCm кэш размеряется по памяти, которая действительно свободна после захвата CUDA-графов и прогрева (PR 56492), а gpu_memory_utilization, если не задан, равен 1.0. Это не значит, что кэш забирает всю память: механизм оставляет измеренный резерв под временные выделения. По данным релиза, большинство моделей получают больший кэш, а значит больше пропускной способности и меньшее время до первого токена (TTFT) при высокой конкурентности. Пример из release notes: MiniMax-M3 на H200 — 672 тыс. токенов кэша вместо 433 тыс.
У этого есть цена, и разработчики её называют: задержка между токенами (TPOT) у некоторых моделей на H200 при 128 одновременных запросах выросла на 6–18%. Если для вас важнее скорость генерации одного ответа, чем общая пропускная способность, новый режим может оказаться хуже. Есть два варианта: ограничить бюджет памяти явно (новый расчёт останется, но с заданным вами лимитом) или полностью вернуть старый механизм расчёта по оценке:
Есть и тонкость: если вы явно задали gpu_memory_utilization между 0,8 и 1,0, и это оставляет без дела 1 ГиБ памяти или больше, vLLM напишет предупреждение в лог. Если на той же видеокарте живут другие процессы, например второй экземпляр модели или эмбеддер, значение лучше задать явно: при 1.0 им может не хватить памяти. В релиз вошли и исправления фрагментации аллокатора, падений по нехватке памяти на старте и сильно заниженного кэша на DGX Spark, где он раньше мог быть меньше нужного до 84%.
Что сломается при обновлении?
Разработчики вынесли список в начало release notes под пометкой «эти изменения могут сломать существующие установки». Основное:
Ломающие изменения vLLM 0.34.0
8 сервисов, 2 столбца
Листайте столбцы →Смахните влевоВсе 2 столбца
Источник: release notes vLLM 0.34.0
Вместе с Model Runner V1 исчезли и несколько опций: метод спекулятивного декодирования custom_class, use_heterogeneous_vocab, disable_padded_drafter_batch, конвейерный параллелизм с external_launcher и поддержка x86-процессоров без Triton. Изменилось и поведение API: парсер llama3_json больше не стримит аргументы вызова инструментов по кусочкам, транскрипция через Canary без параметра language возвращает 400, а пустой массив tools теперь принимается, как в OpenAI API.
Если вы поднимали сервер по нашему руководству по vLLM 0.33, проверьте флаги запуска: явно заданный --block-size по-прежнему имеет приоритет, а вот поведение по умолчанию изменилось. Для pip версия требует Python от 3.11 до 3.14 включительно, сказано на странице пакета на PyPI.
Какие модели и ускорения добавились?
Новые модели: Mistral Large 4 (1 трлн параметров, из них 52 млрд активных, FP8 и NVFP4, работает на NVIDIA Blackwell и Hopper и AMD MI350), MiniMax-M3.1-Flash, речевая NVIDIA Nemotron-3.5-Transcribe (30B-A4B, аудиочат и /v1/audio/transcriptions), Ricursive Ripple-65B Preview, Zyphra ZAYA1 (8B и 74B-preview), Baidu Unlimited-OCR-2, семейство Liquid AI LFM3 (текстовая, VL и Audio), NVIDIA Canary-1B-v2, Ming3-ASR и NVIDIA Parakeet TDT через плагин. Для Kimi K3.1 в код попала подготовка, но, как прямо сказано в release notes, запустить её в этой версии нельзя.
Ускорения в release notes указаны для конкретного железа и режимов, это замеры самих разработчиков, чаще всего нового пути исполнения против прежнего в той же конфигурации, а не версии 0.34 против 0.33; точные условия описаны в соответствующих PR:
- Step5 в NVFP4 на 4 GB200 — до 1,95 раза быстрее декодирование;
- GLM-5.3-Flash с DeepGEMM FP8 MegaMoE — в 1,6 раза выше пропускная способность по выходным токенам против той же конфигурации DEP4 с обычным MoE;
- GLM-5.3 на GB200 — TTFT в 1,24–1,40 раза меньше на контексте 32–128 тыс. токенов, включено по умолчанию;
- Muse Spark Open на GB300 — в 1,5 раза быстрее декодирование одного потока в синтетическом замере со спекулятивным декодированием DSpark (включается вручную);
- Kimi-K3 на GB300 — в 1,34–1,59 раза быстрее ядро внимания при декодировании в микробенчмарке, сквозной прирост по описанию PR заметно меньше, порядка нескольких процентов (включается флагом
--attention-backend KIMI_K3_KV_BALANCED_MLA); - Qwen3.5 (9B и 35B-A3B на GB200) — задержка между токенами ниже на 3,0–8,8% за счёт breakable CUDA-графов и слитых ядер вместо torch.compile.
Почти все крупные цифры относятся к Blackwell (GB200, GB300) и AMD MI355X. На потребительских картах и A100 таких приростов ждать не стоит, хотя общие оптимизации планировщика полезны всем: например, на промпте в 128 тыс. токенов подготовка входных токенов запроса стала занимать в 40 раз меньше процессорного времени (замер одного участка, а не сквозной скорости), а wheel для x86_64 CUDA стал примерно на 82 МБ (около 25%) меньше.
Что ещё нового для эксплуатации?
- Checkpoint/restore: HTTP-маршруты
/checkpoint/prepare,/checkpoint/statusи/checkpoint/restoreготовят и восстанавливают состояние движка, а снимок процесса через CRIU иcuda-checkpointделает внешний оркестратор; маршруты работают с--enable-sleep-mode. - Отказоустойчивость при DP+EP: по команде оркестратора (
POST /v1/fault_tolerance/apply) упавшие ранги удаляются, а их эксперты перераспределяются без перезапуска; работает только в поддерживаемой конфигурации: включённый режим fault tolerance, внешний балансировщик нагрузки и EPLB с резервными экспертами. - Привязка к NUMA включена по умолчанию в режиме best-effort, отключается флагом
--no-numa-bind. - Суффиксное декодирование работает на Model Runner V2 со спекулятором на GPU, отдельная библиотека Arctic Inference больше не нужна.
- API:
thinking_token_budgetв/v1/responses, в совместимом с Anthropic Messages API —min_tokensиthinking.type=between_tools; Responses API принимает неполную историю рассуждений, например от Codex. - Безопасность: исправлен ReDoS в санитайзере ошибок валидации,
/v1/systemoneтеперь отклоняет шаблоны чата из запроса без флага--trust-request-chat-template.
Сборки: колёса для CUDA 13.0 ставятся через pip install vllm, для ROCm — только версии 10.0. Docker-образ по умолчанию vllm/vllm-openai:v0.34.0 теперь содержит пользовательскую часть AWS EFA, есть отдельные образы для ROCm, CPU и Intel XPU.
Как обновиться без сюрпризов?
- Зафиксируйте тег образа
v0.34.0вместоlatest, чтобы обновление было осознанным. - Удалите
VLLM_USE_V2_MODEL_RUNNERиз окружения или выставьте 1. - Обновите зависимости:
huggingface_hub2.0.0+,tokenizers0.23.3+,timm1.0.30+,transformersне ниже 5.16.1 и ниже 5.23.0,mistral-common1.13.0+. - Если GPU делится с другими процессами, задайте
--gpu-memory-utilizationявно. - Прогоните нагрузочный тест на своей конкурентности и сравните TPOT и TTFT с 0.33. Если задержка выросла, попробуйте
--no-enable-extensible-kv-cacheили старый--block-size 16. - На ROCm перейдите на образы и колёса ROCm 10.0.
Тем, кто запускает модели на CPU или ноутбуке, vLLM по-прежнему не лучший выбор: для этого чаще берут llama.cpp и его форки, которые, например, уместили DeepSeek-V4-Flash в 64 ГБ ОЗУ. Из хвостов прошлых версий: флаг --mamba-cache-mode ни на что не влияет, но его удаление отложено, а он и --ir-op-priority в коде 0.34 всё ещё предупреждают об удалении «в 0.34.0». Новый срок разработчики пока не назвали.
Источники: vLLM v0.34.0 release notes, PyPI: vllm 0.34.0, PR 56492: extensible KV cache по умолчанию
Изображение на обложке: Логотип: vLLM Project