Как поднять свой сервер LLM на vLLM в 2026 году: установка и замеры

Как устроен vLLM, как запустить на нём свою модель с API OpenAI и что показал свежий замер NVIDIA на двух DGX Station.

Обложка: Как поднять свой сервер LLM на vLLM в 2026 году: установка и замеры

vLLM — открытый сервер инференса, который запускает языковую модель на ваших видеокартах и отдаёт её по API, совместимому с OpenAI. На 16 ноября 2026 года у проекта 97 034 звезды на GitHub и лицензия Apache 2.0, последний релиз 0.33.0 опубликован 2 ноября. Одна команда vllm serve поднимает адрес, к которому существующий код на SDK OpenAI подключается заменой base_url.

Свой сервер нужен в трёх случаях: данные нельзя отправлять внешнему провайдеру, счёт за токены вырос настолько, что аренда или покупка GPU выходит дешевле, либо нужна модель или её дообученная версия, которой нет в облачных API. Для одного пользователя с этим справляются Ollama и llama.cpp. vLLM рассчитан на другую нагрузку: десятки одновременных запросов от команды, агентов или продукта.

Насколько далеко это заходит, показывает свежий разбор в техническом блоге NVIDIA от 13 ноября 2026 года: модель GLM-5.3 на 753 млрд параметров обслуживается двумя настольными станциями DGX и отдаёт до 607,8 токена в секунду, считая токены рассуждений. Ниже — как vLLM устроен, как его поставить и запустить, что означают цифры NVIDIA и какие настройки безопасности обязательны. Команды взяты из документации vLLM и статьи NVIDIA, данные проверены 16 ноября 2026 года.

Ключевые выводы
  • 97 034 звезды на GitHub на 16 ноября 2026 года; у llama.cpp 135 284, у Ollama 187 222, но эти проекты решают задачу локального запуска, а vLLM — обслуживания многих запросов сразу.
  • Установка: uv pip install vllm --torch-backend=auto на Linux с Python от 3.11 до 3.14; сервер стартует командой vllm serve на порту 8000.
  • В замере NVIDIA две станции DGX с GLM-5.3 NVFP4 (около 464 ГБ весов) выдали 107,4 токена в секунду при одном запросе и 607,8 при 16 одновременных; при 32 (сервер перезапускали с другим лимитом параллельных запросов) пропускная способность упала до 385,0, а средняя задержка выросла до 453,54 секунды.
  • Авторы vLLM в статье 2023 года заявляли прирост пропускной способности от 2 до 4 раз к FasterTransformer и Orca при той же задержке; это их собственный замер.
  • Ключ --api-key защищает только часть адресов сервера, поэтому документация требует не полагаться на него одного и закрывать сервер сетью.
  • Сервер обслуживает одну модель на процесс; официальной нативной поддержки Windows нет, документация предлагает WSL.

Что такое vLLM и чем он отличается от Ollama и llama.cpp?

vLLM — библиотека и сервер для инференса LLM, оптимизированные под пропускную способность, то есть под число токенов в секунду на всех пользователей сразу. Проект вырос из лаборатории Sky Computing Lab Калифорнийского университета в Беркли; по README, сейчас его развивают больше 2000 контрибьюторов из десятков университетов и компаний. Репозиторий создан в феврале 2023 года.

Разницу с Ollama и llama.cpp проще всего описать через сценарий. Ollama и llama.cpp удобны, когда модель нужна одному человеку на его машине: они работают на процессоре, на Mac и на видеокарте с небольшим объёмом памяти, с квантованными файлами GGUF. vLLM тоже умеет работать на процессоре и на видеокартах уровня RTX 20-й серии, но его основной сценарий — Linux с серверной видеокартой и много запросов сразу: он объединяет их в общие пакеты и считает вместе. По звёздам он третий в этой группе, но сравнение условное: сценарии пересекаются (сервер llama.cpp и Ollama тоже обрабатывают параллельные запросы), и выбор зависит от железа и нагрузки.

Как поднять свой сервер LLM на vLLM в 2026 году: установка и замеры_7
Звёзды на GitHub у открытых движков инференса LLM на 16 ноября 2026 года. График: Tproger по данным GitHub API

Поддерживаются больше 200 архитектур моделей с Hugging Face: обычные декодерные LLM (Llama, Qwen, Gemma), модели со смесью экспертов (DeepSeek-V3, Qwen-MoE, GPT-OSS), мультимодальные и модели эмбеддингов. Кроме видеокарт NVIDIA заявлены AMD и Intel, процессоры x86, ARM и PowerPC, а через плагины — Apple Silicon, Google TPU, Huawei Ascend и другие ускорители.

За счёт чего vLLM выдерживает много запросов сразу?

Главная идея vLLM — управлять памятью видеокарты так, как операционная система управляет оперативной. У каждого запроса к LLM есть KV-кэш: промежуточные данные внимания для уже обработанных токенов. Он велик, растёт по мере генерации, и, если выделять под него память цельными кусками, она быстро дробится и простаивает. В статье о PagedAttention авторы vLLM предложили хранить кэш страницами, как виртуальную память: потери почти исчезают, а одинаковые страницы разные запросы могут делить между собой.

Our evaluations show that vLLM improves the throughput of popular LLMs by 2-4x with the same level of latency compared to the state-of-the-art systems, such as FasterTransformer and Orca.
Усок Квон и соавторыстатья «Efficient Memory Management for Large Language Model Serving with PagedAttention», сентябрь 2023 года (перевод: «Наши замеры показывают, что vLLM повышает пропускную способность популярных LLM в 2–4 раза при том же уровне задержки по сравнению с передовыми системами, такими как FasterTransformer и Orca»)

Это замер самих авторов трёхлетней давности, и с тех пор конкуренты переняли многие приёмы. Сегодняшний vLLM складывается из нескольких механизмов, перечисленных в README:

  • Непрерывный батчинг. Новые запросы подсаживаются в уже идущую генерацию, не дожидаясь конца текущего пакета.
  • Кэширование префиксов. Общий для запросов префикс, например системный промпт, считается один раз.
  • Квантование. Поддерживаются FP8, NVFP4, INT8, INT4, GPTQ, AWQ и файлы GGUF.
  • Спекулятивное декодирование. Быстрый черновик из нескольких токенов проверяется полной моделью.
  • Параллелизм. Тензорный, конвейерный, по данным и по экспертам, чтобы разнести модель по нескольким GPU и машинам.
  • Структурированный вывод и инструменты. Генерация по схеме, парсеры вызова инструментов и рассуждений.

Как установить vLLM и запустить сервер?

Нужен Linux и Python от 3.11 до 3.14. Для видеокарт NVIDIA требуется compute capability 7.5 и выше: это T4, RTX 20-й серии и всё, что новее. Быстрый старт рекомендует менеджер окружений uv:

			uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
vllm download-kernels
		

Параметр --torch-backend=auto заставляет uv подобрать сборку PyTorch под установленный драйвер CUDA. Команда vllm download-kernels скачивает заранее скомпилированные ядра; без неё они собираются при первом запуске, что на новых GPU добавляет несколько минут. Сервер с небольшой моделью из документации запускается одной строкой:

			vllm serve Qwen/Qwen2.5-1.5B-Instruct
		

Модель скачивается с Hugging Face, сервер поднимается на http://localhost:8000; адрес и порт меняются параметрами --host и --port. Проверить, что он жив, можно запросом списка моделей:

			curl http://localhost:8000/v1/models
		

Если ставить Python-окружение не хочется, есть официальный образ vllm/vllm-openai на Docker Hub:

			docker run --runtime nvidia --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=$HF_TOKEN" \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model Qwen/Qwen3-0.6B
		

Параметр --ipc=host (или --shm-size) даёт контейнеру доступ к разделяемой памяти хоста: она нужна PyTorch для обмена данными между процессами, в частности при тензорном параллелизме. Аргументы движка дописываются после имени образа. Для продакшена тег latest лучше заменить конкретной версией: в примере NVIDIA образ закреплён и по версии, и по хешу.

Нативной поддержки Windows у vLLM нет, документация предлагает WSL или форки от сообщества. На Mac с Apple Silicon есть отдельный вариант vLLM-Metal.

Как подключить свой код к серверу?

Сервер реализует протокол OpenAI, поэтому в существующем приложении меняются две строки: адрес и ключ. Пример из документации на официальном пакете openai:

			from openai import OpenAI
# Set OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

chat_response = client.chat.completions.create(
    model="Qwen/Qwen2.5-1.5B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."},
    ],
)
print("Chat response:", chat_response)
		

Кроме Chat Completions сервер отдаёт Completions, эмбеддинги, Responses и API в формате Anthropic Messages, а метрики для Prometheus публикует по адресу /metrics. К тому же адресу подключаются готовые интерфейсы: в Open WebUI, например, для vLLM указывается http://localhost:8000/v1, а если интерфейс запущен в Docker, вместо localhost нужен host.docker.internal.

Две особенности, о которых стоит знать заранее. Сервер держит одну модель на процесс: для двух моделей нужны два экземпляра на разных портах и маршрутизатор перед ними. И по умолчанию он применяет параметры генерации из файла generation_config.json репозитория модели, то есть температура и прочие настройки могут отличаться от привычных значений API OpenAI; это отключается параметром --generation-config vllm.

Что показал замер NVIDIA на двух DGX Station?

NVIDIA показала предельный случай: модель, которая не помещается в одну видеокарту. GLM-5.3 NVFP4 — квантованная версия модели Z.ai со смесью экспертов: 753 млрд параметров, из которых на каждый токен работают 40 млрд. Веса занимают около 464 ГБ, а у одного GPU GB300 в станции DGX 252 ГБ памяти HBM3e. Задачу решает тензорный параллелизм: две станции соединены по RDMA через адаптеры ConnectX-8, каждая держит примерно половину весов (около 218 ГиБ на GPU по журналу запуска), и обе считают каждый запрос.

Ключевая часть команды запуска из статьи выглядит так (одинаковый скрипт выполняется на обеих станциях с разным значением RANK):

			exec vllm serve /model --served-model-name "$MODEL_REPO" \
  --host 0.0.0.0 --port "$PORT" \
  --nnodes 2 --node-rank "$RANK" --master-addr "$MASTER_ADDR" \
  --master-port 29501 --tensor-parallel-size 2 \
  --speculative-config "$SPEC_CONFIG" \
  --max-model-len 98304 --max-num-batched-tokens 8192 \
  --block-size 128 --max-num-seqs 16 \
  --trust-remote-code --disable-custom-all-reduce \
  --kv-cache-dtype fp8 --enable-prefix-caching \
  --gpu-memory-utilization 0.93 \
  --enable-prompt-tokens-details \
  --kernel-config "$KERNEL_CONFIG" --compilation-config "$COMPILE_CONFIG" \
  --distributed-timeout-seconds 1800 \
  --enable-auto-tool-choice --tool-call-parser glm47 --reasoning-parser glm47 \
  "${EXTRA[@]}"
		

Два параметра автор статьи Фатима Фолл называет главными для адаптации: --max-model-len 98304 задаёт потолок контекста в токенах на вход и выход вместе, а --gpu-memory-utilization 0.93 отдаёт vLLM 93% памяти GPU. Память, оставшаяся после весов, уходит под KV-кэш, общий для всех запросов в работе. Хранение кэша в FP8 вдвое экономит место по сравнению с 16-битным, а спекулятивное декодирование настроено на 4 черновых токена за шаг.

Нагрузку давали инструментом AIPerf на 80 диалогах о программировании из набора SPEED-Bench, с уровнем рассуждений модели max и лимитом вывода 8192 токена. Результаты при включённом кэшировании префиксов; в подсчёт входят токены рассуждений, а время до первого токена может означать первый токен рассуждений. Замеры с 1, 8 и 16 запросами шли при --max-num-seqs 16, для 32 запросов сервер перезапускали с --max-num-seqs 32:

GLM-5.3 NVFP4 на двух DGX Station под vLLM, SPEED-Bench Coding

4 сервиса, 5 столбцов
GLM-5.3 NVFP4 на двух DGX Station под vLLM, SPEED-Bench Coding
Одновременных запросовОбщая пропускная способность, токенов/сСредняя задержка запроса, сСреднее время до первого токена, мсСредний интервал между токенами, мс
1107,449,84479,758,78
8386,0114,17433,7919,01
16607,8136,46482,9023,77
32385,0453,54899,3677,90
Листайте столбцы →Смахните влевоВсе 5 столбцов
технический блог NVIDIA, 13 ноября 2026 года; замер вендора
Как поднять свой сервер LLM на vLLM в 2026 году: установка и замеры_37
Общая пропускная способность GLM-5.3 NVFP4 на двух DGX Station при разном числе одновременных запросов. График: Tproger по данным технического блога NVIDIA
Как поднять свой сервер LLM на vLLM в 2026 году: установка и замеры_38
Средняя задержка одного запроса в том же замере: при 32 одновременных запросах она выросла до 453,54 секунды. График: Tproger по данным технического блога NVIDIA

Из таблицы видно, как работает батчинг. От 1 до 16 одновременных запросов общая пропускная способность выросла в 5,7 раза, с 107,4 до 607,8 токена в секунду, а задержка одного запроса при этом увеличилась в 2,7 раза. Каждый отдельный пользователь получает ответ медленнее, зато сервер в сумме делает намного больше. При 32 запросах система перегружена: общий результат упал до 385,0 токена в секунду, средняя задержка достигла 453,54 секунды, а скорость на одного пользователя, по данным NVIDIA, снизилась со 115,3 токена в секунду при одном запросе до 13,0.

Overall throughput peaks at 607.8 tok/s at C16. It falls to 385.0 tok/s at C32, where mean request latency is 453.5 s.
Фатима Фоллинженер по техническому маркетингу NVIDIA, технический блог компании (перевод: «Общая пропускная способность достигает пика 607,8 токена в секунду при 16 одновременных запросах. При 32 она падает до 385,0 токена в секунду, а средняя задержка запроса составляет 453,5 секунды»)

Оговорок три. Это замер производителя железа на собственном оборудовании и на одном наборе задач. Задержки в десятки секунд объясняются длинными ответами с рассуждениями, для коротких ответов цифры будут другими. И оптимум по числу одновременных запросов зависит от нагрузки: NVIDIA сама советует повторить прогон AIPerf на своих промптах. Практический урок переносится на любое железо: у сервера есть точка, после которой добавление запросов ухудшает всё, и её нужно найти замером и закрепить параметром --max-num-seqs и очередью перед сервером.

Что нужно закрыть до выхода в продакшен?

По умолчанию сервер vLLM никого не аутентифицирует, а параметр --api-key (или переменная VLLM_API_KEY) включает проверку ключа не для всех адресов. В руководстве по безопасности сказано, что ключ защищает только пути с префиксами /v1, /v2, /inference и /cohere, а многие другие чувствительные адреса того же HTTP-сервера остаются открытыми.

Do not rely exclusively on --api-key for securing access to vLLM. Additional security measures are required for production deployments.
Документация vLLMраздел Security (перевод: «Не полагайтесь исключительно на --api-key для защиты доступа к vLLM. Для продакшена необходимы дополнительные меры безопасности»)

Отсюда минимальный набор мер:

  • Сеть. Сервер слушает только внутренний интерфейс, наружу выходит обратный прокси с аутентификацией и TLS. В статье NVIDIA есть прямое предупреждение: --host 0.0.0.0 вместе с --network host открывает API без аутентификации на всех интерфейсах станции.
  • Связь между узлами. В многоузловой установке обмен между узлами, по документации, небезопасен по умолчанию и должен идти по изолированной сети; внутренние порты нельзя выставлять в интернет.
  • Код модели. Параметр --trust-remote-code из примера NVIDIA разрешает выполнять код из репозитория модели. Его стоит включать только для моделей из проверенных источников и с закреплённой ревизией, как сделано в статье.
  • Ключи. После --api-key можно передать несколько ключей, сервер примет любой из них; документация советует это для ротации.

Выбор модели под задачу, расчёт видеопамяти и мониторинг токенов подробно разобраны в статье о локальной LLM в проде.

Когда свой сервер на vLLM оправдан?

vLLM оправдан, когда есть постоянный поток запросов и серверная видеокарта, своя или арендованная. Типичные случаи: внутренний ассистент и кодовые агенты для команды, обработка документов с чувствительными данными, продукт с предсказуемой нагрузкой, дообученная модель. Экономика считается просто: цена часа GPU, делённая на число токенов, которое сервер выдаёт за этот час под вашей нагрузкой, и сравнение с ценой тех же токенов у провайдера. Где в России арендовать видеокарты и сколько это стоит, собрано в обзоре пяти провайдеров GPU-инфраструктуры.

Не стоит брать vLLM ради одного пользователя на ноутбуке: там проще Ollama или llama.cpp. Не поможет он и при редких запросах: видеокарта простаивает, а платить за неё нужно постоянно. И он не снимает эксплуатационных забот: обновления выходят примерно раз в две недели (0.29.0 вышла 9 сентября, 0.33.0 — 2 ноября 2026 года), драйверы, ядра и версии PyTorch приходится держать согласованными.

Что проверить перед решением: поместится ли модель вместе с KV-кэшем в память ваших GPU, какую пропускную способность даёт сервер на ваших промптах, а не на чужом тесте, и где находится точка перегрузки. Инструмент для этого тот же, что у NVIDIA: нагрузочный прогон с растущим числом одновременных запросов.

Частые вопросы
1
Можно ли запустить vLLM на Windows или Mac?

На Windows напрямую нет: документация предлагает WSL с совместимым дистрибутивом Linux. На Mac с Apple Silicon работает отдельный вариант vLLM-Metal. Основная платформа проекта — Linux с видеокартами NVIDIA.

2
Какая видеокарта подойдёт для vLLM?

Для NVIDIA нужна compute capability 7.5 и выше: T4, RTX 20-й серии, A100, L4, H100 и новее. Из AMD документация называет MI200, MI300, MI350, Radeon RX 7900 и RX 9000. Объём памяти определяется моделью: веса плюс KV-кэш для одновременных запросов.

3
Работает ли vLLM с файлами GGUF?

GGUF указан в README среди поддерживаемых форматов квантования наряду с FP8, NVFP4, INT8, INT4, GPTQ и AWQ. Основной сценарий vLLM при этом — модели в формате Hugging Face.

4
Нужен ли токен Hugging Face?

Для открытых моделей нет. Переменная HF_TOKEN в примере Docker из документации нужна для моделей с ограниченным доступом, где на странице модели требуется принять условия.

Источники: GitHub: vllm-project/vllm, vLLM Docs: Quickstart, vLLM Docs: GPU installation, vLLM Docs: Using Docker, vLLM Docs: Security, vLLM Docs: Production Metrics, arXiv: Efficient Memory Management for Large Language Model Serving with PagedAttention, NVIDIA Technical Blog: When One GPU Isn't Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM, GitHub: релизы vLLM

Изображение на обложке: vLLM