Как поднять свой сервер LLM на vLLM в 2026 году: установка и замеры
Как устроен vLLM, как запустить на нём свою модель с API OpenAI и что показал свежий замер NVIDIA на двух DGX Station.
vLLM — открытый сервер инференса, который запускает языковую модель на ваших видеокартах и отдаёт её по API, совместимому с OpenAI. На 16 ноября 2026 года у проекта 97 034 звезды на GitHub и лицензия Apache 2.0, последний релиз 0.33.0 опубликован 2 ноября. Одна команда vllm serve поднимает адрес, к которому существующий код на SDK OpenAI подключается заменой base_url.
Свой сервер нужен в трёх случаях: данные нельзя отправлять внешнему провайдеру, счёт за токены вырос настолько, что аренда или покупка GPU выходит дешевле, либо нужна модель или её дообученная версия, которой нет в облачных API. Для одного пользователя с этим справляются Ollama и llama.cpp. vLLM рассчитан на другую нагрузку: десятки одновременных запросов от команды, агентов или продукта.
Насколько далеко это заходит, показывает свежий разбор в техническом блоге NVIDIA от 13 ноября 2026 года: модель GLM-5.3 на 753 млрд параметров обслуживается двумя настольными станциями DGX и отдаёт до 607,8 токена в секунду, считая токены рассуждений. Ниже — как vLLM устроен, как его поставить и запустить, что означают цифры NVIDIA и какие настройки безопасности обязательны. Команды взяты из документации vLLM и статьи NVIDIA, данные проверены 16 ноября 2026 года.
Ключевые выводы
- 97 034 звезды на GitHub на 16 ноября 2026 года; у llama.cpp 135 284, у Ollama 187 222, но эти проекты решают задачу локального запуска, а vLLM — обслуживания многих запросов сразу.
- Установка:
uv pip install vllm --torch-backend=autoна Linux с Python от 3.11 до 3.14; сервер стартует командойvllm serveна порту 8000. - В замере NVIDIA две станции DGX с GLM-5.3 NVFP4 (около 464 ГБ весов) выдали 107,4 токена в секунду при одном запросе и 607,8 при 16 одновременных; при 32 (сервер перезапускали с другим лимитом параллельных запросов) пропускная способность упала до 385,0, а средняя задержка выросла до 453,54 секунды.
- Авторы vLLM в статье 2023 года заявляли прирост пропускной способности от 2 до 4 раз к FasterTransformer и Orca при той же задержке; это их собственный замер.
- Ключ
--api-keyзащищает только часть адресов сервера, поэтому документация требует не полагаться на него одного и закрывать сервер сетью. - Сервер обслуживает одну модель на процесс; официальной нативной поддержки Windows нет, документация предлагает WSL.
Что такое vLLM и чем он отличается от Ollama и llama.cpp?
vLLM — библиотека и сервер для инференса LLM, оптимизированные под пропускную способность, то есть под число токенов в секунду на всех пользователей сразу. Проект вырос из лаборатории Sky Computing Lab Калифорнийского университета в Беркли; по README, сейчас его развивают больше 2000 контрибьюторов из десятков университетов и компаний. Репозиторий создан в феврале 2023 года.
Разницу с Ollama и llama.cpp проще всего описать через сценарий. Ollama и llama.cpp удобны, когда модель нужна одному человеку на его машине: они работают на процессоре, на Mac и на видеокарте с небольшим объёмом памяти, с квантованными файлами GGUF. vLLM тоже умеет работать на процессоре и на видеокартах уровня RTX 20-й серии, но его основной сценарий — Linux с серверной видеокартой и много запросов сразу: он объединяет их в общие пакеты и считает вместе. По звёздам он третий в этой группе, но сравнение условное: сценарии пересекаются (сервер llama.cpp и Ollama тоже обрабатывают параллельные запросы), и выбор зависит от железа и нагрузки.
Поддерживаются больше 200 архитектур моделей с Hugging Face: обычные декодерные LLM (Llama, Qwen, Gemma), модели со смесью экспертов (DeepSeek-V3, Qwen-MoE, GPT-OSS), мультимодальные и модели эмбеддингов. Кроме видеокарт NVIDIA заявлены AMD и Intel, процессоры x86, ARM и PowerPC, а через плагины — Apple Silicon, Google TPU, Huawei Ascend и другие ускорители.
За счёт чего vLLM выдерживает много запросов сразу?
Главная идея vLLM — управлять памятью видеокарты так, как операционная система управляет оперативной. У каждого запроса к LLM есть KV-кэш: промежуточные данные внимания для уже обработанных токенов. Он велик, растёт по мере генерации, и, если выделять под него память цельными кусками, она быстро дробится и простаивает. В статье о PagedAttention авторы vLLM предложили хранить кэш страницами, как виртуальную память: потери почти исчезают, а одинаковые страницы разные запросы могут делить между собой.
Our evaluations show that vLLM improves the throughput of popular LLMs by 2-4x with the same level of latency compared to the state-of-the-art systems, such as FasterTransformer and Orca.
Это замер самих авторов трёхлетней давности, и с тех пор конкуренты переняли многие приёмы. Сегодняшний vLLM складывается из нескольких механизмов, перечисленных в README:
- Непрерывный батчинг. Новые запросы подсаживаются в уже идущую генерацию, не дожидаясь конца текущего пакета.
- Кэширование префиксов. Общий для запросов префикс, например системный промпт, считается один раз.
- Квантование. Поддерживаются FP8, NVFP4, INT8, INT4, GPTQ, AWQ и файлы GGUF.
- Спекулятивное декодирование. Быстрый черновик из нескольких токенов проверяется полной моделью.
- Параллелизм. Тензорный, конвейерный, по данным и по экспертам, чтобы разнести модель по нескольким GPU и машинам.
- Структурированный вывод и инструменты. Генерация по схеме, парсеры вызова инструментов и рассуждений.
Как установить vLLM и запустить сервер?
Нужен Linux и Python от 3.11 до 3.14. Для видеокарт NVIDIA требуется compute capability 7.5 и выше: это T4, RTX 20-й серии и всё, что новее. Быстрый старт рекомендует менеджер окружений uv:
Параметр --torch-backend=auto заставляет uv подобрать сборку PyTorch под установленный драйвер CUDA. Команда vllm download-kernels скачивает заранее скомпилированные ядра; без неё они собираются при первом запуске, что на новых GPU добавляет несколько минут. Сервер с небольшой моделью из документации запускается одной строкой:
Модель скачивается с Hugging Face, сервер поднимается на http://localhost:8000; адрес и порт меняются параметрами --host и --port. Проверить, что он жив, можно запросом списка моделей:
Если ставить Python-окружение не хочется, есть официальный образ vllm/vllm-openai на Docker Hub:
Параметр --ipc=host (или --shm-size) даёт контейнеру доступ к разделяемой памяти хоста: она нужна PyTorch для обмена данными между процессами, в частности при тензорном параллелизме. Аргументы движка дописываются после имени образа. Для продакшена тег latest лучше заменить конкретной версией: в примере NVIDIA образ закреплён и по версии, и по хешу.
Нативной поддержки Windows у vLLM нет, документация предлагает WSL или форки от сообщества. На Mac с Apple Silicon есть отдельный вариант vLLM-Metal.
Как подключить свой код к серверу?
Сервер реализует протокол OpenAI, поэтому в существующем приложении меняются две строки: адрес и ключ. Пример из документации на официальном пакете openai:
Кроме Chat Completions сервер отдаёт Completions, эмбеддинги, Responses и API в формате Anthropic Messages, а метрики для Prometheus публикует по адресу /metrics. К тому же адресу подключаются готовые интерфейсы: в Open WebUI, например, для vLLM указывается http://localhost:8000/v1, а если интерфейс запущен в Docker, вместо localhost нужен host.docker.internal.
Две особенности, о которых стоит знать заранее. Сервер держит одну модель на процесс: для двух моделей нужны два экземпляра на разных портах и маршрутизатор перед ними. И по умолчанию он применяет параметры генерации из файла generation_config.json репозитория модели, то есть температура и прочие настройки могут отличаться от привычных значений API OpenAI; это отключается параметром --generation-config vllm.
Что показал замер NVIDIA на двух DGX Station?
NVIDIA показала предельный случай: модель, которая не помещается в одну видеокарту. GLM-5.3 NVFP4 — квантованная версия модели Z.ai со смесью экспертов: 753 млрд параметров, из которых на каждый токен работают 40 млрд. Веса занимают около 464 ГБ, а у одного GPU GB300 в станции DGX 252 ГБ памяти HBM3e. Задачу решает тензорный параллелизм: две станции соединены по RDMA через адаптеры ConnectX-8, каждая держит примерно половину весов (около 218 ГиБ на GPU по журналу запуска), и обе считают каждый запрос.
Ключевая часть команды запуска из статьи выглядит так (одинаковый скрипт выполняется на обеих станциях с разным значением RANK):
Два параметра автор статьи Фатима Фолл называет главными для адаптации: --max-model-len 98304 задаёт потолок контекста в токенах на вход и выход вместе, а --gpu-memory-utilization 0.93 отдаёт vLLM 93% памяти GPU. Память, оставшаяся после весов, уходит под KV-кэш, общий для всех запросов в работе. Хранение кэша в FP8 вдвое экономит место по сравнению с 16-битным, а спекулятивное декодирование настроено на 4 черновых токена за шаг.
Нагрузку давали инструментом AIPerf на 80 диалогах о программировании из набора SPEED-Bench, с уровнем рассуждений модели max и лимитом вывода 8192 токена. Результаты при включённом кэшировании префиксов; в подсчёт входят токены рассуждений, а время до первого токена может означать первый токен рассуждений. Замеры с 1, 8 и 16 запросами шли при --max-num-seqs 16, для 32 запросов сервер перезапускали с --max-num-seqs 32:
GLM-5.3 NVFP4 на двух DGX Station под vLLM, SPEED-Bench Coding
4 сервиса, 5 столбцов
Листайте столбцы →Смахните влевоВсе 5 столбцов
технический блог NVIDIA, 13 ноября 2026 года; замер вендора
Из таблицы видно, как работает батчинг. От 1 до 16 одновременных запросов общая пропускная способность выросла в 5,7 раза, с 107,4 до 607,8 токена в секунду, а задержка одного запроса при этом увеличилась в 2,7 раза. Каждый отдельный пользователь получает ответ медленнее, зато сервер в сумме делает намного больше. При 32 запросах система перегружена: общий результат упал до 385,0 токена в секунду, средняя задержка достигла 453,54 секунды, а скорость на одного пользователя, по данным NVIDIA, снизилась со 115,3 токена в секунду при одном запросе до 13,0.
Overall throughput peaks at 607.8 tok/s at C16. It falls to 385.0 tok/s at C32, where mean request latency is 453.5 s.
Оговорок три. Это замер производителя железа на собственном оборудовании и на одном наборе задач. Задержки в десятки секунд объясняются длинными ответами с рассуждениями, для коротких ответов цифры будут другими. И оптимум по числу одновременных запросов зависит от нагрузки: NVIDIA сама советует повторить прогон AIPerf на своих промптах. Практический урок переносится на любое железо: у сервера есть точка, после которой добавление запросов ухудшает всё, и её нужно найти замером и закрепить параметром --max-num-seqs и очередью перед сервером.
Что нужно закрыть до выхода в продакшен?
По умолчанию сервер vLLM никого не аутентифицирует, а параметр --api-key (или переменная VLLM_API_KEY) включает проверку ключа не для всех адресов. В руководстве по безопасности сказано, что ключ защищает только пути с префиксами /v1, /v2, /inference и /cohere, а многие другие чувствительные адреса того же HTTP-сервера остаются открытыми.
Do not rely exclusively on --api-key for securing access to vLLM. Additional security measures are required for production deployments.
Отсюда минимальный набор мер:
- Сеть. Сервер слушает только внутренний интерфейс, наружу выходит обратный прокси с аутентификацией и TLS. В статье NVIDIA есть прямое предупреждение:
--host 0.0.0.0вместе с--network hostоткрывает API без аутентификации на всех интерфейсах станции. - Связь между узлами. В многоузловой установке обмен между узлами, по документации, небезопасен по умолчанию и должен идти по изолированной сети; внутренние порты нельзя выставлять в интернет.
- Код модели. Параметр
--trust-remote-codeиз примера NVIDIA разрешает выполнять код из репозитория модели. Его стоит включать только для моделей из проверенных источников и с закреплённой ревизией, как сделано в статье. - Ключи. После
--api-keyможно передать несколько ключей, сервер примет любой из них; документация советует это для ротации.
Выбор модели под задачу, расчёт видеопамяти и мониторинг токенов подробно разобраны в статье о локальной LLM в проде.
Когда свой сервер на vLLM оправдан?
vLLM оправдан, когда есть постоянный поток запросов и серверная видеокарта, своя или арендованная. Типичные случаи: внутренний ассистент и кодовые агенты для команды, обработка документов с чувствительными данными, продукт с предсказуемой нагрузкой, дообученная модель. Экономика считается просто: цена часа GPU, делённая на число токенов, которое сервер выдаёт за этот час под вашей нагрузкой, и сравнение с ценой тех же токенов у провайдера. Где в России арендовать видеокарты и сколько это стоит, собрано в обзоре пяти провайдеров GPU-инфраструктуры.
Не стоит брать vLLM ради одного пользователя на ноутбуке: там проще Ollama или llama.cpp. Не поможет он и при редких запросах: видеокарта простаивает, а платить за неё нужно постоянно. И он не снимает эксплуатационных забот: обновления выходят примерно раз в две недели (0.29.0 вышла 9 сентября, 0.33.0 — 2 ноября 2026 года), драйверы, ядра и версии PyTorch приходится держать согласованными.
Что проверить перед решением: поместится ли модель вместе с KV-кэшем в память ваших GPU, какую пропускную способность даёт сервер на ваших промптах, а не на чужом тесте, и где находится точка перегрузки. Инструмент для этого тот же, что у NVIDIA: нагрузочный прогон с растущим числом одновременных запросов.
Частые вопросы
Можно ли запустить vLLM на Windows или Mac?
На Windows напрямую нет: документация предлагает WSL с совместимым дистрибутивом Linux. На Mac с Apple Silicon работает отдельный вариант vLLM-Metal. Основная платформа проекта — Linux с видеокартами NVIDIA.
Какая видеокарта подойдёт для vLLM?
Для NVIDIA нужна compute capability 7.5 и выше: T4, RTX 20-й серии, A100, L4, H100 и новее. Из AMD документация называет MI200, MI300, MI350, Radeon RX 7900 и RX 9000. Объём памяти определяется моделью: веса плюс KV-кэш для одновременных запросов.
Работает ли vLLM с файлами GGUF?
GGUF указан в README среди поддерживаемых форматов квантования наряду с FP8, NVFP4, INT8, INT4, GPTQ и AWQ. Основной сценарий vLLM при этом — модели в формате Hugging Face.
Нужен ли токен Hugging Face?
Для открытых моделей нет. Переменная HF_TOKEN в примере Docker из документации нужна для моделей с ограниченным доступом, где на странице модели требуется принять условия.
Источники: GitHub: vllm-project/vllm, vLLM Docs: Quickstart, vLLM Docs: GPU installation, vLLM Docs: Using Docker, vLLM Docs: Security, vLLM Docs: Production Metrics, arXiv: Efficient Memory Management for Large Language Model Serving with PagedAttention, NVIDIA Technical Blog: When One GPU Isn't Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM, GitHub: релизы vLLM
Изображение на обложке: vLLM

