Moonshot выложила веса Kimi K3.1 Pro: 1,56 ТБ и восемь B300 для запуска

Moonshot AI 4 ноября 2026 года открыла веса Kimi K3.1 Pro в публичном репозитории moonshotai/Kimi-K3.1-Pro на Hugging Face. Это та самая модель, которая по собственным замерам компании отстала от Claude Opus 5.5 в Terminal-Bench 4.0 всего на 0,7 процентного пункта, а теперь её можно скачать, дообучить и развернуть на своих серверах без обращения к API Moonshot.

Для разработчика это значит две вещи. Во-первых, модель, которую Artificial Analysis 23 октября назвала будущим лидером среди открытых по своему индексу, лежит в публичном репозитории без одобрения доступа, а лицензия разрешает коммерческое использование и дообучение. Во-вторых, это серверная модель: репозиторий весит 1,56 ТБ, а официальные рецепты рассчитаны на узлы с восемью ускорителями NVIDIA B300 или AMD MI355X. Для остальных остаются API Moonshot и сторонние провайдеры, которые уже подняли модель у себя.

Что изменилось в архитектуре по сравнению с Kimi K3

Kimi K3.1 Pro вышла 23 октября 2026 года в API и приложениях Moonshot, и тогда компания пообещала опубликовать веса до 4 ноября. Обещание выполнили день в день: репозиторий на Hugging Face создан 2 ноября, а 4 ноября в 19:00 мск Moonshot объявила о публикации весов. По данным карточки модели, это дообученная версия Kimi K3 с существенно большим объёмом обучения с подкреплением по сотням прикладных доменов, а не новая базовая модель.

Параметры из карточки: 93 слоя, из них один плотный; 896 экспертов, на каждый токен выбираются 16 плюс два общих; словарь на 163 840 токенов; энкодер изображений MoonViT-V2 на 401 млн параметров. Активных параметров на токен 104 млрд из 2,8 трлн общих: на каждом шаге работает небольшая часть экспертов, но в памяти при обычном запуске нужно держать все 2,8 трлн.

Главное архитектурное отличие от K3 — внимание. В K3 часть слоёв использовала линейное внимание KDA (Kimi Delta Attention), а часть — полное внимание Gated MLA. В K3.1 Pro 24 слоя полного внимания заменены на Gated DSA, вариант разреженного внимания DeepSeek: отдельный индексер выбирает для каждого запроса 2048 самых релевантных токенов, и только с ними считается полное внимание. Остальные 69 слоёв остались на KDA. Moonshot объясняет замену более эффективной работой с длинным контекстом, а пользователь Hacker News под ником blackcat201 в обсуждении релиза называет это самой недооценённой частью выпуска: по его оценке, такая замена должна резко снизить нагрузку на KV-кеш при инференсе.

Веса выложены сразу в MXFP4: 4-битные числа с плавающей точкой и общим 8-битным масштабом на каждую группу из 32 значений. Так сжаты веса маршрутизируемых экспертов; слои внимания, общие эксперты, плотный слой, маршрутизатор, выходная проекция и энкодер изображений из этой схемы исключены (список в config.json репозитория), и рецепт vLLM описывает остальные веса как BF16. Модель обучали с учётом квантования (quantization-aware training) с активациями в MXFP8, и отдельного чекпоинта в BF16 в репозитории нет.

Сколько железа нужно, чтобы запустить модель у себя

Через API Hugging Face мы посчитали размер репозитория: 112 файлов, из них 96 safetensors общим объёмом 1 561 293 160 568 байт, то есть 1,56 ТБ. В среднем выходит около 4,5 бита на параметр: эксперты в 4 битах, остальное в 16. Для сравнения, веса Kimi K3 в том же формате занимают те же 1,56 ТБ, Mistral Large 4 в FP8 — 1,06 ТБ, GLM-5.3 — 756 ГБ, DeepSeek V4.1 Flash — 510 ГБ.

Moonshot рекомендует три движка инференса: vLLM, SGLang и TokenSpeed. Рецепт vLLM описывает базовую конфигурацию как одну группу тензорного параллелизма на 8 GPU: либо две полки GB300 NVL4, либо один узел с восемью B300, либо один узел с восемью AMD MI355X. Нужен vLLM 0.34.0 или новее; для AMD и Vera Rubin подготовлены отдельные Docker-образы. Команда запуска из рецепта для двух узлов GB300:

			export GLOO_SOCKET_IFNAME=$IFACE_NAME
export NCCL_SOCKET_IFNAME=$IFACE_NAME
export VLLM_ENGINE_READY_TIMEOUT_S=3600

vllm serve moonshotai/Kimi-K3.1-Pro \
  --trust-remote-code \
  --tensor-parallel-size 8 \
  --nnodes 2 \
  --node-rank 0 \
  --master-addr $HEAD_IP \
  --load-format fastsafetensors \
  --enable-auto-tool-choice \
  --tool-call-parser kimi_k3 \
  --reasoning-parser kimi_k3
		

Кулинарная книга SGLang даёт представление о том, что нужно на более старом железе: SGLang собирается из отдельной ветки kimi-k3.1-day-0 или берётся готовым образом lmsysorg/sglang:dev-kimi-k31-pro. Проверенными помечены конфигурации на B300 и AMD MI350X/MI355X, а для других платформ даны пока не проверенные шаблоны: TP16 на B200 и GB200, TP16 с экспертным параллелизмом на 16 H200 и TP32 на 32 H100. Авторы SGLang предупреждают, что потолок одновременных запросов задаёт пул состояний KDA в FP32 — около 52 МБ на запрос на каждый GPU при TP8, — а кеш внимания и индексера занимает около 18,9 КБ на токен и шардируется между GPU только в режиме DCP. Рецепт vLLM со своей стороны приводит замер на восьми B300: режим DCP8 вмещает в кеш около 18,5 млн токенов суммарно по всем запросам (при FP8-кеше) против 2,6 млн при обычном TP8, окно одного запроса при этом остаётся 1 048 576 токенов, а декодирование замедляется на 7–25%.

На практике это значит, что самостоятельный запуск — задача для компаний с серверным кластером или арендой в облаке. Один из самых обсуждаемых комментариев в треде Hacker News (600 очков и 172 комментария на 5 ноября) формулирует это прямо: «Жаль, что для запуска, скорее всего, нужно что-то вроде узла с восемью B300», — пишет пользователь __jf__ и добавляет, что сам пока остаётся на Qwen3.8-27B в NVFP4 на двух RTX PRO 4000 (перевод редакции). Для остальных уже появились сторонние провайдеры: на OpenRouter модель отдают несколько хостеров, а пользователь minimaxir в том же треде замечает, что у Together, по-видимому, пропускная способность вдвое выше, чем у эндпоинта Moonshot, при той же цене. Официальный API стоит $2 за млн входных токенов, $10 за млн выходных и $0,20 за млн токенов из кеша.

Доля решённых задач в четырёх бенчмарках, %. Сводная таблица Moonshot: Kimi в Terminal-Bench и SWE Marathon оценивали в оболочке Claude Code, для других тестов методики различаются, часть чисел конкурентов взята из их отчётов и лидербордов. Источник данных: карточка модели Kimi K3.1 Pro; расчёт Tproger

Что показывают бенчмарки и кто их мерил

Таблица в карточке модели опубликована самой Moonshot и смешивает собственные замеры с заимствованными, и это важно держать в голове. В Terminal-Bench и SWE Marathon Kimi K3.1 Pro прогоняли в оболочке Claude Code в режиме максимального рассуждения, в других тестах методики различаются, а цифры конкурентов в основном взяты из их отчётов и публичных лидербордов. В Terminal-Bench 4.0 модель набрала 65,7% против 66,4% у Claude Opus 5.5, 58,2% у GPT-6 Astra, 57,9% у Claude Fable 5.1, 42,3% у DeepSeek V4.1 Flash и 41,8% у GLM-5.3. В SWE Marathon v1.1 — 51,7% против 46,3% у Opus 5.5, в HLE-Full с инструментами — 70,0% против 67,7%, в GPQA-Diamond — 94,2% против 93,9% у Opus и 96,1% у GPT-6 Astra.

В той же таблице есть и проигрыши: в Program Bench модель набрала 31,5 против 65,0 у Opus 5.5 (доля задач с результатом не ниже 95%), в HLE-Diamond — 39,4% против 60,9%, в тесте на эксплуатацию уязвимостей ExploitBench — 74,7 балла против 91,0 у Opus и 100 у GPT-6 Astra по метрике максимальных возможностей pass@5. Кибервозможности Moonshot ограничивала намеренно: для открытого выпуска материалы по кибербезопасности убрали из данных промежуточного обучения и из RL-сред, и на внутреннем тесте xdev-bench-hard итоговая модель решает 81,0% задач при pass@3 против 90,5% у чекпоинта без этих мер. В блоге компании это сформулировано как принцип: открытые веса не должны расширять передний край наступательных кибервозможностей.

Независимые замеры дают более сдержанную картину. Аналитическая компания Artificial Analysis 23 октября поставила K3.1 Pro на четвёртое место своего Intelligence Index (тогдашней версии) с 55 баллами и написала, что после публикации весов модель станет лидером среди открытых, а разрыв между открытыми и закрытыми моделями сократится с 12 до 3 баллов. Но 27 октября индекс обновили до версии 5 с новыми закрытыми тестами, и на странице модели на 5 ноября стоит уже 46 баллов и 22-е место из 69; среди моделей впереди — Gemini 4 Carbon с 60, Claude Opus 5.5 с 59 и GPT-6 Astra с 57. Artificial Analysis также отмечает, что через API Kimi модель медленная: 36 минут на задачу индекса против медианных 12,5 у моделей сопоставимой цены, при 33 токенах в секунду и $3,68 за задачу.

Artificial Analysis Intelligence Index v5.0.1, баллы выбранных моделей (Gemini — режим high, остальные — max), по данным лидерборда и страницы модели на 5 ноября 2026 года. Источник данных: Artificial Analysis; расчёт Tproger

Среди разработчиков мнения разделились. Часть комментаторов на Hacker News считает, что модель «заточена под бенчмарки» и ненамного обгоняет DeepSeek V4.1 Flash. Дэниел Маккиннон, исследователь на стыке ИИ и генетики из Gamow Labs, возражает результатами собственного теста RareBench, проведённого через API до выхода весов: «Заточена ли K3.1 под бенчмарки? Не думаю. Они набирают весьма сильные 38% на RareBench, ровно столько же, сколько GPT-6 Astra, и на 10 процентных пунктов больше, чем K3. <…> И всё это примерно за $250, то есть примерно за четверть цены закрытых флагманов» (перевод редакции). Саймон Уиллисон, создатель Datasette и автор блога об LLM, ещё 23 октября писал: «Впервые модель с открытыми (в скором времени) весами показала настолько высокий результат в сравнении с передовыми моделями» (перевод редакции).

Что разрешает лицензия и где проходит порог в $20 млн

Собственная лицензия Kimi K3.1-Pro начинается с текста в духе MIT: разрешено использовать, копировать, изменять, распространять, продавать копии, запускать, дообучать и создавать производные работы при сохранении уведомления об авторских правах и текста разрешения и при соблюдении законов. Дальше идут три условия.

• Если компания или её аффилированные лица ведут бизнес «модель как сервис» (дают третьим лицам доступ к инференсу или дообучению, например по API, с контролем над входами, параметрами или обучающими данными) и их совокупная выручка превышает $20 млн за любые 12 месяцев подряд, перед любым коммерческим использованием модели и производных нужен отдельный договор с Moonshot. Продукты, где возможности модели встроены только в конкретные функции, и простая переадресация запросов к чужому хостингу под определение не попадают.
• Если коммерческий продукт или сервис на базе модели имеет больше 100 млн активных пользователей в месяц или больше $20 млн месячной выручки, в его интерфейсе должно быть заметно указано название «Kimi K3.1-Pro».
• Оба требования не действуют при внутреннем использовании, когда модель, её ответы и возможности не предоставляются третьим лицам, а также при доступе через официальные продукты Moonshot и сертифицированных партнёров по инференсу.

Для сравнения: Mistral в лицензии Large 4 неделей раньше ввела похожее условие для бизнеса «модель как сервис». Лицензия Kimi не уточняет методику подсчёта совокупной выручки группы компаний и не касается экспортного контроля; как на публикацию весов повлияет проект китайского каталога технологий, ограниченных к экспорту, станет ясно после окончания его обсуждения 15 ноября.

Что делать разработчику

• Есть узел с восемью B300, MI355X или две полки GB300: берите рецепт vLLM (версия 0.34.0 и новее) или образ SGLang dev-kimi-k31-pro; заложите не меньше 1,56 ТБ на диск только под веса и не меньше трёх с половиной часов загрузки даже при стабильном гигабитном канале.
• Железо старше: SGLang описывает раскладки для 16 H200 и 32 H100, но на 5 ноября эти ячейки помечены как не проверенные; GGUF-версии для llama.cpp в официальном репозитории нет.
• Нужно просто попробовать: официальный API по адресу platform.kimi.ai совместим с форматами OpenAI и Anthropic, модель называется kimi-k3.1-pro, глубина рассуждения задаётся полем reasoning_effort со значениями low, high и max; для многошаговых диалогов Moonshot требует возвращать в messages полный ответ ассистента вместе с reasoning_content и tool_calls.
• Планируете продавать доступ к модели: сверьте выручку с порогом $20 млн за 12 месяцев и прочитайте лицензию целиком до запуска.

Независимых прогонов опубликованного чекпоинта в проверенных нами источниках нет: значительная часть результатов Kimi в карточке — замеры Moonshot, а Artificial Analysis тестировала модель через API. Следующие сигналы — появление K3.1 Pro в лидербордах с пометкой «открытые веса», первые квантованные сборки сообщества и проверка заявленной эффективности разреженного внимания на длинных контекстах независимыми командами. Мы следим за линейкой Moonshot с выхода Kimi K2.6 и обновим материал, когда появятся сторонние замеры.

Источники: карточка модели Kimi K3.1 Pro на Hugging Face, лицензия Kimi K3.1-Pro, анонс Moonshot в X, технический блог Moonshot о Kimi K3.1 Pro, рецепт vLLM, кулинарная книга SGLang, Artificial Analysis: страница модели, Artificial Analysis: разбор запуска, обсуждение на Hacker News

Изображение на обложке: Moonshot AI, кадр из анонса выпуска весов Kimi K3.1 Pro