Что запускать локально в октябре 2026: 6 открытых моделей от OCR на 76 МБ до серверных MoE

Локальный стек ИИ обновился сразу по пяти направлениям: кодинг-агенты, плотные «учителя» для дистилляции, модели для локального запуска на устройстве, мультиагентные системы и разбор документов. Ещё в начале года запуск приличной агентной модели дома означал кластер, теперь же часть моделей из подборки работает на одной видеокарте или даже на процессоре (как Indra OCR), а для крупных агентных моделей можно заранее рассчитать бюджет памяти под веса и KV-кэш. В сентябрьском обзоре открытых нейросетей мы уже видели эту тенденцию, за месяц она только закрепилась.

Собрали шесть открытых моделей октября 2026 года, у каждой своя ниша: от компактного OCR-трансформера Indra OCR (38 млн параметров, около 76 МБ) и кодовой модели Spark-X2.6-4B (около 3,5 ГБ в 4-битном кванте) до серверных MoE-моделей — Flint от Recursive для агентного кодинга, Nanbeige4.3-33B от команды рекрутинговой платформы BOSS Zhipin и Sage-A1.5 от Шанхайской лаборатории ИИ для научных мультиагентных задач; Nemotron 3.5 Parse от NVIDIA разбирает документы. Все модели — открытые веса, лицензии от Apache 2.0 до OpenMDW 1.1.

Flint: кодинг-агент на 2,5 млрд активных параметров

Flint — модель со смесью экспертов (MoE) для кодинг-агентов от Recursive: 39,8 млрд параметров всего и около 2,5 млрд активных на токен (обозначение 40B-A2.5B). Внутри 49 слоёв: два плотных и 47 MoE со 256 экспертами, из которых на токен выбираются шесть плюс всегда активный общий эксперт. Задокументированный контекст — 262 144 токена, знания — до июня 2026 года, лицензия Apache 2.0.

По замерам Recursive в релизных оценках Flint набирает 74,2% на SWE-bench Verified, 89,7% на SWE-bench Pro v2 и 54,9% на Terminal-Bench 2.1 (temperature 1,0, top_p 0,95, минимум пять попыток на задачу). Для сравнения уровня локальных сверстников команда публиковала график с NVFP4-чекпоинтом. BF16-версия весов занимает около 80 ГБ и рассчитана на одну B300 или H200 с готовой конфигурацией для SGLang, а Q4-кванты от Unsloth весят около 25,1 ГБ — это размер файла весов: полная потребность в видеопамяти выше за счёт KV-кэша и буферов активаций, растущих с длиной контекста. Такой квант помещается на карту с 32 ГБ памяти или в объединённую память Apple Silicon. Бесплатный API для проверки модели без скачивания — на OpenRouter.

Заявленные авторами результаты на SWE-Bench Pro: единый сопоставимый бенчмарк для кодовых моделей обзора. График: Tproger по карточкам моделей на Hugging Face

Инженерная деталь: 35 из 49 слоёв внимания работают со скользящим окном в 513 токенов и лишь 14 — с полным вниманием. Именно поэтому MoE с длинным контекстом не раздувает память под историю диалога. Рекомендованные настройки генерации — temperature 1,0, top_p 0,95, top_k 20, бюджет вывода для сложных задач не меньше 32 768 токенов с учётом рассуждений; при многоходовых диалогах сохраняйте поле reasoning_content в истории. Команда честно предупреждает: структурированная грамматика вызовов инструментов не мешает модели выбрать опасное действие — разрешения и границы исполнения должно обеспечивать приложение.

			# Flint: сервис на одной карте H200/B300 через готовую конфигурацию для SGLang из репозитория
hf download RecursiveSI/flint --local-dir flint   # BF16-чекпоинт, около 80 ГБ
docker build -t flint-sglang flint/sglang
docker run -d --name flint --gpus '"device=0"' --ipc=host -p 127.0.0.1:30000:30000 \
  -v "$PWD/flint:/model" -e MODEL=/model flint-sglang bash /model/sglang/serve_h200.sh
until curl -sf localhost:30000/health_generate >/dev/null; do sleep 15; done
python3 flint/sglang/example_client.py --base-url http://localhost:30000/v1
		

Nanbeige4.3-33B: плотный «учитель» и ловушка KV-кэша

Nanbeige4.3-33B — плотная (dense) модель на 33 млрд параметров от команды BOSS Zhipin. Стратегия серии описана прямо в карточке: сначала мощный «учитель»-агент, затем дистилляция его навыков в компактные модели вроде будущей Nanbeige4.3-3B. Языки — английский и китайский, лицензия Apache 2.0, контекст — 524 288 токенов (512 тыс.).

Бенчмарки в карточке: Nanbeige4.3-33B набирает 80,9 балла на Terminal-Bench 2.0 против 65,4 у Qwen3.8-27B, 92,8 против 86,2 на τ²-Bench, 76,9 против 72,8 на BFCL-V4, 90,1 против 88,5 на GPQA-Diamond и 89,2 против 86,4 на LiveCodeBench — все модели тестировали на одних гиперпараметрах и одном харнессе. У Qwen3.8-27B впереди две категории из таблицы карточки: SWE-Bench Pro (56,6 против 55,6) и GDPval (86,4 против 84,8). Для агентных сценариев команда рекомендует temperature 1,0, top_p 0,95 и бюджет вывода до 65 536 токенов, в шаблоне диалога — preserve_thinking=True для многоходовой работы с инструментами и tool_call_format=xml для вызовов.

Главная инженерная ловушка плотной архитектуры — KV-кэш на длинном контексте. Его размер определяется числом слоёв трансформера, числом KV-голов в механизме GQA (Grouped-Query Attention), размерностью головы и длиной контекста. По расчётам редакции по конфигурациям моделей, на 262 000 токенов в q8 кэш Nanbeige4.3-33B займёт около 26 ГБ против 8,6 ГБ у Qwen3.8-27B с группированным вниманием: чем меньше KV-голов, тем меньше кэш. В штатной конфигурации карточки Nanbeige4.3-33B авторы запускают BF16-веса (около 66 ГБ) с --tensor-parallel-size 4 на четырёх GPU и окном 262 144 токена — длинный контекст требует либо нескольких карт, либо урезанного окна.

			# Nanbeige4.3-33B через vLLM: плотная модель, четыре карты в тензорном параллелизме
vllm serve /path/to/Nanbeige4.3-33B \
  --host 0.0.0.0 --port 8000 \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.8 \
  --enable-auto-tool-choice \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder
		

Spark-X2.6-4B: агент с контекстом в 1 млн токенов для ноутбука

Spark-X2.6-4B — компактная модель на 4 млрд параметров для агентов, работающих на устройстве. Архитектура та же, что у Spark-X2.5-4B, весь прирост получен дообучением: по данным авторов, модель обходит сопоставимые открытые модели около 9 млрд параметров на своём наборе задач. Пример запуска с контекстом 1 048 576 токенов приведён авторами для SGLang (--context-length 1048576), для vLLM опубликован базовый запуск с --trust-remote-code, лицензия Apache 2.0.

Особенность серии — управляемый бюджет размышлений: три режима none, low и high позволяют балансировать качество рассуждений, задержку и стоимость инференса на лету. Файл весов в 4-битной квантизации занимает около 3,5 ГБ и запускается где угодно: llama.cpp (сборка b10828 или новее), Ollama (v0.34.1+), LM Studio, MLX для Apple Silicon, даже на Linux CPU. Рекомендованные настройки — temperature 1,0, top_p 0,95; для transformers нужна версия 4.57.1. Для серверного запуска авторы публикуют docker-команды: для SGLang — с --context-length 1048576, для vLLM — базовый запуск с --trust-remote-code.

			# Spark-X2.6-4B: три способа запуска, от ноутбука до сервера
ollama run SparkLLM/Spark-X2.6-4B          # Ollama v0.34.1 или новее
llama cli -m /path/to/Spark-X2.6-4B-GGUF   # llama.cpp сборки b10828+
spark-mlx-generate --device gpu --dtype bfloat16 \
  --model XHToken/Spark-X2.6-4B --prompt "Разбери этот лог" --max-tokens 512
		

Sage-A1.5: мультиагент для науки на одной карте с 24 ГБ

Sage-A1.5 — исследовательская мультиагентная модель Шанхайской лаборатории ИИ на базе Qwen3.6-35B-A3B: MoE на 35 млрд параметров с 3 млрд активных на токен. Три заявленные способности: оркестрация субагентов с изолированными контекстами через инструмент spawn_subagent, встроенная верификация — модель сама останавливается посреди траектории, перепроверяет, что установлено, и меняет направление в том же ходе, — и открытые научные исследования с проверяемыми артефактами. Техотчёт выложен на arXiv (2610.28578).

На GAIA — 95,1 балла, выше, чем у всех более крупных моделей в сравнении: Kimi-K3 и GLM-5.3 по 92,2, GPT-5.6-sol — 88,3 (результаты конкурентов взяты авторами из их официальных отчётов). Плюс 92,0 на XBench-DS-2510, 81,6 на IFBench, 90,0 на PinchBench и 54,5 на SWE-bench Pro; замеры на SWE-bench Verified и SWE-bench Pro выполнены командой в полностью офлайн-среде с харнессом mini-SWE-agent без веб-поиска, контекст 200 тыс. токенов. Нативный контекст 256 тыс. токенов расширяется до 512 тыс. через YaRN с фактором 2.0.

Файл весов в 4-битной квантизации (Q4-квант Unsloth) занимает около 21,7 ГБ, поэтому модель помещается на одну карту с 24 ГБ VRAM при умеренном контексте; полная потребность в видеопамяти зависит ещё и от KV-кэша с буферами активаций, растущих с длиной контекста. Режим верификации включают флагом chat_template_kwargs со значением true, при этом непустое системное сообщение обязательно — без него запрос вернёт ошибку 400. В vLLM есть режим --language-model-only, который выгружает визуальный энкодер и освобождает память под KV-кэш, а блок MTP предсказывает сразу несколько следующих токенов за один проход, ускоряя декодирование. Лицензия Apache 2.0.

			# Sage-A1.5 через vLLM: нативный контекст 262 144 токена
vllm serve InternScience/Sage-A1.5 \
  --port 8000 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder
# Режим верификации включают в запросе:
# extra_body={"chat_template_kwargs": {"verification": True}}
		

Разбор документов: Indra OCR на CPU и Nemotron 3.5 Parse на H100

Для оцифровки документов тяжёлый кластер не нужен. Indra OCR от Datalab — авторов marker и surya — это ансамбль ONNX-сетей суммарно на 38 млн параметров (около 76 МБ), работающий на CPU без PyTorch: 44 страницы в секунду на 32 ядрах AMD EPYC, в 15 раз быстрее Tesseract и в 10 раз быстрее текстовых моделей PaddleOCR на той же машине (замеры Datalab). Модель читает более 80 языков, включая русский и другие кириллические, распознаёт рукописный текст, сканы, повёрнутые до 45 градусов, и вертикальные колонки. На синтетическом стресс-бенчмарке MOSCAR с повёрнутыми и искажёнными строками авторы заявляют CER 0,89% против 3,02% у PaddleOCR-VL-1.5. На OmniParseBench — 66,7 балла, с включённой математикой 71,4 против 58,4 у полного пайплайна PP-StructureV3.

Для цифровых PDF Indra OCR читает текстовый слой напрямую в любом алфавите, сохраняя не меньше 98% символов по проверкам авторов, и прогоняет OCR только там, где слой битый. Ограничения описаны честно: сложные таблицы со слиянием ячеек и деградировавшие старые сканы — слабые места, на тестах рукописного текста OmniParseBench всего 25,2%. Лицензия — модифицированная OpenRAIL-M: бесплатно для исследований, личного использования и компаний с финансированием и годовой выручкой ниже $20 млн, но запрещено использование для создания сервисов, конкурирующих с коммерческим API Datalab.

			pip install indra-ocr
indra-ocr scan.pdf --out results/      # один .md на каждый файл, все ядра
indra-ocr scan.png --format json       # строки, боксы, блоки, уверенность
indra-ocr paper.pdf --mode ocr         # игнорировать текстовый слой PDF
		

Nemotron 3.5 Parse от NVIDIA (релиз 17 октября 2026 года) — 0,63 млрд параметров: визуальный энкодер C-RADIOv4-SO400M и 10-слойный mBART-декодер. На ParseBench в трёхпроходном режиме — 75,2 балла, наравне с 4-миллиардной LightOnOCR-3-4B (75,1); сравнение скорости — 386 страниц в секунду на H100 — провела сама NVIDIA, а метрики точности конкурентов взяты из их публикаций. Вместе с текстом модель возвращает семантический класс каждого блока, координаты его рамки и порядок чтения. Лицензия OpenMDW 1.1 разрешает коммерческое использование, для инференса нужны transformers 5.14.1 или vLLM >=0.25.0,<0.33 с пакетом nemotron-parse.

Таблица: чем шесть моделей отличаются друг от друга

Если карта на 24 ГБ — берите Q4-квант Sage-A1.5 (около 21,7 ГБ) с умеренным контекстом для мультиагентных задач; для Q4-кванта Flint с весами 25,1 ГБ потребуется карта от 32 ГБ VRAM или выгрузка части слоёв в системную ОЗУ. Для ноутбука без дискретной графики единственный полноценный агент — Spark-X2.6-4B с контекстом в миллион токенов. Под длинные диалоги и офисные задачи с документами плотная Nanbeige4.3-33B даст лучший балл на Terminal-Bench, но посчитайте память под KV-кэш до покупки карт. Тем, кто не хочет возиться с железом, подойдёт аренда: immers.cloud запускает публичные API для open-source нейросетей с оплатой за токены, а обзор моделей для кода в 2026 году помогает выбрать бэкенд для кодинг-агента.

Общие и активные параметры моделей обзора. График: Tproger по карточкам моделей на Hugging Face; у плотных моделей активные параметры равны общим

Квантование Q4 съедает от 3 до 5% качества относительно BF16 на агентных задачах — для критичных пайплайнов сверяйте результат на полном чекпоинте через бесплатный API. Заявленное в карточке окно контекста задаёт технический верхний предел, поэтому качество на длинных документах стоит проверять на своих данных. MTP и prefix caching ускоряют генерацию и обработку промпта, а память под KV-кэш экономят квантизация кэша (FP8/INT8) и архитектура внимания (GQA/MLA); для экономии памяти в vLLM у Sage-A1.5 также отключайте визуальный энкодер флагом --language-model-only.