Проект smolmaxxing запустил модель на 80 млрд параметров на телефоне
Открытый набор патчей к llama.cpp держит в памяти часть модели, а остальное читает с флеш-накопителя по мере надобности.
13 ноября 2026 года в открытом проекте smolmaxxing появилось третье устройство — смартфон OnePlus Nord CE 2 2022 года. На нём языковая модель Qwen3-Next-80B-A3B на 80 млрд параметров генерирует 2,6–3,1 токена в секунду. Раньше те же приёмы позволили запустить модель на 16 млрд параметров на ТВ-приставке Xiaomi и на iPad Air 2013 года, где программе доступно не больше 1 ГБ оперативной памяти. По словам авторов, все замеры сделаны прямо на устройствах и только на процессоре.
Технически smolmaxxing — это набор патчей к llama.cpp и готовые файлы моделей на Hugging Face. Идея простая: в оперативной памяти остаётся только часть весов, а остальные подгружаются с флеш-накопителя по мере надобности. Для разработчика это рабочий рецепт запуска крупных моделей на старом или дешёвом железе и заодно подробный разбор его пределов — скорости хватает для неспешного чата, но качество на длинных ответах пришлось чинить отдельно.
Ключевые выводы
- OnePlus Nord CE 2 (7,4 ГБ ОЗУ, свободно около 3 ГБ): Qwen3-Next-80B-A3B выдаёт 2,6–3,1 токена в секунду, Qwen3.6-35B-A3B — 4,9–5,7.
- Xiaomi TV Box S 3-го поколения (1,9 ГБ ОЗУ, доступно около 1 ГБ): Ling-mini-2.0 на 16 млрд параметров работает на 5,1 токена в секунду, Qwen3.5-2B — на 7,7.
- iPad Air 2013 года (1 ГБ ОЗУ): 1-битная Bonsai-1.7B выдаёт 24–26 токенов в секунду, Ling-mini-2.0 — 2,6 без смещения маршрутизации и 4,5 со смещением, которое стоит 8,5% перплексии.
- Приём работает на моделях MoE: на каждый токен нужна малая часть весов, остальное лежит на флеш-накопителе.
- Файлы для приставки и iPad открывает только пропатченный llama.cpp; код распространяется под лицензией MIT.
Какие модели и с какой скоростью работают на трёх устройствах?
На приставке и старом iPad в повседневной работе запускают модели на 1,7–2 млрд параметров (7,7 и 24–26 токенов в секунду), а максимум по размеру там — Ling-mini-2.0 на 16 млрд параметров: 5,1 токена в секунду на приставке и 2,6–4,5 на iPad. На телефоне основной стала 35B-модель (4,9–5,7 токена в секунду), а самая крупная 80B выдаёт 2,6–3,1 токена в секунду. Полная сводка из README проекта приведена в таблице ниже.
Результаты smolmaxxing на 16 ноября 2026 года
5 сервисов, 4 столбца
Листайте столбцы →Смахните влевоВсе 4 столбца
README проекта smolmaxxing, замеры авторов
Скорости на телефоне авторы замеряли в чате через llama-server на двух промптах по 160 токенов для каждой настройки при контексте 1024 токена, говорится в описании третьего устройства. Файл 80B-модели занимает 27,6 ГБ на накопителе при пиковом потреблении ОЗУ около 5 ГБ, а Qwen3.6-35B-A3B весит 12,3 ГБ.
Разброс у цифр на телефоне объясняется режимом маршрутизации. Нижняя граница получена при точном выборе экспертов самой моделью, верхняя — с небольшим смещением, когда роутеру чуть выгоднее брать экспертов, уже лежащих в памяти. Для 80B-модели такой компромисс ухудшает перплексию (метрику точности предсказания текста, где меньше — лучше) на 0,5%, для 35B-модели — на 0,7%. На Ling-mini-2.0 агрессивные настройки с приставки ускоряют телефон с 11,1 до 15,3 токена в секунду, но перплексия растёт на 17%.
Как модель на 27,6 ГБ работает при 3 ГБ свободной памяти?
В ОЗУ остаётся только часть весов, а остальные подгружаются с флеш-памяти на лету — это возможно за счёт схемы MoE. Слой в таких моделях состоит из множества «экспертов», но для каждого токена роутер выбирает лишь несколько из них: у Qwen3-Next-80B-A3B из 80 млрд параметров работают 3 млрд, у Ling-mini-2.0 — 1,4 млрд из 16.
Под эту особенность авторы написали «пейджер экспертов», который подробно описан в документации. Тензоры экспертов подменены пустой анонимной памятью. Как только роутер слоя сделал выбор, недостающие эксперты читаются с накопителя параллельными запросами в обход страничного кэша прямо по своим адресам, а пул недавно использованных экспертов каждого слоя остаётся в ОЗУ. Для остального кода llama.cpp тензор выглядит как обычный.
- Маршрутизация с учётом кэша: небольшой бонус экспертам, уже лежащим в памяти. На приставке он снизил долю промахов с 13% примерно до 2%.
- Упреждающая загрузка: роутер слоя L+2 применяется к состоянию слоя L и предсказывает, какие эксперты скоро понадобятся. По данным авторов, так удаётся загрузить около 60% промахов до того, как они потребуются.
- Урезанная выходная голова: у маленьких моделей оставляют 49–66 тыс. самых частых строк словаря, что экономит 0,2–0,5 ГБ и теряет около 1% английских токенов.
- Свои вычислительные ядра под конкретный процессор: 1-битное на таблицах подстановки, переупакованные 2-битные и троичные форматы для Cortex-A55 и версии для Apple A7 без инструкций dotprod.
- Потоковое чтение весов для плотных моделей, которые целиком в память не помещаются.
С плотными моделями этот приём не срабатывает, потому что на каждый токен нужны почти все веса. Например, Qwen3.5-9B на приставке читает с накопителя большую часть модели на каждом токене и выдаёт 0,27 токена в секунду. Авторы формулируют предел так: если модели нужно прочитать X МБ на токен, она не обгонит 278 / X токенов в секунду, где 278 МБ/с — потолок чтения накопителя приставки. Поэтому все большие модели в проекте построены по схеме MoE.
Чем за это приходится платить?
Платить приходится качеством генерации и удобством запуска, о чём авторы пишут сами. Эксперты больших моделей сжаты до 2 бит на вес. В выводах из экспериментов сказано, что такая модель получала нормальную перплексию, но зацикливалась в 12 длинных ответах из 13: связность ломалась примерно после 250–300 слов. Помог штраф за повторы 1,15 на окне в 256 токенов — с ним зацикливается 1 ответ из 13.
Кроме того, больше параметров не означает лучше. Моделью по умолчанию для приставки авторы называют Qwen3.5-2B в 4 битах — по их оценке, у неё лучший баланс скорости и качества. Ling-mini-2.0 на 16 млрд вдвое больше 8-миллиардной Moon-Beam, но работает не быстрее и на байт текста предсказывает хуже. На телефоне урезанная голова заставила 35B-модель написать «palinate» вместо «palindrome», и от этой экономии там отказались ценой 3% скорости.
Есть у подхода и практические ограничения:
- Телефон работает не автономно: модель запускается из оболочки adb по USB, а чат открывается на компьютере через проброс порта.
- При выключенном экране система ограничивает быстрые ядра телефона частотой 1,3 ГГц из 2,4; все цифры для телефона измерены именно так.
- Для iPad нужен джейлбрейк, а модели на 8 и 16 млрд годятся там лишь для отдельных сеансов чата — постоянно работающий сервер система выгружает.
- Перплексию у разных моделей авторы просят не сравнивать, так как у них разные токенизаторы.
- Скорость для 80B-модели уже исправляли. Сначала были опубликованы 2,8 и 3,2 токена в секунду, но в коде нашлась ошибка: пейджер считал, что на токен приходится 8 экспертов, а у Qwen3-Next их 10. После исправления получилось 2,6 и 3,1.
Все результаты получены самими авторами. Они приглашают присылать замеры с других устройств, однако независимых повторений в репозитории мы не нашли.
Как повторить на своём устройстве?
Проще всего начать с Android-телефона на 8 ГБ памяти, пишут авторы в README. Готовые файлы Qwen3.6-35B-A3B (12,3 ГБ) и Qwen3-Next-80B-A3B (27,6 ГБ, два файла, которые нужно склеить) лежат на Hugging Face. Их открывает и обычный llama.cpp, но заявленные скорости даёт только пропатченная сборка с пейджером экспертов. Сборка статических бинарных файлов и загрузка на устройство через adb описаны в инструкциях репозитория; root не нужен.
Файлы для приставки и iPad обычный llama.cpp не загрузит из-за урезанной головы. Патч для приставки и телефона сделан поверх llama.cpp 0.8.0; о переносе на вышедшую 13 ноября версию 1.0.0 авторы не пишут. При этом сами приёмы к одному устройству не привязаны, утверждают авторы: 1-битному ядру достаточно базового NEON, а чтение с накопителя работает на любом Linux- или Android-устройстве, у которого модель больше памяти.
В планах проекта — одноплатные компьютеры, роутеры и другие телефоны, хотя сроков авторы не называют. Полный журнал из 165 экспериментов, включая неудачные, лежит в репозитории в файле EXPERIMENT.md. Похожий подход для настольного компьютера, с собственными форматами квантования вместо подкачки экспертов, мы разбирали в новости о форке llama.cpp, уместившем DeepSeek-V4-Flash в 64 ГБ ОЗУ, а о выходе самого llama.cpp 1.0.0 читайте в отдельном материале.
Источники: GitHub: hyperionaidev/smolmaxxing, smolmaxxing: результаты на OnePlus Nord CE 2, smolmaxxing: результаты на Xiaomi TV Box S, smolmaxxing: результаты на iPad Air, smolmaxxing: как это работает, smolmaxxing: выводы из экспериментов
Изображение на обложке: hyperionaidev