MiMo API без цензуры в 8-битной точности

Большинство каталогов продаёт вам число параметров. Это неверный показатель для выбора, потому что каждая крупная модель с открытыми весами, которую вы реально можете себе позволить, была сжата, чтобы куда-то поместиться. Честный вопрос не «насколько большой она была до сжатия?», а «сколько от неё ещё осталось?». Эта статья — про такой вопрос и про модель в нашей линейке, где ответ звучит как почти всё.

01Что на самом деле даёт MiMo API без цензуры

MiMo API без цензуры — это один идентификатор модели, MiMo-V2.5-Pro-W8A16, доступный через три диалекта, которые обращаются к одним и тем же весам на нашем собственном GPU-кластере: /v1/chat/completions, /v1/messages и /v1/responses. Все три поддерживают стриминг, вызов инструментов и рассуждение.

Без цензуры здесь имеет узкий смысл: перед моделью нет слоя отказов, а на её вывод нет фильтра. Мы не перехватываем, не классифицируем и не переписываем. Вы получаете собственное поведение основы — а для исследовательской модели с открытыми весами это значит, что она берётся за исследования безопасности, взрослую или жестокую художественную прозу, медицинские и юридические рассуждения и за те запросы, которые размещённые коммерческие эндпойнты отклоняют рефлекторно. Это профессиональный инструмент в рамках нашей Политики ответственного использования, а не отсутствие правил.

02Линейка MiMo: ставка Xiaomi на предобучение с упором на рассуждение

MiMo — не производная от Llama под новым именем; это отдельная линейка от команды MiMo в Xiaomi, и её исходная идея важна до того, как вы начнёте оценивать модель. Она открывается моделью MiMo-7B (30 апреля 2025 года, лицензия MIT), в техническом отчёте которой утверждается, что большинство лабораторий считает рассуждение задачей пост-обучения, которую надо прикрутить с помощью RL, и что это устроено задом наперёд. Вместо этого Xiaomi перестроила вокруг рассуждения само предобучение: трёхэтапная смесь на 25 триллионах токенов, где второй этап примерно на 70% состоит из математики и кода, а третий добавляет синтетические трассы рассуждений, расширяя контекст с 8K до 32K, — плюс цель Multi-Token Prediction, которая заодно служит головой спекулятивного декодирования.

Результатом стала базовая модель на 7B, которая вела себя как что-то гораздо более крупное. MiMo-7B-Base набрала 32.9 на AIME 2024, тогда как Qwen2.5-7B набрала 10.1, Gemma-2-9B — 0.0, а Llama-3.1-8B — 0.3. Затем на пост-обучении был запущен RL по 130 000 проверяемых задач по математике и коду с наградой за код, управляемой сложностью тестов, что позволило уйти из ловушки разреженной награды, дестабилизирующей RL на коде. Результат оказался впереди o1-mini:

AIME 2025, цифры Xiaomi из технического отчёта MiMo (arXiv:2505.07608). MiMo-7B-RL также показала 95.8 на MATH-500 и 57.8 на LiveCodeBench v5.

Семейство расширялось, а не дрейфовало: MiMo-VL-7B (июнь 2025) поставила энкодер Qwen2.5-ViT на тот же костяк, а декабрь 2025 принёс MiMo-Audio-7B плюс первую запись MoE — MiMo-V2-Flash (309B всего / 15B активных, 27T токенов, смешанная точность FP8). MiMo-V2-Pro вышла в марте 2026 примерно на 1T / 42B активных с контекстом 1M, после нескольких недель на OpenRouter под именем «Hunter Alpha». MiMo-V2.5 и MiMo-V2.5-Pro вышли вместе 22 апреля 2026 года, обе под MIT.

03Внутри MiMo-V2.5-Pro: как устроена основа

Согласно опубликованной карточке модели Xiaomi, MiMo-V2.5-Pro — разреженная модель Mixture-of-Experts с 1,02 триллиона всех параметров и 42 миллиардами активных на токен на 70 слоях — один плотный, 69 MoE — и 384 маршрутизируемыми экспертами, 8 на токен. Размер скрытого состояния — 6144, при узком промежуточном размере MoE в 2048.

Два решения определяют, как она ощущается в работе. Стек внимания гибридный: 10 слоёв полного внимания и 60 слоёв со скользящим окном шириной 128, плюс обучаемое смещение attention-sink. Xiaomi сообщает, что это сокращает объём KV-кэша почти в 7 раз по сравнению с полностью глобальным вниманием, удерживая при этом качество на длинном контексте — разница между окном, которое длинное лишь номинально, и тем, которое вы можете позволить себе заполнить. Также поставляются три слоя Multi-Token Prediction, дающие декодеру спекулятивную голову.

Обучение шло на 27 триллионах токенов при нативной длине последовательности 32K в смешанной точности FP8 (E4M3), затем — супервизорная донастройка, крупномасштабный агентный RL и on-policy дистилляция от нескольких учителей. Запомните эту деталь про FP8; это самый сильный отдельный аргумент в пользу того, чтобы обслуживать эту основу в 8 битах.

Xiaomi сообщает о 57.2% на SWE-bench Pro, 72.9 на τ3-Bench для работы с инструментами и 48.0% на Humanity's Last Exam — это собственные цифры вендора на несжатой модели, приводимые именно как таковые.

Мы обслуживаем окно в 262 144 токена, а не полный 1M основы — контекст, который мы можем гарантировать на скорости, а не заголовочное число, деградирующее под нагрузкой.

04Что именно означает W8A16

Каждая модель в этом каталоге несёт суффикс квантизации, описывающий реальное измеримое преобразование, а не маркетинговый уровень. У нас это 3BIT-REAP, W4A16-AUTOROUND-REAP и W8A16. MiMo-V2.5-Pro — третий вариант.

Обозначение делится надвое. W8 — точность весов: каждый параметр хранится как 8-битное целое вместо 16-битного числа с плавающей точкой, с общим масштабным коэффициентом на небольшую группу, чтобы локальный динамический диапазон каждой группы сохранился. A16 — точность активаций: значения, текущие между слоями при выводе, остаются в 16 битах. Веса сжимаются; арифметика — нет.

Эта вторая половина делает тихую, но важную работу. Активации квантовать гораздо тяжелее, чем веса: в них есть экстремальные выбросы по каналам — несколько измерений, чьи величины затмевают всё остальное и несут непропорционально большую долю поведения модели. Опустите их в низкую точность — и вы обрежете ровно тот сигнал, который был нужен. Схемы «только веса» обходят проблему, не трогая путь активаций, и именно поэтому серьёзные работы по квантизации сошлись на них.

Так что практический вопрос сужается до одного: насколько мало бит может вынести вес?

05W8A16 против W4A16 против 3 бит: куда на самом деле уходят потери

Крупнейшее опубликованное исследование по этой теме — работа Neural Magic и Red Hat «Give Me BF16 or Give Me Death»? Accuracy-Performance Trade-Offs in LLM Quantization — более 500 000 замеров по семейству Llama-3.1 на 8B, 70B и 405B. Их основной результат, в их числах:

Формат	Что сжимается	Заявленное восстановление относительно BF16
W8A8-FP (8 бит)	Веса + активации, float	~99.75% в среднем — «практически без потерь»
W8A8-INT (8 бит)	Веса + активации, целые	99–100% на 8B/70B; 98.2–99.3% на 405B
W4A16-INT (4 бита)	Только веса	98–99.4% (8B); 98.6–99.8% (70B)

Цифры, приведённые Neural Magic / Red Hat (arXiv:2411.02355) на моделях Llama-3.1 — форма компромисса, а не результат этой модели.

Если читать честно, это выглядит как аргумент против того, чтобы вообще беспокоиться: 4 бита восстанавливают 98–99%, зачем тогда обращать внимание? Затем, что это академические бенчмарки с выбором ответа, едва ли не худший доступный инструмент для обнаружения ущерба от квантизации. У вопроса бенчмарка есть один правильный ответ, достижимый за один-два токена, а ошибка квантизации — это малый, примерно нулевой в среднем шум на каждом логите; на коротком вопросе с широким запасом этот шум поглощается.

А теперь напишите 4 000 токенов технического документа, удержите голос на протяжении истории в 40 000 токенов или выдайте JSON, который обязан пройти валидацию с первого раза. Тот же шум сэмплируется тысячи раз подряд, и каждый сэмпл обусловливает следующий. Режим отказа тут — не неверный ответ, а дрейф: ослабевающая хватка за инструкцию с первого хода, персонаж, который перестаёт звучать как он сам где-то к 3 000-му токену, закрывающая скобка, которая так и не приходит.

Куда на самом деле уходят биты

Ошибка квантизации распределяется по способностям модели неравномерно; она концентрируется в хвосте. Поведение с большой массой — грамматичный английский, форма функции на Python, тысяча самых частых фактов о мире — закодировано избыточно во множестве весов и переживает почти всё. Точно настроенные уголки распределения весов с малой амплитудой хранят редкое: точную сигнатуру малоизвестного API, ритм конкретного автора, разницу между двумя соседними CVE. Именно эти значения грубая сетка округляет друг в друга.

Шаг от 4 бит к 3 — это место, где происходящее перестаёт быть налогом и становится обрывом. Законы масштабирования k-битного вывода Деттмерса и Цеттлемойера показали, что 4 бита — это точка, максимизирующая zero-shot точность на бит памяти модели, а ниже неё начинает доминировать деградация. Четыре бита дают 16 уровней на группу; три — 8. Вы вдвое снижаете разрешение и без того грубой сетки, а ошибка округления на вес примерно удваивается.

Арифметика, которая всё решает

Сравнение, которое стоит проводить, — арифметическое, а не бенчмарковое. Сжатие переживает примерно число параметров × число бит на параметр — объём файла весов, несущий информацию. Возьмём две гипотетические основы равного качества на параметр:

• Основа A: 400B параметров по 3 бита → примерно 150 ГБ сохранённого веса.
• Основа B: 160B параметров по 8 бит → примерно 160 ГБ сохранённого веса.

По голому числу параметров A выигрывает два с половиной к одному — это то число, с которого начинается карточка модели. По сохранённой информации они равнозначны, и у B есть вдобавок структурное преимущество: её веса лежат на сетке, достаточно тонкой, чтобы хвостовое поведение осталось целым, тогда как хвост A был вквантован в основную массу. A знает больше вещей; B знает то, что знает, чётче. Для длинной генерации, точного форматирования, стилистического контроля и добросовестного следования длинному контексту берите B.

Иллюстративная арифметика, а не бенчмарк: она показывает, почему «более крупная основа» и «лучше обслуживаемая модель» — разные утверждения.

06Почему 27 триллионов обучающих токенов делают агрессивную квантизацию хуже

Второй, менее интуитивный результат напрямую касается этой основы. Статья Kumar et al. на ICLR 2025 Scaling Laws for Precision показывает, что чем больше данных видела модель при обучении, тем больший ущерб наносит ей пост-обучающая квантизация. Низкая точность снижает эффективное число параметров модели, и эта деградация растёт вместе с объёмом усвоенных данных предобучения — настолько, что дополнительные данные предобучения могут оказаться в итоге вредны, если вы собираетесь агрессивно квантовать, ведь вы закладываете тонкую структуру, которую сетка сотрёт.

Модель, обученная на 5T токенов, имеет грубую, избыточную структуру весов и запас прочности. Модель, обученная на 27T токенов — бюджет MiMo-V2.5-Pro, — потратила эти дополнительные данные на то, чтобы записать более тонкие различия в более точные значения весов, а это ровно то, чего 3-битная сетка представить не может.

А ещё есть факт про FP8 из раздела 03 — самый чистый аргумент в этой статье. MiMo-V2.5-Pro была предобучена в смешанной точности FP8. Её веса с самого начала формировались оптимизатором, работавшим примерно с восемью битами точности. Поэтому обслуживание её с 8-битными весами — не запоздалая потеря, наложенная на 16-битную модель, а почти возвращение весов в тот числовой режим, в котором они и были выучены. Ниже восьмого бита теряться почти нечему. Про те же веса, продавленные до трёх бит, этого сказать нельзя.

07REAP: почему отсечение экспертов — иной род потерь, чем округление

Два из трёх уровней несут суффикс REAP — категорически иную операцию, чем квантизация. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) — одношаговое сжатие для разреженных MoE-моделей: оно оценивает каждого эксперта по значениям гейта маршрутизатора и норме активаций эксперта, а затем удаляет тех, кто набрал меньше всех. Cerebras сообщает о практически безпотерьных результатах на генерации кода и вызове инструментов даже при отсечении 50% экспертов.

Мы используем REAP ровно по той причине, по которой он существует: на самых крупных основах именно он делает их пригодными к обслуживанию. Но обратите внимание на разницу в природе. Квантизация размывает каждый вес немного; отсечение удаляет экспертов целиком. Если ваша нагрузка активно маршрутизируется на способность, жившую в редко выбираемом эксперте — второстепенный язык программирования, узкоспециальная лексика, — она не деградировала. Её нет, и никакой промптинг её не вернёт. Средние показатели остаются отличными; ваш хвостовой случай — может быть, нет.

У MiMo-V2.5-Pro · W8A16 нет суффикса REAP. Все 384 эксперта на месте, и маршрутизатор выбирает из полного набора, с которым основа обучалась.

Уровень	Бит на вес	Эксперты	Чем вы жертвуете
W8A16	8	Все на месте	Ничем структурным. Уровень точности.
W4A16-AUTOROUND-REAP	4	Отсечены	Тонкой детализацией весов плюс малозагруженными экспертами — в обмен на гораздо более крупную основу в той же ценовой полосе.
3BIT-REAP	3	Отсечены	Существенным разрешением весов плюс малозагруженными экспертами — цена запуска самых крупных основ на скорости.

Средний уровень заслуживает честного разбора. AutoRound — не наивное округление: метод Intel (arXiv:2309.05516) использует знаковый градиентный спуск примерно за 200 шагов, чтобы настроить решения об округлении и диапазон отсечения для каждой группы весов, и признан практически безпотерьным на 4 битах в большинстве сценариев, обходя GPTQ, AWQ, HQQ и OmniQuant в большинстве протестированных конфигураций. Модель W4A16-AUTOROUND — по-настоящему хорошая 4-битная модель. Но она всё ещё 4-битная.

08Кому стоит выбрать 8-битный уровень — и кому не стоит

MiMo-V2.5-Pro · W8A16 стоит по минимальной цене всего каталога — $0.50 вход / $2.00 выход за миллион токенов, та же полоса, что у начальных 4-битных моделей, и примерно четверть входной цены самой дорогой модели, которую мы обслуживаем. Вы не платите премию за точность; вы выбираете другую ось того же бюджета.

Выбирайте её, когда

• Работа — это длина вывода. Длинные технические тексты, проза объёмом с главу, полные проходы по документации — каждый сгенерированный токен добавляет к накоплению шума сжатия.
• Важны голос и связность. Работа с персонажами, тон бренда, регистр, удерживаемый на протяжении длинной сессии. Стиль живёт в хвосте, а хвост — то, что грубая квантизация съедает первым.
• Структурированный вывод обязан пройти валидацию с первого раза. Модель поддерживает json_schema и response_format; следование схеме — свойство точности, и каждая избегнутая повторная попытка экономит деньги и задержку.
• Вы заполняете контекст. Следовать инструкции на 200 000-м токене труднее, чем на 2 000-м, и это ухудшается вместе с точностью весов — как и длинная трасса рассуждений, где ошибки накапливаются тем же образом.
• Работа по своей природе без цензуры. Исследования безопасности, red-teaming, нефильтрованная проза, чувствительный медицинский или юридический анализ — там, где уклончивый ответ хуже, чем никакой.

Выбирайте другое, когда

• Вам нужно зрение. Эта модель работает только с текстом; её родственница MiMo-V2.5 · W8A16 поддерживает зрение по той же цене и на том же уровне.
• Вам нужны самые широкие знания о мире на коротких запросах. Это как раз тот режим, где выигрывают дополнительные параметры куда более крупной 3-битной основы, а ущерб от квантизации почти не проявляется.
• Ваша нагрузка — массовая короткая классификация. Там ущерб от квантизации практически незаметен — берите то, что быстрее.

09Как вызывать MiMo API без цензуры

Если ваш код нацелен на OpenAI SDK, вся миграция сводится к смене базового URL и идентификатора модели:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages и /v1/responses принимают тот же идентификатор и те же возможности. Справочник параметров, схемы вызова инструментов, примеры структурированного вывода и живая песочница — в документации API Shannon AI.

Возможность	MiMo-V2.5-Pro · W8A16
Контекстное окно	262 144 токена
Макс. вывод на запрос	16 384 токена
Стриминг	Да — все три диалекта
Вызов инструментов	Да
Рассуждение / reasoning_effort	Да
Структурированный вывод json_schema	Да
response_format	Да
Зрение / ввод изображений	Нет — используйте MiMo-V2.5
Слой отказов / фильтр вывода	Нет
Цена за 1M токенов	$0.50 вход / $2.00 выход

10Часто задаваемые вопросы

---

Источники: технический отчёт MiMo, arXiv:2505.07608 · карточка модели MiMo-V2.5-Pro (Xiaomi) · «Give Me BF16 or Give Me Death»?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · законы масштабирования k-битного вывода, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Все цифры бенчмарков приведены так, как их сообщают их авторы. Shannon AI — продукт Shannon Lab LLC, Нью-Мексико, США.