Нецензурований API MiMo у 8-бітній точності

Більшість каталогів продають вам кількість параметрів. Це хибна цифра для вибору, бо кожну велику модель із відкритими вагами, яку ви реально можете собі дозволити, стиснули, щоб вона кудись помістилася. Чесне питання не «якою вона була до стиснення?», а «скільки від неї тут лишилося?». Ця стаття — про це питання й про модель у нашій лінійці, для якої відповідь звучить як майже вся.

01Що саме дає нецензурований API MiMo

Нецензурований API MiMo — це один ідентифікатор моделі, MiMo-V2.5-Pro-W8A16, доступний через три діалекти, які звертаються до тих самих ваг на нашому власному GPU-кластері: /v1/chat/completions, /v1/messages і /v1/responses. Усі три підтримують стримінг, виклик інструментів і міркування.

Нецензурований має тут вузьке значення: перед моделлю немає шару відмов, а її вивід не фільтрують. Ми не перехоплюємо, не класифікуємо й не переписуємо. Ви отримуєте власну поведінку фундаменту — а для моделі дослідницького класу з відкритими вагами це означає, що вона працює з дослідженнями безпеки, дорослою чи жорстокою художньою літературою, медичними та юридичними міркуваннями й тими запитами, від яких хостингові комерційні ендпоїнти відмовляються рефлекторно. Це професійний інструмент у межах нашої Політики відповідального використання, а не відсутність правил.

02Лінійка MiMo: ставка Xiaomi на передтренування навколо міркування

MiMo — не похідна від Llama з новою назвою; це окрема лінійка команди MiMo в Xiaomi, і її засадничу ідею варто зрозуміти до оцінювання моделі. Починається вона з MiMo-7B (30 квітня 2025 року, ліцензія MIT), у технічному звіті якої стверджують: більшість лабораторій вважає міркування задачею посттренування, яку можна прикрутити за допомогою RL, і що це навпаки. Xiaomi натомість перебудувала навколо міркування саме передтренування: тристадійна суміш на 25 трильйонах токенів, де друга стадія — приблизно 70% математики й коду, а третя вплітає синтетичні траси міркування й розширює контекст із 8K до 32K, — плюс ціль Multi-Token Prediction, яка водночас слугує головою для спекулятивного декодування.

Результатом стала базова модель на 7 млрд, яка поводилася як щось значно більше. MiMo-7B-Base набрала 32.9 на AIME 2024, тоді як Qwen2.5-7B — 10.1, Gemma-2-9B — 0.0, а Llama-3.1-8B — 0.3. Далі посттренування прогнало RL на 130 000 перевірюваних математичних і програмних задач із винагородою за код, керованою складністю тестів, що дозволило уникнути пастки розрідженої винагороди, яка дестабілізує RL на коді. Результат випередив o1-mini:

AIME 2025, цифри, повідомлені Xiaomi в технічному звіті MiMo (arXiv:2505.07608). MiMo-7B-RL також показала 95.8 на MATH-500 і 57.8 на LiveCodeBench v5.

Родина радше розширювалася, ніж дрейфувала: MiMo-VL-7B (червень 2025) поставила енкодер Qwen2.5-ViT на той самий бекбон, а грудень 2025 приніс MiMo-Audio-7B плюс перший MoE-представник, MiMo-V2-Flash (309 млрд загальних / 15 млрд активних, 27 трлн токенів, змішана точність FP8). MiMo-V2-Pro вийшла в березні 2026 приблизно на 1 трлн / 42 млрд активних із контекстом 1M, провівши перед тим кілька тижнів на OpenRouter під іменем «Hunter Alpha». MiMo-V2.5 і MiMo-V2.5-Pro вийшли разом 22 квітня 2026 року, обидві під MIT.

03Усередині MiMo-V2.5-Pro: як влаштований фундамент

За опублікованою карткою моделі Xiaomi, MiMo-V2.5-Pro — розріджена модель Mixture-of-Experts на 1.02 трильйона загальних параметрів і 42 мільярди активних на токен у 70 шарах — одному щільному й 69 MoE — із 384 маршрутизованими експертами, 8 на токен. Прихована розмірність — 6144, при вузькій проміжній розмірності MoE 2048.

Два рішення визначають, як вона відчувається в роботі. Стек уваги гібридний: 10 шарів повної уваги і 60 шарів зі змінним вікном розміром 128, плюс навчуваний зсув-«стік» уваги. Xiaomi повідомляє, що це скорочує обсяг KV-кешу майже у 7 разів проти суцільно глобальної уваги, зберігаючи якість на довгому контексті, — це різниця між вікном, довгим лише номінально, і вікном, яке ви можете дозволити собі заповнити. Модель також містить три шари Multi-Token Prediction, що дає декодеру спекулятивну голову.

Навчання йшло на 27 трильйонах токенів із рідною довжиною послідовності 32K у змішаній точності FP8 (E4M3), далі — контрольоване доналаштування, масштабне агентне RL і on-policy дистиляція від кількох учителів. Запам'ятайте деталь про FP8: це найсильніший окремий аргумент на користь того, щоб обслуговувати цей фундамент у 8 бітах.

Xiaomi повідомляє про 57.2% на SWE-bench Pro, 72.9 на τ3-Bench для роботи з інструментами і 48.0% на Humanity's Last Exam — це власні цифри виробника для нестиснутої моделі, наведені саме як такі.

Ми обслуговуємо вікно на 262 144 токени, а не повний 1M фундаменту, — контекст, який ми можемо гарантувати на швидкості, а не заголовкову цифру, що деградує під навантаженням.

04Що саме означає W8A16

Кожна модель у цій лінійці має суфікс квантування, який описує реальне вимірюване перетворення, а не маркетинговий рівень. Наші суфікси — 3BIT-REAP, W4A16-AUTOROUND-REAP і W8A16. MiMo-V2.5-Pro належить до третього.

Позначення ділиться надвоє. W8 — це точність ваг: кожен параметр зберігають як 8-бітне ціле замість 16-бітного числа з рухомою комою, зі спільним масштабним коефіцієнтом на невелику групу, щоб локальний динамічний діапазон кожної групи вцілів. A16 — це точність активацій: значення, що течуть між шарами під час інференсу, лишаються 16-бітними. Ваги стискають; арифметику — ні.

Ця друга половина робить тиху, але важливу роботу. Активації квантувати значно важче, ніж ваги: вони містять екстремальні викидні канали — кілька вимірів, чиї величини затьмарюють усе інше й несуть непропорційно велику частку поведінки моделі. Опустіть їх у низьку точність — і ви обріжете саме той сигнал, який був вам потрібен. Схеми з квантуванням лише ваг обходять цю проблему, лишаючи шлях активацій недоторканим, і саме тому серйозні роботи з квантування зійшлися на них.

Тож практичне питання звужується до одного: наскільки мало бітів витримує вага?

05W8A16 проти W4A16 і 3 бітів: куди насправді дівається втрата

Найбільше опубліковане дослідження на цю тему — праця Neural Magic і Red Hat «Give Me BF16 or Give Me Death»? Accuracy-Performance Trade-Offs in LLM Quantization: понад 500 000 оцінювань на родині Llama-3.1 у розмірах 8, 70 і 405 млрд. Їхній головний результат, у їхніх же цифрах:

Формат	Що стискають	Повідомлене відновлення проти BF16
W8A8-FP (8 біт)	Ваги + активації, з рухомою комою	~99.75% у середньому — «практично без втрат»
W8A8-INT (8 біт)	Ваги + активації, цілочисельно	99–100% на 8B/70B; 98.2–99.3% на 405B
W4A16-INT (4 біти)	Лише ваги	98–99.4% (8B); 98.6–99.8% (70B)

Цифри, повідомлені Neural Magic / Red Hat (arXiv:2411.02355) для моделей Llama-3.1, — форма компромісу, а не оцінка цієї моделі.

Якщо читати чесно, це схоже на аргумент проти того, щоб цим перейматися: 4 біти відновлюють 98–99%, то навіщо звертати увагу? Тому що це академічні бенчмарки з вибором відповіді — чи не найгірший доступний інструмент для виявлення шкоди від квантування. У питання бенчмарку є одна правильна відповідь, досяжна за один-два токени, а похибка квантування — це невеликий шум із приблизно нульовим середнім на кожному логіті; на короткому питанні з великим відривом цей шум просто поглинається.

А тепер напишіть 4 000 токенів технічного документа, утримайте голос на історії в 40 000 токенів або видайте JSON, який має пройти валідацію з першого разу. Той самий шум семплюють тисячі разів поспіль, і кожна вибірка зумовлює наступну. Режим збою тут — не хибна відповідь, а дрейф: слабшання хватки за інструкцію з першого ходу, персонаж, який перестає звучати як він сам десь на 3 000-му токені, закривальна дужка, яка так і не приходить.

Куди насправді йдуть біти

Похибка квантування розподіляється по здібностях моделі нерівномірно: вона концентрується в хвості. Поведінки з великою масою — граматична англійська, форма функції на Python, тисяча найпоширеніших фактів про світ — закодовані надлишково в багатьох вагах і переживають майже все. А точно налаштовані закутки розподілу ваг із малими величинами тримають рідкісне: точну сигнатуру маловідомого API, ритм конкретного автора, різницю між двома сусідніми CVE. Саме ці значення груба сітка округлює одне в одне.

Крок від 4 бітів до 3 — це місце, де плата перестає бути податком і стає урвищем. Закони масштабування k-бітного інференсу Деттмерса й Зеттлемоєра показали, що 4 біти — точка, яка максимізує zero-shot точність на біт пам'яті моделі, а нижче неї починає домінувати деградація. Чотири біти дають 16 рівнів на групу; три — 8. Ви вдвічі зменшуєте роздільність і без того грубої сітки, а похибка округлення на вагу приблизно подвоюється.

Арифметика, яка все вирішує

Порівняння, яке варто зробити, — арифметичне, а не бенчмаркове. Після стиснення виживає приблизно параметри × біти на параметр — інформаційний обсяг файлу ваг. Візьміть два гіпотетичні фундаменти однакової якості на параметр:

• Фундамент A: 400 млрд параметрів по 3 біти → приблизно 150 ГБ збереженої ваги.
• Фундамент B: 160 млрд параметрів по 8 бітів → приблизно 160 ГБ збереженої ваги.

За сирою кількістю параметрів A виграє два з половиною до одного — і саме цю цифру картка моделі виносить наперед. За збереженою інформацією вони рівні, а B до того ж має структурну перевагу: його ваги лежать на сітці, достатньо дрібній, щоб хвостова поведінка лишилася цілою, тоді як хвіст A заквантували в основну масу. A знає більше речей; B знає те, що знає, чіткіше. Для довгої генерації, точного форматування, стилістичного контролю й сумлінного дотримання довгого контексту беріть B.

Ілюстративна арифметика, а не бенчмарк: вона показує, чому «більший фундамент» і «краще обслуговувана модель» — різні твердження.

06Чому 27 трильйонів навчальних токенів роблять агресивне квантування гіршим

Другий, менш інтуїтивний результат стосується цього фундаменту напряму. Стаття Кумара та співавторів Scaling Laws for Precision (ICLR 2025) показує, що чим більше даних бачила модель під час навчання, тим більше шкоди їй завдає посттренувальне квантування. Низька точність зменшує ефективну кількість параметрів моделі, і ця деградація росте разом із засвоєним обсягом даних передтренування — настільки, що додаткові дані передтренування можуть виявитися шкідливими в підсумку, якщо ви плануєте агресивно квантувати, бо ви записуєте тонку структуру, яку сітка зітре.

Модель, навчена на 5 трлн токенів, має грубу, надлишкову структуру ваг і запас міцності. Модель, навчена на 27 трлн токенів — бюджет MiMo-V2.5-Pro, — витратила ці додаткові дані на записування тонших розрізнень у точніші значення ваг, а це саме те, чого 3-бітна сітка представити не може.

І є ще факт про FP8 із розділу 03 — найчистіший аргумент у цій статті. MiMo-V2.5-Pro передтренували у змішаній точності FP8. Її ваги від самого початку формував оптимізатор, що працював приблизно з вісьмома бітами точності. Тож обслуговування у 8-бітних вагах — не втратна доробка, накинута на 16-бітну модель, а майже повернення ваг у той числовий режим, у якому їх вивчили. Нижче восьмого біта майже немає тонкої структури, яку можна втратити. Про ті самі ваги, втиснуті в три біти, цього не скажеш.

07REAP: чому проріджування експертів — інший вид втрати, ніж округлення

Два з трьох рівнів мають суфікс REAP — категорично іншу операцію, ніж квантування. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) — це одноразове стиснення для розріджених MoE-моделей: воно оцінює кожного експерта за значеннями воріт маршрутизатора й нормою активацій експерта, а потім видаляє тих, хто набрав найменше. Cerebras повідомляє про майже безвтратні результати на генерації коду й виклику інструментів навіть при 50% проріджених експертів.

Ми використовуємо REAP саме з тієї причини, задля якої він існує: на найбільших фундаментах він робить їх придатними до обслуговування. Але зверніть увагу на різницю в природі. Квантування трохи розмиває кожну вагу; проріджування видаляє експертів повністю. Якщо ваше навантаження активно маршрутизується до здатності, що жила в рідко обираному експерті — маловживана мова програмування, спеціалізований словник, — вона не погіршена. Її немає, і жодне промптування її не поверне. Середні показники лишаються чудовими; ваш хвостовий випадок — можливо, ні.

MiMo-V2.5-Pro · W8A16 не має суфікса REAP. Усі 384 експерти на місці, і маршрутизатор обирає з повного набору, з яким фундамент навчали.

Рівень	Бітів на вагу	Експерти	Чим ви жертвуєте
W8A16	8	Усі на місці	Нічим структурним. Це рівень точності.
W4A16-AUTOROUND-REAP	4	Проріджені	Тонкою деталізацією ваг і малонавантаженими експертами — в обмін на значно більший фундамент у тій самій ціновій категорії.
3BIT-REAP	3	Проріджені	Суттєвою роздільністю ваг і малонавантаженими експертами — ціна за те, щоб найбільші фундаменти працювали швидко.

Середній рівень заслуговує на справедливий розгляд. AutoRound — це не наївне округлення: метод Intel (arXiv:2309.05516) використовує знаковий градієнтний спуск приблизно за 200 кроків, щоб налаштувати рішення про округлення й діапазон обрізання для кожної групи ваг, і його описують як майже безвтратний на 4 бітах у більшості налаштувань, кращий за GPTQ, AWQ, HQQ та OmniQuant у більшості перевірених конфігурацій. Модель W4A16-AUTOROUND — справді хороша 4-бітна модель. Але все одно 4-бітна.

08Кому варто брати 8-бітний рівень, а кому — ні

MiMo-V2.5-Pro · W8A16 стоїть за мінімальною ціною всієї лінійки — $0.50 вхід / $2.00 вихід за мільйон токенів, у тій самій категорії, що й 4-бітні моделі початкового рівня, і приблизно вчетверо дешевше на вході за найдорожчу модель, яку ми обслуговуємо. Ви не переплачуєте за точність; ви обираєте іншу вісь того самого бюджету.

Беріть її, коли

• Робота полягає в довжині виводу. Довгі технічні тексти, художня проза завдовжки з розділ, повні проходи документації — кожен згенерований токен додає шуму від стиснення.
• Важливі голос і послідовність. Робота з персонажем, тон бренду, регістр, утриманий на всій довгій сесії. Стиль живе у хвості, а хвіст груба квантизація з'їдає першим.
• Структурований вивід має пройти валідацію з першого разу. Модель підтримує json_schema і response_format; дотримання схеми — властивість точності, а кожна уникнута повторна спроба — це зекономлені гроші й затримка.
• Ви заповнюєте контекст. Дотримуватися інструкції на 200 000-му токені важче, ніж на 2 000-му, і це погіршується разом із точністю ваг — як і довга траса міркування, де помилки накопичуються так само.
• Робота нецензурована за своєю природою. Дослідження безпеки, red-teaming, нефільтрована художня література, чутливий медичний чи юридичний аналіз — там, де ухильна відповідь гірша за жодну.

Беріть щось інше, коли

• Вам потрібен зір. Ця модель суто текстова; сусідня MiMo-V2.5 · W8A16 працює із зором за тією самою ціною й на тому самому рівні.
• Вам потрібні найширші знання про світ на коротких запитах. Це саме той режим, де додаткові параметри значно більшого 3-бітного фундаменту виграють, а шкода від квантування майже не проявляється.
• Ваше навантаження — масова коротка класифікація. Там шкода від квантування майже непомітна — беріть те, що найшвидше.

09Виклик нецензурованого API MiMo

Якщо ваш код працює з OpenAI SDK, уся міграція зводиться до зміни базового URL і ідентифікатора моделі:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages і /v1/responses приймають той самий ідентифікатор і ті самі можливості. Довідник параметрів, схеми виклику інструментів, приклади структурованого виводу й живий пісочник — у документації API Shannon AI.

Можливість	MiMo-V2.5-Pro · W8A16
Контекстне вікно	262 144 токени
Макс. вивід на запит	16 384 токени
Стримінг	Так — усі три діалекти
Виклик інструментів	Так
Міркування / reasoning_effort	Так
Структурований вивід json_schema	Так
response_format	Так
Зір / вхідні зображення	Ні — візьміть MiMo-V2.5
Шар відмов / фільтр виводу	Немає
Ціна за 1 млн токенів	$0.50 вхід / $2.00 вихід

10Часті запитання

---

Джерела: технічний звіт MiMo, arXiv:2505.07608 · картка моделі MiMo-V2.5-Pro (Xiaomi) · «Give Me BF16 or Give Me Death»?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · закони масштабування k-бітного інференсу, arXiv:2212.09720 · Scaling Laws for Precision, Кумар та ін., ICLR 2025. Усі бенчмаркові цифри наведено так, як їх повідомили їхні автори. Shannon AI керує Shannon Lab LLC, Нью-Мексико, США.