Нецензуриран MiMo API при 8-битова вярност

Повечето каталози ви продават брой параметри. Това е грешното число, по което да пазарувате, защото всеки голям модел с отворени тегла, който реално можете да си позволите, е компресиран, за да се побере някъде. Честният въпрос не е „колко голям беше, преди да го стиснат?“, а „колко от него е още тук?“. Тази статия е за този въпрос и за модела в редицата ни, при който отговорът е почти всичко от него.

01Какво реално получавате от нецензурирания MiMo API

Нецензурираният MiMo API е едно име на модел, MiMo-V2.5-Pro-W8A16, достъпно през три диалекта, които адресират едни и същи тегла върху собствения ни GPU клъстер: /v1/chat/completions, /v1/messages и /v1/responses. И трите поточат и поддържат извикване на инструменти и разсъждение.

Нецензуриран има тук тясно значение: няма слой за откази пред модела и няма филтър върху изхода му. Не прихващаме, не класифицираме и не пренаписваме. Получавате собственото поведение на основата — което при модел с отворени тегла от изследователско ниво означава, че той се захваща с изследване на сигурността, с художествена литература за възрастни или с насилие, с медицинско и правно разсъждение, както и със заявките, които хостнатите комерсиални крайни точки отказват рефлекторно. Това е професионален инструмент под нашата Политика за отговорна употреба, а не отсъствие на правила.

02Родословието MiMo: залогът на Xiaomi върху предобучение, ориентирано към разсъждение

MiMo не е производна на Llama с ново име; това е отделно родословие от екипа MiMo на Xiaomi, а основополагащата му идея има значение, преди да оцените модела. То започва с MiMo-7B (30 април 2025 г., лиценз MIT), чийто технически доклад твърди, че повечето лаборатории третират разсъждението като проблем за следобучението, който да се закачи с RL, и че това е обърнато наопаки. Xiaomi вместо това преструктурира предобучението около него: тристепенна смес върху 25 трилиона токена, като втората степен върви с около 70% математика и код, а третата вплита синтетични следи от разсъждение, докато разширява контекста от 8K до 32K — плюс цел Multi-Token Prediction, която служи и като глава за спекулативно декодиране.

Резултатът беше базов модел от 7B, който се държеше като нещо доста по-голямо. MiMo-7B-Base постигна 32.9 на AIME 2024, където Qwen2.5-7B постигна 10.1, Gemma-2-9B 0.0, а Llama-3.1-8B 0.3. След това следобучението пусна RL върху 130 000 проверими задачи по математика и код с награда за код, водена от трудността на тестовете, избягвайки капана на разредената награда, който дестабилизира RL върху код. Резултатът излезе пред o1-mini:

AIME 2025, числа, докладвани от Xiaomi в техническия доклад за MiMo (arXiv:2505.07608). MiMo-7B-RL докладва също 95.8 на MATH-500 и 57.8 на LiveCodeBench v5.

Семейството се разшири, вместо да се отклони: MiMo-VL-7B (юни 2025 г.) сложи енкодер Qwen2.5-ViT върху същия гръбнак, а декември 2025 г. донесе MiMo-Audio-7B плюс първата MoE позиция, MiMo-V2-Flash (309B общо / 15B активни, 27T токена, смесена точност FP8). MiMo-V2-Pro последва през март 2026 г. с около 1T / 42B активни и контекст от 1M, след седмици в OpenRouter под името „Hunter Alpha“. MiMo-V2.5 и MiMo-V2.5-Pro излязоха заедно на 22 април 2026 г., и двата под MIT.

03Вътре в MiMo-V2.5-Pro: как изглежда основата

Според публикуваната карта на модела на Xiaomi MiMo-V2.5-Pro е разреден модел Mixture-of-Experts с 1.02 трилиона общи параметъра и 42 милиарда активни на токен в 70 слоя — един плътен, 69 MoE — и 384 маршрутизирани експерта, 8 на токен. Скритият размер е 6144, с тесен междинен размер на MoE от 2048.

Два избора оформят усещането при употреба. Стекът на вниманието е хибриден: 10 слоя с пълно внимание и 60 слоя с плъзгащ прозорец от 128, плюс обучаемо отместване за поглъщащия токен на вниманието. Xiaomi съобщава, че това свива съхранението на KV кеша близо 7 пъти спрямо изцяло глобално внимание, като запазва качеството при дълъг контекст — разликата между прозорец, който е дълъг само на хартия, и такъв, който можете да си позволите да напълните. Моделът носи и три слоя Multi-Token Prediction, които дават на декодера спекулативна глава.

Обучението беше 27 трилиона токена при изначална дължина на последователността 32K в смесена точност FP8 (E4M3), след това контролирана донастройка, мащабно агентно RL и дестилация по текущата политика от много учители. Задръжте този детайл за FP8; той е най-силният единичен аргумент тази основа да се обслужва на 8 бита.

Xiaomi докладва модела с 57.2% на SWE-bench Pro, 72.9 на τ3-Bench за употреба на инструменти и 48.0% на Humanity's Last Exam — собствените числа на доставчика върху некомпресирания модел, цитирани като такива.

Ние обслужваме прозорец от 262 144 токена, а не пълния 1M на основата — контекст, който можем да гарантираме със скорост, вместо ефектно число, което се разпада под натоварване.

04Какво точно означава W8A16

Всеки модел в този каталог носи наставка за квантуване, която описва реална, измерима трансформация, а не маркетингово ниво. Нашите са 3BIT-REAP, W4A16-AUTOROUND-REAP и W8A16. MiMo-V2.5-Pro е третото.

Нотацията се разделя на две. W8 е точността на теглата: всеки параметър се съхранява като 8-битово цяло число вместо 16-битово число с плаваща запетая, със споделен мащабиращ коефициент за всяка малка група, така че локалният динамичен обхват на групата да оцелее. A16 е точността на активациите: стойностите, течащи между слоевете при извод, остават на 16 бита. Теглата се компресират; аритметиката — не.

Тази втора половина върши тиха, важна работа. Активациите се квантуват много по-трудно от теглата: те съдържат крайни канали с отклонения — няколко измерения, чиито стойности засенчват всичко останало и които носят непропорционален дял от поведението на модела. Свалите ли ги до ниска точност, отрязвате точно сигнала, който ви е трябвал. Схемите само за тегла заобикалят проблема, като оставят пътя на активациите на мира, и точно затова сериозната работа по квантуване се събра около тях.

Така практическият въпрос се свежда до едно: колко малко бита може да понесе едно тегло?

05W8A16 срещу W4A16 срещу 3 бита: къде реално отива загубата

Най-голямото публикувано изследване по темата е на Neural Magic и Red Hat — "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — над 500 000 оценки в семейството Llama-3.1 при 8B, 70B и 405B. Основният им резултат, с техните числа:

Формат	Какво се компресира	Докладвано възстановяване спрямо BF16
W8A8-FP (8-битов)	Тегла + активации, плаваща запетая	~99.75% средно — „по същество без загуба“
W8A8-INT (8-битов)	Тегла + активации, цели числа	99–100% при 8B/70B; 98.2–99.3% при 405B
W4A16-INT (4-битов)	Само тегла	98–99.4% (8B); 98.6–99.8% (70B)

Числа, докладвани от Neural Magic / Red Hat (arXiv:2411.02355) върху модели Llama-3.1 — формата на компромиса, а не резултатът на този модел.

Прочетено честно, това изглежда като аргумент против това да ви пука: 4 бита възстановяват 98–99%, тогава защо да обръщаме внимание? Защото това са академични бенчмаркове с избираем отговор — почти най-лошият наличен инструмент за откриване на щети от квантуване. Въпросът в бенчмарк има един верен отговор, достижим за един-два токена, а грешката от квантуване е малък шум с приблизително нулева средна върху всеки логит; при кратък въпрос с широка разлика този шум се поглъща.

А сега напишете 4000 токена технически документ, задръжте един глас през история от 40 000 токена или излъчете JSON, който трябва да мине валидация от първия път. Същият шум се семплира хиляди пъти последователно, като всяко семплиране обуславя следващото. Режимът на отказ не е грешен отговор — той е отклонение: разхлабваща се хватка върху инструкцията още от първия ход, герой, който около токен 3000 спира да звучи като себе си, затваряща скоба, която така и не идва.

Къде реално отиват битовете

Грешката от квантуване не се разпределя равномерно между способностите на модела; тя се концентрира в опашката. Поведенията с голяма маса — граматичният английски, формата на една функция на Python, първата хиляда факта за света — са кодирани излишно в много тегла и оцеляват почти след всичко. Прецизно настроените ъгли с малка амплитуда от разпределението на теглата пазят рядкото: точния подпис на неизвестен API, ритъма на конкретен автор, разликата между два съседни CVE. Точно тези стойности една груба решетка закръгля една в друга.

Стъпката от 4 бита към 3 е мястото, където това престава да е данък и става пропаст. Законите за мащабиране при k-битов извод на Dettmers и Zettlemoyer установиха, че 4 бита е точката, максимизираща точността при нулев опит на бит модулна памет, а под нея деградацията доминира. Четири бита дават 16 нива на група; три дават 8. Намалявате наполовина разделителната способност на вече груба решетка, а грешката от закръгляне на тегло приблизително се удвоява.

Аритметиката, която решава въпроса

Сравнението, което си струва да се направи, е аритметично, а не бенчмарк. Това, което оцелява след компресията, е приблизително параметри × бита на параметър — обемът на носената информация във файла с теглата. Вземете две хипотетични основи с еднакво качество на параметър:

• Основа A: 400B параметъра на 3 бита → приблизително 150 GB запазено тегло.
• Основа B: 160B параметъра на 8 бита → приблизително 160 GB запазено тегло.

По груб брой параметри A печели два и половина към едно — числото, с което започва картата на модела. По запазена информация двете са равностойни, а B има и структурно предимство: теглата ѝ седят върху решетка, достатъчно фина, че поведението ѝ в опашката е непокътнато, докато опашката на A е квантувана в масата. A знае повече неща; B знае по-отчетливо това, което знае. За дълго генериране, точно форматиране, стилистичен контрол и вярно придържане при дълъг контекст — вземете B.

Илюстративна аритметика, а не бенчмарк: тя показва защо „по-голяма основа“ и „по-добре обслужван модел“ са различни твърдения.

06Защо 27 трилиона токена обучение правят агресивното квантуване по-лошо

Втори, по-малко интуитивен резултат се отнася пряко към тази основа. Статията на Kumar и колектив от ICLR 2025 Scaling Laws for Precision установява, че колкото повече данни е видял един модел при обучението, толкова повече щети му нанася квантуването след обучението. Ниската точност намалява ефективния брой параметри на модела, а тази деградация расте с погълнатите данни от предобучението — достатъчно, че допълнителните данни за предобучение могат да са нетно вредни, ако смятате да квантувате агресивно, защото полагате фина структура, която решетката ще изтрие.

Модел, обучен върху 5T токена, има груба, излишна структура на теглата и запас за губене. Модел, обучен върху 27T токена — бюджетът на MiMo-V2.5-Pro — е похарчил тези допълнителни данни, за да впише по-фини разграничения в по-прецизни стойности на теглата, а именно това 3-битовата решетка не може да представи.

После идва фактът за FP8 от раздел 03, най-чистият аргумент в тази статия. MiMo-V2.5-Pro е предобучен в смесена точност FP8. Теглата му са оформени от самото начало от оптимизатор, работещ с около осем бита точност. Затова обслужването му с 8-битови тегла не е загубна добавка, наложена върху 16-битов модел — то е близо до връщането на теглата в числовия режим, в който са научени. Под осмия бит почти няма фина структура за губене. Същото не може да се каже за същите тегла, натиснати до три.

07REAP: защо отрязването на експерти е различен вид загуба от закръглянето

Две от трите нива носят наставка REAP — категорично различна операция от квантуването. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) е еднократна компресия за разредени MoE модели: оценява всеки експерт по стойностите на вратата на маршрутизатора и по нормата на активациите му, след което изтрива тези с най-ниски оценки. Cerebras съобщават за практически беззагубни резултати при генериране на код и извикване на инструменти дори при 50% отрязани експерти.

Използваме REAP по причината, поради която съществува: при най-големите основи именно то ги прави обслужваеми. Но забележете разликата по вид. Квантуването размива всяко тегло малко; отрязването премахва експерти изцяло. Ако натоварването ви маршрутизира усилено към способност, живяла в рядко избиран експерт — малък език за програмиране, специализиран речник — тя не е влошена. Тя я няма, и никакво промптване не я връща. Средните стойности остават отлични; вашият случай от опашката може и да не остане.

MiMo-V2.5-Pro · W8A16 не носи наставка REAP. И 384-те експерта са налице, а маршрутизаторът избира от пълния набор, с който основата е обучена.

Ниво	Бита на тегло	Експерти	Какво разменяте
W8A16	8	Всички налице	Нищо структурно. Нивото на вярност.
W4A16-AUTOROUND-REAP	4	Отрязани	Фината детайлност на теглата плюс експертите с нисък трафик, в замяна на много по-голяма основа в същата ценова лента.
3BIT-REAP	3	Отрязани	Значителна разделителна способност на теглата плюс експертите с нисък трафик — цената да пускаш най-големите основи със скорост.

Средното ниво заслужава честно изслушване. AutoRound не е наивно закръгляне: методът на Intel (arXiv:2309.05516) използва знаково градиентно спускане в рамките на около 200 стъпки, за да настрои решенията за закръгляне и обхвата на отрязване за всяка група тегла, и се съобщава за практически беззагубен при 4 бита в повечето постановки, като бие GPTQ, AWQ, HQQ и OmniQuant в повечето тествани конфигурации. Модел W4A16-AUTOROUND е наистина добър 4-битов модел. Той все пак е 4-битов модел.

08Кой трябва да избере 8-битовото ниво — и кой не

MiMo-V2.5-Pro · W8A16 стои на минималната цена на целия каталог — $0.50 вход / $2.00 изход на милион токена, същата лента като 4-битовите модели от входното ниво и приблизително една четвърт от входната цена на най-скъпия модел, който обслужваме. Не плащате премия за вярност; избирате друга ос на същия бюджет.

Изберете го, когато

• Дължината на изхода е работата. Дълги технически текстове, художествена проза с дължина на глава, пълни минавания през документация — всеки генериран токен е още един, при който шумът от компресията се натрупва.
• Гласът и последователността имат значение. Работа с герои, тон на марката, регистър, задържан през дълга сесия. Стилът живее в опашката, а опашката е това, което грубото квантуване изяжда първо.
• Структурираният изход трябва да мине валидация от първия път. Моделът поддържа json_schema и response_format; придържането към схема е свойство на точността, а всеки избегнат повторен опит е спестени пари и закъснение.
• Пълните контекста. Придържането към инструкцията при токен 200 000 е по-трудно, отколкото при токен 2000, и се влошава с точността на теглата — както и дългата следа от разсъждение, където грешките се натрупват по същия начин.
• Работата по природа е нецензурирана. Изследване на сигурността, red teaming, нефилтрирана художествена проза, чувствителен медицински или правен анализ — където увъртян отговор е по-лош от никакъв.

Изберете друго, когато

• Трябва ви зрение. Този модел е само текстов; сродният му MiMo-V2.5 · W8A16 е със зрение на същата цена и на същото ниво.
• Трябват ви най-широки знания за света при кратки запитвания. Това е режимът, в който допълнителните параметри на много по-голяма 3-битова основа печелят, а щетите от квантуването ѝ едва се забелязват.
• Натоварването ви е кратка класификация с голям обем. Там щетите от квантуването са почти невидими — купете каквото е най-бързо.

09Извикване на нецензурирания MiMo API

Ако кодът ви е насочен към OpenAI SDK, смяната на базовия URL и името на модела е цялата миграция:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages и /v1/responses приемат същото име и същите възможности. Справка за параметрите, схеми за извикване на инструменти, примери за структуриран изход и жива площадка за игра има в документацията на Shannon AI API.

Възможност	MiMo-V2.5-Pro · W8A16
Контекстен прозорец	262 144 токена
Макс. изход на заявка	16 384 токена
Поточно предаване	Да — и трите диалекта
Извикване на инструменти	Да
Разсъждение / reasoning_effort	Да
Структуриран изход по json_schema	Да
response_format	Да
Зрение / вход с изображения	Не — използвайте MiMo-V2.5
Слой за откази / филтър на изхода	Няма
Цена на 1M токена	$0.50 вход / $2.00 изход

10Често задавани въпроси

---

Източници: технически доклад за MiMo, arXiv:2505.07608 · карта на модела MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · закони за мащабиране при k-битов извод, arXiv:2212.09720 · Scaling Laws for Precision, Kumar и колектив, ICLR 2025. Всички числа от бенчмаркове са както са докладвани от авторите им. Shannon AI е продукт на Shannon Lab LLC, Ню Мексико, САЩ.