Нецензурирано MiMo API со 8-битна верност

Повеќето каталози ти го продаваат бројот на параметри. Тоа е погрешната бројка по која се купува, зашто секој голем модел со отворени тежини што навистина можеш да си го дозволиш е компресиран за да собере некаде. Чесното прашање не е „колку беше голем пред да го стиснат?“, туку „колку од него сè уште е тука?“ Оваа статија е за тоа прашање, и за моделот во нашата постава каде одговорот е речиси сиот.

01Што всушност ти дава нецензурираното MiMo API

Нецензурираното MiMo API е еден идентификатор на модел, MiMo-V2.5-Pro-W8A16, достапен низ три дијалекти што се обраќаат до истите тежини на сопствениот GPU кластер: /v1/chat/completions, /v1/messages и /v1/responses. Сите три стримуваат и поддржуваат повикување алатки и расудување.

Нецензурирано тука има тесно значење: без слој за одбивање пред моделот, без филтер врз неговиот излез. Ние не пресретнуваме, не класифицираме и не препишуваме. Го добиваш сопственото однесување на фундаментот — што за модел со отворени тежини од истражувачки ранг значи дека тој се фаќа со безбедносно истражување, фикција за возрасни или со насилство, медицинско и правно расудување, и со барањата што хостираните комерцијални крајни точки ги одбиваат по рефлекс. Тоа е професионална алатка според нашата Политика за одговорна употреба, а не отсуство на правила.

02Лозата MiMo: обложувањето на Xiaomi на претренирање ориентирано кон расудување

MiMo не е изведенка од Llama со ново име; тоа е одделна лоза од тимот MiMo на Xiaomi, а нејзината основачка идеја е важна пред да го оцениш моделот. Почнува со MiMo-7B (30 април 2025 година, под лиценца MIT), чијшто технички извештај тврди дека повеќето лаборатории го третираат расудувањето како проблем на пост-тренирањето што се прицврстува со поттикнато учење, и дека тоа е наопаку. Xiaomi наместо тоа го преструктурираше претренирањето околу него: трифазна мешавина низ 25 трилиони токени, каде втората фаза течела со приближно 70% математика и код, а третата вметнувала синтетички траги од расудување додека го проширувала контекстот од 8K на 32K — плус цел за предвидување повеќе токени што служи и како глава за спекулативно декодирање.

Резултатот беше основен модел со 7 милијарди што се однесуваше како далеку поголем. MiMo-7B-Base постигна 32,9 на AIME 2024 таму каде Qwen2.5-7B постигна 10,1, Gemma-2-9B 0,0 и Llama-3.1-8B 0,3. Пост-тренирањето потоа пуштило поттикнато учење врз 130.000 проверливи математички и програмерски задачи со награда за код водена од тежината на тестовите, избегнувајќи ја стапицата на ретки награди што го дестабилизира поттикнатото учење за код. Резултатот заврши пред o1-mini:

AIME 2025, бројки објавени од Xiaomi во техничкиот извештај за MiMo (arXiv:2505.07608). За MiMo-7B-RL се пријавени и 95,8 на MATH-500 и 57,8 на LiveCodeBench v5.

Семејството се прошируваше наместо да скршнува: MiMo-VL-7B (јуни 2025 година) стави енкодер Qwen2.5-ViT врз истата основа, а декември 2025 година донесе MiMo-Audio-7B плус првиот MoE член, MiMo-V2-Flash (309 милијарди вкупно / 15 милијарди активни, 27 трилиони токени, мешана прецизност FP8). MiMo-V2-Pro следеше во март 2026 година со приближно 1 трилион / 42 милијарди активни и контекст од 1M, по неколку недели на OpenRouter како „Hunter Alpha“. MiMo-V2.5 и MiMo-V2.5-Pro излегоа заедно на 22 април 2026 година, обата под MIT.

03Внатре во MiMo-V2.5-Pro: како изгледа фундаментот

Според објавената картичка на моделот од Xiaomi, MiMo-V2.5-Pro е редок модел со мешавина од експерти со 1,02 трилиони вкупни параметри и 42 милијарди активни по токен низ 70 слоја — еден густ, 69 MoE — и 384 рутирани експерти, 8 по токен. Скриената големина е 6144, со тесна MoE меѓу-големина од 2048.

Две одлуки го обликуваат чувството при употреба. Стекот за внимание е хибриден: 10 слоја со целосно внимание и 60 слоја со лизгачки прозорец од 128, плус научлива пристрасност за понор на вниманието. Xiaomi пријавува дека тоа го сече чувањето на KV кешот близу 7 пати наспроти сеглобално внимание, а притоа го држи квалитетот на долгиот контекст — разликата меѓу прозорец што е номинално долг и прозорец што можеш да си дозволиш да го наполниш. Испорачува и три слоја за предвидување повеќе токени, што му дава на декодерот спекулативна глава.

Тренирањето течело на 27 трилиони токени со родна должина на низата од 32K во мешана прецизност FP8 (E4M3), потоа надгледувано дотренирање, поттикнато учење во голем агентски обем и дестилација на политиката од повеќе учители. Држи го тој детаљ за FP8; тој е најсилниот единечен аргумент за послужување на овој фундамент на 8 бита.

Xiaomi го пријавува моделот со 57,2% на SWE-bench Pro, 72,9 на τ3-Bench за употреба на алатки и 48,0% на Humanity's Last Exam — сопствени бројки на добавувачот за некомпресираниот модел, наведени како такви.

Ние послужуваме прозорец од 262.144 токени, а не целиот 1M на фундаментот — контекст што можеме да го гарантираме со зачувана брзина, наместо ударна бројка што се влошува под оптоварување.

04Што точно значи W8A16

Секој модел во овој каталог носи наставка за квантизација што опишува вистинска, мерлива трансформација, а не маркетиншко ниво. Нашите се 3BIT-REAP, W4A16-AUTOROUND-REAP и W8A16. MiMo-V2.5-Pro е третото.

Нотацијата се дели на два дела. W8 е прецизноста на тежините: секој параметар се чува како 8-битен цел број наместо како 16-битен децимален број, со заеднички фактор на скалирање по мала група за да преживее локалниот динамички опсег на секоја група. A16 е прецизноста на активациите: вредностите што течат меѓу слоевите при извршување остануваат на 16 бита. Тежините се компресираат; аритметиката не.

Таа втора половина врши тивка, важна работа. Активациите се многу потешки за квантизирање од тежините: тие содржат екстремни отскочни канали — неколку димензии чиишто големини ги надминуваат сите други и што носат несразмерен дел од однесувањето на моделот. Турни ги нив на ниска прецизност и го отсекуваш токму сигналот што ти требал. Шемите само на тежините го заобиколуваат проблемот оставајќи ја патеката на активациите на мира, и токму затоа сериозната работа со квантизација се сведе на нив.

Значи практичното прашање се стеснува на едно: колку малку битови може да поднесе една тежина?

05W8A16 наспроти W4A16 наспроти 3 бита: каде всушност оди загубата

Најголемата објавена студија за ова е „Give Me BF16 or Give Me Death“? Accuracy-Performance Trade-Offs in LLM Quantization на Neural Magic и Red Hat — над 500.000 евалуации низ семејството Llama-3.1 на 8, 70 и 405 милијарди. Нивниот главен резултат, со нивните бројки:

Формат	Што се компресира	Пријавено враќање наспроти BF16
W8A8-FP (8-битен)	Тежини + активации, децимални	~99,75% просечно — „во суштина без загуба“
W8A8-INT (8-битен)	Тежини + активации, целобројни	99–100% на 8B/70B; 98,2–99,3% на 405B
W4A16-INT (4-битен)	Само тежини	98–99,4% (8B); 98,6–99,8% (70B)

Бројки објавени од Neural Magic / Red Hat (arXiv:2411.02355) за моделите Llama-3.1 — обликот на размената, а не резултатот на овој модел.

Чесно прочитано, тоа изгледа како аргумент против грижата: 4 бита враќаат 98–99%, па зошто да се обрнува внимание? Затоа што тоа се академски репери со повеќекратен избор, речиси најлошиот достапен инструмент за откривање штета од квантизацијата. Прашањето од репер има еден точен одговор достапен во еден или два токени, а грешката од квантизацијата е мал шум со приближно нулта средина врз секој логит; на кратко прашање со широка маргина, тој шум се впива.

Сега напиши 4.000 токени технички документ, држи глас низ приказна од 40.000 токени или испушти JSON што мора да се потврди од прв пат. Истиот шум се семплира илјадници пати по ред, а секој примерок го условува следниот. Начинот на откажување не е погрешен одговор — туку дрејф: разлабавување на фатот врз инструкцијата од првиот круг, лик што престанува да звучи како себеси околу токенот 3.000, затворачка заграда што никогаш не пристигнува.

Каде всушност одат битовите

Грешката од квантизацијата не е рамномерно распространета низ способностите на моделот; таа се концентрира во опашката. Однесувањата со голема маса — граматичкиот англиски, обликот на една Python функција, првите илјада факти за светот — се кодирани излишно низ многу тежини и преживуваат речиси сè. Прецизно нагодените агли на распределбата на тежините, оние со мала големина, го држат реткото: точниот потпис на некое непознато API, каденцата на определен автор, разликата меѓу две соседни CVE ставки. Тоа се вредностите што груба мрежа ги заокружува една во друга.

Чекорот од 4 бита на 3 е местото каде ова престанува да биде данок и станува провалија. Законите за скалирање при извршување со k битови на Dettmers и Zettlemoyer покажаа дека 4 бита се точката што ја максимизира точноста без примери по бит меморија на моделот, а под неа доминира влошувањето. Четири бита даваат 16 нивоа по група; три даваат 8. Ја преполовуваш резолуцијата на веќе груба мрежа, а грешката од заокружување по тежина приближно се удвојува.

Аритметиката што решава

Споредбата што вреди да се направи е аритметичка, а не репер. Она што преживува компресија е приближно параметри × битови по параметар — обемот на датотеката со тежини што носи информација. Земи два хипотетички фундаменти со ист квалитет по параметар:

• Фундамент А: 400 милијарди параметри на 3 бита → приближно 150 GB задржана тежина.
• Фундамент Б: 160 милијарди параметри на 8 бита → приближно 160 GB задржана тежина.

По суров број параметри А победува два и пол спрема еден — бројката со која води картичката на моделот. По задржана информација тие се еквивалентни, а Б има и структурна предност: неговите тежини седат на мрежа доволно фина за неговото однесување во опашката да остане недопрено, додека опашката на А е квантизирана во главнината. А знае повеќе работи; Б поостро го знае тоа што го знае. За долго генерирање, точно форматирање, стилска контрола и верно почитување на долгиот контекст, земи го Б.

Илустративна аритметика, а не репер: покажува зошто „поголем фундамент“ и „подобро послужен модел“ се различни тврдења.

06Зошто 27 трилиони токени за тренирање ја влошуваат агресивната квантизација

Втор, помалку интуитивен резултат директно се однесува на овој фундамент. Трудот Scaling Laws for Precision на Kumar и др. од ICLR 2025 наоѓа дека колку повеќе податоци имал моделот при тренирањето, толку поголема штета му прави квантизацијата по тренирањето. Ниската прецизност го намалува ефективниот број параметри на моделот, а тоа влошување расте со впиените податоци од претренирањето — доволно за дополнителни податоци од претренирање да бидат нето штетни ако намеруваш да квантизираш агресивно, зашто полагаш фина структура што мрежата ќе ја избрише.

Модел трениран на 5 трилиони токени има груба, излишна структура на тежините и има слобода на располагање. Модел трениран на 27 трилиони токени — буџетот на MiMo-V2.5-Pro — тие дополнителни податоци ги потрошил запишувајќи пофини разлики во попрецизни вредности на тежините, а токму тоа е тоа што една 3-битна мрежа не може да го претстави.

Потоа е и фактот за FP8 од делот 03, најчистиот аргумент во оваа статија. MiMo-V2.5-Pro беше претрениран во мешана прецизност FP8. Неговите тежини се обликувани од самиот почеток од оптимизатор што работел на приближно осум бита прецизност. Послужувањето со 8-битни тежини затоа не е дополнителна загуба наметната врз 16-битен модел — тоа е речиси враќање на тежините во нумеричкиот режим во кој се научени. Малку фина структура постои под осмиот бит за да се изгуби. Истото не може да се каже за тие тежини присилени надолу на три.

07REAP: зошто поткаструвањето на експерти е поинаков вид загуба од заокружувањето

Две од трите нивоа носат наставка REAP — категориски различна операција од квантизацијата. REAP (поткастрување на активацијата на експертите пондерирано по рутерот, Cerebras Research, arXiv:2510.13999, ICLR 2026) е еднократна компресија за редки MoE модели: го оценува секој експерт по вредностите на портите на рутерот и по нормата на активација на експертот, па потоа ги брише оние со најниски резултати. Cerebras пријавува речиси безгубитни резултати при генерирање код и повикување алатки дури и при 50% поткастрени експерти.

Го користиме REAP поради причината поради која постои: кај најголемите фундаменти тој е тоа што ги прави послужливи. Но забележи ја разликата по вид. Квантизацијата размачкува секоја тежина по малку; поткаструвањето отстранува цели експерти. Ако твоето оптоварување силно рутира кон способност што живеела во ретко избиран експерт — помал програмски јазик, специјализиран речник — таа не е влошена. Ја нема, и никакво промптирање не ја враќа. Просеците остануваат одлични; твојот граничен случај можеби не.

MiMo-V2.5-Pro · W8A16 не носи наставка REAP. Сите 384 експерти се присутни, а рутерот бира од целиот сет со кој бил трениран фундаментот.

Ниво	Битови на тежина	Експерти	Што разменуваш
W8A16	8	Сите присутни	Ништо структурно. Нивото на верност.
W4A16-AUTOROUND-REAP	4	Поткастрени	Фините детали на тежините плус експертите со мал сообраќај, во замена за многу поголем фундамент во истиот ценовен појас.
3BIT-REAP	3	Поткастрени	Значителна резолуција на тежините плус експертите со мал сообраќај — цената за возење на најголемите фундаменти со зачувана брзина.

Средното ниво заслужува чесно сослушување. AutoRound не е наивно заокружување: методот на Intel (arXiv:2309.05516) користи предзначен градиентен спуст низ приближно 200 чекори за да ги нагоди одлуките за заокружување и опсегот на отсекување по група тежини, и е пријавен како речиси безгубитен на 4 бита во повеќето поставки, надминувајќи ги GPTQ, AWQ, HQQ и OmniQuant во повеќето тестирани конфигурации. Модел со W4A16-AUTOROUND е навистина добар 4-битен модел. Сепак е 4-битен модел.

08Кој треба да го избере 8-битното ниво — а кој не

MiMo-V2.5-Pro · W8A16 седи на подната цена на целиот каталог — 0,50 навнатре / 2,00 нанадвор на милион токени, истиот појас како влезните 4-битни модели и приближно четвртина од влезната цена на најскапиот модел што го послужуваме. Не плаќаш премија за верноста; избираш поинаква оска од истиот буџет.

Избери го кога

• Должината на излезот е работата. Долго техничко пишување, фикција со должина на поглавје, целосни премини низ документација — секој генериран токен е токен каде шумот од компресијата се натрупува.
• Гласот и доследноста се важни. Работа со ликови, тон на бренд, регистар држен низ долга сесија. Стилот живее во опашката, а опашката е тоа што грубата квантизација прво го изедува.
• Структурираниот излез мора да се потврди од прв пат. Моделот поддржува json_schema и response_format; почитувањето на шемата е својство на прецизноста, а секое избегнато повторување се пари и заштедено доцнење.
• Го полниш контекстот. Почитувањето на инструкцијата на токенот 200.000 е потешко отколку на токенот 2.000, и се влошува со прецизноста на тежините — исто како и долгата трага на расудување, каде грешките се натрупуваат на ист начин.
• Работата е нецензурирана по природа. Безбедносно истражување, црвени тимови, нефилтрирана фикција, чувствителна медицинска или правна анализа — каде одговорот со резерва е полош од никаков.

Избери нешто друго кога

• Ти треба вид. Овој модел е само за текст; неговиот роднина MiMo-V2.5 · W8A16 има вид по иста цена и на исто ниво.
• Ти треба најшироко знаење за светот на кратки прашања. Тоа е режимот каде дополнителните параметри на многу поголем 3-битен фундамент победуваат, а неговата штета од квантизацијата едвај се гледа.
• Твоето оптоварување е кратка класификација во голем обем. Штетата од квантизацијата таму е речиси невидлива — купи го тоа што е најбрзо.

09Како се повикува нецензурираното MiMo API

Ако твојот код цели кон SDK-то на OpenAI, менувањето на основниот URL и идентификаторот на моделот е целата миграција:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages и /v1/responses го примаат истиот идентификатор и истите можности. Референца за параметрите, шеми за повикување алатки, примери за структуриран излез и живо игралиште има во API документацијата на Shannon AI.

Можност	MiMo-V2.5-Pro · W8A16
Контекстен прозорец	262,144 токени
Максимален излез по барање	16,384 токени
Стриминг	Да — сите три дијалекти
Повикување алатки	Да
Расудување / reasoning_effort	Да
Структуриран излез по json_schema	Да
response_format	Да
Вид / влез со слика	Не — користи MiMo-V2.5
Слој за одбивање / филтер на излезот	Нема
Цена на 1M токени	$0.50 навнатре / $2.00 нанадвор

10Често поставувани прашања

---

Извори: технички извештај за MiMo, arXiv:2505.07608 · картичка на моделот MiMo-V2.5-Pro (Xiaomi) · „Give Me BF16 or Give Me Death“?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · закони за скалирање при извршување со k битови, arXiv:2212.09720 · Scaling Laws for Precision, Kumar и др., ICLR 2025. Сите бројки од репери се онака како што ги објавиле нивните автори. Shannon AI е производ на Shannon Lab LLC, Ново Мексико, САД.