Necenzurované MiMo API v 8-bitovej vernosti

Väčšina katalógov vám predáva počet parametrov. To je nesprávne číslo, podľa ktorého nakupovať, lebo každý veľký model s otvorenými váhami, ktorý si reálne môžete dovoliť, bol niekam skomprimovaný. Poctivá otázka neznie „aký veľký bol, kým ho stlačili?“, ale „koľko z neho tu ešte je?“. Tento článok je o tej otázke a o modeli z nášho katalógu, kde odpoveď znie takmer všetko.

01Čo vám necenzurované MiMo API vlastne dá

Necenzurované MiMo API je jedno id modelu, MiMo-V2.5-Pro-W8A16, dostupné cez tri dialekty, ktoré adresujú tie isté váhy na našom vlastnom GPU klastri: /v1/chat/completions, /v1/messages a /v1/responses. Všetky tri streamujú a podporujú volanie nástrojov aj uvažovanie.

Necenzurované má tu úzky význam: žiadna vrstva odmietania pred modelom, žiadny filter na jeho výstupe. Nezachytávame, neklasifikujeme ani neprepisujeme. Dostanete vlastné správanie základu — čo pri modeli s otvorenými váhami výskumnej triedy znamená, že sa pustí do bezpečnostného výskumu, dospelej alebo násilnej beletrie, medicínskeho a právneho uvažovania a požiadaviek, ktoré hostované komerčné koncové body odmietajú reflexívne. Je to profesionálny nástroj pod našimi zásadami zodpovedného používania, nie neprítomnosť pravidiel.

02Línia MiMo: stávka Xiaomi na predtréning zameraný na uvažovanie

MiMo nie je derivát Llamy s novým menom; je to samostatná línia od tímu MiMo v Xiaomi a jej zakladajúca myšlienka je dôležitá ešte pred hodnotením modelu. Otvára ju MiMo-7B (30. apríla 2025, licencia MIT), ktorého technická správa tvrdí, že väčšina laboratórií berie uvažovanie ako potréningový problém, ktorý sa priskrutkuje pomocou RL, a že je to naopak. Xiaomi namiesto toho okolo neho prestavalo predtréning: trojstupňovú zmes naprieč 25 biliónmi tokenov, kde druhý stupeň bežal zhruba na 70 % matematiky a kódu a tretí primiešal syntetické stopy uvažovania, kým rozširoval kontext z 8K na 32K — plus cieľ Multi-Token Prediction, ktorý slúži zároveň ako hlava na špekulatívne dekódovanie.

Výsledkom bol 7B základný model, ktorý sa správal ako čosi oveľa väčšie. MiMo-7B-Base dosiahol 32,9 na AIME 2024, kým Qwen2.5-7B mal 10,1, Gemma-2-9B 0,0 a Llama-3.1-8B 0,3. Potréning potom bežal RL nad 130 000 overiteľnými matematickými a programátorskými úlohami s odmenou za kód riadenou obťažnosťou testov, čím unikol pasci riedkych odmien, ktorá RL na kóde destabilizuje. Výsledok pristál pred o1-mini:

AIME 2025, čísla uvádzané Xiaomi z technickej správy MiMo (arXiv:2505.07608). MiMo-7B-RL uviedol aj 95,8 na MATH-500 a 57,8 na LiveCodeBench v5.

Rodina sa skôr rozširovala, než driftovala: MiMo-VL-7B (jún 2025) posadil na tú istú kostru enkodér Qwen2.5-ViT a december 2025 priniesol MiMo-Audio-7B plus prvý MoE prírastok, MiMo-V2-Flash (309B celkovo / 15B aktívnych, 27T tokenov, zmiešaná presnosť FP8). MiMo-V2-Pro nasledoval v marci 2026 zhruba na 1T / 42B aktívnych s kontextom 1M, po týždňoch na OpenRouteri pod menom „Hunter Alpha“. MiMo-V2.5 a MiMo-V2.5-Pro vyšli spolu 22. apríla 2026, oba pod MIT.

03Vnútri MiMo-V2.5-Pro: ako vyzerá základ

Podľa zverejneného sprievodcu modelom od Xiaomi je MiMo-V2.5-Pro riedky model typu Mixture-of-Experts s 1,02 bilióna celkových parametrov a 42 miliardami aktívnych na token naprieč 70 vrstvami — jedna hustá, 69 MoE — a 384 smerovanými expertmi, 8 na token. Skrytý rozmer je 6144, s úzkym medzirozmerom MoE 2048.

Dve rozhodnutia formujú, ako sa model pri používaní cíti. Stoh pozornosti je hybridný: 10 vrstiev plnej pozornosti a 60 vrstiev s posuvným oknom šírky 128, plus naučiteľná predpojatosť typu attention sink. Xiaomi uvádza, že to oproti výlučne globálnej pozornosti zoškrtá uloženie KV cache takmer 7-krát, kým drží kvalitu na dlhom kontexte — rozdiel medzi oknom, ktoré je nominálne dlhé, a oknom, ktoré si môžete dovoliť zaplniť. Prináša aj tri vrstvy Multi-Token Prediction, čím dáva dekodéru špekulatívnu hlavu.

Tréning bežal na 27 biliónoch tokenov pri natívnej dĺžke sekvencie 32K v zmiešanej presnosti FP8 (E4M3), po ňom nasledovalo supervidované doladenie, agentské RL vo veľkej mierke a on-policy destilácia z viacerých učiteľov. Ten detail o FP8 si podržte; je najsilnejším jediným argumentom, prečo tento základ servírovať v 8 bitoch.

Xiaomi uvádza model na 57,2 % na SWE-bench Pro, 72,9 na τ3-Bench pre používanie nástrojov a 48,0 % na Humanity's Last Exam — vlastné čísla výrobcu pre nekomprimovaný model, citované ako také.

Servírujeme okno 262 144 tokenov, nie plný 1M základu — kontext, ktorý vieme zaručiť pri rýchlosti, namiesto čísla do titulku, ktoré sa pod záťažou zhoršuje.

04Čo presne znamená W8A16

Každý model v tomto katalógu nesie kvantizačnú príponu opisujúcu skutočnú, merateľnú transformáciu, nie marketingovú úroveň. Naše sú 3BIT-REAP, W4A16-AUTOROUND-REAP a W8A16. MiMo-V2.5-Pro je ten tretí.

Zápis sa delí na dve časti. W8 je presnosť váh: každý parameter je uložený ako 8-bitové celé číslo namiesto 16-bitového čísla s pohyblivou rádovou čiarkou, so zdieľaným škálovacím faktorom na malú skupinu, aby lokálny dynamický rozsah každej skupiny prežil. A16 je presnosť aktivácií: hodnoty prúdiace medzi vrstvami pri inferencii zostávajú v 16 bitoch. Váhy sa komprimujú; aritmetika nie.

Tá druhá polovica robí tichú, dôležitú prácu. Aktivácie sa kvantizujú oveľa ťažšie než váhy: obsahujú extrémne odľahlé kanály — pár dimenzií, ktorých magnitúdy prevyšujú všetko ostatné a ktoré nesú neúmerný podiel na správaní modelu. Zatlačte ich do nízkej presnosti a orežete presne ten signál, ktorý ste potrebovali. Schémy kvantizujúce len váhy problém obchádzajú tým, že cestu aktivácií nechajú na pokoji — a preto sa seriózna práca o kvantizácii zbieha práve k nim.

Praktická otázka sa tak zúži na jedno: ako málo bitov váha znesie?

05W8A16 vs W4A16 vs 3 bity: kam strata naozaj ide

Najväčšou zverejnenou štúdiou na túto tému je práca Neural Magic a Red Hatu „Give Me BF16 or Give Me Death“? Accuracy-Performance Trade-Offs in LLM Quantization — vyše 500 000 vyhodnotení naprieč rodinou Llama-3.1 na 8B, 70B a 405B. Ich hlavný výsledok, v ich číslach:

Formát	Čo sa komprimuje	Uvádzané zotavenie oproti BF16
W8A8-FP (8-bit)	Váhy + aktivácie, float	~99,75 % priemer — „v podstate bezstratové“
W8A8-INT (8-bit)	Váhy + aktivácie, celočíselne	99–100 % na 8B/70B; 98,2–99,3 % na 405B
W4A16-INT (4-bit)	Iba váhy	98–99,4 % (8B); 98,6–99,8 % (70B)

Čísla uvádzané Neural Magic / Red Hat (arXiv:2411.02355) na modeloch Llama-3.1 — tvar výmeny, nie skóre tohto modelu.

Poctivo prečítané to vyzerá ako argument proti tomu, aby ste tomu venovali pozornosť: 4 bity získajú späť 98–99 %, tak načo? Lebo to sú akademické benchmarky s výberom z možností, takmer najhorší dostupný nástroj na detekciu škôd z kvantizácie. Benchmarková otázka má jednu správnu odpoveď dosiahnuteľnú jedným či dvoma tokenmi a chyba kvantizácie je malý šum s približne nulovou strednou hodnotou na každom logite; pri krátkej otázke so širokým odstupom sa taký šum vstrebe.

Teraz napíšte 4 000 tokenov technického dokumentu, udržte hlas naprieč príbehom na 40 000 tokenov alebo vydajte JSON, ktorý musí prejsť validáciou na prvýkrát. Ten istý šum je navzorkovaný tisíckrát za sebou a každá vzorka podmieňuje ďalšiu. Režim zlyhania nie je nesprávna odpoveď — je to drift: uvoľňujúci sa úchop na inštrukcii z prvého kola, postava, ktorá okolo tokenu 3 000 prestane znieť ako ona sama, uzatváracia zátvorka, ktorá nikdy nepríde.

Kam tie bity naozaj idú

Chyba kvantizácie nie je rozprestretá rovnomerne cez schopnosti modelu; koncentruje sa v chvoste. Správania s veľkou hmotou — gramatická angličtina, tvar funkcie v Pythone, tisíc najznámejších faktov o svete — sú zakódované redundantne naprieč mnohými váhami a prežijú takmer čokoľvek. Presne doladené kúty rozdelenia váh s malou magnitúdou držia to zriedkavé: presnú signatúru zabudnutého API, kadenciu konkrétneho autora, rozdiel medzi dvoma susednými CVE. Práve tie hodnoty hrubá mriežka zaokrúhli do seba.

Krok zo 4 bitov na 3 je miesto, kde to prestáva byť daňou a stáva sa zrázom. Škálovacie zákony inferencie na k bitoch od Dettmersa a Zettlemoyera zistili, že 4 bity sú bodom maximalizujúcim zero-shot presnosť na bit pamäte modelu, pričom pod ním dominuje degradácia. Štyri bity dávajú 16 úrovní na skupinu; tri dávajú 8. Polovíte rozlíšenie už aj tak hrubej mriežky a chyba zaokrúhlenia na váhu sa zhruba zdvojnásobí.

Aritmetika, ktorá o tom rozhodne

Porovnanie, ktoré sa oplatí urobiť, je aritmetické, nie benchmarkové. To, čo kompresiu prežije, je približne parametre × bity na parameter — objem súboru váh nesúci informáciu. Vezmite dva hypotetické základy s rovnakou kvalitou na parameter:

• Základ A: 400 miliárd parametrov v 3 bitoch → zhruba 150 GB zachovaných váh.
• Základ B: 160 miliárd parametrov v 8 bitoch → zhruba 160 GB zachovaných váh.

Podľa hrubého počtu parametrov vyhráva A dva a pol ku jednej — číslo, ktorým sprievodca modelom otvára. Podľa zachovanej informácie sú si rovné a B má navyše štrukturálnu výhodu: jeho váhy sedia na mriežke dosť jemnej na to, aby jeho chvostové správanie zostalo nedotknuté, kým chvost A bol skvantizovaný do hlavnej masy. A vie viac vecí; B vie ostrejšie to, čo vie. Na dlhé generovanie, presné formátovanie, štylistickú kontrolu a verné dodržiavanie dlhého kontextu si vezmite B.

Ilustračná aritmetika, nie benchmark: ukazuje, prečo sú „väčší základ“ a „lepšie servírovaný model“ dve rôzne tvrdenia.

06Prečo 27 biliónov tréningových tokenov robí agresívnu kvantizáciu horšou

Druhý, menej intuitívny výsledok sa tohto základu týka priamo. Práca Kumara a kol. na ICLR 2025 Scaling Laws for Precision zisťuje, že čím na väčšom množstve dát bol model trénovaný, tým väčšiu škodu mu potréningová kvantizácia narobí. Nízka presnosť znižuje efektívny počet parametrov modelu a táto degradácia rastie s objemom vstrebaných predtréningových dát — natoľko, že dodatočné predtréningové dáta môžu byť v čistom škodlivé, ak plánujete agresívne kvantizovať, lebo kladiete jemnú štruktúru, ktorú mriežka zmaže.

Model trénovaný na 5 biliónoch tokenov má hrubú, redundantnú štruktúru váh a rezervu navyše. Model trénovaný na 27 biliónoch tokenov — rozpočet MiMo-V2.5-Pro — minul tie dáta navyše na zapísanie jemnejších rozlíšení do presnejších hodnôt váh, čo je presne to, čo 3-bitová mriežka nedokáže reprezentovať.

A potom je tu ten fakt o FP8 zo sekcie 03, najčistejší argument v tomto článku. MiMo-V2.5-Pro bol predtrénovaný v zmiešanej presnosti FP8. Jeho váhy formoval od začiatku optimalizátor pracujúci zhruba pri ôsmich bitoch presnosti. Servírovať ho s 8-bitovými váhami preto nie je stratový dodatok vnútený 16-bitovému modelu — je to takmer návrat váh do numerického režimu, v ktorom sa učili. Pod ôsmym bitom je málo jemnej štruktúry, ktorú by bolo možné stratiť. O tých istých váhach stlačených na tri sa to povedať nedá.

07REAP: prečo je prerezávanie expertov iným druhom straty než zaokrúhľovanie

Dve z troch úrovní nesú príponu REAP — kategoricky odlišnú operáciu od kvantizácie. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) je jednorazová kompresia pre riedke MoE modely: hodnotí každého experta podľa hodnôt brány smerovača a normy jeho aktivácií a potom najhoršie hodnotených zmaže. Cerebras uvádza takmer bezstratové výsledky na generovaní kódu a volaní nástrojov aj pri 50 % prerezaných expertov.

REAP používame z dôvodu, pre ktorý existuje: pri najväčších základoch je to práve to, čo ich robí servírovateľnými. Všimnite si však rozdiel v druhu. Kvantizácia každú váhu trochu rozmaže; prerezávanie expertov odstráni úplne. Ak vaša záťaž silno smeruje na schopnosť, ktorá žila v zriedka vyberanom expertovi — menšinový programovací jazyk, špecializovaná slovná zásoba — nie je degradovaná. Je preč a žiadne promptovanie ju nevráti. Priemery zostanú výborné; váš chvostový prípad možno nie.

MiMo-V2.5-Pro · W8A16 príponu REAP nenesie. Všetkých 384 expertov je prítomných a smerovač si vyberá z plnej množiny, s ktorou bol základ trénovaný.

Úroveň	Bity váh	Experti	Čo vymieňate
W8A16	8	Všetci prítomní	Nič štrukturálne. Úroveň vernosti.
W4A16-AUTOROUND-REAP	4	Prerezaní	Jemný detail váh plus experti s nízkou premávkou, výmenou za oveľa väčší základ v tom istom cenovom pásme.
3BIT-REAP	3	Prerezaní	Podstatná časť rozlíšenia váh plus experti s nízkou premávkou — cena za prevádzku tých úplne najväčších základov pri rýchlosti.

Stredná úroveň si zaslúži férové vypočutie. AutoRound nie je naivné zaokrúhľovanie: metóda Intelu (arXiv:2309.05516) používa znamienkový gradientový zostup počas zhruba 200 krokov na doladenie rozhodnutí o zaokrúhľovaní a orezávacieho rozsahu na skupinu váh a uvádza sa ako takmer bezstratová pri 4 bitoch vo väčšine nastavení, pričom vo väčšine testovaných konfigurácií poráža GPTQ, AWQ, HQQ aj OmniQuant. Model W4A16-AUTOROUND je naozaj dobrý 4-bitový model. Stále je to 4-bitový model.

08Kto by mal zvoliť 8-bitovú úroveň — a kto nie

MiMo-V2.5-Pro · W8A16 sedí na najnižšej cene celého katalógu — 0,50 $ vstup / 2,00 $ výstup na milión tokenov, v tom istom pásme ako 4-bitové modely vstupnej úrovne a zhruba za štvrtinu vstupnej ceny najdrahšieho modelu, aký servírujeme. Za vernosť neplatíte prirážku; volíte inú os toho istého rozpočtu.

Zvoľte ju, keď

• Prácou je dĺžka výstupu. Dlhé technické písanie, beletria v dĺžke kapitoly, kompletné priechody dokumentáciou — každý vygenerovaný token je miestom, kde sa kompresný šum kumuluje.
• Záleží na hlase a konzistencii. Práca s postavou, tón značky, register držaný naprieč dlhým sedením. Štýl žije v chvoste a chvost je to, čo hrubá kvantizácia zje ako prvé.
• Štruktúrovaný výstup musí prejsť validáciou na prvýkrát. Model podporuje json_schema aj response_format; dodržiavanie schémy je vlastnosťou presnosti a každé ušetrené opakovanie sú peniaze a latencia.
• Zapĺňate kontext. Dodržiavanie inštrukcie pri tokene 200 000 je ťažšie než pri tokene 2 000 a zhoršuje sa s presnosťou váh — rovnako ako dlhá stopa uvažovania, kde sa chyby kumulujú rovnakým spôsobom.
• Práca je zo svojej podstaty necenzurovaná. Bezpečnostný výskum, red teaming, nefiltrovaná beletria, citlivá medicínska alebo právna analýza — kde je vykrúcajúca sa odpoveď horšia než žiadna.

Zvoľte niečo iné, keď

• Potrebujete videnie. Tento model je čisto textový; jeho súrodenec MiMo-V2.5 · W8A16 je schopný videnia za rovnakú cenu a na rovnakej úrovni.
• Potrebujete najširšie znalosti o svete na krátkych dopytoch. To je režim, kde vyhrávajú parametre navyše u oveľa väčšieho 3-bitového základu a jeho škoda z kvantizácie sa sotva prejaví.
• Vaša záťaž je objemová krátka klasifikácia. Škoda z kvantizácie je tam takmer neviditeľná — kúpte, čo je najrýchlejšie.

09Ako volať necenzurované MiMo API

Ak váš kód mieri na OpenAI SDK, zmena základnej URL a id modelu je celou migráciou:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages a /v1/responses prijímajú to isté id aj schopnosti. Referencia parametrov, schémy volania nástrojov, príklady štruktúrovaného výstupu a živé ihrisko sú v dokumentácii API Shannon AI.

Schopnosť	MiMo-V2.5-Pro · W8A16
Kontextové okno	262,144 tokenov
Max. výstup na požiadavku	16,384 tokenov
Streamovanie	Áno — všetky tri dialekty
Volanie nástrojov	Áno
Uvažovanie / reasoning_effort	Áno
Štruktúrovaný výstup json_schema	Áno
response_format	Áno
Videnie / obrazový vstup	Nie — použite MiMo-V2.5
Vrstva odmietania / filter výstupu	Žiadne
Cena za 1M tokenov	$0.50 vstup / $2.00 výstup

10Často kladené otázky

---

Zdroje: technická správa MiMo, arXiv:2505.07608 · sprievodca modelom MiMo-V2.5-Pro (Xiaomi) · „Give Me BF16 or Give Me Death“?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · škálovacie zákony inferencie na k bitoch, arXiv:2212.09720 · Scaling Laws for Precision, Kumar a kol., ICLR 2025. Všetky benchmarkové čísla sú tak, ako ich uvádzajú ich autori. Shannon AI je produktom Shannon Lab LLC, Nové Mexiko, USA.