MiMo API bez cenzury v 8bitové věrnosti

Většina nabídek vám prodává počet parametrů. To je špatné číslo, podle kterého nakupovat, protože každý velký model s otevřenými váhami, na který si reálně můžete dovolit, byl někam zkomprimován. Poctivá otázka nezní „jak velký byl, než ho zmáčkli?“, ale „kolik z něj tu ještě je?“. Tenhle článek je právě o té otázce — a o modelu z naší řady, kde odpověď zní skoro celý.

01Co vám MiMo API bez cenzury vlastně dá

MiMo API bez cenzury je jedno id modelu, MiMo-V2.5-Pro-W8A16, dostupné třemi dialekty, které míří na tytéž váhy na našem vlastním GPU clusteru: /v1/chat/completions, /v1/messages a /v1/responses. Všechny tři streamují a podporují volání nástrojů i uvažování.

Bez cenzury má tady úzký význam: žádná vrstva odmítání před modelem, žádný filtr na jeho výstupu. Nezachytáváme, neklasifikujeme, nepřepisujeme. Dostanete vlastní chování základu — což u modelu s otevřenými váhami na výzkumné úrovni znamená, že se pustí do bezpečnostního výzkumu, dospělé či násilné fikce, lékařského a právního uvažování i požadavků, které hostované komerční endpointy odmítají reflexivně. Je to profesionální nástroj podle našich Zásad odpovědného použití, ne absence pravidel.

02Linie MiMo: sázka Xiaomi na předtrénování zaměřené na uvažování

MiMo není derivát Llamy s novým jménem; je to samostatná linie od týmu MiMo v Xiaomi a její zakládající myšlenka je důležitá dřív, než model začnete hodnotit. Otevírá ji MiMo-7B (30. dubna 2025, licence MIT), jehož technická zpráva tvrdí, že většina laboratoří bere uvažování jako posttréninkový problém, který se přišroubuje pomocí RL — a že je to naopak. Xiaomi kolem něj místo toho přestavěla předtrénování: třífázová směs napříč 25 biliony tokenů, druhá fáze zhruba ze 70 % matematika a kód, třetí fáze přimíchává syntetické stopy uvažování a zároveň prodlužuje kontext z 8K na 32K — plus cíl Multi-Token Prediction, který slouží i jako hlava pro spekulativní dekódování.

Výsledkem byl základní model se 7B parametry, který se choval jako něco mnohem většího. MiMo-7B-Base získal 32,9 na AIME 2024, kde Qwen2.5-7B dosáhl 10,1, Gemma-2-9B 0,0 a Llama-3.1-8B 0,3. Posttrénink pak jel RL nad 130 000 ověřitelnými matematickými a kódovacími úlohami s odměnou za kód řízenou obtížností testů, čímž unikl pasti řídkých odměn, která destabilizuje RL na kódu. Výsledek skončil před o1-mini:

AIME 2025, čísla uváděná Xiaomi z technické zprávy MiMo (arXiv:2505.07608). MiMo-7B-RL rovněž vykázal 95,8 na MATH-500 a 57,8 na LiveCodeBench v5.

Rodina se spíš rozšířila, než aby se rozutekla: MiMo-VL-7B (červen 2025) posadil enkodér Qwen2.5-ViT na tentýž backbone a prosinec 2025 přinesl MiMo-Audio-7B plus první MoE položku, MiMo-V2-Flash (309B celkem / 15B aktivních, 27T tokenů, smíšená přesnost FP8). MiMo-V2-Pro následoval v březnu 2026 zhruba s 1T / 42B aktivních a kontextem 1M, po týdnech na OpenRouteru pod jménem „Hunter Alpha“. MiMo-V2.5 a MiMo-V2.5-Pro vyšly společně 22. dubna 2026, obojí pod MIT.

03Uvnitř MiMo-V2.5-Pro: jak základ vypadá

Podle zveřejněné karty modelu od Xiaomi je MiMo-V2.5-Pro řídký model Mixture-of-Experts s 1,02 bilionu celkových parametrů a 42 miliardami aktivních na token napříč 70 vrstvami — jednou hustou, 69 MoE — a 384 routovanými experty, 8 na token. Skrytá dimenze je 6144, s úzkou vnitřní dimenzí MoE 2048.

Dvě rozhodnutí utvářejí, jak model při používání působí. Zásobník pozornosti je hybridní: 10 vrstev s plnou pozorností a 60 vrstev s posuvným oknem o velikosti 128, plus učitelná předpojatost typu attention sink. Xiaomi uvádí, že tohle snižuje uložení KV cache téměř 7× oproti plně globální pozornosti a přitom drží kvalitu na dlouhém kontextu — což je rozdíl mezi oknem, které je dlouhé nominálně, a oknem, které si můžete dovolit zaplnit. Model také přináší tři vrstvy Multi-Token Prediction, čímž dekodér dostává spekulativní hlavu.

Trénink probíhal na 27 bilionech tokenů při nativní délce sekvence 32K ve smíšené přesnosti FP8 (E4M3), pak následovalo dohlížené doladění, rozsáhlé agentní RL a on-policy distilace od více učitelů. Ten detail o FP8 si zapamatujte; je to nejsilnější jediný argument pro to, servírovat tenhle základ na 8 bitech.

Xiaomi model uvádí s 57,2 % na SWE-bench Pro, 72,9 na τ3-Bench za používání nástrojů a 48,0 % na Humanity's Last Exam — vlastní čísla dodavatele na nekomprimovaném modelu, citovaná jako taková.

My servírujeme okno 262 144 tokenů, ne plný 1M základu — kontext, který umíme zaručit i při rychlosti, místo hlavičkového čísla, které se pod zátěží rozpadá.

04Co přesně znamená W8A16

Každý model v téhle nabídce nese kvantizační příponu, která popisuje skutečnou, měřitelnou transformaci, ne marketingový tier. Naše jsou 3BIT-REAP, W4A16-AUTOROUND-REAP a W8A16. MiMo-V2.5-Pro je ta třetí.

Zápis se dělí na dvě části. W8 je přesnost vah: každý parametr je uložen jako 8bitové celé číslo místo 16bitového floatu, se sdíleným škálovacím faktorem na každou malou skupinu, takže lokální dynamický rozsah každé skupiny přežije. A16 je přesnost aktivací: hodnoty tekoucí mezi vrstvami při inferenci zůstávají na 16 bitech. Váhy se komprimují; aritmetika ne.

Ta druhá polovina odvádí tichou, ale důležitou práci. Aktivace se kvantizují mnohem hůř než váhy: obsahují extrémní odlehlé kanály — pár dimenzí, jejichž magnitudy trpasličí všechno ostatní a které nesou nepoměrně velkou část chování modelu. Zatlačte je do nízké přesnosti a uříznete přesně ten signál, který jste potřebovali. Schémata kvantizující jen váhy problém obejdou tím, že cestu aktivací nechají být — a proto se seriózní práce na kvantizaci sešla právě u nich.

Praktická otázka se tak zužuje na jedinou věc: kolik nejméně bitů váha snese?

05W8A16 vs W4A16 vs 3 bity: kam se ta ztráta vlastně poděje

Největší zveřejněná studie na tohle téma je „Give Me BF16 or Give Me Death“? Accuracy-Performance Trade-Offs in LLM Quantization od Neural Magic a Red Hatu — přes 500 000 vyhodnocení napříč rodinou Llama-3.1 na 8B, 70B a 405B. Jejich hlavní výsledek, v jejich číslech:

Formát	Co je komprimováno	Uváděná míra zachování vs BF16
W8A8-FP (8bitový)	Váhy + aktivace, float	~99,75 % průměrně — „v podstatě bezztrátové“
W8A8-INT (8bitový)	Váhy + aktivace, celočíselně	99–100 % na 8B/70B; 98,2–99,3 % na 405B
W4A16-INT (4bitový)	Pouze váhy	98–99,4 % (8B); 98,6–99,8 % (70B)

Čísla uváděná Neural Magic / Red Hat (arXiv:2411.02355) na modelech Llama-3.1 — tvar toho kompromisu, ne skóre tohoto modelu.

Čteno poctivě to vypadá jako argument proti tomu se tím zabývat: 4 bity zachovají 98–99 %, tak proč tomu věnovat pozornost? Protože jde o akademické benchmarky s výběrem z možností, tedy zhruba nejhorší dostupný přístroj na detekci škod z kvantizace. Benchmarková otázka má jednu správnou odpověď dosažitelnou na jeden nebo dva tokeny a chyba z kvantizace je malý šum s přibližně nulovou střední hodnotou na každém logitu; u krátké otázky s velkým odstupem se ten šum vstřebá.

A teď napište 4 000 tokenů technického dokumentu, udržte hlas napříč povídkou o 40 000 tokenech nebo vydejte JSON, který musí projít validací na první pokus. Tentýž šum je vzorkován tisíckrát po sobě, přičemž každý vzorek podmiňuje ten další. Selhání není špatná odpověď — je to drift: povolující se úchop na instrukci z prvního tahu, postava, která kolem 3 000. tokenu přestane znít jako ona sama, uzavírací závorka, která nikdy nepřijde.

Kam se ty bity vlastně dějí

Chyba z kvantizace není rozprostřená rovnoměrně napříč schopnostmi modelu; koncentruje se v chvostu. Chování s velkou hmotou — gramatická čeština, tvar Python funkce, tisícovka nejčastějších faktů o světě — je zakódované redundantně napříč mnoha vahami a přežije skoro cokoli. Přesně vyladěné kouty rozdělení vah s malou magnitudou drží ty vzácné věci: přesnou signaturu obskurního API, kadenci konkrétního autora, rozdíl mezi dvěma sousedními CVE. Právě tyhle hodnoty hrubá mřížka zaokrouhlí jednu do druhé.

Krok ze 4 bitů na 3 je místo, kde tohle přestává být daň a stává se útesem. Zákony škálování k-bitové inference od Dettmerse a Zettlemoyera zjistily, že 4 bity jsou bod, který maximalizuje zero-shot přesnost na bit paměti modelu, přičemž pod ním začíná dominovat degradace. Čtyři bity dávají 16 úrovní na skupinu; tři dávají 8. Půlíte rozlišení už tak hrubé mřížky a chyba zaokrouhlení na váhu se zhruba zdvojnásobí.

Aritmetika, která to rozhodne

Srovnání, které stojí za to udělat, je aritmetické, ne benchmarkové. Co kompresi přežije, je přibližně parametry × bity na parametr — objem souboru vah nesoucí informaci. Vezměte dva hypotetické základy stejné kvality na parametr:

• Základ A: 400B parametrů na 3 bitech → zhruba 150 GB zachovaných vah.
• Základ B: 160B parametrů na 8 bitech → zhruba 160 GB zachovaných vah.

Podle holého počtu parametrů vyhrává A dva a půl ku jedné — číslo, kterým karta modelu otevírá. Podle zachované informace jsou si rovny a B má navíc strukturální výhodu: jeho váhy leží na mřížce dost jemné, aby jeho chvostové chování zůstalo nedotčené, kdežto chvost A byl kvantizací vtlačen do hlavní hmoty. A ví víc věcí; B ví to, co ví, ostřeji. Na dlouhé generování, přesné formátování, stylistickou kontrolu a věrné dodržování dlouhého kontextu berte B.

Ilustrativní aritmetika, ne benchmark: ukazuje, proč „větší základ“ a „lépe servírovaný model“ jsou různá tvrzení.

06Proč 27 bilionů tréninkových tokenů dělá agresivní kvantizaci horší

Druhý, méně intuitivní výsledek se tohoto základu týká přímo. Práce Kumara a spol. Scaling Laws for Precision z ICLR 2025 zjišťuje, že čím víc dat model při tréninku dostal, tím víc mu potréninková kvantizace ublíží. Nízká přesnost snižuje efektivní počet parametrů modelu a ta degradace roste s množstvím absorbovaných předtrénovacích dat — natolik, že data navíc mohou být v čistém součtu škodlivá, pokud hodláte agresivně kvantizovat, protože ukládáte jemnou strukturu, kterou mřížka smaže.

Model trénovaný na 5T tokenech má hrubou, redundantní strukturu vah a rezervu nazbyt. Model trénovaný na 27T tokenech — rozpočet MiMo-V2.5-Pro — ta data navíc utratil zapisováním jemnějších rozlišení do přesnějších hodnot vah, což je přesně to, co 3bitová mřížka neumí reprezentovat.

A pak je tu ten fakt o FP8 ze sekce 03, nejčistší argument v celém článku. MiMo-V2.5-Pro byl předtrénován ve smíšené přesnosti FP8. Jeho váhy od začátku formoval optimalizátor pracující zhruba s osmi bity přesnosti. Servírovat ho s 8bitovými váhami tedy není ztrátový dodatek vnucený 16bitovému modelu — je to skoro návrat vah do numerického režimu, ve kterém se učily. Pod osmým bitem toho není moc jemné struktury, co by se dalo ztratit. O těch samých vahách zatlačených na tři bity to říct nelze.

07REAP: proč je prořezávání expertů jiný druh ztráty než zaokrouhlování

Dva ze tří tierů nesou příponu REAP — kategoricky jinou operaci než kvantizace. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) je jednorázová komprese pro řídké MoE modely: boduje každého experta podle hodnot hradel routeru a normy aktivací experta a pak nejnižší skóre smaže. Cerebras uvádí téměř bezztrátové výsledky na generování kódu a volání nástrojů i při 50 % prořezaných expertů.

REAP používáme z toho důvodu, kvůli kterému existuje: u těch největších základů je to to, co je vůbec dělá servírovatelnými. Ale všimněte si rozdílu v povaze. Kvantizace každou váhu trochu rozmaže; prořezávání experty odstraní úplně. Pokud vaše zátěž hodně routuje na schopnost, která žila ve zřídka vybíraném expertovi — menšinový programovací jazyk, specializovaná slovní zásoba — není degradovaná. Je pryč a žádné promptování ji nevrátí. Průměry zůstanou výborné; váš okrajový případ nemusí.

MiMo-V2.5-Pro · W8A16 nenese příponu REAP. Všech 384 expertů je přítomno a router vybírá z plné sady, se kterou byl základ trénován.

Tier	Bitů na váhu	Experti	Co obětujete
W8A16	8	Všichni přítomni	Nic strukturálního. Tier věrnosti.
W4A16-AUTOROUND-REAP	4	Prořezáni	Jemný detail vah plus experty s nízkým provozem, výměnou za mnohem větší základ ve stejném cenovém pásmu.
3BIT-REAP	3	Prořezáni	Podstatnou část rozlišení vah plus experty s nízkým provozem — cena za provozování těch úplně největších základů při rychlosti.

Prostřední tier si zaslouží férové slyšení. AutoRound není naivní zaokrouhlování: metoda Intelu (arXiv:2309.05516) používá znaménkový gradientní sestup zhruba přes 200 kroků k ladění rozhodnutí o zaokrouhlení a rozsahu ořezu pro každou skupinu vah a je uváděna jako téměř bezztrátová na 4 bitech ve většině nastavení, s náskokem před GPTQ, AWQ, HQQ i OmniQuantem napříč většinou testovaných konfigurací. Model W4A16-AUTOROUND je skutečně dobrý 4bitový model. Pořád je to 4bitový model.

08Kdo by měl vzít 8bitový tier — a kdo ne

MiMo-V2.5-Pro · W8A16 leží na spodní ceně celé nabídky — $0.50 vstup / $2.00 výstup za milion tokenů, tedy ve stejném pásmu jako 4bitové modely vstupního tieru a zhruba na čtvrtině vstupní ceny nejdražšího modelu, který servírujeme. Za věrnost neplatíte prémii; volíte jinou osu téhož rozpočtu.

Vezměte ho, když

• Úkolem je délka výstupu. Dlouhé technické psaní, fikce na délku kapitoly, kompletní průchody dokumentací — každý vygenerovaný token je token, kde se kompresní šum sčítá.
• Záleží na hlasu a konzistenci. Práce s postavami, tón značky, rejstřík držený napříč dlouhou session. Styl žije v chvostu a chvost je to, co hrubá kvantizace sežere první.
• Strukturovaný výstup musí projít validací napoprvé. Model podporuje json_schema i response_format; dodržování schématu je vlastnost přesnosti a každý ušetřený pokus jsou ušetřené peníze i latence.
• Zaplňujete kontext. Dodržet instrukci u 200 000. tokenu je těžší než u 2 000. a degraduje to s přesností vah — stejně jako dlouhá stopa uvažování, kde se chyby sčítají týmž způsobem.
• Ta práce je ze své podstaty bez cenzury. Bezpečnostní výzkum, red teaming, nefiltrovaná fikce, citlivá lékařská nebo právní analýza — tam, kde je vyhýbavá odpověď horší než žádná.

Vezměte něco jiného, když

• Potřebujete vidění. Tenhle model je čistě textový; jeho sourozenec MiMo-V2.5 · W8A16 zvládá obraz za stejnou cenu i ve stejném tieru.
• Potřebujete nejširší znalost světa na krátkých dotazech. To je režim, kde parametry navíc u mnohem většího 3bitového základu vyhrávají a jeho kvantizační škody se sotva projeví.
• Vaše zátěž je krátká klasifikace ve velkém objemu. Škody z kvantizace jsou tam téměř neviditelné — kupte, co je nejrychlejší.

09Jak volat MiMo API bez cenzury

Pokud váš kód míří na OpenAI SDK, změna base URL a id modelu je celá migrace:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages a /v1/responses přijímají totéž id i tytéž schopnosti. Referenci parametrů, schémata pro volání nástrojů, příklady strukturovaného výstupu a živé hřiště najdete v dokumentaci API Shannon AI.

Schopnost	MiMo-V2.5-Pro · W8A16
Kontextové okno	262 144 tokenů
Max. výstup na požadavek	16 384 tokenů
Streamování	Ano — všechny tři dialekty
Volání nástrojů	Ano
Uvažování / reasoning_effort	Ano
Strukturovaný výstup json_schema	Ano
response_format	Ano
Vidění / obrazový vstup	Ne — použijte MiMo-V2.5
Vrstva odmítání / filtr výstupu	Žádná
Cena za 1M tokenů	$0.50 vstup / $2.00 výstup

10Často kladené otázky

---

Zdroje: technická zpráva MiMo, arXiv:2505.07608 · karta modelu MiMo-V2.5-Pro (Xiaomi) · „Give Me BF16 or Give Me Death“?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · zákony škálování k-bitové inference, arXiv:2212.09720 · Scaling Laws for Precision, Kumar a spol., ICLR 2025. Všechna benchmarková čísla jsou tak, jak je uvádějí jejich autoři. Shannon AI je produkt Shannon Lab LLC, Nové Mexiko, USA.