Onzenséiert MiMo-API mat Tréischtheet op 8 Bit

Déi meescht Kataloge verkafen dir d'Parameterzuel. Dat ass déi falsch Zuel fir drop ze kucken, well all groussen Open-Weights-Modell deen s du dir wierklech leeschte kanns iergendwou hi kompriméiert gouf fir ze passen. Déi éierlech Fro ass net „wéi grouss war dat, ier et gepresst gouf?“, mä „wéi vill dovunner ass nach do?“. Dësen Artikel geet ëm déi Fro, an ëm de Modell aus eiser Lëscht wou d'Äntwert bal alles dovunner ass.

01Wat déi onzenséiert MiMo-API dir tatsächlech bréngt

Déi onzenséiert MiMo-API ass eng Modell-Id, MiMo-V2.5-Pro-W8A16, iwwer dräi Dialekter erreechbar déi déi selwecht Gewiichter op eisem eegene GPU-Cluster adresséieren: /v1/chat/completions, /v1/messages an /v1/responses. All dräi streamen an ënnerstëtzen Tool-Calling a Raisonnéieren.

Onzenséiert huet hei eng schmuel Bedeitung: keng Refus-Schicht virum Modell, kee Filter op sengem Output. Mir fänken näischt of, klasséieren näischt a schreiwen näischt ëm. Du kriss d'Basis hiert eegent Verhalen — a bei engem Open-Weights-Modell op Fuerschungsniveau heescht dat, datt en sech mat Sécherheetsfuerschung, erwuessener oder gewaltvoller Fiktioun, medizineschem a juristeschem Raisonnéieren, a mat deenen Ufroe befaasst déi gehost kommerziell Endpunkte reflexhaft ofleenen. Et ass e professionellt Wierkzeug ënner eiser Politik fir verantwortlech Notzung, an net eng Ofwiesenheet vu Reegelen.

02D'MiMo-Ofstamung: dem Xiaomi seng Wett op raisonnéierungsfokusséiert Virtraining

MiMo ass keng Llama-Oflehnung mat engem neien Numm; et ass eng eegestänneg Ofstamung vun dem Xiaomi senger MiMo-Equipe, a seng Grondiddi zielt ier s du de Modell bewäerts. Se fänkt mat MiMo-7B un (den 30. Abrëll 2025, MIT-lizenzéiert), deem säin technesche Bericht argumentéiert, datt déi meescht Laboen d'Raisonnéieren als Problem vum Nachtraining behandelen deen ee mat RL uschrauwe kann, an datt dat verkéiert erëm ass. Xiaomi huet amplaz d'Virtraining ronderëm dat ëmgebaut: eng Mëschung a dräi Stufen iwwer 25 Billiounen Token, wou d'Stuf zwee ronn 70 % Mathematik a Code leeft an d'Stuf dräi syntetesch Raisonnéierungsspueren derbäifalen léisst, wärend de Kontext vun 8K op 32K erweidert gëtt — plus e Zil vun der Multi-Token-Prediktioun dat dobäi och als Kapp fir spekulativen Decode déngt.

D'Resultat war e Grondmodell mat 7B dee sech behuelt huet wéi eppes vill Méigroussest. MiMo-7B-Base krut 32.9 op AIME 2024, wou Qwen2.5-7B 10.1 krut, Gemma-2-9B 0.0 a Llama-3.1-8B 0.3. Am Nachtraining ass duerno RL iwwer 130,000 iwwerpréifbar Mathematik- a Codeproblemer gelaf, mat enger Codebelounung déi vun der Testschwieregkeet gedriwwe gëtt, wat der Fal vun de spuersame Belounungen entkënnt déi d'Code-RL destabiliséiert. D'Resultat ass viru o1-mini gelant:

AIME 2025, vum Xiaomi berichte Zuelen aus dem techneschen MiMo-Bericht (arXiv:2505.07608). MiMo-7B-RL huet och 95.8 op MATH-500 an 57.8 op LiveCodeBench v5 bericht.

D'Famill ass méi breet ginn amplaz ofzedreiwen: MiMo-VL-7B (Juni 2025) huet en Qwen2.5-ViT-Encoder op dee selwechte Réckgrat gesat, an den Dezember 2025 huet MiMo-Audio-7B bruecht plus deen éischte MoE-Entrée, MiMo-V2-Flash (309B total / 15B aktiv, 27T Token, gemëscht Präzisioun an FP8). MiMo-V2-Pro ass am Mäerz 2026 mat ronn 1T / 42B aktiv an engem Kontext vun 1M gefollegt, no Wochen op OpenRouter als „Hunter Alpha“. MiMo-V2.5 a MiMo-V2.5-Pro si den 22. Abrëll 2026 zesumme geliwwert ginn, béid ënner MIT.

03Am Bannenraum vum MiMo-V2.5-Pro: wéi d'Basis ausgesäit

No dem Xiaomi senger publizéierter Modellkaart ass MiMo-V2.5-Pro e spuersamt Mixture-of-Experts-Modell mat 1.02 Billiounen Parameter total an 42 Milliarden aktiv pro Token iwwer 70 Schichten — eng dicht, 69 MoE — a 384 gerouteten Experten, 8 pro Token. Déi verstoppte Gréisst ass 6144, mat enger schmueler MoE-Zwëschegréisst vun 2048.

Zwou Entscheedunge präge wéi e sech an der Notzung ufillt. De Attention-Stack ass hybrid: 10 Schichte mat voller Attention a 60 Gläitfënsterschichte mat engem Fënster vun 128, plus e léierbaren Attention-Sink-Bias. Xiaomi bericht, datt dat de KV-Cache-Späicher no bei 7× géint reng global Attention kierzt, wouduerch d'Qualitéit bei laangem Kontext hält — den Ënnerscheed tëscht engem Fënster dat nominell laang ass an engem dat s du dir leeschte kanns ze fëllen. Et bréngt och dräi Schichte fir Multi-Token-Prediktioun mat, wat dem Decoder e spekulative Kapp gëtt.

D'Training waren 27 Billiounen Token bei enger natiiver Sequenzlängt vun 32K a gemëschter Präzisioun an FP8 (E4M3), dono iwwerwaachte Feinofstëmmung, agentescht RL am grousse Mooss a Multi-Teacher On-Policy Distillation. Behal dat FP8-Detail; et ass dat stäerkst eenzelt Argument fir dës Basis mat 8 Bit ze servéieren.

Xiaomi bericht de Modell mat 57.2 % op SWE-bench Pro, 72.9 op τ3-Bench fir Tool-Notzung an 48.0 % op Humanity's Last Exam — dem Ubidder seng eege Zuelen um onkompriméierte Modell, an als esou zitéiert.

Mir servéieren e Fënster vun 262,144 Token an net déi voll 1M vun der Basis — e Kontext deen mir bei Tempo garantéiere kënnen, an net eng Schlagzeilenzuel déi ënner Laascht ofbaut.

04Wat W8A16 genee heescht

All Modell an dësem Katalog dréit e Quantiséierungssuffix deen eng tatsächlech, moossbar Transformatioun beschreift an keng Marketingstuf. Eis sinn 3BIT-REAP, W4A16-AUTOROUND-REAP an W8A16. MiMo-V2.5-Pro ass deen drëtten.

D'Notatioun deelt sech an zwee. W8 ass d'Gewiichtspräzisioun: all Parameter gëtt als 8-Bit-Ganzzuel gespäichert amplaz als 16-Bit-Kommazuel, mat engem gedeelte Skaléierungsfaktor pro klenger Grupp, sou datt de lokalen dynamesche Beräich vun all Grupp iwwerlieft. A16 ass d'Aktivéierungspräzisioun: d'Wäerter déi bei der Inferenz tëscht de Schichte lafe bleiwen op 16 Bit. D'Gewiichter gi kompriméiert; d'Rechnerei net.

Déi zweet Halschent mécht roueg, wichteg Aarbecht. D'Aktivéierunge si vill méi schwéier ze quantiséiere wéi d'Gewiichter: si enthalen extrem Ausräisserkanäl — e puer Dimensiounen deenen hir Gréissten alles anescht zwergen an déi en ongläich groussen Deel vum Verhalen vum Modell droen. Dréck déi op niddreg Präzisioun an s du schneits genee dat Signal of dat s du gebraucht hues. Schemae nëmme fir d'Gewiichter ëmgoen de Problem andeems se de Aktivéierungswee a Rou loossen, an dofir ass seriéis Quantiséierungsaarbecht dohin konvergéiert.

Also verenkt sech déi praktesch Fro op eng Saach: mat wéi wéinege Bit kënnt e Gewiicht aus?

05W8A16 géint W4A16 géint 3 Bit: wou de Verloscht tatsächlech hikënnt

Déi gréisst publizéiert Studie dozou ass dem Neural Magic a Red Hat hir „Give Me BF16 or Give Me Death“? Accuracy-Performance Trade-Offs in LLM Quantization — méi wéi 500,000 Evaluatiounen iwwer d'Llama-3.1-Famill bei 8B, 70B an 405B. Hiert Haaptresultat, an hiren Zuelen:

Format	Wat kompriméiert gëtt	Berichte Erhalung géint BF16
W8A8-FP (8 Bit)	Gewiichter + Aktivéierungen, Kommazuel	~99.75 % Duerchschnëtt — „am Prinzip verloschtfräi“
W8A8-INT (8 Bit)	Gewiichter + Aktivéierungen, Ganzzuel	99–100 % bei 8B/70B; 98.2–99.3 % bei 405B
W4A16-INT (4 Bit)	Nëmme Gewiichter	98–99.4 % (8B); 98.6–99.8 % (70B)

Vun Neural Magic / Red Hat berichte Zuelen (arXiv:2411.02355) op Llama-3.1-Modeller — d'Form vum Tosch, an net dem Modell hei seng Punktzuel.

Éierlech gelies gesäit dat aus wéi en Argument dogéint sech dorëms ze këmmeren: 4 Bit erhält 98–99 %, also firwat oppassen? Well dat akademesch Multiple-Choice-Benchmarke sinn, bal dat schlechtst verfügbart Instrument fir de Schued vun der Quantiséierung z'erkennen. Eng Benchmarkfro huet eng richteg Äntwert déi an een oder zwee Token erreechbar ass, an de Quantiséierungsfeeler ass e klengt Geräusch mat ongeféier Mëttelwäert Null op all Logit; bei enger kuerzer Fro mat engem breeden Ofstand gëtt dat Geräusch geschluckt.

Schreif elo 4,000 Token vun engem techneschen Dokument, halt eng Stëmm iwwer eng Geschicht vun 40,000 Token, oder gëff JSON eraus dat beim éischte Mol validéiere muss. Dat selwecht Geräusch gëtt dausendmol hannerteneen gesampelt, an all Prouf bedéngt déi nächst. De Feelermodus ass keng falsch Äntwert — et ass d'Ofdrëft: e loose gëttene Grëff op d'Instruktioun vun der éischter Ronn un, e Personnage deen ëm den Token 3,000 ophält no sech selwer ze kléngen, eng zoumaachend Klamer déi ni kënnt.

Wou d'Bit tatsächlech hikommen

De Quantiséierungsfeeler ass net gläichméisseg iwwer dem Modell seng Fäegkeeten verdeelt; e konzentréiert sech am Schwanz. Verhalen mat vill Mass — grammatescht Englesch, d'Form vun enger Python-Funktioun, déi éischt dausend Fakten iwwer d'Welt — sinn iwwer vill Gewiichter redundant kodéiert an iwwerliewe bal alles. Déi genee ofgestëmmten, klengfäerdeg Ecke vun der Gewiichtsverdeelung halen dat Seltent: déi genee Signatur vun enger obskurer API, de Rhythmus vun engem bestëmmten Auteur, den Ënnerscheed tëscht zwou nobäie CVEs. Dat sinn d'Wäerter déi e grousst Gitter ineneen ronnt.

De Schrëtt vu 4 Bit op 3 ass do wou dat ophält eng Steier ze sinn an eng Klipp gëtt. Dem Dettmers a Zettlemoyer hir Skaléierungsgesetzer fir k-Bit-Inferenz hu fonnt, datt 4 Bit de Punkt ass deen d'Zero-Shot-Genauegkeet pro Bit Modellspäicher maximéiert, mat dominéierendem Ofbau dodrënner. Véier Bit gi 16 Niveauen pro Grupp; dräi ginn 8. S du hallwéiers d'Opléisung vun engem scho groussen Gitter, an de Rondungsfeeler pro Gewiicht verduebelt sech ongeféier.

D'Rechnung déi et entscheet

De Verglach deen ee maache soll ass eng Rechnung a kee Benchmark. Wat d'Kompressioun iwwerlieft ass ongeféier Parameter × Bit pro Parameter — d'informatiounsdroend Volume vun der Gewiichtsdatei. Huel zwou hypothetesch Basen vu gläicher Qualitéit pro Parameter:

• Basis A: 400B Parameter mat 3 Bit → ronn 150 GB u behalene Gewiicht.
• Basis B: 160B Parameter mat 8 Bit → ronn 160 GB u behalene Gewiicht.

No der reener Parameterzuel gewënnt A zwee an en hallwen zu een — d'Zuel mat där d'Modellkaart ufänkt. No behaltener Informatioun si se gläichwäerteg, an B huet dobäi nach e strukturelle Virdeel: seng Gewiichter sëtzen op engem Gitter dat fein genuch ass, sou datt säi Schwanzverhalen intakt ass, wärend dem A säi Schwanz an d'Mass eran quantiséiert gouf. A weess méi Saachen; B weess méi schaarf wat et weess. Fir laang Generatioun, genee Formatéierung, stilistesch Kontroll an trei Anhale vu laangem Kontext huel B.

Illustrativ Rechnung a kee Benchmark: se weist, firwat „méi grouss Basis“ a „besser servéierte Modell“ verschidde Behaaptunge sinn.

06Firwat 27 Billiounen Trainingstoken aggressiv Quantiséierung méi schlëmm maachen

En zweet, manner intuitivt Resultat betrëfft dës Basis direkt. Dem Kumar et al. säi Pabeier vun der ICLR 2025, Scaling Laws for Precision, fënnt, datt wat e Modell op méi Donnéeën trainéiert gouf, wat d'Quantiséierung nom Training him méi schued. Niddreg Präzisioun reduzéiert dem Modell seng effektiv Parameterzuel, an deen Ofbau wiisst mat de Virtrainingsdonnéeën déi opgeholl goufen — sou wäit, datt zousätzlech Virtrainingsdonnéeë per Saldo schiedlech kënne sinn, wann s du virhues aggressiv ze quantiséieren, well s du eng fein Struktur uleeës déi d'Gitter ausläschen wäert.

E Modell dee op 5T Token trainéiert gouf huet eng grouss, redundant Gewiichtsstruktur a Loft iwwreg. E Modell dee op 27T Token trainéiert gouf — dem MiMo-V2.5-Pro säi Budget — huet déi zousätzlech Donnéeë benotzt fir méi fein Ënnerscheedungen a méi genee Gewiichtswäerter ze schreiwen, a genee dat kann e 3-Bit-Gitter net duerstellen.

Da gëtt et nach de FP8-Fakt aus Sektioun 03, dat propperst Argument an dësem Artikel. MiMo-V2.5-Pro gouf a gemëschter FP8-Präzisioun virtrainéiert. Seng Gewiichter goufe vun Ufank u vun engem Optimeierer geformt deen mat ronn aacht Bit Präzisioun geschafft huet. Et mat 8-Bit-Gewiichter ze servéieren ass also kee verléistege Nogedanke deen engem 16-Bit-Modell opgezwonge gëtt — et ass no drun, d'Gewiichter an dat numerescht Regime zréckzeginn an deem se geléiert goufen. Ënnert dem aachte Bit gëtt et wéineg fein Struktur ze verléieren. Datselwecht kann ee vun deene Gewiichter net soen, déi op dräi erofgedréckt ginn.

07REAP: firwat Expert-Pruning eng aner Zort Verloscht ass wéi d'Ronnen

Zwou vun den dräi Stufen droen e REAP-Suffix — eng kategoresch aner Operatioun wéi d'Quantiséierung. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) ass eemoleg Kompressioun fir spuersam MoE-Modeller: se bewäert all Expert no de Gate-Wäerter vum Router an der Aktivéierungsnorm vum Expert, a läscht dann déi mat de klengste Punkten. Cerebras bericht bal verloschtfräi Resultater bei der Codegeneratioun a beim Tool-Calling, souguer wa 50 % vun den Experte geprunt sinn.

Mir benotzen REAP aus dem Grond firwat et gëtt: op de gréisste Basen ass et wat se servéierbar mécht. Mä bemierk den Ënnerscheed an der Aart. D'Quantiséierung verwëscht all Gewiicht e bëssen; d'Prunen läscht Experte ganz. Wann deng Aarbechtslaascht staark op eng Fäegkeet routet déi an engem selten gewielten Expert gewunnt huet — eng kleng Programméiersprooch, e spezialiséierte Vokabulär — dann ass se net verschlechtert. Se ass fort, a kee Prompt hëlt se zréck. D'Duerchschnëtter bleiwe exzellent; däi Randfall vläicht net.

MiMo-V2.5-Pro · W8A16 dréit kee REAP-Suffix. All 384 Experte sinn do, an de Router wielt aus deem ganze Set mat deem d'Basis trainéiert gouf.

Stuf	Gewiichtsbit	Experten	Wat s du hierginn
W8A16	8	All do	Näischt Strukturellt. D'Tréischtheetsstuf.
W4A16-AUTOROUND-REAP	4	Geprunt	Feine Gewiichtsdetail plus Experte mat wéineg Trafic, am Tosch fir eng vill méi grouss Basis am selwechte Präisband.
3BIT-REAP	3	Geprunt	Wesentlech Gewiichtsopléisung plus Experte mat wéineg Trafic — de Präis fir déi ganz gréisste Basen op Tempo lafen ze loossen.

Déi mëttler Stuf verdéngt e fairt Uhéieren. AutoRound ass keng naiiv Rondung: dem Intel seng Method (arXiv:2309.05516) benotzt virzeechenbehaftete Gradientofstig iwwer ronn 200 Schrëtt, fir d'Rondungsentscheedungen an den Ofschneidberäich pro Gewiichtsgrupp ofzestëmmen, a gëtt bei 4 Bit an de meeschte Fäll als bal verloschtfräi bericht, wouduerch se GPTQ, AWQ, HQQ an OmniQuant an de meeschte gepréifte Konfiguratioune schléit. E W4A16-AUTOROUND-Modell ass e wierklech gudde 4-Bit-Modell. Et ass ëmmer nach e 4-Bit-Modell.

08Wien d'8-Bit-Stuf wiele soll — a wien net

MiMo-V2.5-Pro · W8A16 sëtzt um Buedempräis vum ganze Katalog — $0.50 eran / $2.00 eraus pro Millioun Token, dat selwecht Band wéi d'4-Bit-Modeller vun der Aschtéigsstuf a ronn e Véierel vum Input-Präis vum deiersten Modell dee mir servéieren. S du bezuels keen Opschlag fir d'Tréischtheet; s du wiels eng aner Achs vum selwechte Budget.

Wiel en, wann

• D'Outputlängt d'Aufgab ass. Laang technesch Texter, Fiktioun a Kapitellängt, komplett Duerchgäng vun Dokumentatioun — all generéierten Token ass een, wou d'Kompressiounsgeräusch sech ukumuléiert.
• D'Stëmm an d'Konsistenz zielen. Aarbecht mat Personnagen, Markentonalitéit, e Register dat iwwer eng laang Sessioun gehale gëtt. De Stil wunnt am Schwanz, an de Schwanz ass dat wat grouss Quantiséierung als éischt frësst.
• De strukturéierten Output beim éischte Mol validéiere muss. De Modell ënnerstëtzt json_schema an response_format; d'Anhale vun engem Schema ass eng Präzisiounseegenschaft, an all vermiddene Neiversuch spuert Geld a Latenz.
• Du de Kontext fëlls. D'Anhale vun Instruktioune beim Token 200,000 ass méi schwéier wéi beim Token 2,000, an et baut mat der Gewiichtspräzisioun of — genee wéi eng laang Raisonnéierungsspuer, wou d'Feeler sech genee esou ukumuléieren.
• D'Aarbecht vun Natur aus onzenséiert ass. Sécherheetsfuerschung, Red-Teaming, ongefiltert Fiktioun, sensibel medizinesch oder juristesch Analys — wou eng ausgewäichen Äntwert méi schlëmm ass wéi guer keng.

Wiel eppes anescht, wann

• Du Vision brauchs. Dëse Modell ass nëmmen Text; säi Geschwëster MiMo-V2.5 · W8A16 ass vision-fäeg, zum selwechte Präis an op der selwechter Stuf.
• Du dat breetst Weltwëssen op kuerz Ufroe brauchs. Dat ass dat Regime wou déi zousätzlech Parameter vun enger vill méi grousser 3-Bit-Basis gewannen a säi Quantiséierungsschued kaum ze mierken ass.
• Deng Aarbechtslaascht kuerz Klassifikatioun am groussen Volumen ass. De Quantiséierungsschued ass do bal onsiichtbar — kaf wat och ëmmer am séiersten ass.

09Déi onzenséiert MiMo-API opruffen

Wann däi Code op den OpenAI-SDK zielt, ass d'Basis-URL an d'Modell-Id ze änneren déi ganz Migratioun:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages an /v1/responses huelen déi selwecht Id an déi selwecht Fäegkeeten un. D'Parameterreferenz, d'Schemae fir Tool-Calling, d'Beispiller fir strukturéierten Output an e Live-Playground stinn an der Shannon-AI-API-Dokumentatioun.

Fäegkeet	MiMo-V2.5-Pro · W8A16
Kontextfenster	262,144 Token
Max. Output pro Ufro	16,384 Token
Streaming	Jo — all dräi Dialekter
Tool-Calling	Jo
Raisonnéieren / reasoning_effort	Jo
Strukturéierten Output no json_schema	Jo
response_format	Jo
Vision / Billerinput	Nee — benotz MiMo-V2.5
Refus-Schicht / Output-Filter	Keng
Präis pro 1M Token	$0.50 eran / $2.00 eraus

10Dacks gestallte Froen

---

Quellen: Techneschen MiMo-Bericht, arXiv:2505.07608 · Modellkaart MiMo-V2.5-Pro (Xiaomi) · „Give Me BF16 or Give Me Death“?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Skaléierungsgesetzer fir k-Bit-Inferenz, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. All Benchmarkzuele si sou wéi vun hiren Auteure bericht. Shannon AI ass e Produkt vun Shannon Lab LLC, New Mexico, USA.