Usensurert MiMo-API med 8-bits troskap

De fleste kataloger selger deg antall parametere. Det er feil tall å handle på, for enhver stor modell med åpne vekter du faktisk har råd til, er komprimert for å få plass et sted. Det ærlige spørsmålet er ikke «hvor stor var denne før den ble klemt sammen?», men «hvor mye av den er igjen?» Denne artikkelen handler om det spørsmålet, og om modellen i utvalget vårt der svaret er nesten alt sammen.

01Hva det usensurerte MiMo-API-et faktisk gir deg

Det usensurerte MiMo-API-et er én modell-id, MiMo-V2.5-Pro-W8A16, tilgjengelig gjennom tre dialekter som adresserer de samme vektene på vår egen GPU-klynge: /v1/chat/completions, /v1/messages og /v1/responses. Alle tre strømmer og støtter verktøykall og resonnering.

Usensurert har en snever betydning her: ingen avvisningslag foran modellen, ingen filtrering av utdataene dens. Vi avskjærer ikke, klassifiserer ikke og skriver ikke om. Du får grunnmodellens egen oppførsel — som for en modell med åpne vekter på forskningsnivå betyr at den går inn i sikkerhetsforskning, voksen- eller voldelig fiksjon, medisinsk og juridisk resonnering, og de forespørslene vertsdrevne kommersielle endepunkter avslår på refleks. Det er et profesjonelt verktøy under vår policy for ansvarlig bruk, ikke et fravær av regler.

02MiMo-slekten: Xiaomis satsing på resonneringsfokusert førtrening

MiMo er ikke en Llama-avlegger med nytt navn; det er en egen slekt fra Xiaomis MiMo-team, og grunnideen bak den betyr noe før du vurderer modellen. Den åpner med MiMo-7B (30. april 2025, MIT-lisensiert), hvis tekniske rapport hevder at de fleste labber behandler resonnering som et ettertreningsproblem som skal skrus på med RL, og at dette er baklengs. Xiaomi bygde i stedet om førtreningen rundt det: en tretrinns blanding over 25 billioner tokens, der trinn to kjørte omtrent 70 % matematikk og kode, og trinn tre foldet inn syntetiske resonneringsspor mens konteksten ble utvidet fra 8K til 32K — pluss et Multi-Token Prediction-mål som samtidig fungerer som et hode for spekulativ dekoding.

Resultatet var en 7B-basismodell som oppførte seg som noe langt større. MiMo-7B-Base fikk 32.9 på AIME 2024, der Qwen2.5-7B fikk 10.1, Gemma-2-9B 0.0 og Llama-3.1-8B 0.3. Ettertreningen kjørte så RL over 130,000 verifiserbare matematikk- og kodeoppgaver med en kodebelønning drevet av testvanskelighet, og slapp unna fellen med spinkle belønninger som destabiliserer RL på kode. Resultatet landet foran o1-mini:

AIME 2025, tall rapportert av Xiaomi i den tekniske MiMo-rapporten (arXiv:2505.07608). MiMo-7B-RL rapporterte også 95.8 på MATH-500 og 57.8 på LiveCodeBench v5.

Familien ble bredere heller enn å drive av kurs: MiMo-VL-7B (juni 2025) satte en Qwen2.5-ViT-koder på den samme ryggraden, og desember 2025 brakte MiMo-Audio-7B pluss den første MoE-oppføringen, MiMo-V2-Flash (309B totalt / 15B aktive, 27T tokens, FP8 blandet presisjon). MiMo-V2-Pro fulgte i mars 2026 på omtrent 1T / 42B aktive med 1M kontekst, etter uker på OpenRouter som «Hunter Alpha». MiMo-V2.5 og MiMo-V2.5-Pro kom sammen 22. april 2026, begge under MIT.

03Inne i MiMo-V2.5-Pro: slik ser grunnmodellen ut

Ifølge Xiaomis publiserte modellkort er MiMo-V2.5-Pro en sparsom Mixture-of-Experts-modell med 1,02 billioner parametere totalt og 42 milliarder aktive per token over 70 lag — ett tett, 69 MoE — og 384 rutede eksperter, 8 per token. Skjult størrelse er 6144, med en smal MoE-mellomstørrelse på 2048.

To valg former hvordan den føles i bruk. Oppmerksomhetsstakken er flettet: 10 lag med full oppmerksomhet og 60 lag med glidende vindu på 128, pluss en lærbar sluk-forskyvning i oppmerksomheten. Xiaomi rapporterer at dette kutter lagringen av KV-hurtigbufferen med nær 7x mot ren global oppmerksomhet, samtidig som kvaliteten i lang kontekst holdes — forskjellen mellom et vindu som nominelt er langt og ett du har råd til å fylle. Den kommer også med tre Multi-Token Prediction-lag, som gir dekoderen et spekulativt hode.

Treningen var 27 billioner tokens med en nativ sekvenslengde på 32K i FP8 (E4M3) blandet presisjon, deretter veiledet finjustering, agentisk RL i stor skala og on-policy-destillasjon fra flere lærere. Hold fast på den FP8-detaljen; den er det sterkeste enkeltargumentet for å servere denne grunnmodellen med 8 bits.

Xiaomi rapporterer modellen til 57.2 % på SWE-bench Pro, 72.9 på τ3-Bench for verktøybruk og 48.0 % på Humanity's Last Exam — leverandørens egne tall på den ukomprimerte modellen, sitert som nettopp det.

Vi serverer et vindu på 262,144 tokens, ikke grunnmodellens fulle 1M — en kontekst vi kan garantere med fart, heller enn et overskriftstall som forfaller under last.

04Hva W8A16 betyr, presist

Hver modell i denne katalogen bærer en kvantiseringsendelse som beskriver en faktisk, målbar transformasjon heller enn et markedsføringsnivå. Våre er 3BIT-REAP, W4A16-AUTOROUND-REAP og W8A16. MiMo-V2.5-Pro er den tredje.

Notasjonen deler seg i to. W8 er vektpresisjon: hver parameter lagres som et 8-bits heltall i stedet for et 16-bits flyttall, med en delt skaleringsfaktor per liten gruppe slik at hver gruppes lokale dynamiske område overlever. A16 er aktiveringspresisjon: verdiene som flyter mellom lagene under inferens, blir værende på 16 bits. Vektene komprimeres; regnestykket gjør det ikke.

Den andre halvdelen gjør stille, viktig arbeid. Aktiveringer er langt vanskeligere å kvantisere enn vekter: de inneholder ekstreme uteliggerkanaler — noen få dimensjoner hvis størrelser dverger alt annet, og som bærer en uforholdsmessig stor del av modellens oppførsel. Presser du dem ned i lav presisjon, klipper du nøyaktig det signalet du trengte. Skjemaer som bare rører vektene, går utenom problemet ved å la aktiveringsbanen være i fred, og det er derfor seriøst kvantiseringsarbeid har samlet seg om dem.

Så det praktiske spørsmålet snevres inn til én ting: hvor få bits tåler en vekt?

05W8A16 mot W4A16 mot 3 bits: hvor tapet faktisk havner

Den største publiserte studien på dette er Neural Magic og Red Hats «Give Me BF16 or Give Me Death»? Accuracy-Performance Trade-Offs in LLM Quantization — over 500,000 evalueringer på tvers av Llama-3.1-familien med 8B, 70B og 405B. Hovedresultatet deres, i deres tall:

Format	Hva som komprimeres	Rapportert gjenvinning mot BF16
W8A8-FP (8 bits)	Vekter + aktiveringer, flyttall	~99.75 % snitt — «i praksis tapsfritt»
W8A8-INT (8 bits)	Vekter + aktiveringer, heltall	99–100 % på 8B/70B; 98.2–99.3 % på 405B
W4A16-INT (4 bits)	Bare vekter	98–99.4 % (8B); 98.6–99.8 % (70B)

Tall rapportert av Neural Magic / Red Hat (arXiv:2411.02355) på Llama-3.1-modeller — formen på avveiningen, ikke denne modellens poengsum.

Lest ærlig ser det ut som et argument mot å bry seg: 4 bits gjenvinner 98–99 %, så hvorfor følge med? Fordi dette er akademiske flervalgsbenchmarker, nær det dårligste tilgjengelige instrumentet for å avdekke kvantiseringsskade. Et benchmarkspørsmål har ett riktig svar som nås på ett eller to tokens, og kvantiseringsfeil er liten støy med omtrent null gjennomsnitt på hver logit; på et kort spørsmål med bred margin blir den støyen absorbert.

Skriv nå 4,000 tokens av et teknisk dokument, hold en stemme gjennom en fortelling på 40,000 tokens, eller produser JSON som må validere på første forsøk. Den samme støyen blir trukket tusenvis av ganger på rad, og hver trekning betinger den neste. Feilmodusen er ikke et galt svar — det er drift: et grep om instruksjonen fra tur én som løsner, en karakter som slutter å høres ut som seg selv rundt token 3,000, en avsluttende krøllparentes som aldri kommer.

Hvor bitene faktisk går

Kvantiseringsfeil sprer seg ikke jevnt over modellens evner; den samler seg i halen. Oppførsel med stor masse — grammatisk engelsk, formen på en Python-funksjon, de tusen vanligste faktaene om verden — er kodet redundant over mange vekter og overlever nesten hva som helst. De presist innstilte hjørnene med små verdier i vektfordelingen rommer det sjeldne: den nøyaktige signaturen til et obskurt API, kadensen til en bestemt forfatter, forskjellen mellom to nabo-CVE-er. Det er de verdiene et grovt rutenett runder inn i hverandre.

Steget fra 4 bits til 3 er der dette slutter å være en avgift og blir et stup. Dettmers og Zettlemoyers skaleringslover for k-bits inferens fant at 4 bits er punktet som maksimerer nullskudds nøyaktighet per bit modellminne, med forfall som dominerer under det. Fire bits gir 16 nivåer per gruppe; tre gir 8. Du halverer oppløsningen i et allerede grovt rutenett, og avrundingsfeilen per vekt omtrent dobles.

Regnestykket som avgjør det

Sammenligningen som er verdt å gjøre, er aritmetisk, ikke en benchmark. Det som overlever komprimering er omtrent parametere × bits per parameter — det informasjonsbærende volumet i vektfilen. Ta to hypotetiske grunnmodeller med lik kvalitet per parameter:

• Grunnmodell A: 400B parametere med 3 bits → omtrent 150 GB bevart vekt.
• Grunnmodell B: 160B parametere med 8 bits → omtrent 160 GB bevart vekt.

Målt i rått antall parametere vinner A to og en halv mot én — tallet modellkortet åpner med. Målt i bevart informasjon er de likeverdige, og B har i tillegg en strukturell fordel: vektene ligger på et rutenett fint nok til at haleoppførselen er intakt, mens A-ens hale er kvantisert inn i massen. A kan flere ting; B kan det den kan skarpere. Til lang generering, nøyaktig formatering, stilistisk kontroll og trofast etterlevelse i lang kontekst: velg B.

Illustrerende regnestykke, ikke en benchmark: det viser hvorfor «større grunnmodell» og «bedre servert modell» er to forskjellige påstander.

06Hvorfor 27 billioner treningstokens gjør aggressiv kvantisering verre

Et annet, mindre intuitivt resultat treffer denne grunnmodellen direkte. Kumar et al.s ICLR 2025-artikkel Scaling Laws for Precision finner at jo mer data en modell ble trent på, jo mer skade gjør kvantisering i etterkant på den. Lav presisjon reduserer en modells effektive parameterantall, og det forfallet vokser med mengden førtreningsdata som er absorbert — langt nok til at ekstra førtreningsdata kan være netto skadelig hvis du har tenkt å kvantisere aggressivt, fordi du legger ned fin struktur som rutenettet vil viske ut.

En modell trent på 5T tokens har grov, redundant vektstruktur og slakk å gå på. En modell trent på 27T tokens — MiMo-V2.5-Pros budsjett — brukte de ekstra dataene på å skrive finere distinksjoner inn i mer presise vektverdier, som er nøyaktig det et 3-bits rutenett ikke kan representere.

Så er det FP8-faktumet fra del 03, det reneste argumentet i denne artikkelen. MiMo-V2.5-Pro ble førtrent i FP8 blandet presisjon. Vektene ble formet fra første stund av en optimerer som arbeidet med omtrent åtte bits presisjon. Å servere den med 8-bits vekter er derfor ikke en tapsgivende ettertanke påført en 16-bits modell — det er nær ved å føre vektene tilbake til det tallregimet de ble lært i. Det finnes lite fin struktur under den åttende biten å miste. Det samme kan ikke sies om vekter presset ned til tre.

07REAP: hvorfor ekspertbeskjæring er en annen slags tap enn avrunding

To av de tre nivåene bærer en REAP-endelse — en kategorisk annen operasjon enn kvantisering. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) er ettskudds komprimering for sparsomme MoE-modeller: den scorer hver ekspert ut fra ruterens portverdier og ekspertens aktiveringsnorm, og sletter så dem med lavest score. Cerebras rapporterer nær tapsfrie resultater på kodegenerering og verktøykall selv når 50 % av ekspertene er beskåret.

Vi bruker REAP av den grunnen den finnes: på de største grunnmodellene er det det som gjør dem mulige å servere. Men legg merke til forskjellen i art. Kvantisering slører hver vekt litt; beskjæring fjerner eksperter helt. Hvis arbeidsmengden din ruter tungt til en evne som lå i en sjelden valgt ekspert — et lite programmeringsspråk, et spesialisert vokabular — er den ikke forringet. Den er borte, og ingen ledetekst henter den tilbake. Gjennomsnittene forblir utmerkede; ditt tilfelle ute i halen gjør det kanskje ikke.

MiMo-V2.5-Pro · W8A16 bærer ingen REAP-endelse. Alle 384 ekspertene er til stede, og ruteren velger fra hele settet grunnmodellen ble trent med.

Nivå	Vektbits	Eksperter	Hva du bytter bort
W8A16	8	Alle til stede	Ingenting strukturelt. Troskapsnivået.
W4A16-AUTOROUND-REAP	4	Beskåret	Fin vektdetalj pluss eksperter med lite trafikk, i bytte mot en langt større grunnmodell i samme prisklasse.
3BIT-REAP	3	Beskåret	Betydelig vektoppløsning pluss eksperter med lite trafikk — prisen for å kjøre de aller største grunnmodellene med fart.

Mellomnivået fortjener en rettferdig behandling. AutoRound er ikke naiv avrunding: Intels metode (arXiv:2309.05516) bruker fortegnsbasert gradientnedstigning over omtrent 200 steg for å stille inn avrundingsvalgene og klippeområdet per vektgruppe, og rapporteres som nær tapsfri med 4 bits i de fleste sammenhenger, foran GPTQ, AWQ, HQQ og OmniQuant på de fleste testede oppsettene. En W4A16-AUTOROUND-modell er en genuint god 4-bits modell. Den er fortsatt en 4-bits modell.

08Hvem bør velge 8-bitsnivået — og hvem bør la være

MiMo-V2.5-Pro · W8A16 ligger på gulvprisen i hele katalogen — $0.50 inn / $2.00 ut per million tokens, samme klasse som 4-bits inngangsmodellene og omtrent en fjerdedel av inn-prisen til den dyreste modellen vi serverer. Du betaler ikke et pristillegg for troskap; du velger en annen akse av det samme budsjettet.

Velg den når

• Lengden på utdataene er jobben. Lang teknisk skriving, fiksjon på kapittellengde, fulle gjennomganger av dokumentasjon — hvert genererte token er ett der komprimeringsstøyen bygger seg opp.
• Stemme og konsistens betyr noe. Karakterarbeid, merkevaretone, et register holdt gjennom en lang økt. Stilen bor i halen, og halen er det grov kvantisering spiser først.
• Strukturert utdata må validere på første forsøk. Modellen støtter json_schema og response_format; skjemaetterlevelse er en presisjonsegenskap, og hvert forsøk du slipper å gjenta er penger og ventetid spart.
• Du fyller konteksten. Å følge instruksjonen på token 200,000 er vanskeligere enn på token 2,000, og det forfaller med vektpresisjonen — det samme gjelder et langt resonneringsspor, der feil bygger seg opp på samme måte.
• Arbeidet er usensurert av natur. Sikkerhetsforskning, red teaming, ufiltrert fiksjon, sensitiv medisinsk eller juridisk analyse — der et forbeholdent svar er verre enn ingen.

Velg noe annet når

• Du trenger syn. Denne modellen er ren tekst; søskenmodellen MiMo-V2.5 · W8A16 er synskapabel til samme pris og på samme nivå.
• Du trenger bredest mulig verdenskunnskap på korte spørsmål. Det er regimet der de ekstra parameterne i en langt større 3-bits grunnmodell vinner, og kvantiseringsskaden knapt synes.
• Arbeidsmengden er kort klassifisering i stort volum. Kvantiseringsskade er nesten usynlig der — kjøp det som er raskest.

09Slik kaller du det usensurerte MiMo-API-et

Hvis koden din retter seg mot OpenAI-SDK-et, er hele migreringen å bytte base-URL og modell-id:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages og /v1/responses tar den samme id-en og de samme egenskapene. Parameterreferanse, skjemaer for verktøykall, eksempler på strukturert utdata og en levende lekeplass finnes i API-dokumentasjonen til Shannon AI.

Egenskap	MiMo-V2.5-Pro · W8A16
Kontekstvindu	262,144 tokens
Maks utdata per forespørsel	16,384 tokens
Strømming	Ja — alle tre dialekter
Verktøykall	Ja
Resonnering / reasoning_effort	Ja
Strukturert utdata med json_schema	Ja
response_format	Ja
Syn / bilder som inndata	Nei — bruk MiMo-V2.5
Avvisningslag / filtrering av utdata	Ingen
Pris per 1M tokens	$0.50 inn / $2.00 ut

10Ofte stilte spørsmål

---

Kilder: Teknisk MiMo-rapport, arXiv:2505.07608 · Modellkort for MiMo-V2.5-Pro (Xiaomi) · «Give Me BF16 or Give Me Death»?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Skaleringslover for k-bits inferens, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Alle benchmarktall er som rapportert av forfatterne deres. Shannon AI er et produkt fra Shannon Lab LLC, New Mexico, USA.