Ucensureret MiMo-API med 8-bit trofasthed

De fleste kataloger sælger dig et parametertal. Det er det forkerte tal at handle på, for enhver stor model med åbne vægte, du reelt har råd til, er blevet komprimeret for at kunne være der. Det ærlige spørgsmål er ikke »hvor stor var den, før den blev presset sammen?«, men »hvor meget af den er der stadig?« Denne artikel handler om det spørgsmål — og om den model i vores opstilling, hvor svaret er næsten det hele.

01Hvad det ucensurerede MiMo-API rent faktisk giver dig

Det ucensurerede MiMo-API er ét model-id, MiMo-V2.5-Pro-W8A16, som kan nås gennem tre dialekter, der peger på de samme vægte på vores egen GPU-klynge: /v1/chat/completions, /v1/messages og /v1/responses. Alle tre streamer og understøtter tool calling og ræsonnement.

Ucensureret har en snæver betydning her: intet afvisningslag foran modellen, intet filter på dens output. Vi opfanger ikke, klassificerer ikke og omskriver ikke. Du får grundmodellens egen adfærd — hvilket for en model med åbne vægte af forskningskvalitet betyder, at den går ind i sikkerhedsforskning, voksen eller voldelig fiktion, medicinsk og juridisk ræsonnement og de forespørgsler, som hostede kommercielle endepunkter afviser pr. refleks. Det er et professionelt værktøj under vores politik for ansvarlig brug, ikke et fravær af regler.

02MiMo-slægten: Xiaomis væddemål på ræsonnementsfokuseret fortræning

MiMo er ikke en Llama-aflægger med nyt navn; det er en selvstændig slægt fra Xiaomis MiMo-team, og dens grundidé betyder noget, før du vurderer modellen. Den åbner med MiMo-7B (30. april 2025, MIT-licenseret), hvis tekniske rapport argumenterer for, at de fleste laboratorier behandler ræsonnement som et eftertræningsproblem, der skal skrues på med RL, og at det er omvendt af, hvad det burde være. Xiaomi byggede i stedet fortræningen om omkring det: en blanding i tre trin hen over 25 billioner tokens, hvor trin to kører omkring 70 % matematik og kode, og trin tre væver syntetiske ræsonnementsspor ind, mens konteksten udvides fra 8K til 32K — plus et Multi-Token Prediction-mål, der samtidig fungerer som hoved til spekulativ afkodning.

Resultatet var en basismodel på 7B, der opførte sig som noget langt større. MiMo-7B-Base scorede 32,9 på AIME 2024, hvor Qwen2.5-7B scorede 10,1, Gemma-2-9B 0,0 og Llama-3.1-8B 0,3. Eftertræningen kørte derefter RL over 130.000 verificerbare matematik- og kodeopgaver med en kodebelønning drevet af testsværhedsgrad, hvilket undgik den fælde med tynd beløning, der destabiliserer RL på kode. Resultatet landede foran o1-mini:

AIME 2025, tal rapporteret af Xiaomi i den tekniske MiMo-rapport (arXiv:2505.07608). MiMo-7B-RL rapporterede også 95,8 på MATH-500 og 57,8 på LiveCodeBench v5.

Familien blev bredere frem for at drive af kurs: MiMo-VL-7B (juni 2025) satte en Qwen2.5-ViT-encoder på den samme rygrad, og december 2025 bragte MiMo-Audio-7B plus den første MoE-model, MiMo-V2-Flash (309 mia. i alt / 15 mia. aktive, 27 bio. tokens, FP8 blandet præcision). MiMo-V2-Pro fulgte i marts 2026 med cirka 1 bio. parametre / 42 mia. aktive og 1M kontekst, efter uger på OpenRouter under navnet »Hunter Alpha«. MiMo-V2.5 og MiMo-V2.5-Pro udkom sammen den 22. april 2026, begge under MIT.

03Inde i MiMo-V2.5-Pro: hvordan grundmodellen ser ud

Ifølge Xiaomis offentliggjorte modelkort er MiMo-V2.5-Pro en sparsom Mixture-of-Experts-model med 1,02 billioner parametre i alt og 42 milliarder aktive pr. token hen over 70 lag — ét tæt, 69 MoE — og 384 rutede eksperter, 8 pr. token. Den skjulte størrelse er 6144, med en smal MoE-mellemstørrelse på 2048.

To valg former, hvordan den føles i brug. Attention-stakken er hybrid: 10 lag med fuld attention og 60 lag med glidende vindue på 128, plus en lærbar attention-sink-bias. Xiaomi rapporterer, at det skærer lagringen af KV-cache med tæt på 7× i forhold til udelukkende global attention, mens kvaliteten i lang kontekst holdes — forskellen mellem et vindue, der nominelt er langt, og et, du har råd til at fylde. Den leveres også med tre Multi-Token Prediction-lag, hvilket giver dekoderen et spekulativt hoved.

Træningen var 27 billioner tokens ved en indbygget sekvenslængde på 32K i FP8 (E4M3) blandet præcision, derefter superviseret finjustering, agentisk RL i stor skala og on-policy-destillation fra flere lærere. Hold fast i den FP8-detalje; det er det stærkeste enkeltargument for at servere denne grundmodel med 8 bit.

Xiaomi rapporterer modellen til 57,2 % på SWE-bench Pro, 72,9 på τ3-Bench for værktøjsbrug og 48,0 % på Humanity's Last Exam — leverandørens egne tal på den ukomprimerede model, citeret som sådan.

Vi serverer et vindue på 262.144 tokens, ikke grundmodellens fulde 1M — en kontekst, vi kan garantere ved fuld hastighed, frem for et overskriftstal, der forringes under belastning.

04Hvad W8A16 betyder, præcist

Hver model i dette katalog bærer et kvantiseringssuffiks, der beskriver en faktisk, målbar transformation frem for et markedsføringsniveau. Vores er 3BIT-REAP, W4A16-AUTOROUND-REAP og W8A16. MiMo-V2.5-Pro er den tredje.

Notationen deler sig i to. W8 er vægtpræcision: hver parameter gemmes som et 8-bit heltal i stedet for et 16-bit flydende tal, med en fælles skaleringsfaktor pr. lille gruppe, så hver gruppes lokale dynamikområde overlever. A16 er aktiveringspræcision: de værdier, der flyder mellem lagene ved inferens, bliver på 16 bit. Vægtene komprimeres; regnearbejdet gør ikke.

Den anden halvdel udfører et stille, vigtigt stykke arbejde. Aktiveringer er langt sværere at kvantisere end vægte: de indeholder ekstreme outlier-kanaler — nogle få dimensioner, hvis størrelser overskygger alt andet, og som bærer en uforholdsmæssig stor del af modellens adfærd. Pres dem ned i lav præcision, og du klipper netop det signal af, du havde brug for. Skemaer, der kun kvantiserer vægte, går uden om problemet ved at lade aktiveringsvejen være, og det er derfor, seriøst kvantiseringsarbejde er konvergeret mod dem.

Så det praktiske spørgsmål snævres ind til én ting: hvor få bit kan en vægt tåle?

05W8A16 mod W4A16 mod 3-bit: hvor tabet faktisk lander

Det største offentliggjorte studie af dette er Neural Magic og Red Hats »Give Me BF16 or Give Me Death«? Accuracy-Performance Trade-Offs in LLM Quantization — over 500.000 evalueringer hen over Llama-3.1-familien på 8B, 70B og 405B. Deres hovedresultat, i deres egne tal:

Format	Hvad der komprimeres	Rapporteret genvinding vs. BF16
W8A8-FP (8-bit)	Vægte + aktiveringer, flydende tal	~99,75 % gns. — »i praksis tabsfri«
W8A8-INT (8-bit)	Vægte + aktiveringer, heltal	99-100 % ved 8B/70B; 98,2-99,3 % ved 405B
W4A16-INT (4-bit)	Kun vægte	98-99,4 % (8B); 98,6-99,8 % (70B)

Tal rapporteret af Neural Magic / Red Hat (arXiv:2411.02355) på Llama-3.1-modeller — afvejningens form, ikke denne models score.

Læst ærligt ligner det et argument imod at gå op i det: 4-bit genvinder 98-99 %, så hvorfor overhovedet skænke det en tanke? Fordi det er akademiske multiple choice-benchmarks, tæt på det dårligst tænkelige instrument til at opdage kvantiseringsskade. Et benchmark-spørgsmål har ét rigtigt svar, der kan nås på en eller to tokens, og kvantiseringsfejlen er lille støj med tilnærmelsesvis nul i middelværdi på hver logit; på et kort spørgsmål med bred margin bliver den støj absorberet.

Skriv nu 4.000 tokens af et teknisk dokument, hold en stemme hen over en historie på 40.000 tokens, eller udsend JSON, der skal validere i første forsøg. Den samme støj bliver samplet tusindvis af gange i træk, hvor hver sampling betinger den næste. Fejltilstanden er ikke et forkert svar — det er drift: et løsnende greb om instruktionen fra første tur, en person, der holder op med at lyde som sig selv omkring token 3.000, en afsluttende klamme, der aldrig kommer.

Hvor bittene faktisk går hen

Kvantiseringsfejl fordeler sig ikke jævnt over en models evner; den koncentrerer sig i halen. Adfærd med stor masse — grammatisk engelsk, formen på en Python-funktion, de tusind mest almindelige kendsgerninger om verden — er kodet redundant hen over mange vægte og overlever næsten hvad som helst. De præcist indstillede hjørner af vægtfordelingen med lille størrelsesorden rummer det sjældne stof: et obskurt API's nøjagtige signatur, en bestemt forfatters rytme, forskellen mellem to nabo-CVE'er. Det er de værdier, et groft gitter runder ind i hinanden.

Skridtet fra 4 bit til 3 er der, hvor dette holder op med at være en skat og bliver en klippekant. Dettmers og Zettlemoyers skaleringslove for k-bit inferens fandt, at 4 bit er det punkt, der maksimerer zero-shot-nøjagtighed pr. bit modelhukommelse, med forringelse som det dominerende under det. Fire bit giver 16 niveauer pr. gruppe; tre giver 8. Du halverer opløsningen af et i forvejen groft gitter, og afrundingsfejlen pr. vægt bliver omtrent fordoblet.

Regnestykket, der afgør det

Den sammenligning, der er værd at lave, er et regnestykke, ikke et benchmark. Det, der overlever komprimeringen, er tilnærmelsesvis parametre × bit pr. parameter — vægtfilens informationsbærende rumfang. Tag to hypotetiske grundmodeller af samme kvalitet pr. parameter:

• Grundmodel A: 400 mia. parametre ved 3 bit → cirka 150 GB bevaret vægt.
• Grundmodel B: 160 mia. parametre ved 8 bit → cirka 160 GB bevaret vægt.

Målt på rå parametertal vinder A to en halv til én — det tal, modelkortet slår op med. Målt på bevaret information er de ligeværdige, og B har oven i købet en strukturel fordel: dens vægte ligger på et gitter, der er fint nok til, at dens haleadfærd er intakt, mens A's hale er blevet kvantiseret ind i massen. A ved flere ting; B ved skarpere, hvad den ved. Til lang generering, nøjagtig formatering, stilistisk kontrol og trofast efterlevelse i lang kontekst: tag B.

Illustrativt regnestykke, ikke et benchmark: det viser, hvorfor »større grundmodel« og »bedre serveret model« er to forskellige påstande.

06Hvorfor 27 billioner træningstokens gør aggressiv kvantisering værre

Et andet, mindre intuitivt resultat rammer denne grundmodel direkte. Kumar m.fl.'s ICLR 2025-artikel Scaling Laws for Precision finder, at jo mere data en model blev trænet på, jo mere skade gør kvantisering efter træning på den. Lav præcision reducerer en models effektive parametertal, og den forringelse vokser med mængden af fortræningsdata, modellen har optaget — så meget, at ekstra fortræningsdata kan være netto skadeligt, hvis du agter at kvantisere aggressivt, for du lægger fin struktur ned, som gitteret vil viske ud.

En model trænet på 5 bio. tokens har grov, redundant vægtstruktur og slæk at tage af. En model trænet på 27 bio. tokens — MiMo-V2.5-Pros budget — brugte de ekstra data på at skrive finere skel ind i mere præcise vægtværdier, og det er præcis det, et 3-bit gitter ikke kan repræsentere.

Så er der FP8-kendsgerningen fra afsnit 03, det reneste argument i denne artikel. MiMo-V2.5-Pro blev fortrænet i FP8 blandet præcision. Dens vægte blev fra begyndelsen formet af en optimizer, der arbejdede med cirka otte bits præcision. At servere den med 8-bit vægte er derfor ikke en tabsgivende eftertanke pålagt en 16-bit model — det er tæt på at føre vægtene tilbage til det numeriske regime, de blev lært i. Der findes kun lidt fin struktur under den ottende bit at miste. Det samme kan ikke siges om de vægte, der presses ned til tre.

07REAP: hvorfor ekspertbeskæring er en anden slags tab end afrunding

To af de tre niveauer bærer et REAP-suffiks — en kategorisk anderledes operation end kvantisering. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) er engangskomprimering til sparsomme MoE-modeller: den giver hver ekspert en score ud fra routerens gate-værdier og ekspertens aktiveringsnorm og sletter derefter dem med lavest score. Cerebras rapporterer næsten tabsfri resultater på kodegenerering og tool calling, selv når 50 % af eksperterne er beskåret.

Vi bruger REAP af den grund, den findes til: på de største grundmodeller er det det, der gør dem servérbare. Men bemærk forskellen i art. Kvantisering slører hver vægt en smule; beskæring fjerner eksperter helt. Hvis din arbejdsopgave ruter tungt til en evne, der boede i en sjældent valgt ekspert — et mindre programmeringssprog, et specialiseret ordforråd — er den ikke forringet. Den er væk, og ingen prompting henter den tilbage. Gennemsnittene forbliver fremragende; dit haletilfælde gør det måske ikke.

MiMo-V2.5-Pro · W8A16 bærer intet REAP-suffiks. Alle 384 eksperter er til stede, og routeren vælger fra det fulde sæt, grundmodellen blev trænet med.

Niveau	Vægt-bit	Eksperter	Hvad du bytter væk
W8A16	8	Alle til stede	Intet strukturelt. Trofasthedsniveauet.
W4A16-AUTOROUND-REAP	4	Beskåret	Fin vægtdetalje plus eksperter med lav trafik, til gengæld for en langt større grundmodel i samme prisklasse.
3BIT-REAP	3	Beskåret	Betydelig vægtopløsning plus eksperter med lav trafik — prisen for at køre de allerstørste grundmodeller ved fuld hastighed.

Mellemniveauet fortjener en fair behandling. AutoRound er ikke naiv afrunding: Intels metode (arXiv:2309.05516) bruger fortegnsbaseret gradientnedstigning over cirka 200 trin til at finjustere afrundingsbeslutningerne og klippeområdet pr. vægtgruppe, og den rapporteres som næsten tabsfri ved 4 bit i de fleste sammenhænge og slår GPTQ, AWQ, HQQ og OmniQuant på tværs af de fleste testede konfigurationer. En W4A16-AUTOROUND-model er en oprigtigt god 4-bit model. Den er stadig en 4-bit model.

08Hvem bør vælge 8-bit niveauet — og hvem bør lade være

MiMo-V2.5-Pro · W8A16 ligger på bundprisen for hele kataloget — $0,50 ind / $2,00 ud pr. million tokens, samme bånd som 4-bit modellerne i indgangsniveauet og cirka en fjerdedel af inputprisen på den dyreste model, vi serverer. Du betaler ikke en merpris for trofasthed; du vælger en anden akse af det samme budget.

Vælg den, når

• Outputlængden er opgaven. Lang teknisk skrivning, fiktion i kapitellængde, fulde dokumentationsgennemløb — hver genereret token er et sted, hvor komprimeringsstøj hober sig op.
• Stemme og konsistens betyder noget. Personarbejde, brandtone, et toneleje holdt hen over en lang session. Stilen bor i halen, og halen er det første, grov kvantisering æder.
• Struktureret output skal validere i første forsøg. Modellen understøtter json_schema og response_format; efterlevelse af et skema er en præcisionsegenskab, og hvert undgået genforsøg er sparede penge og sparet latenstid.
• Du fylder konteksten. At efterleve en instruktion ved token 200.000 er sværere end ved token 2.000, og det forringes med vægtpræcisionen — det samme gælder et langt ræsonnementsspor, hvor fejl hober sig op på samme måde.
• Arbejdet er ucensureret af natur. Sikkerhedsforskning, red teaming, ufiltreret fiktion, følsom medicinsk eller juridisk analyse — hvor et forbeholdent svar er værre end intet svar.

Vælg noget andet, når

• Du har brug for vision. Denne model er kun tekst; dens søstermodel MiMo-V2.5 · W8A16 kan håndtere billeder til samme pris og på samme niveau.
• Du har brug for den bredeste verdensviden på korte forespørgsler. Det er det regime, hvor en langt større 3-bit grundmodels ekstra parametre vinder, og hvor dens kvantiseringsskade knap nok viser sig.
• Din arbejdsopgave er kort klassifikation i stor mængde. Kvantiseringsskade er nærmest usynlig der — køb det, der er hurtigst.

09Sådan kalder du det ucensurerede MiMo-API

Hvis din kode peger på OpenAI-SDK'et, er hele migreringen at ændre bas-URL og model-id:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages og /v1/responses accepterer det samme id og de samme evner. Parameterreference, skemaer til tool calling, eksempler på struktureret output og en live legeplads findes i Shannon AI's API-dokumentation.

Evne	MiMo-V2.5-Pro · W8A16
Kontekstvindue	262.144 tokens
Maks. output pr. forespørgsel	16.384 tokens
Streaming	Ja — alle tre dialekter
Tool calling	Ja
Ræsonnement / reasoning_effort	Ja
Struktureret output med json_schema	Ja
response_format	Ja
Vision / billedinput	Nej — brug MiMo-V2.5
Afvisningslag / outputfilter	Intet
Pris pr. 1M tokens	$0,50 ind / $2,00 ud

10Ofte stillede spørgsmål

---

Kilder: Teknisk MiMo-rapport, arXiv:2505.07608 · Modelkort for MiMo-V2.5-Pro (Xiaomi) · »Give Me BF16 or Give Me Death«?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Skaleringslove for k-bit inferens, arXiv:2212.09720 · Scaling Laws for Precision, Kumar m.fl., ICLR 2025. Alle benchmarktal er, som de er rapporteret af deres forfattere. Shannon AI er et produkt fra Shannon Lab LLC, New Mexico, USA.