Ocensurerat MiMo-API med 8-bitars trohet

De flesta kataloger säljer parameterantal till dig. Det är fel tal att handla på, eftersom varje stor modell med öppna vikter som du faktiskt har råd med har komprimerats för att få plats någonstans. Den ärliga frågan är inte ”hur stor var den innan den klämdes ihop?” utan ”hur mycket av den finns kvar?” Den här artikeln handlar om den frågan, och om modellen i vår uppsättning där svaret är nästan allt.

01Vad det ocensurerade MiMo-API:et faktiskt ger dig

Det ocensurerade MiMo-API:et är ett modell-id, MiMo-V2.5-Pro-W8A16, nåbart genom tre dialekter som adresserar samma vikter på vårt eget GPU-kluster: /v1/chat/completions, /v1/messages och /v1/responses. Alla tre strömmar och stöder verktygsanrop och resonemang.

Ocensurerad har en snäv betydelse här: inget vägranslager framför modellen, inget filter på dess utdata. Vi fångar inte upp, klassificerar inte och skriver inte om. Du får grundmodellens eget beteende — vilket för en modell med öppna vikter av forskningsklass betyder att den engagerar sig i säkerhetsforskning, vuxen eller våldsam fiktion, medicinska och juridiska resonemang, och de förfrågningar som drivna kommersiella slutpunkter avböjer reflexmässigt. Det är ett professionellt verktyg under vår policy för ansvarsfull användning, inte en frånvaro av regler.

02MiMo-släktet: Xiaomis satsning på resonemangsfokuserad förträning

MiMo är inte en Llama-avläggare med nytt namn; det är ett eget släkte från Xiaomis MiMo-team, och dess grundidé spelar roll innan du utvärderar modellen. Det inleds med MiMo-7B (30 april 2025, MIT-licensierad), vars tekniska rapport hävdar att de flesta labb behandlar resonemang som ett efterträningsproblem att skruva på med RL, och att det är bakvänt. Xiaomi byggde i stället om förträningen kring det: en blandning i tre steg över 25 biljoner tokens, där steg två kör ungefär 70 % matematik och kod och steg tre väver in syntetiska resonemangsspår samtidigt som kontexten utökas från 8K till 32K — plus ett mål för Multi-Token Prediction som samtidigt fungerar som huvud för spekulativ avkodning.

Resultatet blev en basmodell på 7B som betedde sig som något långt större. MiMo-7B-Base fick 32,9 på AIME 2024 där Qwen2.5-7B fick 10,1, Gemma-2-9B 0,0 och Llama-3.1-8B 0,3. Efterträningen körde sedan RL över 130 000 verifierbara matte- och kodproblem med en kodbelöning driven av testsvårighet, vilket undvek fällan med gles belöning som destabiliserar RL på kod. Resultatet hamnade före o1-mini:

AIME 2025, siffror rapporterade av Xiaomi i den tekniska MiMo-rapporten (arXiv:2505.07608). MiMo-7B-RL rapporterade också 95,8 på MATH-500 och 57,8 på LiveCodeBench v5.

Familjen breddades snarare än drev iväg: MiMo-VL-7B (juni 2025) satte en Qwen2.5-ViT-kodare på samma ryggrad, och december 2025 gav MiMo-Audio-7B plus den första MoE-medlemmen, MiMo-V2-Flash (309B totalt / 15B aktiva, 27T tokens, FP8 blandad precision). MiMo-V2-Pro följde i mars 2026 på ungefär 1T / 42B aktiva med en kontext på 1M, efter veckor på OpenRouter som ”Hunter Alpha”. MiMo-V2.5 och MiMo-V2.5-Pro släpptes tillsammans den 22 april 2026, båda under MIT.

03Inuti MiMo-V2.5-Pro: hur grundmodellen ser ut

Enligt Xiaomis publicerade modellkort är MiMo-V2.5-Pro en gles Mixture-of-Experts-modell med 1,02 biljoner parametrar totalt och 42 miljarder aktiva per token över 70 lager — ett tätt, 69 MoE — och 384 dirigerade experter, 8 per token. Dold storlek är 6144, med en smal MoE-mellanstorlek på 2048.

Två val formar hur den känns i användning. Attention-stapeln är hybrid: 10 lager med full attention och 60 lager med glidande fönster om 128, plus en inlärbar attention-sink-bias. Xiaomi rapporterar att detta skär lagringen av KV-cachen med nära 7× jämfört med genomgående global attention samtidigt som kvaliteten i lång kontext behålls — skillnaden mellan ett fönster som är långt på papperet och ett du har råd att fylla. Den levereras också med tre lager för Multi-Token Prediction, vilket ger avkodaren ett spekulativt huvud.

Träningen omfattade 27 biljoner tokens vid en nativ sekvenslängd på 32K i FP8 (E4M3) blandad precision, följt av övervakad finjustering, agentisk RL i stor skala och on-policy-destillation från flera lärarmodeller. Håll fast vid den FP8-detaljen; den är det starkaste enskilda argumentet för att servera den här grundmodellen med 8 bitar.

Xiaomi rapporterar modellen till 57,2 % på SWE-bench Pro, 72,9 på τ3-Bench för verktygsanvändning och 48,0 % på Humanity's Last Exam — leverantörens egna siffror för den okomprimerade modellen, citerade som sådana.

Vi serverar ett fönster på 262 144 tokens, inte grundmodellens fulla 1M — en kontext vi kan garantera med bibehållen hastighet, i stället för ett rubriktal som degraderas under belastning.

04Vad W8A16 betyder, exakt

Varje modell i den här katalogen bär ett kvantiseringssuffix som beskriver en faktisk, mätbar omvandling snarare än en marknadsföringsnivå. Våra är 3BIT-REAP, W4A16-AUTOROUND-REAP och W8A16. MiMo-V2.5-Pro är den tredje.

Beteckningen delas i två. W8 är viktprecisionen: varje parameter lagras som ett 8-bitars heltal i stället för ett 16-bitars flyttal, med en delad skalfaktor per liten grupp så att varje grupps lokala dynamiska omfång överlever. A16 är aktiveringsprecisionen: värden som flödar mellan lagren vid inferens stannar på 16 bitar. Vikterna komprimeras; aritmetiken gör det inte.

Den andra halvan gör ett tyst men viktigt arbete. Aktiveringar är mycket svårare att kvantisera än vikter: de innehåller extrema avvikarkanaler — några få dimensioner vars magnituder överskuggar allt annat och som bär en oproportionerlig andel av modellens beteende. Tvinga ner dem i låg precision och du klipper bort precis den signal du behövde. Scheman som bara kvantiserar vikterna kringgår problemet genom att lämna aktiveringsvägen i fred, och det är därför seriöst kvantiseringsarbete har konvergerat mot dem.

Så den praktiska frågan smalnar av till en sak: hur få bitar tål en vikt?

05W8A16 mot W4A16 mot 3 bitar: vart förlusten faktiskt tar vägen

Den största publicerade studien på området är Neural Magics och Red Hats ”Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization — över 500 000 utvärderingar över Llama-3.1-familjen på 8B, 70B och 405B. Deras huvudresultat, i deras egna siffror:

Format	Vad som komprimeras	Rapporterad återhämtning mot BF16
W8A8-FP (8-bitars)	Vikter + aktiveringar, flyttal	~99,75 % i snitt — ”i praktiken förlustfri”
W8A8-INT (8-bitars)	Vikter + aktiveringar, heltal	99–100 % vid 8B/70B; 98,2–99,3 % vid 405B
W4A16-INT (4-bitars)	Endast vikter	98–99,4 % (8B); 98,6–99,8 % (70B)

Siffror rapporterade av Neural Magic / Red Hat (arXiv:2411.02355) på Llama-3.1-modeller — avvägningens form, inte den här modellens resultat.

Ärligt läst ser det ut som ett argument mot att bry sig: 4 bitar återhämtar 98–99 %, så varför lägga någon vikt vid det? Därför att det är akademiska flervalsbenchmarks, ungefär det sämsta tillgängliga instrumentet för att upptäcka kvantiseringsskada. En benchmarkfråga har ett rätt svar som nås på en eller två tokens, och kvantiseringsfelet är litet brus med ungefär nollmedelvärde på varje logit; på en kort fråga med bred marginal absorberas det bruset.

Skriv nu 4 000 tokens av ett tekniskt dokument, håll en röst genom en berättelse på 40 000 tokens, eller producera JSON som måste validera på första försöket. Samma brus samplas tusentals gånger i följd, där varje sampling betingar nästa. Felläget är inte ett felaktigt svar — det är drift: ett lösare grepp om instruktionen från första turen, en karaktär som slutar låta som sig själv runt token 3 000, en avslutande klammerparentes som aldrig kommer.

Vart bitarna faktiskt tar vägen

Kvantiseringsfelet sprids inte jämnt över en modells förmågor; det koncentreras i svansen. Beteenden med hög massa — grammatisk engelska, formen på en Python-funktion, de tusen vanligaste fakta om världen — är kodade redundant över många vikter och överlever nästan vad som helst. De precist inställda hörnen av viktfördelningen med liten magnitud rymmer det sällsynta: exakt signatur för ett obskyrt API, en viss författares kadens, skillnaden mellan två närliggande CVE:er. Det är de värdena ett grovt rutnät avrundar in i varandra.

Steget från 4 bitar till 3 är där detta slutar vara en skatt och blir ett stup. Dettmers och Zettlemoyers skalningslagar för k-bitars inferens fann att 4 bitar är punkten som maximerar zero-shot-träffsäkerhet per bit modellminne, med degradering som dominerar under den. Fyra bitar ger 16 nivåer per grupp; tre ger 8. Du halverar upplösningen i ett redan grovt rutnät, och avrundningsfelet per vikt fördubblas ungefär.

Aritmetiken som avgör saken

Jämförelsen som är värd att göra är aritmetisk, inte en benchmark. Det som överlever komprimeringen är ungefär parametrar × bitar per parameter — viktfilens informationsbärande volym. Ta två hypotetiska grundmodeller med lika kvalitet per parameter:

• Grundmodell A: 400B parametrar med 3 bitar → ungefär 150 GB bevarad vikt.
• Grundmodell B: 160B parametrar med 8 bitar → ungefär 160 GB bevarad vikt.

Räknat i rått parameterantal vinner A med två och en halv mot ett — talet modellkortet leder med. Räknat i bevarad information är de likvärdiga, och B har dessutom ett strukturellt övertag: dess vikter ligger på ett rutnät fint nog att svansbeteendet är intakt, medan A:s svans har kvantiserats in i huvudmassan. A kan fler saker; B kan det den kan skarpare. För lång generering, exakt formatering, stilistisk kontroll och trogen efterlevnad i lång kontext, ta B.

Illustrativ aritmetik, inte en benchmark: den visar varför ”större grundmodell” och ”bättre serverad modell” är olika påståenden.

06Varför 27 biljoner träningstokens gör aggressiv kvantisering värre

Ett andra, mindre intuitivt resultat har direkt bäring på den här grundmodellen. Kumar m.fl.:s ICLR 2025-artikel Scaling Laws for Precision finner att ju mer data en modell tränats på, desto mer skada gör kvantisering efter träning på den. Låg precision minskar en modells effektiva parameterantal, och den degraderingen växer med mängden förträningsdata som absorberats — så pass att extra förträningsdata kan vara netto skadligt om du tänker kvantisera aggressivt, eftersom du lägger ner fin struktur som rutnätet kommer att sudda ut.

En modell tränad på 5T tokens har grov, redundant viktstruktur och gott om slack. En modell tränad på 27T tokens — MiMo-V2.5-Pros budget — använde de extra datamängderna till att skriva in finare distinktioner i mer precisa viktvärden, vilket är precis vad ett 3-bitars rutnät inte kan representera.

Och så finns FP8-faktumet från avsnitt 03, det renaste argumentet i den här artikeln. MiMo-V2.5-Pro förtränades i FP8 blandad precision. Dess vikter formades från början av en optimerare som arbetade med ungefär åtta bitars precision. Att servera den med 8-bitars vikter är därför inte en förlustbehäftad efterhandskonstruktion påtvingad en 16-bitarsmodell — det ligger nära att lämna tillbaka vikterna till det numeriska regim de lärdes in i. Det finns lite fin struktur under åttonde biten att förlora. Detsamma kan inte sägas om samma vikter tvingade ner till tre.

07REAP: varför expertbeskärning är en annan sorts förlust än avrundning

Två av de tre nivåerna bär suffixet REAP — en kategoriskt annorlunda operation än kvantisering. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) är engångskomprimering för glesa MoE-modeller: den poängsätter varje expert utifrån routerns grindvärden och expertens aktiveringsnorm och raderar sedan dem med lägst poäng. Cerebras rapporterar nära förlustfria resultat på kodgenerering och verktygsanrop även vid 50 % beskurna experter.

Vi använder REAP av det skäl den finns till: på de största grundmodellerna är det den som gör dem serverbara. Men notera skillnaden i art. Kvantisering suddar varje vikt lite; beskärning tar bort experter helt. Om din arbetslast dirigerar tungt till en förmåga som bodde i en sällan vald expert — ett litet programmeringsspråk, ett specialiserat ordförråd — är den inte degraderad. Den är borta, och ingen promptning återfår den. Medelvärdena förblir utmärkta; ditt svansfall kanske inte gör det.

MiMo-V2.5-Pro · W8A16 bär inget REAP-suffix. Alla 384 experter finns kvar, och routern väljer ur hela den uppsättning grundmodellen tränades med.

Nivå	Viktbitar	Experter	Vad du byter bort
W8A16	8	Alla kvar	Inget strukturellt. Trohetsnivån.
W4A16-AUTOROUND-REAP	4	Beskurna	Fin viktdetalj plus experter med låg trafik, i utbyte mot en mycket större grundmodell i samma prisband.
3BIT-REAP	3	Beskurna	Betydande viktupplösning plus experter med låg trafik — priset för att köra de allra största grundmodellerna med bibehållen hastighet.

Mellannivån förtjänar en rättvis prövning. AutoRound är inte naiv avrundning: Intels metod (arXiv:2309.05516) använder teckenbaserad gradientnedstigning över ungefär 200 steg för att justera avrundningsbesluten och klippintervallet per viktgrupp, och rapporteras nära förlustfri vid 4 bitar i de flesta lägen, bättre än GPTQ, AWQ, HQQ och OmniQuant över de flesta testade konfigurationerna. En W4A16-AUTOROUND-modell är en genuint bra 4-bitarsmodell. Den är fortfarande en 4-bitarsmodell.

08Vem bör välja 8-bitarsnivån — och vem bör inte

MiMo-V2.5-Pro · W8A16 ligger på golvpriset för hela katalogen — $0.50 in / $2.00 ut per miljon tokens, samma band som 4-bitarsmodellerna i instegsnivån och ungefär en fjärdedel av indatapriset för den dyraste modellen vi serverar. Du betalar inget överpris för trohet; du väljer en annan axel av samma budget.

Välj den när

• Utdatalängden är jobbet. Långt tekniskt skrivande, fiktion i kapitellängd, fullständiga dokumentationspass — varje genererad token är en där komprimeringsbruset ackumuleras.
• Röst och konsekvens spelar roll. Karaktärsarbete, varumärkeston, ett register som hålls genom en lång session. Stilen bor i svansen, och svansen är det grov kvantisering äter först.
• Strukturerad utdata måste validera på första försöket. Modellen stöder json_schema och response_format; schemaefterlevnad är en precisionsegenskap, och varje undviket omförsök är sparade pengar och sparad latens.
• Du fyller kontexten. Instruktionsefterlevnad vid token 200 000 är svårare än vid token 2 000, och den försämras med viktprecisionen — liksom ett långt resonemangsspår, där felen ackumuleras på samma sätt.
• Arbetet är ocensurerat till sin natur. Säkerhetsforskning, red teaming, ofiltrerad fiktion, känslig medicinsk eller juridisk analys — där ett garderat svar är sämre än inget.

Välj något annat när

• Du behöver vision. Den här modellen hanterar bara text; systermodellen MiMo-V2.5 · W8A16 är bildkapabel till samma pris och på samma nivå.
• Du behöver bredast världskunskap på korta frågor. Det är det läge där en mycket större 3-bitars grundmodells extra parametrar vinner och dess kvantiseringsskada knappt syns.
• Din arbetslast är kort klassificering i stor volym. Kvantiseringsskadan är nästan osynlig där — köp det som är snabbast.

09Att anropa det ocensurerade MiMo-API:et

Om din kod riktar sig mot OpenAI-SDK:t är byte av bas-URL och modell-id hela migreringen:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages och /v1/responses tar emot samma id och samma förmågor. Parameterreferens, scheman för verktygsanrop, exempel på strukturerad utdata och en live-playground finns i API-dokumentationen för Shannon AI.

Förmåga	MiMo-V2.5-Pro · W8A16
Kontextfönster	262 144 tokens
Max utdata per förfrågan	16 384 tokens
Strömning	Ja — alla tre dialekterna
Verktygsanrop	Ja
Resonemang / reasoning_effort	Ja
Strukturerad utdata med json_schema	Ja
response_format	Ja
Vision / bildindata	Nej — använd MiMo-V2.5
Vägranslager / utdatafilter	Inget
Pris per 1M tokens	$0.50 in / $2.00 ut

10Vanliga frågor

---

Källor: Teknisk MiMo-rapport, arXiv:2505.07608 · Modellkort för MiMo-V2.5-Pro (Xiaomi) · ”Give Me BF16 or Give Me Death”?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Skalningslagar för k-bitars inferens, arXiv:2212.09720 · Scaling Laws for Precision, Kumar m.fl., ICLR 2025. Alla benchmarksiffror är som de rapporterats av sina författare. Shannon AI är en produkt från Shannon Lab LLC, New Mexico, USA.