Ongecensureerde MiMo API met 8-bits getrouwheid
Het redeneergerichte MiMo-basismodel van Xiaomi, geserveerd zonder weigeringslaag op W8A16 — het kwantisatieniveau met de hoogste getrouwheid dat wij draaien — voor de bodemprijs van de catalogus.
Kort samengevat
MiMo-V2.5-Pro · W8A16 is MiMo-V2.5-Pro van Xiaomi, met open gewichten, geserveerd op Shannons eigen GPU-cluster met gewichten van 8 bits / activaties van 16 bits — het minst gecomprimeerde niveau in onze catalogus van twaalf modellen. Een context van 262,144 tokens, 16,384 uitvoertokens per verzoek, tool calling, redeneren, gestructureerde uitvoer met JSON-schema, streaming op drie API-dialecten, en geen weigeringslaag of filtering van de uitvoer, voor $0.50 in / $2.00 uit per miljoen tokens — de bodem van de catalogus. Tekst-only; gebruik MiMo-V2.5 · W8A16 voor afbeeldingen.
De meeste catalogi verkopen u een parameteraantal. Dat is het verkeerde getal om op te winkelen, want elk groot model met open gewichten dat u zich werkelijk kunt veroorloven, is ergens gecomprimeerd om te passen. De eerlijke vraag is niet "hoe groot was dit voordat het samengeperst werd?", maar "hoeveel ervan is er nog?" Dit artikel gaat over die vraag, en over het model in ons assortiment waar het antwoord vrijwel alles luidt.
01Wat de ongecensureerde MiMo API u werkelijk oplevert
De ongecensureerde MiMo API is één model-id, MiMo-V2.5-Pro-W8A16, bereikbaar via drie dialecten die dezelfde gewichten op ons eigen GPU-cluster aanspreken: /v1/chat/completions, /v1/messages en /v1/responses. Alle drie streamen en ondersteunen tool calling en redeneren.
Ongecensureerd heeft hier een enge betekenis: geen weigeringslaag voor het model, geen filter op de uitvoer. Wij onderscheppen, classificeren of herschrijven niet. U krijgt het eigen gedrag van het basismodel — wat voor een model met open gewichten van onderzoekskwaliteit betekent dat het ingaat op veiligheidsonderzoek, fictie voor volwassenen of met geweld, medisch en juridisch redeneren, en de verzoeken die gehoste commerciële endpoints uit reflex afwijzen. Het is een professioneel gereedschap onder ons beleid voor verantwoord gebruik, geen afwezigheid van regels.
02De MiMo-lijn: Xiaomi's gok op redeneergerichte pretraining
MiMo is geen Llama-afgeleide met een nieuwe naam; het is een eigen lijn van het MiMo-team van Xiaomi, en het oprichtingsidee doet ertoe voordat u het model beoordeelt. De lijn begint met MiMo-7B (30 april 2025, onder MIT-licentie), waarvan het technische rapport betoogt dat de meeste labs redeneren behandelen als een probleem voor na de training, er met RL op vastgeschroefd, en dat dat andersom is. Xiaomi herstructureerde in plaats daarvan de pretraining eromheen: een mengsel in drie fasen over 25 biljoen tokens, waarbij fase twee ruwweg 70% wiskunde en code draaide en fase drie synthetische redeneersporen toevoegde terwijl de context van 8K naar 32K werd opgerekt — plus een doelstelling van Multi-Token Prediction die tegelijk dienstdoet als kop voor speculatief decoderen.
Het resultaat was een basismodel van 7 miljard parameters dat zich gedroeg als iets veel groters. MiMo-7B-Base scoorde 32.9 op AIME 2024, waar Qwen2.5-7B 10.1 scoorde, Gemma-2-9B 0.0 en Llama-3.1-8B 0.3. In de post-training werd vervolgens RL gedraaid over 130,000 verifieerbare wiskunde- en codeproblemen met een codebeloning gestuurd door testmoeilijkheid, waarmee de val van schaarse beloningen werd omzeild die code-RL destabiliseert. Het resultaat kwam voor o1-mini uit:
AIME 2025, door Xiaomi gerapporteerde cijfers uit het technische MiMo-rapport (arXiv:2505.07608). MiMo-7B-RL rapporteerde ook 95.8 op MATH-500 en 57.8 op LiveCodeBench v5.
De familie werd breder in plaats van af te dwalen: MiMo-VL-7B (juni 2025) zette een Qwen2.5-ViT-encoder op dezelfde ruggengraat, en december 2025 bracht MiMo-Audio-7B plus de eerste MoE-vermelding, MiMo-V2-Flash (309 miljard totaal / 15 miljard actief, 27 biljoen tokens, gemengde FP8-precisie). MiMo-V2-Pro volgde in maart 2026 met ruwweg 1 biljoen parameters / 42 miljard actief en een context van 1M, na weken op OpenRouter als "Hunter Alpha". MiMo-V2.5 en MiMo-V2.5-Pro verschenen samen op 22 april 2026, beide onder MIT.
03Binnenin MiMo-V2.5-Pro: hoe het basismodel eruitziet
Volgens de gepubliceerde modelkaart van Xiaomi is MiMo-V2.5-Pro een dunbezet Mixture-of-Experts-model met 1.02 biljoen parameters in totaal en 42 miljard actief per token verdeeld over 70 lagen — één dichte, 69 MoE — en 384 gerouteerde experts, 8 per token. De verborgen dimensie is 6144, met een smalle MoE-tussendimensie van 2048.
Twee keuzes bepalen hoe het in gebruik aanvoelt. De aandachtstapel is hybride: 10 lagen met volledige aandacht en 60 sliding-window-lagen met een venster van 128, plus een leerbare attention-sink-bias. Xiaomi rapporteert dat dit de opslag van de KV-cache met bijna 7x terugbrengt ten opzichte van uitsluitend globale aandacht, terwijl de kwaliteit bij lange context behouden blijft — het verschil tussen een venster dat nominaal lang is en een venster dat u zich kunt veroorloven te vullen. Het levert ook drie lagen voor Multi-Token Prediction, wat de decoder een speculatieve kop geeft.
De training omvatte 27 biljoen tokens bij een natieve sequentielengte van 32K in gemengde FP8-precisie (E4M3), gevolgd door supervised fine-tuning, agentische RL op grote schaal en on-policy distillatie met meerdere leraren. Onthoud dat FP8-detail; het is het sterkste enkele argument om dit basismodel op 8 bits te serveren.
Xiaomi rapporteert het model op 57.2% op SWE-bench Pro, 72.9 op τ3-Bench voor toolgebruik en 48.0% op Humanity's Last Exam — de eigen cijfers van de leverancier op het ongecomprimeerde model, en als zodanig geciteerd.
Wij serveren een venster van 262,144 tokens, niet de volledige 1M van het basismodel — een context die wij op snelheid kunnen garanderen, in plaats van een blikvangergetal dat onder belasting inzakt.
04Wat W8A16 precies betekent
Elk model in deze catalogus draagt een kwantisatieachtervoegsel dat een werkelijke, meetbare transformatie beschrijft in plaats van een marketingniveau. De onze zijn 3BIT-REAP, W4A16-AUTOROUND-REAP en W8A16. MiMo-V2.5-Pro is de derde.
De notatie valt in tweeën uiteen. W8 is de precisie van de gewichten: elke parameter wordt opgeslagen als een geheel getal van 8 bits in plaats van als een 16-bits kommagetal, met een gedeelde schaalfactor per kleine groep, zodat het lokale dynamische bereik van elke groep behouden blijft. A16 is de precisie van de activaties: waarden die tijdens de inferentie tussen de lagen stromen, blijven op 16 bits. De gewichten worden gecomprimeerd; het rekenwerk niet.
Die tweede helft doet stil maar belangrijk werk. Activaties zijn veel lastiger te kwantiseren dan gewichten: ze bevatten extreme uitschieterkanalen — een handvol dimensies waarvan de omvang al het andere overschaduwt en die een onevenredig deel van het gedrag van het model dragen. Duw die naar lage precisie en u knipt precies het signaal weg dat u nodig had. Schema's die alleen de gewichten kwantiseren, omzeilen het probleem door het activatiepad met rust te laten, en dat is de reden dat serieus kwantisatiewerk daarnaartoe geconvergeerd is.
De praktische vraag versmalt daarmee tot één ding: met hoe weinig bits kan een gewicht toe?
05W8A16 versus W4A16 versus 3 bits: waar het verlies werkelijk zit
De grootste gepubliceerde studie hierover is "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization van Neural Magic en Red Hat — ruim 500,000 evaluaties over de Llama-3.1-familie op 8B, 70B en 405B. Hun kernresultaat, in hun eigen cijfers:
| Formaat | Wat wordt gecomprimeerd | Gerapporteerd herstel t.o.v. BF16 |
|---|---|---|
| W8A8-FP (8 bits) | Gewichten + activaties, kommagetal | ~99.75% gem. — "in wezen verliesvrij" |
| W8A8-INT (8 bits) | Gewichten + activaties, geheel getal | 99–100% op 8B/70B; 98.2–99.3% op 405B |
| W4A16-INT (4 bits) | Alleen gewichten | 98–99.4% (8B); 98.6–99.8% (70B) |
Cijfers gerapporteerd door Neural Magic / Red Hat (arXiv:2411.02355) op Llama-3.1-modellen — de vorm van de afweging, niet de score van dit model.
Eerlijk gelezen ziet dat eruit als een argument tegen je erom bekommeren: 4 bits herstelt 98–99%, dus waarom erop letten? Omdat dit academische meerkeuzebenchmarks zijn, zowat het slechtste beschikbare instrument om kwantisatieschade op te sporen. Een benchmarkvraag heeft één juist antwoord dat in een of twee tokens bereikbaar is, en de kwantisatiefout is kleine ruis met ruwweg gemiddelde nul op elk logit; bij een korte vraag met een ruime marge wordt die ruis geabsorbeerd.
Schrijf nu 4,000 tokens van een technisch document, houd een stem vast over een verhaal van 40,000 tokens, of produceer JSON die in één keer moet valideren. Dezelfde ruis wordt duizenden keren achter elkaar bemonsterd, waarbij elke steekproef de volgende conditioneert. De faalmodus is geen fout antwoord — het is drift: een greep op de instructie uit de eerste beurt die verslapt, een personage dat rond token 3,000 niet meer als zichzelf klinkt, een sluitende accolade die nooit komt.
Waar de bits werkelijk naartoe gaan
De kwantisatiefout is niet gelijkmatig over de vaardigheden van een model verdeeld; hij concentreert zich in de staart. Gedrag met veel massa — grammaticaal Nederlands, de vorm van een Python-functie, de duizend bekendste feiten over de wereld — is redundant over veel gewichten gecodeerd en overleeft vrijwel alles. De precies afgestelde hoeken van de gewichtsverdeling met kleine omvang bevatten het zeldzame spul: de exacte signatuur van een obscure API, de cadans van een specifieke auteur, het verschil tussen twee naburige CVE's. Dat zijn de waarden die een grof raster naar elkaar toe afrondt.
De stap van 4 bits naar 3 is waar dit ophoudt een belasting te zijn en een klif wordt. De schaalwetten voor k-bits inferentie van Dettmers en Zettlemoyer vonden dat 4 bits het punt is dat de zero-shot-nauwkeurigheid per bit modelgeheugen maximaliseert, met degradatie die daaronder de overhand krijgt. Vier bits geeft 16 niveaus per groep; drie geeft er 8. U halveert de resolutie van een toch al grof raster, en de afrondingsfout per gewicht verdubbelt ruwweg.
De rekensom die de doorslag geeft
De vergelijking die de moeite waard is, is een rekensom, geen benchmark. Wat de compressie overleeft is bij benadering parameters × bits per parameter — het informatiedragende volume van het gewichtsbestand. Neem twee hypothetische basismodellen van gelijke kwaliteit per parameter:
- Basismodel A: 400 miljard parameters op 3 bits → ruwweg 150 GB aan behouden gewicht.
- Basismodel B: 160 miljard parameters op 8 bits → ruwweg 160 GB aan behouden gewicht.
Op ruw parameteraantal wint A met tweeënhalf tegen één — het getal waar de modelkaart mee opent. Op behouden informatie zijn ze gelijkwaardig, en B heeft bovendien een structureel voordeel: zijn gewichten liggen op een raster dat fijn genoeg is om het staartgedrag intact te laten, terwijl de staart van A de bulk in gekwantiseerd is. A weet meer dingen; B weet scherper wat het weet. Voor lange generatie, exacte opmaak, stilistische controle en getrouwe naleving bij lange context kiest u B.
Illustratieve rekensom, geen benchmark: hij laat zien waarom "groter basismodel" en "beter geserveerd model" verschillende beweringen zijn.
06Waarom 27 biljoen trainingstokens agressieve kwantisatie erger maken
Een tweede, minder intuïtief resultaat raakt dit basismodel rechtstreeks. Het ICLR 2025-artikel Scaling Laws for Precision van Kumar et al. vindt dat hoe meer data een model gezien heeft, hoe meer schade kwantisatie na de training aanricht. Lage precisie verlaagt het effectieve aantal parameters van een model, en die degradatie groeit met de opgenomen pretrainingsdata — ver genoeg dat extra pretrainingsdata per saldo schadelijk kan zijn als u van plan bent agressief te kwantiseren, omdat u fijne structuur neerlegt die het raster zal uitwissen.
Een model dat op 5 biljoen tokens getraind is, heeft een grove, redundante gewichtsstructuur en speling over. Een model dat op 27 biljoen tokens getraind is — het budget van MiMo-V2.5-Pro — heeft die extra data gebruikt om fijnere onderscheidingen in preciezere gewichtswaarden te schrijven, en dat is precies wat een raster van 3 bits niet kan weergeven.
Dan is er nog het FP8-feit uit sectie 03, het helderste argument in dit artikel. MiMo-V2.5-Pro is voorgetraind in gemengde FP8-precisie. De gewichten zijn vanaf het begin gevormd door een optimalisator die op ruwweg acht bits precisie werkte. Het op gewichten van 8 bits serveren is dus geen verliesgevende bijgedachte die aan een 16-bits model wordt opgelegd — het komt er dicht bij in de buurt de gewichten terug te brengen naar het numerieke regime waarin ze geleerd zijn. Onder de achtste bit valt weinig fijne structuur te verliezen. Van diezelfde gewichten, geperst tot drie bits, kan dat niet gezegd worden.
07REAP: waarom het snoeien van experts een ander soort verlies is dan afronden
Twee van de drie niveaus dragen een REAP-achtervoegsel — een categorisch andere bewerking dan kwantisatie. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) is compressie in één stap voor dunbezette MoE-modellen: het geeft elke expert een score op basis van de gate-waarden van de router en de activatienorm van de expert, en verwijdert vervolgens de laagst scorende. Cerebras rapporteert vrijwel verliesvrije resultaten op codegeneratie en tool calling, zelfs wanneer 50% van de experts gesnoeid is.
Wij gebruiken REAP om de reden waarvoor het bestaat: op de grootste basismodellen is het wat ze serveerbaar maakt. Maar let op het verschil in soort. Kwantisatie vervaagt elk gewicht een beetje; snoeien verwijdert experts volledig. Als uw werklast zwaar routeert naar een capaciteit die in een zelden gekozen expert huisde — een kleine programmeertaal, een gespecialiseerd vocabulaire — dan is die niet verslechterd. Die is weg, en geen enkele prompt haalt hem terug. De gemiddelden blijven uitstekend; uw uitzonderingsgeval misschien niet.
MiMo-V2.5-Pro · W8A16 draagt geen REAP-achtervoegsel. Alle 384 experts zijn aanwezig, en de router kiest uit de volledige verzameling waarmee het basismodel getraind is.
| Niveau | Bits per gewicht | Experts | Wat u inruilt |
|---|---|---|---|
| W8A16 | 8 | Alle aanwezig | Structureel niets. Het getrouwheidsniveau. |
| W4A16-AUTOROUND-REAP | 4 | Gesnoeid | Fijn gewichtsdetail plus experts met weinig verkeer, in ruil voor een veel groter basismodel in dezelfde prijsklasse. |
| 3BIT-REAP | 3 | Gesnoeid | Aanzienlijke gewichtsresolutie plus experts met weinig verkeer — de prijs van het op snelheid draaien van de allergrootste basismodellen. |
Het middelste niveau verdient een eerlijk woord. AutoRound is geen naïeve afronding: de methode van Intel (arXiv:2309.05516) gebruikt signed gradient descent over ruwweg 200 stappen om de afrondingsbeslissingen en het clipping-bereik per gewichtsgroep bij te stellen, en wordt in de meeste omstandigheden als vrijwel verliesvrij op 4 bits gerapporteerd, beter dan GPTQ, AWQ, HQQ en OmniQuant in de meeste geteste configuraties. Een W4A16-AUTOROUND-model is een oprecht goed 4-bits model. Het blijft een 4-bits model.
08Wie het 8-bits niveau moet kiezen — en wie niet
MiMo-V2.5-Pro · W8A16 zit op de bodemprijs van de hele catalogus — $0.50 in / $2.00 uit per miljoen tokens, dezelfde klasse als de instap-4-bitsmodellen en ruwweg een kwart van de invoerprijs van het duurste model dat wij serveren. U betaalt geen meerprijs voor getrouwheid; u kiest een andere as van hetzelfde budget.
Kies het wanneer
- De lengte van de uitvoer het werk is. Lange technische teksten, fictie ter lengte van een hoofdstuk, volledige documentatierondes — elk gegenereerd token is er een waar compressieruis zich opstapelt.
- Stem en consistentie ertoe doen. Personagewerk, merktoon, een register dat over een lange sessie vastgehouden wordt. Stijl zit in de staart, en de staart is wat grove kwantisatie het eerst opeet.
- Gestructureerde uitvoer in één keer moet valideren. Het model ondersteunt
json_schemaenresponse_format; het naleven van een schema is een precisie-eigenschap, en elke vermeden nieuwe poging is bespaard geld en bespaarde vertraging. - U de context vult. Instructies naleven bij token 200,000 is moeilijker dan bij token 2,000, en het verslechtert met de precisie van de gewichten — net als een lang redeneerspoor, waar fouten zich op dezelfde manier opstapelen.
- Het werk van nature ongecensureerd is. Veiligheidsonderzoek, red teaming, ongefilterde fictie, gevoelige medische of juridische analyse — waar een omzichtig antwoord slechter is dan geen antwoord.
Kies iets anders wanneer
- U vision nodig hebt. Dit model is tekst-only; het verwante MiMo-V2.5 · W8A16 heeft vision tegen dezelfde prijs en op hetzelfde niveau.
- U de breedste wereldkennis nodig hebt bij korte vragen. Dat is het regime waarin de extra parameters van een veel groter 3-bits basismodel winnen en de kwantisatieschade nauwelijks zichtbaar is.
- Uw werklast bestaat uit korte classificatie op grote schaal. Kwantisatieschade is daar vrijwel onzichtbaar — koop wat het snelst is.
09De ongecensureerde MiMo API aanroepen
Als uw code op de OpenAI-SDK gericht is, is het aanpassen van de basis-URL en het model-id de hele migratie:
curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer $SHANNON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MiMo-V2.5-Pro-W8A16",
"messages": [
{"role": "user", "content": "Draft the threat model section."}
],
"reasoning_effort": "high",
"max_tokens": 16384,
"stream": true
}'/v1/messages en /v1/responses accepteren hetzelfde id en dezelfde capaciteiten. De parameterreferentie, schema's voor tool calling, voorbeelden van gestructureerde uitvoer en een live playground staan in de API-documentatie van Shannon AI.
| Capaciteit | MiMo-V2.5-Pro · W8A16 |
|---|---|
| Contextvenster | 262,144 tokens |
| Max. uitvoer per verzoek | 16,384 tokens |
| Streaming | Ja — alle drie de dialecten |
| Tool calling | Ja |
Redeneren / reasoning_effort | Ja |
Gestructureerde uitvoer met json_schema | Ja |
response_format | Ja |
| Vision / beeldinvoer | Nee — gebruik MiMo-V2.5 |
| Weigeringslaag / uitvoerfilter | Geen |
| Prijs per 1M tokens | $0.50 in / $2.00 uit |
Elk extern cijfer hier is door iemand anders dan wij gepubliceerd en wordt in de tekst toegeschreven. De herstelresultaten voor kwantisatie komen uit studies op de Llama-familie: ze beschrijven de vorm van de afweging, niet de scores van dit model.
10Veelgestelde vragen
Wat is de ongecensureerde MiMo API?
Het is het endpoint van Shannon AI voor MiMo-V2.5-Pro, het Mixture-of-Experts-model met open gewichten van Xiaomi, geserveerd op ons eigen GPU-cluster zonder weigeringslaag en zonder filtering van de uitvoer. Het is bereikbaar via /v1/chat/completions, /v1/messages en /v1/responses, met een context van 262,144 tokens en 16,384 uitvoertokens per verzoek.
Wat betekent W8A16, en waarom is dat van belang?
W8A16 betekent dat de gewichten elk op 8 bits worden opgeslagen terwijl de activaties op 16 bits worden berekend. Het is het kwantisatieniveau met de hoogste getrouwheid in onze catalogus. Gepubliceerde studies vinden dat 8-bits formaten die alleen de gewichten kwantiseren vrijwel alle nauwkeurigheid van het oorspronkelijke model behouden, terwijl 4 bits een kleine hoeveelheid getrouwheid inruilt voor geheugen en 3 bits een aanzienlijke hoeveelheid.
Kan een kleiner model op 8 bits een groter model op 3 bits verslaan?
Vaak wel. Wat de compressie overleeft is ruwweg het aantal parameters vermenigvuldigd met het aantal bits per parameter, en de kwantisatiefout concentreert zich in zeldzaam gedrag in de staart. Een model dat op 8 bits gehouden wordt, behoudt zijn samenhang over lange stukken, zijn exacte opmaak en zijn staartkennis; een groter model dat tot 3 bits geplet is, houdt zijn brede benchmarkscores maar verliest die eigenschappen.
Ondersteunt MiMo-V2.5-Pro vision of beeldinvoer?
Nee. MiMo-V2.5-Pro op Shannon AI is tekst-only. Het ondersteunt wel tool calling, redeneren met reasoning_effort, gestructureerde uitvoer met JSON-schema en response_format. Hebt u beeldinvoer nodig, gebruik dan het verwante model MiMo-V2.5 W8A16, dat vision heeft tegen dezelfde prijs.
Wat kost de ongecensureerde MiMo API?
$0.50 per miljoen invoertokens en $2.00 per miljoen uitvoertokens. Dat is de bodemprijs in de catalogus van Shannon AI, waarmee MiMo-V2.5-Pro de goedkoopste manier is om 8-bits getrouwheid op deze gateway te kopen.
Probeer de ongecensureerde MiMo API
Acht-bits getrouwheid, 262K context, geen weigeringslaag — tegen de bodemprijs van de catalogus.
Lees de API-documentatie Alle modellen bekijkenUitgevoerd onder het beleid voor verantwoord gebruik van Shannon AI
Bronnen: technisch MiMo-rapport, arXiv:2505.07608 · modelkaart MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · schaalwetten voor k-bits inferentie, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Alle benchmarkcijfers zijn zoals gerapporteerd door hun auteurs. Shannon AI is een product van Shannon Lab LLC, New Mexico, VS.