Ongesensureerde MiMo API teen 8-bis-getrouheid
Xiaomi se redenering-eerste MiMo-grondslag, bedien sonder weieringslaag teen W8A16 — die kwantiseringsvlak met die hoogste getrouheid wat ons loop — teen die katalogus se vloerprys.
Kortliks
MiMo-V2.5-Pro · W8A16 is Xiaomi se MiMo-V2.5-Pro met oop gewigte, bedien op Shannon se eie GPU-tros teen 8-bis-gewigte / 16-bis-aktiverings — die minst gekomprimeerde vlak in ons katalogus van twaalf modelle. 'n Konteks van 262,144 tekens, 16,384 uitvoertekens per versoek, gereedskaproeping, redenering, gestruktureerde uitvoer met JSON-skema, stroming op drie API-dialekte, en geen weieringslaag of uitvoerfiltrering nie, teen $0.50 in / $2.00 uit per miljoen tekens — die vloer van die katalogus. Slegs teks; gebruik MiMo-V2.5 · W8A16 vir beelde.
Die meeste katalogusse verkoop vir jou parametertelling. Dit is die verkeerde getal om op te koop, want elke groot model met oop gewigte wat jy werklik kan bekostig, is gekomprimeer om êrens in te pas. Die eerlike vraag is nie "hoe groot was dit voordat dit gedruk is nie?" maar "hoeveel daarvan is nog hier?" Hierdie artikel gaan oor daardie vraag, en oor die model in ons reeks waar die antwoord byna alles daarvan is.
01Wat die ongesensureerde MiMo-API jou werklik gee
Die ongesensureerde MiMo-API is een model-id, MiMo-V2.5-Pro-W8A16, bereikbaar deur drie dialekte wat dieselfde gewigte op ons eie GPU-tros aanspreek: /v1/chat/completions, /v1/messages en /v1/responses. Al drie stroom en ondersteun gereedskaproeping en redenering.
Ongesensureerd het hier 'n eng betekenis: geen weieringslaag voor die model nie, geen filter op sy uitvoer nie. Ons onderskep, klassifiseer of herskryf nie. Jy kry die grondslag se eie gedrag — wat vir 'n model met oop gewigte op navorsingsvlak beteken dat dit met sekuriteitsnavorsing, volwasse of gewelddadige fiksie, mediese en regsredenering, en die versoeke wat gehuisveste kommersiële eindpunte per refleks weier, omgaan. Dit is 'n professionele gereedskapstuk onder ons Beleid vir Verantwoordelike Gebruik, nie 'n afwesigheid van reëls nie.
02Die MiMo-afstamming: Xiaomi se weddenskap op redenering-eerste voorafrigting
MiMo is nie 'n Llama-afgeleide met 'n nuwe naam nie; dit is 'n afsonderlike afstamming van Xiaomi se MiMo-span, en die stigtingsidee maak saak voordat jy die model evalueer. Dit begin met MiMo-7B (30 April 2025, MIT-gelisensieer), wie se tegniese verslag aanvoer dat die meeste laboratoriums redenering as 'n na-afrigtingsprobleem behandel wat met RL aangeheg moet word, en dat dit agterstevoor is. Xiaomi het eerder voorafrigting daaromheen geherstruktureer: 'n driefase-mengsel oor 25 biljoen tekens, waar fase twee ongeveer 70% wiskunde en kode loop en fase drie sintetiese redeneringspore invou terwyl konteks van 8K na 32K uitgebrei word — plus 'n Multi-Token Prediction-doelwit wat ook as 'n spekulatiewe-dekoderingskop dien.
Die gevolg was 'n basismodel van 7B wat soos iets veel groter opgetree het. MiMo-7B-Base het 32.9 op AIME 2024 behaal waar Qwen2.5-7B 10.1 behaal het, Gemma-2-9B 0.0 en Llama-3.1-8B 0.3. Na-afrigting het toe RL oor 130,000 verifieerbare wiskunde- en kodeprobleme geloop met 'n kodebeloning gedryf deur toetsmoeilikheid, wat die yl-beloning-strik ontduik wat kode-RL destabiliseer. Die uitkoms het voor o1-mini geland:
AIME 2025, syfers soos deur Xiaomi berig uit die MiMo tegniese verslag (arXiv:2505.07608). MiMo-7B-RL het ook 95.8 op MATH-500 en 57.8 op LiveCodeBench v5 berig.
Die familie het verbreed eerder as gedryf: MiMo-VL-7B (Junie 2025) het 'n Qwen2.5-ViT-enkodeerder op dieselfde ruggraat gesit, en Desember 2025 het MiMo-Audio-7B plus die eerste MoE-inskrywing, MiMo-V2-Flash (309B totaal / 15B aktief, 27T tekens, FP8 gemengde presisie), gebring. MiMo-V2-Pro het in Maart 2026 gevolg teen ongeveer 1T / 42B aktief met 'n konteks van 1M, ná weke op OpenRouter as "Hunter Alpha". MiMo-V2.5 en MiMo-V2.5-Pro het saam op 22 April 2026 verskyn, albei MIT.
03Binne MiMo-V2.5-Pro: hoe die grondslag lyk
Volgens Xiaomi se gepubliseerde modelgids is MiMo-V2.5-Pro 'n yl Mixture-of-Experts-model met 1.02 biljoen totale parameters en 42 miljard aktief per teken oor 70 lae — een dig, 69 MoE — en 384 gerouteerde eksperts, 8 per teken. Verborge grootte is 6144, met 'n nou MoE-tussengrootte van 2048.
Twee keuses vorm hoe dit in gebruik voel. Die aandagstapel is hibried: 10 vol-aandaglae en 60 skuifvensterlae met 'n venster van 128, plus 'n leerbare aandagput-bevooroordeling. Xiaomi berig dat dit KV-kasberging tot naby 7× sny teenoor volledig globale aandag terwyl langkonteks-kwaliteit behoue bly — die verskil tussen 'n venster wat nominaal lank is en een wat jy kan bekostig om te vul. Dit stuur ook drie Multi-Token Prediction-lae, wat die dekodeerder 'n spekulatiewe kop gee.
Afrigting was 27 biljoen tekens teen 'n inheemse reekslengte van 32K in FP8 (E4M3) gemengde presisie, daarna toesighoudende fynafstemming, grootskaalse agentiese RL en veelonderwyser-op-beleid-distillasie. Hou daardie FP8-besonderheid vas; dit is die sterkste enkele argument om hierdie grondslag teen 8 bisse te bedien.
Xiaomi berig die model teen 57.2% op SWE-bench Pro, 72.9 op τ3-Bench vir gereedskapgebruik en 48.0% op Humanity's Last Exam — die verskaffer se eie getalle op die ongekomprimeerde model, en so aangehaal.
Ons bedien 'n venster van 262,144 tekens, nie die grondslag se volle 1M nie — 'n konteks wat ons teen spoed kan waarborg, eerder as 'n opskrifgetal wat onder las verswak.
04Wat W8A16 presies beteken
Elke model in hierdie katalogus dra 'n kwantiseringsagtervoegsel wat 'n werklike, meetbare transformasie beskryf eerder as 'n bemarkingsvlak. Ons s'n is 3BIT-REAP, W4A16-AUTOROUND-REAP en W8A16. MiMo-V2.5-Pro is die derde.
Die notasie verdeel in twee. W8 is gewigspresisie: elke parameter word as 'n 8-bis-heelgetal geberg in plaas van 'n 16-bis-swaaipunt, met 'n gedeelde skaalfaktor per klein groep sodat elke groep se plaaslike dinamiese bereik oorleef. A16 is aktiveringspresisie: waardes wat tussen lae by afleiding vloei, bly by 16 bisse. Gewigte word gekomprimeer; die rekenkunde nie.
Daardie tweede helfte doen stil, belangrike werk. Aktiverings is baie moeiliker om te kwantiseer as gewigte: hulle bevat uiterste uitskieterkanale — 'n paar dimensies wie se groottes alles anders oorskadu en wat 'n oneweredige deel van die model se gedrag dra. Druk daardie na lae presisie en jy knip presies die sein wat jy nodig gehad het. Slegs-gewig-skemas omseil die probleem deur die aktiveringspad uit te los, wat is waarom ernstige kwantiseringswerk daarop saamgetrek het.
So vernou die praktiese vraag tot een ding: hoe min bisse kan 'n gewig verdra?
05W8A16 teenoor W4A16 teenoor 3-bis: waarheen die verlies werklik gaan
Die grootste gepubliseerde studie hieroor is Neural Magic en Red Hat se "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — meer as 500,000 evaluerings oor die Llama-3.1-familie by 8B, 70B en 405B. Hulle vernaamste resultaat, in hulle getalle:
| Formaat | Wat gekomprimeer word | Berigte herwinning teenoor BF16 |
|---|---|---|
| W8A8-FP (8-bis) | Gewigte + aktiverings, swaaipunt | ~99.75% gem. — "in wese verliesloos" |
| W8A8-INT (8-bis) | Gewigte + aktiverings, heelgetal | 99–100% by 8B/70B; 98.2–99.3% by 405B |
| W4A16-INT (4-bis) | Slegs gewigte | 98–99.4% (8B); 98.6–99.8% (70B) |
Syfers berig deur Neural Magic / Red Hat (arXiv:2411.02355) op Llama-3.1-modelle — die vorm van die afruil, nie hierdie model se telling nie.
Eerlik gelees lyk dit soos 'n argument daarteen om om te gee: 4 bisse herwin 98–99%, so waarom aandag gee? Omdat daardie akademiese meerkeusemaatstawwe is, naby aan die swakste beskikbare instrument om kwantiseringskade op te spoor. 'n Maatstafvraag het een regte antwoord wat in een of twee tekens bereik word, en kwantiseringsfout is klein, rofweg nulgemiddelde ruis op elke logit; op 'n kort vraag met 'n wye marge word daardie ruis geabsorbeer.
Skryf nou 4,000 tekens van 'n tegniese dokument, hou 'n stem oor 'n verhaal van 40,000 tekens, of stuur JSON uit wat met die eerste probeerslag moet valideer. Dieselfde ruis word duisende kere agtereenvolgens gemonster, elke monster wat die volgende kondisioneer. Die falingsmodus is nie 'n verkeerde antwoord nie — dit is drywing: 'n verslappende greep op die instruksie vanaf beurt een, 'n karakter wat rondom teken 3,000 ophou om na homself te klink, 'n sluithakie wat nooit opdaag nie.
Waarheen die bisse werklik gaan
Kwantiseringsfout is nie gelykop oor 'n model se vermoëns versprei nie; dit konsentreer in die stert. Hoëmassagedrag — grammatikale Engels, die vorm van 'n Python-funksie, die boonste duisend feite oor die wêreld — is oortollig oor baie gewigte geënkodeer en oorleef byna enigiets. Die presies afgestemde, kleingrootte-hoeke van die gewigsverdeling hou die seldsame goed vas: 'n obskure API se presiese handtekening, 'n spesifieke skrywer se ritme, die verskil tussen twee aangrensende CVE's. Dit is die waardes wat 'n growwe rooster in mekaar afrond.
Die stap van 4 bisse na 3 is waar dit ophou om 'n belasting te wees en 'n krans word. Dettmers en Zettlemoyer se k-bis-afleidingskaalwette het bevind dat 4 bisse die punt is wat nulskoot-akkuraatheid per bis modelgeheue maksimeer, met agteruitgang wat daaronder oorheers. Vier bisse gee 16 vlakke per groep; drie gee 8. Jy halveer die resolusie van 'n reeds growwe rooster, en die afrondingsfout per gewig verdubbel rofweg.
Die rekenkunde wat dit besleg
Die vergelyking wat die moeite werd is om te maak, is rekenkundig, nie 'n maatstaf nie. Wat kompressie oorleef, is ongeveer parameters × bisse per parameter — die inligtingsdraende volume van die gewigslêer. Neem twee hipotetiese grondslae van gelyke kwaliteit per parameter:
- Grondslag A: 400B parameters teen 3 bisse → rofweg 150 GB behoue gewig.
- Grondslag B: 160B parameters teen 8 bisse → rofweg 160 GB behoue gewig.
Volgens rou parametertelling wen A twee en 'n half tot een — die getal waarmee die modelgids open. Volgens behoue inligting is hulle gelykwaardig, en B het boonop 'n strukturele voordeel: sy gewigte sit op 'n rooster fyn genoeg dat sy stertgedrag heel is, terwyl A se stert in die massa in gekwantiseer is. A weet meer dinge; B weet skerper wat dit weet. Vir lang generering, presiese formatering, stilistiese beheer en getroue langkonteks-nakoming, neem B.
Illustratiewe rekenkunde, nie 'n maatstaf nie: dit wys waarom "groter grondslag" en "beter bediende model" verskillende aansprake is.
06Waarom 27 biljoen afrigtingstekens aggressiewe kwantisering erger maak
'n Tweede, minder intuïtiewe resultaat raak direk aan hierdie grondslag. Kumar et al. se ICLR 2025-artikel Scaling Laws for Precision vind dat hoe meer data 'n model op afgerig is, hoe meer skade na-afrigting-kwantisering daaraan doen. Lae presisie verminder 'n model se effektiewe parametertelling, en daardie agteruitgang groei met die voorafrigtingsdata wat opgeneem is — ver genoeg dat ekstra voorafrigtingsdata netto skadelik kan wees as jy van plan is om aggressief te kwantiseer, want jy lê fyn struktuur neer wat die rooster sal uitvee.
'n Model wat op 5T tekens afgerig is, het growwe, oortollige gewigstruktuur en speling oor. 'n Model wat op 27T tekens afgerig is — MiMo-V2.5-Pro se begroting — het daardie ekstra data spandeer om fyner onderskeidings in meer presiese gewigswaardes te skryf, wat presies is wat 'n 3-bis-rooster nie kan verteenwoordig nie.
Dan is daar die FP8-feit uit afdeling 03, die skoonste argument in hierdie artikel. MiMo-V2.5-Pro is in FP8 gemengde presisie voorafgerig. Sy gewigte is van die begin af gevorm deur 'n optimeerder wat teen ongeveer agt bisse presisie werk. Om dit teen 8-bis-gewigte te bedien, is dus nie 'n verliesgewende nagedagte wat op 'n 16-bis-model afgedwing is nie — dit is naby daaraan om die gewigte terug te gee aan die numeriese regime waarin hulle geleer is. Min fyn struktuur bestaan onder die agtste bis om te verloor. Dieselfde kan nie gesê word van daardie gewigte wat tot drie afgedwing is nie.
07REAP: waarom ekspertsnoei 'n ander soort verlies is as afronding
Twee van die drie vlakke dra 'n REAP-agtervoegsel — 'n kategories ander operasie as kwantisering. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) is eenskoot-kompressie vir yl MoE-modelle: dit punt elke ekspert volgens die router se hekwaardes en die ekspert se aktiveringsnorm, en skrap dan die laagste tellings. Cerebras berig byna verlieslose resultate op kodegenerering en gereedskaproeping selfs met 50% van die eksperts gesnoei.
Ons gebruik REAP om die rede waarvoor dit bestaan: op die grootste grondslae is dit wat hulle bedienbaar maak. Maar let op die verskil in soort. Kwantisering vervaag elke gewig 'n bietjie; snoei verwyder eksperts heeltemal. As jou werklading swaar routeer na 'n vermoë wat in 'n selde gekose ekspert gewoon het — 'n klein programmeertaal, 'n gespesialiseerde woordeskat — is dit nie verswak nie. Dit is weg, en geen opdraggewing herwin dit nie. Die gemiddeldes bly uitstekend; jou stertgeval dalk nie.
MiMo-V2.5-Pro · W8A16 dra geen REAP-agtervoegsel nie. Al 384 eksperts is teenwoordig, en die router kies uit die volle stel waarmee die grondslag afgerig is.
| Vlak | Gewigsbisse | Eksperts | Wat jy verruil |
|---|---|---|---|
| W8A16 | 8 | Almal teenwoordig | Niks struktureels nie. Die getrouheidsvlak. |
| W4A16-AUTOROUND-REAP | 4 | Gesnoei | Fyn gewigsdetail plus eksperts met lae verkeer, in ruil vir 'n veel groter grondslag in dieselfde prysband. |
| 3BIT-REAP | 3 | Gesnoei | Aansienlike gewigsresolusie plus eksperts met lae verkeer — die prys om die heel grootste grondslae teen spoed te loop. |
Die middelvlak verdien 'n billike verhoor. AutoRound is nie naïewe afronding nie: Intel se metode (arXiv:2309.05516) gebruik getekende gradiëntafdaling oor ongeveer 200 stappe om die afrondingsbesluite en die afknipbereik per gewigsgroep af te stem, en word as byna verlieslose by 4 bisse in die meeste opstellings berig, wat GPTQ, AWQ, HQQ en OmniQuant oor die meeste getoetste konfigurasies klop. 'n W4A16-AUTOROUND-model is 'n werklik goeie 4-bis-model. Dit is steeds 'n 4-bis-model.
08Wie behoort die 8-bis-vlak te kies — en wie nie
MiMo-V2.5-Pro · W8A16 sit teen die vloerprys van die hele katalogus — $0.50 in / $2.00 uit per miljoen tekens, dieselfde band as die 4-bis-toetreevlakmodelle en rofweg 'n kwart van die insetprys van die duurste model wat ons bedien. Jy betaal nie 'n premie vir getrouheid nie; jy kies 'n ander as van dieselfde begroting.
Kies dit wanneer
- Uitvoerlengte die werk is. Langvorm tegniese skryfwerk, fiksie ter lengte van 'n hoofstuk, volledige dokumentasiedeurgange — elke gegenereerde teken is een waar kompressieruis saamstel.
- Stem en konsekwentheid saak maak. Karakterwerk, handelsmerktoon, 'n register wat oor 'n lang sessie gehou word. Styl leef in die stert, en die stert is wat growwe kwantisering eerste eet.
- Gestruktureerde uitvoer met die eerste probeerslag moet valideer. Die model ondersteun
json_schemaenresponse_format; skemanakoming is 'n presisie-eienskap, en elke vermyde herprobeerslag is geld en vertraging bespaar. - Jy die konteks vul. Instruksienakoming by teken 200,000 is moeiliker as by teken 2,000, en dit verswak met gewigspresisie — net soos 'n lang redeneringspoor, waar foute op dieselfde manier saamstel.
- Die werk van nature ongesensureerd is. Sekuriteitsnavorsing, rooispanwerk, ongefiltreerde fiksie, sensitiewe mediese of regsontleding — waar 'n omslagtige antwoord erger is as geen.
Kies iets anders wanneer
- Jy visie nodig het. Hierdie model is slegs teks; sy susmodel MiMo-V2.5 · W8A16 is visie-bekwaam teen dieselfde prys en vlak.
- Jy die breedste wêreldkennis op kort navrae nodig het. Dit is die regime waar 'n veel groter 3-bis-grondslag se ekstra parameters wen en sy kwantiseringskade skaars wys.
- Jou werklading hoë-volume kort klassifikasie is. Kwantiseringskade is daar byna onsigbaar — koop wat ook al die vinnigste is.
09Om die ongesensureerde MiMo-API aan te roep
As jou kode die OpenAI-SDK teiken, is die verandering van die basis-URL en die model-id die hele migrasie:
curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer $SHANNON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MiMo-V2.5-Pro-W8A16",
"messages": [
{"role": "user", "content": "Draft the threat model section."}
],
"reasoning_effort": "high",
"max_tokens": 16384,
"stream": true
}'/v1/messages en /v1/responses aanvaar dieselfde id en vermoëns. Parameterverwysing, gereedskaproeping-skemas, voorbeelde van gestruktureerde uitvoer en 'n lewendige speelplek is in die Shannon AI API-dokumentasie.
| Vermoë | MiMo-V2.5-Pro · W8A16 |
|---|---|
| Konteksvenster | 262,144 tekens |
| Maks. uitvoer per versoek | 16,384 tekens |
| Stroming | Ja — al drie dialekte |
| Gereedskaproeping | Ja |
Redenering / reasoning_effort | Ja |
Gestruktureerde uitvoer met json_schema | Ja |
response_format | Ja |
| Visie / beeldinset | Nee — gebruik MiMo-V2.5 |
| Weieringslaag / uitvoerfilter | Geen |
| Prys per 1M tekens | $0.50 in / $2.00 uit |
Elke eksterne syfer hier is deur iemand anders as ons gepubliseer en word in die teks toegeskryf. Die kwantiseringsherwinningsresultate kom uit Llama-familie-studies: hulle beskryf die vorm van die afruil, nie hierdie model se tellings nie.
10Gereelde vrae
Wat is die ongesensureerde MiMo-API?
Shannon AI se eindpunt vir MiMo-V2.5-Pro, Xiaomi se Mixture-of-Experts-model met oop gewigte, bedien op ons eie GPU-tros sonder weieringslaag en sonder uitvoerfiltrering. Dit is bereikbaar deur /v1/chat/completions, /v1/messages en /v1/responses, met 'n konteks van 262,144 tekens en 16,384 uitvoertekens per versoek.
Wat beteken W8A16, en waarom maak dit saak?
W8A16 beteken dat gewigte elk teen 8 bisse geberg word terwyl aktiverings teen 16 bisse bereken word. Dit is die kwantiseringsvlak met die hoogste getrouheid in ons katalogus. Gepubliseerde studies vind dat slegs-gewig-formate teen 8 bisse feitlik al die oorspronklike model se akkuraatheid herwin, terwyl 4 bisse 'n klein bietjie getrouheid vir geheue verruil en 3 bisse 'n aansienlike hoeveelheid.
Kan 'n kleiner model teen 8 bisse 'n groter model teen 3 bisse klop?
Dikwels, ja. Wat kompressie oorleef, is rofweg die parametertelling vermenigvuldig met bisse per parameter, en kwantiseringsfout konsentreer in seldsame stertgedrag. 'n Model wat op 8 bisse gehou word, behou sy langvorm-samehang, presiese formatering en stertkennis; 'n groter model wat tot 3 bisse verpletter is, behou sy breë maatstaftellings maar verloor daardie eienskappe.
Ondersteun MiMo-V2.5-Pro visie of beeldinset?
Nee. MiMo-V2.5-Pro op Shannon AI is slegs teks. Dit ondersteun wel gereedskaproeping, redenering met reasoning_effort, gestruktureerde uitvoer met JSON-skema en response_format. As jy beeldinset nodig het, gebruik die susmodel MiMo-V2.5 W8A16, wat visie-bekwaam is teen dieselfde prys.
Hoeveel kos die ongesensureerde MiMo-API?
$0.50 per miljoen insettekens en $2.00 per miljoen uitvoertekens. Dit is die vloerprys in die Shannon AI-katalogus, wat MiMo-V2.5-Pro die goedkoopste manier maak om 8-bis-getrouheid op hierdie poort te koop.
Probeer die ongesensureerde MiMo-API
Agt-bis-getrouheid, 262K konteks, geen weieringslaag — teen die katalogus se vloerprys.
Lees die API-dokumentasie Blaai deur alle modelleBedryf onder die Shannon AI Beleid vir Verantwoordelike Gebruik
Bronne: MiMo tegniese verslag, arXiv:2505.07608 · MiMo-V2.5-Pro-modelgids (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bis-afleidingskaalwette, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Alle maatstafsyfers is soos deur hulle outeurs berig. Shannon AI is 'n produk van Shannon Lab LLC, New Mexico, VSA.