Tsenseerimata MiMo API 8-bitise täpsusega

Enamik katalooge müüb sulle parameetrite arvu. See on vale number, mille järgi osta, sest iga suur avatud kaaludega mudel, mida sa endale tegelikult lubada saad, on kuhugi mahtumiseks kokku surutud. Aus küsimus ei ole „kui suur ta enne pigistamist oli?”, vaid „kui palju temast on veel alles?”. See artikkel räägibki sellest küsimusest ja mudelist meie valikus, kus vastus on peaaegu kogu ta.

01Mida tsenseerimata MiMo API sulle tegelikult annab

Tsenseerimata MiMo API on üks mudeli id, MiMo-V2.5-Pro-W8A16, milleni jõuab kolme dialekti kaudu, mis pöörduvad meie enda GPU-klastris samade kaalude poole: /v1/chat/completions, /v1/messages ja /v1/responses. Kõik kolm voogedastavad ning toetavad tööriistakutseid ja arutlust.

Tsenseerimata tähendab siin kitsalt: mudeli ees ei ole keeldumiskihti, tema väljundil ei ole filtrit. Me ei püüa kinni, ei klassifitseeri ega kirjuta ümber. Sa saad vundamendi enda käitumise — mis uurimistaseme avatud kaaludega mudeli puhul tähendab, et ta tegeleb turvauuringute, täiskasvanute või vägivaldse ilukirjanduse, meditsiinilise ja õigusliku arutlusega ning nende päringutega, millest majutatud kommertsotspunktid refleksiivselt keelduvad. See on professionaalne tööriist meie vastutustundliku kasutuse poliitika alusel, mitte reeglite puudumine.

02MiMo liin: Xiaomi panus arutluskesksele eeltreeningule

MiMo ei ole uue nimega Llama tuletis; see on Xiaomi MiMo meeskonna eraldi liin ja tema asutamisidee loeb enne, kui sa mudelit hindad. See algab mudeliga MiMo-7B (30. aprill 2025, MIT-litsents), mille tehniline aruanne väidab, et enamik laboreid käsitleb arutlust järeltreeningu probleemina, mis RL-iga külge poldida, ja et see on tagurpidi. Xiaomi ehitas selle asemel eeltreeningu selle ümber ümber: kolmeetapiline segu 25 triljoni tokeni lõikes, teine etapp umbes 70% matemaatikat ja koodi, kolmas etapp voltis sisse sünteetilised arutlusjäljed, pikendades konteksti 8K-lt 32K-le — pluss mitme tokeni ennustuse eesmärk, mis toimib ühtlasi spekulatiivse dekodeerimise peana.

Tulemuseks oli 7B alusmudel, kes käitus nagu midagi palju suuremat. MiMo-7B-Base sai 32.9 AIME 2024-l, kus Qwen2.5-7B sai 10.1, Gemma-2-9B 0.0 ja Llama-3.1-8B 0.3. Järeltreeningul jooksutati siis RL-i 130,000 kontrollitava matemaatika- ja koodiülesande peal testi raskusastmest juhitud koodipreemiaga, pääsedes hõreda preemia lõksust, mis koodi RL-i destabiliseerib. Tulemus maandus o1-mini ette:

AIME 2025, Xiaomi teatatud näitajad MiMo tehnilisest aruandest (arXiv:2505.07608). MiMo-7B-RL kohta teatati ka 95.8 MATH-500-l ja 57.8 LiveCodeBench v5-l.

Perekond laienes, mitte ei triivinud: MiMo-VL-7B (juuni 2025) pani samale selgroole Qwen2.5-ViT kooderi ning detsember 2025 tõi MiMo-Audio-7B pluss esimese MoE kirje, MiMo-V2-Flash (309B kokku / 15B aktiivset, 27T tokenit, FP8 segatäpsus). MiMo-V2-Pro järgnes 2026. aasta märtsis umbes 1T / 42B aktiivsega ja 1M kontekstiga, pärast nädalaid OpenRouteris nime „Hunter Alpha” all. MiMo-V2.5 ja MiMo-V2.5-Pro tulid koos välja 22. aprillil 2026, mõlemad MIT.

03MiMo-V2.5-Pro seest: milline vundament välja näeb

Xiaomi avaldatud mudelikaardi järgi on MiMo-V2.5-Pro hõre Mixture-of-Experts mudel, milles on 1.02 triljonit parameetrit kokku ja 42 miljardit aktiivset tokeni kohta 70 kihi lõikes — üks tihe, 69 MoE — ning 384 marsruuditud eksperti, 8 tokeni kohta. Peidetud mõõde on 6144, MoE kitsas vahemõõde 2048.

Kaks valikut kujundavad seda, milline ta kasutuses tundub. Tähelepanuvirn on hübriidne: 10 täieliku tähelepanuga kihti ja 60 libiseva aknaga kihti akna suurusega 128, pluss õpitav tähelepanu-äravoolu kalle. Xiaomi teatab, et see lõikab KV-vahemälu salvestust ligi 7x võrreldes läbivalt globaalse tähelepanuga, hoides samal ajal pika konteksti kvaliteeti — vahe akna vahel, mis on nimeliselt pikk, ja akna vahel, mille täitmist sa endale lubada saad. Ta tuleb ka kolme mitme tokeni ennustuse kihiga, mis annab dekoodrile spekulatiivse pea.

Treening oli 27 triljonit tokenit natiivse 32K jadapikkuse juures FP8 (E4M3) segatäpsuses, seejärel juhendatud peenhäälestus, suuremahuline agentne RL ja mitme õpetajaga on-policy destilleerimine. Hoia see FP8 detail meeles; see on tugevaim üksik argument selle vundamendi serveerimiseks 8 bitiga.

Xiaomi teatab mudeli kohta 57.2% SWE-bench Prol, 72.9 τ3-Benchil tööriistakasutuse eest ja 48.0% Humanity's Last Examil — tootja enda numbrid kokkusurumata mudeli kohta, tsiteeritud sellisena.

Meie serveerime 262,144-tokenilist akent, mitte vundamendi täit 1M-i — konteksti, mida me suudame kiirusega garanteerida, mitte pealkirjanumbrit, mis koormuse all halveneb.

04Mida W8A16 täpselt tähendab

Iga selle kataloogi mudel kannab kvantiseerimise järelliidet, mis kirjeldab tegelikku mõõdetavat teisendust, mitte turundustaset. Meie omad on 3BIT-REAP, W4A16-AUTOROUND-REAP ja W8A16. MiMo-V2.5-Pro on kolmas.

Tähistus jaguneb kaheks. W8 on kaalude täpsus: iga parameeter salvestatakse 8-bitise täisarvuna 16-bitise ujukoma asemel, väikese grupi kohta on jagatud skaleerimistegur, nii et iga grupi kohalik dünaamiline vahemik jääb alles. A16 on aktivatsioonide täpsus: väärtused, mis järeldamise ajal kihtide vahel liiguvad, jäävad 16 biti juurde. Kaalud surutakse kokku; aritmeetika mitte.

See teine pool teeb vaikset, olulist tööd. Aktivatsioone on palju raskem kvantiseerida kui kaale: neis on ekstreemsed erindkanalid — mõned mõõtmed, mille suurusjärgud kääbustavad kõik muu ja mis kannavad ebaproportsionaalse osa mudeli käitumisest. Suru need madalasse täpsusse ja sa kärbid täpselt selle signaali, mida sa vajasid. Ainult-kaalude skeemid põikavad probleemist kõrvale, jättes aktivatsioonitee rahule, ja just seepärast on tõsine kvantiseerimistöö nende juurde koondunud.

Nii kitseneb praktiline küsimus üheks: kui vähe bitte üks kaal taluda suudab?

05W8A16 vs W4A16 vs 3-bitine: kuhu kadu tegelikult läheb

Suurim avaldatud uuring selle kohta on Neural Magicu ja Red Hati „Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization — üle 500,000 hindamise Llama-3.1 perekonna lõikes 8B, 70B ja 405B juures. Nende peamine tulemus, nende numbrites:

Vorming	Mis surutakse kokku	Teatatud taastumine BF16 vastu
W8A8-FP (8-bitine)	Kaalud + aktivatsioonid, ujukoma	~99.75% keskm. — „sisuliselt kadudeta”
W8A8-INT (8-bitine)	Kaalud + aktivatsioonid, täisarv	99–100% 8B/70B juures; 98.2–99.3% 405B juures
W4A16-INT (4-bitine)	Ainult kaalud	98–99.4% (8B); 98.6–99.8% (70B)

Näitajad, mille teatas Neural Magic / Red Hat (arXiv:2411.02355) Llama-3.1 mudelite kohta — vahetuse kuju, mitte selle mudeli skoor.

Ausalt loetuna näeb see välja nagu argument selle vastu, et hoolida: 4-bitine taastab 98–99%, milleks siis tähelepanu pöörata? Sest need on akadeemilised valikvastustega võrdlustestid, mis on kvantiseerimiskahju tuvastamiseks üks halvimaid olemasolevaid instrumente. Võrdlustesti küsimusel on üks õige vastus, milleni jõuab ühe või kahe tokeniga, ja kvantiseerimisviga on väike, umbes nullkeskmine müra igal logitil; lühikese küsimuse ja laia varu juures see müra neeldub.

Nüüd kirjuta 4,000 tokenit tehnilist dokumenti, hoia häält 40,000-tokenilise loo vältel või väljasta JSON, mis peab esimese korraga valideeruma. Sedasama müra valimustatakse järjestikku tuhandeid kordi, iga valim tingib järgmise. Tõrkerežiim ei ole vale vastus — see on triiv: haarde lõdvenemine esimese vooru juhisest, tegelane, kes lakkab kõlamast iseendana umbes 3,000. tokeni juures, sulgev looksulg, mis ei saabu kunagi.

Kuhu bitid tegelikult lähevad

Kvantiseerimisviga ei jaotu mudeli võimete peale ühtlaselt; see koondub sabasse. Suure massiga käitumised — grammatiline inglise keel, Pythoni funktsiooni kuju, tuhat kõige tähtsamat fakti maailma kohta — on kodeeritud üleliigselt paljudesse kaaludesse ja elavad üle peaaegu kõik. Kaalude jaotuse täpselt häälestatud, väikese suurusjärguga nurgad hoiavad haruldast kraami: hämara API täpne signatuur, konkreetse autori kadents, vahe kahe kõrvutise CVE vahel. Just need väärtused ümardab jäme võre üksteise sisse.

Samm 4 bitilt 3-le on koht, kus see lakkab olemast maks ja muutub kaljuks. Dettmersi ja Zettlemoyeri k-bitise järeldamise skaleerimisseadused leidsid, et 4 bitti on punkt, mis maksimeerib nullkatse täpsuse mudeli mälubiti kohta, kusjuures allpool seda hakkab halvenemine domineerima. Neli bitti annab grupi kohta 16 taset; kolm annab 8. Sa poolitad niigi jämeda võre lahutusvõimet ja ümardamisviga kaalu kohta umbes kahekordistub.

Aritmeetika, mis selle otsustab

Võrdlus, mida tasub teha, on aritmeetiline, mitte võrdlustestipõhine. Kompressiooni üle elab umbes parameetrid × bitid parameetri kohta — kaalufaili infot kandev maht. Võta kaks hüpoteetilist vundamenti, mille kvaliteet parameetri kohta on võrdne:

• Vundament A: 400B parameetrit 3 biti juures → umbes 150 GB säilinud kaalu.
• Vundament B: 160B parameetrit 8 biti juures → umbes 160 GB säilinud kaalu.

Toorparameetrite arvu järgi võidab A kaks ja pool ühe vastu — number, millega mudelikaart alustab. Säilinud info järgi on nad võrdsed ja B-l on lisaks struktuurne eelis: tema kaalud istuvad võrel, mis on piisavalt peen, et tema sabakäitumine on puutumata, samas kui A saba on kvantiseeritud massi sisse. A teab rohkem asju; B teab teravamalt seda, mida ta teab. Pika genereerimise, täpse vormingu, stiilikontrolli ja pika konteksti truu järgimise jaoks võta B.

Illustreeriv aritmeetika, mitte võrdlustest: see näitab, miks „suurem vundament” ja „paremini serveeritud mudel” on eri väited.

06Miks 27 triljonit treeningutokenit teevad agressiivse kvantiseerimise hullemaks

Teine, vähem intuitiivne tulemus puudutab seda vundamenti otseselt. Kumar jt ICLR 2025 artikkel Scaling Laws for Precision leiab, et mida rohkem andmeid mudelil treenituna oli, seda rohkem kahju teeb talle järeltreeningu kvantiseerimine. Madal täpsus vähendab mudeli efektiivset parameetrite arvu ja see halvenemine kasvab koos omandatud eeltreeningu andmetega — nii kaugele, et lisaeeltreeningu andmed võivad olla netokahjulikud, kui sa kavatsed agressiivselt kvantiseerida, sest sa paned maha peent struktuuri, mille võre kustutab.

Mudelil, mida treeniti 5T tokenil, on jäme, üleliigne kaalustruktuur ja lõtku jagub. Mudel, mida treeniti 27T tokenil — MiMo-V2.5-Pro eelarve — kulutas need lisaandmed peenemate eristuste kirjutamiseks täpsematesse kaaluväärtustesse, mida 3-bitine võre esitada ei suuda.

Ja siis on veel FP8 fakt osast 03, kõige puhtam argument selles artiklis. MiMo-V2.5-Pro eeltreeniti FP8 segatäpsuses. Tema kaale kujundas algusest peale optimeerija, kes töötas umbes kaheksa biti täpsusega. Tema serveerimine 8-bitiste kaaludega ei ole seega kadudega tagantjärele mõte, mis 16-bitisele mudelile peale surutakse — see on lähedal kaalude tagastamisele numbrilisse režiimi, milles nad õpiti. Kaheksandast bitist allpool ei ole palju peent struktuuri, mida kaotada. Seda ei saa öelda nende kaalude kohta, mis on kolmeni alla surutud.

07REAP: miks ekspertide kärpimine on teistsugune kadu kui ümardamine

Kaks kolmest tasemest kannavad REAP järelliidet — kvantiseerimisest kategooriliselt erinev operatsioon. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) on ühe hoobiga kompressioon hõredatele MoE mudelitele: see hindab iga eksperti ruuteri väravaväärtuste ja eksperdi aktivatsiooninormi järgi ning kustutab siis kõige madalama skooriga eksperdid. Cerebras teatab peaaegu kadudeta tulemustest koodi genereerimisel ja tööriistakutsetel isegi 50% ekspertide kärpimise juures.

Me kasutame REAP-i põhjusel, mille pärast see olemas on: kõige suuremate vundamentide juures on just see see, mis teeb nad serveeritavaks. Aga pane tähele erinevust olemuses. Kvantiseerimine udustab iga kaalu veidi; kärpimine eemaldab eksperdid täielikult. Kui sinu koormus marsruudib tugevalt võimekusele, mis elas harva valitud eksperdis — vähelevinud programmeerimiskeel, spetsialiseeritud sõnavara —, siis see ei ole halvenenud. See on läinud ja mitte ükski viip seda tagasi ei too. Keskmised jäävad suurepäraseks; sinu sabajuhtum võib mitte jääda.

MiMo-V2.5-Pro · W8A16 ei kanna REAP järelliidet. Kõik 384 eksperti on kohal ja ruuter valib täiskomplektist, millega vundamenti treeniti.

Tase	Kaalubitid	Eksperdid	Mida sa vahetad
W8A16	8	Kõik kohal	Struktuurselt mitte midagi. Täpsuse tase.
W4A16-AUTOROUND-REAP	4	Kärbitud	Peen kaaludetail pluss vähese liiklusega eksperdid, vastutasuks palju suurema vundamendi eest samas hinnaklassis.
3BIT-REAP	3	Kärbitud	Oluline osa kaalude lahutusvõimest pluss vähese liiklusega eksperdid — hind, mida maksta kõige suuremate vundamentide kiire jooksutamise eest.

Keskmine tase väärib ausat ärakuulamist. AutoRound ei ole naiivne ümardamine: Inteli meetod (arXiv:2309.05516) kasutab märgiga gradientlaskumist umbes 200 sammu jooksul, et häälestada ümardamisotsused ja kärpimisvahemik iga kaalugrupi kohta, ning selle kohta teatatakse enamikus seadistustes peaaegu kadudeta tulemust 4 biti juures, lüües enamikus katsetatud konfiguratsioonides GPTQ-d, AWQ-d, HQQ-d ja OmniQuanti. W4A16-AUTOROUND mudel on tõeliselt hea 4-bitine mudel. Ta on ikkagi 4-bitine mudel.

08Kes peaks valima 8-bitise taseme — ja kes mitte

MiMo-V2.5-Pro · W8A16 asub kogu kataloogi põrandahinnal — $0.50 sisse / $2.00 välja miljoni tokeni kohta, sama vahemik mis sisenditaseme 4-bitistel mudelitel ja umbes veerand kõige kallima mudeli sisendihinnast, mida me serveerime. Sa ei maksa täpsuse eest lisatasu; sa valid sama eelarve teistsuguse telje.

Vali ta siis, kui

• Töö ongi väljundi pikkus. Pika vormi tehniline kirjutamine, peatükipikkune ilukirjandus, täielikud dokumentatsioonikäigud — iga genereeritud token on koht, kus kompressioonimüra liitub.
• Hääl ja järjepidevus loevad. Karakteritöö, brändi toon, register, mida hoitakse pika seansi vältel. Stiil elab sabas ja saba on see, mille jäme kvantiseerimine kõigepealt ära sööb.
• Struktureeritud väljund peab esimese korraga valideeruma. Mudel toetab json_schema-t ja response_format-i; skeemist kinnipidamine on täpsuse omadus ja iga välditud kordus on säästetud raha ja latentsus.
• Sa täidad konteksti. Juhistest kinnipidamine 200,000. tokeni juures on raskem kui 2,000. juures ja see halveneb koos kaalude täpsusega — nagu ka pikk arutlusjälg, kus vead liituvad samamoodi.
• Töö on oma olemuselt tsenseerimata. Turvauuringud, punase meeskonna töö, filtreerimata ilukirjandus, tundlik meditsiiniline või õiguslik analüüs — kus põiklev vastus on hullem kui mitte ühtki.

Vali midagi muud siis, kui

• Sul on vaja nägemist. See mudel on ainult tekstile; tema sugulane MiMo-V2.5 · W8A16 on nägemisvõimeline sama hinna ja tasemega.
• Sul on vaja kõige laiemaid maailmateadmisi lühikeste päringute peal. See on režiim, kus palju suurema 3-bitise vundamendi lisaparameetrid võidavad ja tema kvantiseerimiskahju vaevu paistab.
• Sinu koormus on suure mahuga lühike klassifitseerimine. Kvantiseerimiskahju on seal peaaegu nähtamatu — osta see, mis on kiireim.

09Tsenseerimata MiMo API kutsumine

Kui sinu kood sihib OpenAI SDK-d, on baas-URL-i ja mudeli id muutmine kogu migratsioon:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages ja /v1/responses võtavad vastu sama id ja samad võimekused. Parameetriviide, tööriistakutsete skeemid, struktureeritud väljundi näited ja elav mänguväljak on Shannon AI API dokumentatsioonis.

Võimekus	MiMo-V2.5-Pro · W8A16
Kontekstiaken	262,144 tokenit
Maksimaalne väljund päringu kohta	16,384 tokenit
Voogedastus	Jah — kõik kolm dialekti
Tööriistakutsed	Jah
Arutlus / reasoning_effort	Jah
json_schema struktureeritud väljund	Jah
response_format	Jah
Nägemine / pildisisend	Ei — kasuta MiMo-V2.5
Keeldumiskiht / väljundifilter	Puudub
Hind 1M tokeni kohta	$0.50 sisse / $2.00 välja

10Korduma kippuvad küsimused

---

Allikad: MiMo tehniline aruanne, arXiv:2505.07608 · MiMo-V2.5-Pro mudelikaart (Xiaomi) · „Give Me BF16 or Give Me Death”?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bitise järeldamise skaleerimisseadused, arXiv:2212.09720 · Scaling Laws for Precision, Kumar jt, ICLR 2025. Kõik võrdlustesti näitajad on sellised, nagu nende autorid on need teatanud. Shannon AI on Shannon Lab LLC toode, New Mexico, USA.