Necenzūruotas MiMo API su 8 bitų ištikimybe

Dauguma katalogų jums parduoda parametrų skaičių. Tai netinkamas skaičius apsipirkti, nes kiekvienas didelis atvirų svorių modelis, kurį iš tikrųjų galite sau leisti, buvo suglaudintas, kad kur nors tilptų. Sąžiningas klausimas yra ne „koks jis buvo prieš suspaudžiant?“, o „kiek jo dar liko?“ Šis straipsnis apie tą klausimą ir apie mūsų sąrašo modelį, kuriam atsakymas yra beveik visas.

01Ką iš tikrųjų duoda necenzūruotas MiMo API

Necenzūruotas MiMo API yra vienas modelio id, MiMo-V2.5-Pro-W8A16, pasiekiamas trimis dialektais, kurie kreipiasi į tuos pačius svorius mūsų pačių GPU klasteryje: /v1/chat/completions, /v1/messages ir /v1/responses. Visi trys palaiko srautinį perdavimą, įrankių iškvietimą ir samprotavimą.

Necenzūruotas čia turi siaurą reikšmę: prieš modelį nėra atsisakymo sluoksnio, jo išvesčiai nėra filtro. Mes nepertraukiame, neklasifikuojame ir neperrašome. Gaunate paties pagrindo elgseną — o tyrimų klasės atvirų svorių modeliui tai reiškia, kad jis įsitraukia į saugumo tyrimus, suaugusiųjų ar smurtinę grožinę literatūrą, medicininį ir teisinį samprotavimą bei tas užklausas, kurias teikiami komerciniai galiniai taškai atmeta refleksiškai. Tai profesionalus įrankis pagal mūsų Atsakingo naudojimo politiką, o ne taisyklių nebuvimas.

02MiMo linija: Xiaomi statymas į samprotavimu grįstą pirminį mokymą

MiMo nėra Llama išvestinė su nauju vardu; tai atskira Xiaomi MiMo komandos linija, ir jos pamatinė idėja svarbi dar prieš vertinant modelį. Ji prasideda nuo MiMo-7B (2025 m. balandžio 30 d., MIT licencija), kurio techninėje ataskaitoje teigiama, kad dauguma laboratorijų samprotavimą laiko papildomo apmokymo problema, prisukama su RL, ir kad tai atvirkščiai. Xiaomi vietoj to aplink jį pertvarkė pirminį mokymą: trijų etapų mišinys per 25 trilijonus žetonų, antrame etape maždaug 70 % matematikos ir kodo, trečiame įtraukiant sintetinius samprotavimo pėdsakus ir kontekstą plečiant nuo 8K iki 32K — plius kelių žetonų prognozavimo tikslas, kartu veikiantis kaip spekuliatyvaus dekodavimo galva.

Rezultatas — 7 mlrd. bazinis modelis, besielgiantis kaip kur kas didesnis. MiMo-7B-Base surinko 32,9 AIME 2024 teste, kai Qwen2.5-7B surinko 10,1, Gemma-2-9B — 0,0, o Llama-3.1-8B — 0,3. Paskui papildomas apmokymas vykdė RL per 130 000 patikrinamų matematikos ir kodo uždavinių su testų sunkumu grįstu kodo atlygiu, ištrūkstant iš retų atlygių spąstų, destabilizuojančių kodo RL. Rezultatas aplenkė o1-mini:

AIME 2025, Xiaomi pateikti skaičiai iš MiMo techninės ataskaitos (arXiv:2505.07608). MiMo-7B-RL taip pat nurodė 95,8 MATH-500 ir 57,8 LiveCodeBench v5 teste.

Šeima plėtėsi, o ne nuklydo: MiMo-VL-7B (2025 m. birželis) ant to paties kamieno uždėjo Qwen2.5-ViT koduotuvą, o 2025 m. gruodį pasirodė MiMo-Audio-7B plius pirmasis MoE narys MiMo-V2-Flash (309 mlrd. viso / 15 mlrd. aktyvių, 27 trln. žetonų, FP8 mišrus tikslumas). MiMo-V2-Pro pasirodė 2026 m. kovą su maždaug 1 trln. / 42 mlrd. aktyvių ir 1 mln. kontekstu, prieš tai savaites OpenRouter platformoje veikęs kaip „Hunter Alpha“. MiMo-V2.5 ir MiMo-V2.5-Pro pasirodė kartu 2026 m. balandžio 22 d., abu su MIT licencija.

03MiMo-V2.5-Pro viduje: kaip atrodo pagrindas

Pagal paskelbtą Xiaomi modelio kortelę MiMo-V2.5-Pro yra retas ekspertų mišinio modelis su 1,02 trilijono viso parametrų ir 42 milijardais aktyvių vienam žetonui per 70 sluoksnių — vienas tankus, 69 MoE — ir 384 maršrutizuojamais ekspertais, 8 vienam žetonui. Paslėptasis dydis yra 6144 su siauru 2048 MoE tarpiniu dydžiu.

Naudojimo pojūtį formuoja du pasirinkimai. Dėmesio krūva yra hibridinė: 10 pilno dėmesio sluoksnių ir 60 slankiojo lango sluoksnių su 128 dydžio langu plius išmokstamas dėmesio kriauklės poslinkis. Xiaomi praneša, kad tai KV podėlio saugyklą, palyginti su vien visuotiniu dėmesiu, sumažina beveik 7 kartus, išlaikant ilgo konteksto kokybę — tai skirtumas tarp lango, kuris nominaliai ilgas, ir lango, kurį galite sau leisti užpildyti. Jame taip pat yra trys kelių žetonų prognozavimo sluoksniai, suteikiantys dekoderiui spekuliatyvią galvą.

Mokymas apėmė 27 trilijonus žetonų su savuoju 32K sekos ilgiu FP8 (E4M3) mišriu tikslumu, paskui prižiūrimą pritaikymą, didelio masto agentinį RL ir daugelio mokytojų on-policy distiliavimą. Įsidėmėkite tą FP8 detalę; tai stipriausias vienas argumentas šį pagrindą teikti 8 bitų tikslumu.

Xiaomi modeliui nurodo 57,2 % SWE-bench Pro, 72,9 τ3-Bench teste įrankių naudojimui ir 48,0 % Humanity's Last Exam — tiekėjo paties skaičiai apie nesuglaudintą modelį, taip juos ir cituojame.

Mes teikiame 262 144 žetonų langą, o ne visą pagrindo 1 mln. — kontekstą, kurį galime garantuoti pilnu greičiu, o ne antraštinį skaičių, prastėjantį esant apkrovai.

04Ką tiksliai reiškia W8A16

Kiekvienas šio katalogo modelis turi kvantavimo priesagą, aprašančią tikrą, išmatuojamą transformaciją, o ne rinkodaros pakopą. Mūsiškės yra 3BIT-REAP, W4A16-AUTOROUND-REAP ir W8A16. MiMo-V2.5-Pro yra trečioji.

Žymėjimas skyla į dvi dalis. W8 yra svorių tikslumas: kiekvienas parametras saugomas kaip 8 bitų sveikasis skaičius vietoj 16 bitų slankiojo kablelio, su bendru mastelio daugikliu kiekvienai mažai grupei, kad išliktų kiekvienos grupės vietinis dinaminis diapazonas. A16 yra aktyvacijų tikslumas: reikšmės, tekančios tarp sluoksnių išvedimo metu, lieka 16 bitų. Suglaudinami svoriai; aritmetika — ne.

Antroji pusė atlieka tylų, svarbų darbą. Aktyvacijas kvantuoti kur kas sunkiau nei svorius: jose yra kraštutinių išskirtinių kanalų — kelių matmenų, kurių dydžiai nustelbia visa kita ir kurie neša neproporcingai didelę modelio elgsenos dalį. Nustumkite juos į žemą tikslumą ir nukirpsite kaip tik tą signalą, kurio jums reikėjo. Tik svorių schemos problemą aplenkia palikdamos aktyvacijų kelią ramybėje, ir būtent todėl rimtas kvantavimo darbas prie jų ir susiliejo.

Taigi praktinis klausimas susiaurėja iki vieno: kiek mažai bitų svoris gali pakelti?

05W8A16 prieš W4A16 prieš 3 bitus: kur iš tikrųjų nueina praradimai

Didžiausias paskelbtas tyrimas šia tema yra Neural Magic ir Red Hat „Give Me BF16 or Give Me Death“? Accuracy-Performance Trade-Offs in LLM Quantization — daugiau nei 500 000 vertinimų per Llama-3.1 šeimą ties 8 mlrd., 70 mlrd. ir 405 mlrd. Jų pagrindinis rezultatas jų pačių skaičiais:

Formatas	Kas suglaudinama	Nurodytas atkūrimas prieš BF16
W8A8-FP (8 bitų)	Svoriai + aktyvacijos, slankusis kablelis	~99,75 % vidutiniškai — „iš esmės be nuostolių“
W8A8-INT (8 bitų)	Svoriai + aktyvacijos, sveikieji skaičiai	99–100 % ties 8 mlrd./70 mlrd.; 98,2–99,3 % ties 405 mlrd.
W4A16-INT (4 bitų)	Tik svoriai	98–99,4 % (8 mlrd.); 98,6–99,8 % (70 mlrd.)

Skaičius pateikė Neural Magic / Red Hat (arXiv:2411.02355) Llama-3.1 modeliams — tai mainų forma, o ne šio modelio rezultatas.

Sąžiningai skaitant, tai atrodo kaip argumentas prieš rūpinimąsi: 4 bitai atkuria 98–99 %, tai kam kreipti dėmesį? Todėl, kad tai akademiniai daugiavariančio pasirinkimo etalonai, beveik blogiausias prieinamas instrumentas kvantavimo žalai aptikti. Etalono klausimas turi vieną teisingą atsakymą, pasiekiamą per vieną ar du žetonus, o kvantavimo klaida yra maža, maždaug nulinio vidurkio triukšmas ant kiekvieno logito; trumpame klausime su plačiu atotrūkiu tas triukšmas sugeriamas.

Dabar parašykite 4 000 žetonų techninio dokumento, išlaikykite balsą per 40 000 žetonų apsakymą arba išveskite JSON, kuris turi būti teisingas iš pirmo karto. Tas pats triukšmas paimamas tūkstančius kartų iš eilės, kiekvienas mėginys sąlygoja kitą. Nesėkmės pavidalas — ne neteisingas atsakymas, o nuklydimas: silpstantis pirmojo ėjimo nurodymo laikymasis, personažas, kuris apie 3 000-ąjį žetoną nustoja skambėti savimi, uždarantis riestinis skliaustas, kuris taip ir neateina.

Kur iš tikrųjų nueina bitai

Kvantavimo klaida nėra tolygiai pasklidusi po modelio gebėjimus; ji susitelkia uodegoje. Didelės masės elgsenos — taisyklinga anglų kalba, Python funkcijos forma, tūkstantis populiariausių pasaulio faktų — užkoduotos pertekliškai daugybėje svorių ir išlieka beveik po visko. Tiksliai suderinti, mažo dydžio svorių skirstinio kampai laiko retenybes: neaiškaus API tikslų parašą, konkretaus autoriaus ritmą, skirtumą tarp dviejų gretimų CVE. Kaip tik šias reikšmes stambus tinklelis suapvalina vieną į kitą.

Žingsnis nuo 4 bitų prie 3 yra ten, kur tai nustoja būti mokesčiu ir tampa nuokriu. Dettmers ir Zettlemoyer k bitų išvedimo mastelio dėsniai nustatė, kad 4 bitai yra taškas, maksimizuojantis nulinio šūvio tikslumą vienam modelio atminties bitui, o žemiau jo pradeda dominuoti prastėjimas. Keturi bitai duoda 16 lygių grupei; trys — 8. Perpus mažinate ir taip stambaus tinklelio skiriamąją gebą, o apvalinimo klaida vienam svoriui maždaug padvigubėja.

Aritmetika, kuri tai nusprendžia

Vertas palyginimas yra aritmetinis, o ne etalonų. Tai, kas išlieka po glaudinimo, yra maždaug parametrai × bitai vienam parametrui — informaciją nešantis svorių failo tūris. Paimkime du hipotetinius vienodos kokybės vienam parametrui pagrindus:

• Pagrindas A: 400 mlrd. parametrų ties 3 bitais → maždaug 150 GB išlaikytų svorių.
• Pagrindas B: 160 mlrd. parametrų ties 8 bitais → maždaug 160 GB išlaikytų svorių.

Pagal grynų parametrų skaičių A laimi du su puse prieš vieną — tas skaičius ir puikuojasi modelio kortelės priekyje. Pagal išlaikytą informaciją jie lygiaverčiai, o B dar turi struktūrinį pranašumą: jo svoriai sėdi ant tinklelio, pakankamai smulkaus, kad uodegos elgsena būtų nepaliesta, o A uodega sukvantuota į masę. A žino daugiau dalykų; B tai, ką žino, žino aiškiau. Ilgam generavimui, tiksliam formatavimui, stiliaus valdymui ir ištikimam ilgo konteksto laikymuisi rinkitės B.

Iliustracinė aritmetika, o ne etalonas: ji parodo, kodėl „didesnis pagrindas“ ir „geriau teikiamas modelis“ yra skirtingi teiginiai.

06Kodėl 27 trilijonai mokymo žetonų daro agresyvų kvantavimą blogesnį

Antras, mažiau intuityvus rezultatas tiesiogiai liečia šį pagrindą. Kumar ir bendraautorių ICLR 2025 straipsnis Scaling Laws for Precision nustato, kad kuo daugiau duomenų modelis matė mokymo metu, tuo daugiau žalos jam padaro kvantavimas po apmokymo. Žemas tikslumas mažina efektyvų modelio parametrų skaičių, ir tas prastėjimas auga kartu su sugertais pirminio mokymo duomenimis — tiek, kad papildomi pirminio mokymo duomenys gali būti grynai žalingi, jei ketinate agresyviai kvantuoti, nes klojate smulkią struktūrą, kurią tinklelis ištrins.

Modelis, apmokytas ant 5 trln. žetonų, turi stambią, perteklinę svorių struktūrą ir atsargos. Modelis, apmokytas ant 27 trln. žetonų — toks yra MiMo-V2.5-Pro biudžetas — tuos papildomus duomenis išleido rašydamas smulkesnius skirtumus į tikslesnes svorių reikšmes, o kaip tik to 3 bitų tinklelis pavaizduoti negali.

Ir dar yra FP8 faktas iš 03 skyriaus — švariausias šio straipsnio argumentas. MiMo-V2.5-Pro buvo iš anksto apmokytas FP8 mišriu tikslumu. Jo svorius nuo pat pradžių formavo optimizatorius, dirbantis maždaug aštuonių bitų tikslumu. Todėl jo teikimas su 8 bitų svoriais nėra nuostolinga mintis po fakto, primesta 16 bitų modeliui — tai beveik svorių grąžinimas į tą skaitinį režimą, kuriame jie buvo išmokti. Žemiau aštuntojo bito prarasti beveik nėra ko. To paties negalima pasakyti apie tuos svorius, prispaustus iki trijų.

07REAP: kodėl ekspertų genėjimas yra kitokios rūšies praradimas nei apvalinimas

Dvi iš trijų pakopų turi REAP priesagą — kategoriškai kitokią operaciją nei kvantavimas. REAP (maršrutizatoriumi svertinis ekspertų aktyvacijos genėjimas, Cerebras Research, arXiv:2510.13999, ICLR 2026) yra vieno žingsnio glaudinimas retiems MoE modeliams: jis kiekvieną ekspertą įvertina pagal maršrutizatoriaus vartų reikšmes ir eksperto aktyvacijos normą, o paskui pašalina prasčiausiai įvertintus. Cerebras praneša apie beveik nenuostolingus rezultatus kodo generavime ir įrankių iškvietime net nugenėjus 50 % ekspertų.

REAP naudojame dėl to, kam jis ir sukurtas: didžiausiems pagrindams kaip tik jis leidžia juos apskritai aptarnauti. Bet atkreipkite dėmesį į rūšies skirtumą. Kvantavimas kiekvieną svorį truputį išplauna; genėjimas ekspertus pašalina visiškai. Jei jūsų darbo krūvis smarkiai maršrutizuoja į gebėjimą, gyvenusį retai parenkamame eksperte — nišinę programavimo kalbą, specializuotą žodyną — jis nėra pablogėjęs. Jo nebėra, ir jokia užklausa jo neatgaus. Vidurkiai lieka puikūs; jūsų uodegos atvejis — galbūt ne.

MiMo-V2.5-Pro · W8A16 neturi REAP priesagos. Visi 384 ekspertai yra vietoje, ir maršrutizatorius renkasi iš viso rinkinio, su kuriuo pagrindas buvo mokytas.

Pakopa	Svorių bitai	Ekspertai	Ką mainote
W8A16	8	Visi vietoje	Nieko struktūrinio. Ištikimybės pakopa.
W4A16-AUTOROUND-REAP	4	Nugenėti	Smulkią svorių detalę plius mažai srauto turinčius ekspertus mainais į kur kas didesnį pagrindą toje pačioje kainų juostoje.
3BIT-REAP	3	Nugenėti	Nemažai svorių skiriamosios gebos plius mažai srauto turinčius ekspertus — tokia yra didžiausių pagrindų leidimo greitai kaina.

Vidurinė pakopa nusipelno teisingo įvertinimo. AutoRound nėra naivus apvalinimas: Intel metodas (arXiv:2309.05516) per maždaug 200 žingsnių ženkliniu gradientiniu nusileidimu derina apvalinimo sprendimus ir ribojimo intervalą kiekvienai svorių grupei, ir apie jį pranešama kaip beveik nenuostolingą ties 4 bitais daugumoje nustatymų, pranokstantį GPTQ, AWQ, HQQ ir OmniQuant daugumoje tirtų konfigūracijų. W4A16-AUTOROUND modelis yra tikrai geras 4 bitų modelis. Bet vis tiek 4 bitų modelis.

08Kam rinktis 8 bitų pakopą — ir kam ne

MiMo-V2.5-Pro · W8A16 stovi ties viso katalogo grindų kaina — $0.50 įvestis / $2.00 išvestis už milijoną žetonų, toje pačioje juostoje kaip įėjimo pakopos 4 bitų modeliai ir maždaug ketvirtadalis brangiausio mūsų teikiamo modelio įvesties kainos. Už ištikimybę priemokos nemokate; renkatės kitą to paties biudžeto ašį.

Rinkitės jį, kai

• Darbas yra ilga išvestis. Ilgas techninis rašymas, skyriaus ilgio grožinė literatūra, pilni dokumentacijos pralėkimai — kiekvienas sugeneruotas žetonas yra vieta, kur glaudinimo triukšmas kaupiasi.
• Svarbu balsas ir nuoseklumas. Personažų darbas, prekės ženklo tonas, registras, išlaikomas per ilgą seansą. Stilius gyvena uodegoje, o uodegą stambus kvantavimas suėda pirmiausia.
• Struktūrizuota išvestis turi būti teisinga iš pirmo karto. Modelis palaiko json_schema ir response_format; schemos laikymasis yra tikslumo savybė, o kiekvienas išvengtas pakartojimas yra sutaupyti pinigai ir delsa.
• Pildote kontekstą. Nurodymų laikytis ties 200 000-uoju žetonu sunkiau nei ties 2 000-uoju, ir tai prastėja mažėjant svorių tikslumui — kaip ir ilgas samprotavimo pėdsakas, kur klaidos kaupiasi taip pat.
• Darbas iš prigimties necenzūruotas. Saugumo tyrimai, red-team darbas, nefiltruota grožinė literatūra, jautri medicininė ar teisinė analizė — kur išsisukinėjantis atsakymas blogiau nei joks.

Rinkitės ką nors kita, kai

• Reikia regos. Šis modelis yra tik tekstinis; jo giminaitis MiMo-V2.5 · W8A16 turi regą už tą pačią kainą ir toje pačioje pakopoje.
• Reikia plačiausių pasaulio žinių trumpose užklausose. Tai režimas, kuriame laimi kur kas didesnio 3 bitų pagrindo papildomi parametrai, o jo kvantavimo žala vos matoma.
• Jūsų darbo krūvis yra didelės apimties trumpas klasifikavimas. Ten kvantavimo žala beveik nematoma — pirkite tai, kas greičiausia.

09Kaip kviesti necenzūruotą MiMo API

Jei jūsų kodas taikosi į OpenAI SDK, bazinio URL ir modelio id pakeitimas yra visa migracija:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages ir /v1/responses priima tą patį id ir tas pačias galimybes. Parametrų nuoroda, įrankių iškvietimo schemos, struktūrizuotos išvesties pavyzdžiai ir gyva bandymų aikštelė yra Shannon AI API dokumentacijoje.

Galimybė	MiMo-V2.5-Pro · W8A16
Konteksto langas	262 144 žetonai
Didžiausia išvestis vienai užklausai	16 384 žetonai
Srautinis perdavimas	Taip — visuose trijuose dialektuose
Įrankių iškvietimas	Taip
Samprotavimas / reasoning_effort	Taip
json_schema struktūrizuota išvestis	Taip
response_format	Taip
Rega / vaizdų įvestis	Ne — naudokite MiMo-V2.5
Atsisakymo sluoksnis / išvesties filtras	Nėra
Kaina už 1 mln. žetonų	$0.50 įvestis / $2.00 išvestis

10Dažnai užduodami klausimai

---

Šaltiniai: MiMo techninė ataskaita, arXiv:2505.07608 · MiMo-V2.5-Pro modelio kortelė (Xiaomi) · „Give Me BF16 or Give Me Death“?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k bitų išvedimo mastelio dėsniai, arXiv:2212.09720 · Scaling Laws for Precision, Kumar ir kt., ICLR 2025. Visus etalonų skaičius pateikė jų autoriai. Shannon AI yra Shannon Lab LLC, Naujoji Meksika, JAV, produktas.