Necenzēts MiMo API ar 8 bitu precizitāti

Vairums katalogu jums pārdod parametru skaitu. Tas ir nepareizais skaitlis, pēc kā iepirkties, jo katrs liels atvērto svaru modelis, ko patiešām varat atļauties, ir ticis saspiests, lai kaut kur ietilptu. Godīgais jautājums nav „cik liels tas bija, pirms to saspieda?”, bet „cik daudz no tā vēl ir klāt?”. Šis raksts ir par šo jautājumu un par to mūsu saraksta modeli, kuram atbilde ir gandrīz viss.

01Ko necenzētais MiMo API jums patiesībā dod

Necenzētais MiMo API ir viens modeļa id, MiMo-V2.5-Pro-W8A16, sasniedzams caur trim dialektiem, kas uzrunā tos pašus svarus mūsu paša GPU klasterī: /v1/chat/completions, /v1/messages un /v1/responses. Visi trīs straumē un atbalsta rīku izsaukšanu un spriešanu.

Necenzēts šeit nozīmē ko šauru: modeļa priekšā nav atteikuma slāņa, un tā izvadei nav filtra. Mēs nepārtveram, neklasificējam un nepārrakstām. Jūs saņemat paša pamatmodeļa uzvedību — un pētniecības līmeņa atvērto svaru modelim tas nozīmē, ka tas iesaistās drošības pētniecībā, pieaugušo vai vardarbīgā daiļliteratūrā, medicīniskā un juridiskā spriešanā un tajos pieprasījumos, ko mitinātie komerciālie galapunkti atsaka refleksā. Tas ir profesionāls rīks saskaņā ar mūsu atbildīgas lietošanas politiku, nevis noteikumu neesamība.

02MiMo cilts: Xiaomi likme uz spriešanu jau iepriekštreniņā

MiMo nav Llama atvasinājums ar jaunu vārdu; tā ir atsevišķa cilts no Xiaomi MiMo komandas, un tās dibinošā ideja ir svarīga vēl pirms modeļa vērtēšanas. Tā sākas ar MiMo-7B (2025. gada 30. aprīlis, MIT licence), kura tehniskais ziņojums apgalvo, ka vairums laboratoriju spriešanu uzskata par pēctreniņa problēmu, ko pieskrūvēt ar RL, un ka tas ir otrādi. Xiaomi tā vietā ap to pārkārtoja iepriekštreniņu: trīspakāpju sajaukumu pār 25 triljoniem tokenu, kur otrā pakāpe darbojas ar aptuveni 70% matemātikas un koda, bet trešā ielocina sintētiskas spriešanas pēdas, vienlaikus paplašinot kontekstu no 8K uz 32K — plus daudztokenu prognozēšanas mērķi, kas vienlaikus kalpo kā spekulatīvās dekodēšanas galva.

Rezultāts bija 7B bāzes modelis, kas uzvedās kā krietni lielāks. MiMo-7B-Base ieguva 32.9 uz AIME 2024, kur Qwen2.5-7B ieguva 10.1, Gemma-2-9B 0.0 un Llama-3.1-8B 0.3. Pēctreniņā tad noritēja RL pār 130,000 pārbaudāmiem matemātikas un koda uzdevumiem ar testu grūtības vadītu koda atalgojumu, izbēgot no retā atalgojuma slazda, kas destabilizē koda RL. Rezultāts nostājās priekšā o1-mini:

AIME 2025, Xiaomi ziņoti skaitļi no MiMo tehniskā ziņojuma (arXiv:2505.07608). MiMo-7B-RL ziņoja arī 95.8 uz MATH-500 un 57.8 uz LiveCodeBench v5.

Saime paplašinājās, nevis aizdreifēja: MiMo-VL-7B (2025. gada jūnijs) uz tā paša mugurkaula uzlika Qwen2.5-ViT kodētāju, un 2025. gada decembrī nāca MiMo-Audio-7B plus pirmais MoE ieraksts MiMo-V2-Flash (309B kopā / 15B aktīvo, 27T tokenu, FP8 jauktā precizitāte). MiMo-V2-Pro sekoja 2026. gada martā ar aptuveni 1T / 42B aktīvo un 1M kontekstu, pēc nedēļām OpenRouter ar segvārdu „Hunter Alpha”. MiMo-V2.5 un MiMo-V2.5-Pro iznāca kopā 2026. gada 22. aprīlī, abi ar MIT licenci.

03MiMo-V2.5-Pro iekšpuse: kā izskatās pamatmodelis

Pēc Xiaomi publicētās modeļa kartes MiMo-V2.5-Pro ir rets Mixture-of-Experts modelis ar 1.02 triljoniem kopējo parametru un 42 miljardiem aktīvo uz tokenu 70 slāņos — viens blīvs, 69 MoE — un 384 maršrutētiem ekspertiem, 8 uz tokenu. Slēptais izmērs ir 6144, ar šauru MoE starpizmēru 2048.

Divas izvēles nosaka, kā tas jūtas lietošanā. Uzmanības steks ir hibrīds: 10 pilnas uzmanības slāņi un 60 bīdāmā loga slāņi ar 128 tokenu logu, plus iemācāma uzmanības izlietnes nobīde. Xiaomi ziņo, ka tas KV kešatmiņas apjomu pret pilnībā globālu uzmanību samazina gandrīz 7 reizes, noturot gara konteksta kvalitāti — starpība starp logu, kas ir nomināli garš, un tādu, ko varat atļauties piepildīt. Tas nes arī trīs daudztokenu prognozēšanas slāņus, dodot dekodētājam spekulatīvu galvu.

Treniņā bija 27 triljoni tokenu ar iedzimtu 32K secības garumu FP8 (E4M3) jauktā precizitātē, tad uzraudzīta piefinēšana, liela mēroga aģentiskais RL un daudzskolotāju uz politiku balstīta destilācija. Paturiet prātā šo FP8 detaļu; tā ir spēcīgākais atsevišķais arguments par labu šī pamatmodeļa pasniegšanai 8 bitos.

Xiaomi ziņo modeli ar 57.2% uz SWE-bench Pro, 72.9 uz τ3-Bench rīku lietošanā un 48.0% uz Humanity's Last Exam — ražotāja paša skaitļi par nesaspiesto modeli, tā arī citēti.

Mēs pasniedzam 262,144 tokenu logu, nevis pamatmodeļa pilno 1M — kontekstu, ko varam garantēt pilnā ātrumā, nevis virsraksta skaitli, kas zem slodzes degradējas.

04Ko precīzi nozīmē W8A16

Katrs šī kataloga modelis nes kvantēšanas piedēkli, kas apraksta īstu, izmērāmu pārveidojumu, nevis mārketinga līmeni. Mūsējie ir 3BIT-REAP, W4A16-AUTOROUND-REAP un W8A16. MiMo-V2.5-Pro ir trešais.

Apzīmējums dalās divās daļās. W8 ir svaru precizitāte: katrs parametrs tiek glabāts kā 8 bitu vesels skaitlis, nevis 16 bitu peldošais, ar koplietotu mēroga koeficientu uz katru mazu grupu, lai katras grupas vietējais dinamiskais diapazons saglabātos. A16 ir aktivāciju precizitāte: vērtības, kas izsecināšanas laikā plūst starp slāņiem, paliek 16 bitos. Svari tiek saspiesti; aritmētika ne.

Šī otrā puse dara klusu, svarīgu darbu. Aktivācijas ir daudz grūtāk kvantēt nekā svarus: tajās ir galēji izlecoši kanāli — dažas dimensijas, kuru lielumi visu pārējo pārspēj un kuras nes nesamērīgi lielu modeļa uzvedības daļu. Iestumiet tās zemā precizitātē, un jūs nogriezīsiet tieši to signālu, kas bija vajadzīgs. Tikai svaru shēmas problēmu apiet, atstājot aktivāciju ceļu mierā, un tieši tāpēc nopietns kvantēšanas darbs ir uz tām sanācis kopā.

Tātad praktiskais jautājums sašaurinās līdz vienam: cik maz bitu svars spēj paciest?

05W8A16 pret W4A16 pret 3 bitiem: kur zudumi patiešām aiziet

Lielākais publicētais pētījums par to ir Neural Magic un Red Hat darbs „Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization — vairāk nekā 500,000 vērtējumu Llama-3.1 saimē ar 8B, 70B un 405B. Viņu galvenais rezultāts, viņu skaitļos:

Formāts	Kas tiek saspiests	Ziņotā atgūšana pret BF16
W8A8-FP (8 biti)	Svari + aktivācijas, peldošais	~99.75% vidēji — „pēc būtības bez zudumiem”
W8A8-INT (8 biti)	Svari + aktivācijas, veselie skaitļi	99–100% pie 8B/70B; 98.2–99.3% pie 405B
W4A16-INT (4 biti)	Tikai svari	98–99.4% (8B); 98.6–99.8% (70B)

Skaitļi, ko ziņo Neural Magic / Red Hat (arXiv:2411.02355) par Llama-3.1 modeļiem — apmaiņas forma, nevis šī modeļa vērtējums.

Godīgi lasot, tas izskatās pēc argumenta pret rūpēšanos: 4 biti atgūst 98–99%, tad kāpēc pievērst uzmanību? Tāpēc, ka tie ir akadēmiski atbilžu izvēles etaloni, kas ir tuvu sliktākajam pieejamajam instrumentam kvantēšanas kaitējuma atklāšanai. Etalona jautājumam ir viena pareiza atbilde, sasniedzama vienā vai divos tokenos, un kvantēšanas kļūda ir maza, aptuveni nulles vidējā trokšņa pievienošana katram logitam; īsā jautājumā ar platu rezervi šis troksnis tiek absorbēts.

Tagad uzrakstiet 4,000 tokenu tehniska dokumenta, noturiet balsi 40,000 tokenu stāstā vai izdodiet JSON, kuram jāvalidējas pirmajā mēģinājumā. Tas pats troksnis tiek izlozēts tūkstošiem reižu pēc kārtas, katrai izlozei nosacot nākamo. Kļūmes veids nav nepareiza atbilde — tas ir dreifs: vājinošs tvēriens pār pirmā gājiena norādījumu, tēls, kurš ap 3,000. tokenu pārstāj skanēt kā viņš pats, aizverošā figūriekava, kas nekad neatnāk.

Kur biti patiešām aiziet

Kvantēšanas kļūda pār modeļa spējām nav izlīdzināta vienmērīgi; tā koncentrējas astē. Lielas masas uzvedības — gramatiska angļu valoda, Python funkcijas forma, augšējie tūkstotis faktu par pasauli — ir kodētas dublēti daudzos svaros un izdzīvo gandrīz visu. Precīzi noskaņotie, maza lieluma svaru sadalījuma stūri tur reto: nezināma API precīzu parakstu, konkrēta autora ritmu, atšķirību starp divām blakus esošām CVE. Tās ir vērtības, ko rupjš režģis noapaļo vienu otrā.

Solis no 4 bitiem uz 3 ir vieta, kur tas pārstāj būt nodeva un kļūst par krauju. Dettmers un Zettlemoyer k-bitu izsecināšanas mērogošanas likumi konstatēja, ka 4 biti ir punkts, kas maksimizē nulles šāviena precizitāti uz modeļa atmiņas bitu, un ka zem tā dominē degradācija. Četri biti dod 16 līmeņus uz grupu; trīs dod 8. Jūs uz pusi samazināt jau tāpat rupja režģa izšķirtspēju, un noapaļošanas kļūda uz svaru aptuveni divkāršojas.

Aritmētika, kas to izšķir

Salīdzinājums, ko ir vērts izdarīt, ir aritmētika, nevis etalons. Tas, kas izdzīvo saspiešanu, ir aptuveni parametri × biti uz parametru — svaru faila informāciju nesošais tilpums. Ņemiet divus hipotētiskus pamatmodeļus ar vienādu kvalitāti uz parametru:

• Pamatmodelis A: 400B parametru pie 3 bitiem → aptuveni 150 GB saglabāto svaru.
• Pamatmodelis B: 160B parametru pie 8 bitiem → aptuveni 160 GB saglabāto svaru.

Pēc neapstrādāta parametru skaita A uzvar divarpus pret vienu — tas ir skaitlis, ar ko modeļa karte sākas. Pēc saglabātās informācijas tie ir līdzvērtīgi, un B turklāt ir strukturāla priekšrocība: tā svari sēž uz režģa, kas ir pietiekami smalks, lai tā astes uzvedība būtu neskarta, kamēr A aste ir iekvantēta pamatmasā. A zina vairāk lietu; B zina to, ko zina, asāk. Garai ģenerēšanai, precīzam formatējumam, stilistiskai vadībai un uzticamai gara konteksta ievērošanai ņemiet B.

Ilustratīva aritmētika, nevis etalons: tā parāda, kāpēc „lielāks pamatmodelis” un „labāk pasniegts modelis” ir dažādi apgalvojumi.

06Kāpēc 27 triljoni treniņa tokenu padara agresīvu kvantēšanu sliktāku

Otrs, mazāk intuitīvs rezultāts uz šo pamatmodeli attiecas tieši. Kumar un līdzautoru ICLR 2025 raksts Scaling Laws for Precision konstatē, ka jo vairāk datu modelis treniņā redzējis, jo lielāku kaitējumu tam nodara pēctreniņa kvantēšana. Zema precizitāte samazina modeļa efektīvo parametru skaitu, un šī degradācija aug līdz ar uzsūkto iepriekštreniņa datu apjomu — tik tālu, ka papildu iepriekštreniņa dati var būt neto kaitīgi, ja plānojat agresīvi kvantēt, jo jūs ieklājat smalku struktūru, ko režģis izdzēsīs.

Modelim, kas trenēts uz 5T tokenu, ir rupja, dublēta svaru struktūra un rezerves pietiekami. Modelis, kas trenēts uz 27T tokenu — MiMo-V2.5-Pro budžets —, šos papildu datus iztērēja, ierakstot smalkākas atšķirības precīzākās svaru vērtībās, un tieši to 3 bitu režģis attēlot nespēj.

Tad ir tas FP8 fakts no 03. sadaļas — tīrākais arguments šajā rakstā. MiMo-V2.5-Pro tika iepriekštrenēts FP8 jauktā precizitātē. Tā svarus jau no sākuma veidoja optimizētājs, kas strādāja aptuveni astoņu bitu precizitātē. Tāpēc tā pasniegšana ar 8 bitu svariem nav zudumaina pēcdoma, uzspiesta 16 bitu modelim — tā ir gandrīz svaru atgriešana tajā skaitliskajā režīmā, kurā tie tika iemācīti. Zem astotā bita ir maz smalkas struktūras, ko zaudēt. To pašu nevar teikt par šiem svariem, iespiestiem trijos.

07REAP: kāpēc ekspertu atzarošana ir citas dabas zudums nekā noapaļošana

Divi no trim līmeņiem nes REAP piedēkli — kategoriski citu darbību nekā kvantēšana. REAP (maršrutētāja svērtā ekspertu aktivācijas atzarošana, Cerebras Research, arXiv:2510.13999, ICLR 2026) ir vienpakāpes saspiešana retiem MoE modeļiem: tā katru ekspertu novērtē pēc maršrutētāja vārtu vērtībām un eksperta aktivācijas normas, tad zemāk novērtētos izdzēš. Cerebras ziņo par gandrīz bezzudumu rezultātiem koda ģenerēšanā un rīku izsaukšanā pat pie 50% atzarotu ekspertu.

Mēs REAP izmantojam tā iemesla dēļ, kura dēļ tā pastāv: uz lielākajiem pamatmodeļiem tā ir tas, kas padara tos pasniedzamus. Bet ievērojiet atšķirību būtībā. Kvantēšana katru svaru mazliet izpluina; atzarošana ekspertus noņem pavisam. Ja jūsu darba slodze intensīvi maršrutē uz spēju, kas dzīvoja reti izvēlētā ekspertā — mazāk izplatīta programmēšanas valoda, specializēta vārdnīca —, tā nav degradēta. Tās nav, un nekāda uzvedne to neatgūst. Vidējie rādītāji paliek izcili; jūsu astes gadījums var nepalikt.

MiMo-V2.5-Pro · W8A16 nenes REAP piedēkli. Visi 384 eksperti ir klāt, un maršrutētājs izvēlas no pilnās kopas, ar kuru pamatmodelis tika trenēts.

Līmenis	Svaru biti	Eksperti	Ko jūs atdodat
W8A16	8	Visi klāt	Neko strukturālu. Precizitātes līmenis.
W4A16-AUTOROUND-REAP	4	Atzaroti	Smalku svaru detaļu plus mazas datplūsmas ekspertus, apmaiņā pret daudz lielāku pamatmodeli tajā pašā cenu joslā.
3BIT-REAP	3	Atzaroti	Būtisku svaru izšķirtspēju plus mazas datplūsmas ekspertus — cena par pašu lielāko pamatmodeļu darbināšanu pilnā ātrumā.

Vidējais līmenis pelna godīgu izklāstu. AutoRound nav naiva noapaļošana: Intel metode (arXiv:2309.05516) aptuveni 200 soļos ar zīmoto gradienta nolaišanos noskaņo noapaļošanas lēmumus un apgriešanas diapazonu katrai svaru grupai, un ir ziņots par gandrīz bezzudumu rezultātu pie 4 bitiem vairumā iestatījumu, pārspējot GPTQ, AWQ, HQQ un OmniQuant lielākajā daļā pārbaudīto konfigurāciju. W4A16-AUTOROUND modelis ir patiešām labs 4 bitu modelis. Tas joprojām ir 4 bitu modelis.

08Kam vajadzētu izvēlēties 8 bitu līmeni — un kam ne

MiMo-V2.5-Pro · W8A16 atrodas pie visa kataloga grīdas cenas — $0.50 ievadē / $2.00 izvadē uz miljonu tokenu, tajā pašā joslā, kur ieejas līmeņa 4 bitu modeļi, un aptuveni ceturtdaļa no dārgākā mūsu pasniegtā modeļa ievades cenas. Jūs nemaksājat piemaksu par precizitāti; jūs izvēlaties citu asi tam pašam budžetam.

Izvēlieties to, kad

• Izvades garums ir pats darbs. Gara formāta tehniska rakstīšana, nodaļas garuma daiļliteratūra, pilnas dokumentācijas caurlaides — katrs ģenerētais tokens ir vieta, kur saspiešanas troksnis sakrājas.
• Svarīga ir balss un konsekvence. Tēlu darbs, zīmola tonis, reģistrs, kas noturēts garā sesijā. Stils dzīvo astē, un aste ir tā, ko rupja kvantēšana apēd pirmo.
• Strukturētai izvadei jāvalidējas pirmajā mēģinājumā. Modelis atbalsta json_schema un response_format; shēmas ievērošana ir precizitātes īpašība, un katrs novērsts atkārtojums ir ietaupīta nauda un latentums.
• Jūs piepildāt kontekstu. Norādījumu ievērošana pie 200,000. tokena ir grūtāka nekā pie 2,000., un tā degradējas līdz ar svaru precizitāti — tāpat kā gara spriešanas pēda, kur kļūdas sakrājas tāpat.
• Darbs pēc būtības ir necenzēts. Drošības pētniecība, sarkanās komandas darbs, nefiltrēta daiļliteratūra, jutīga medicīniska vai juridiska analīze — kur izlocīta atbilde ir sliktāka par nekādu.

Izvēlieties ko citu, kad

• Jums vajag redzi. Šis modelis ir tikai teksts; tā radinieks MiMo-V2.5 · W8A16 ir ar redzi par to pašu cenu un tajā pašā līmenī.
• Jums vajag plašākās pasaules zināšanas īsos vaicājumos. Tas ir režīms, kur daudz lielāka 3 bitu pamatmodeļa papildu parametri uzvar, bet tā kvantēšanas kaitējums gandrīz neparādās.
• Jūsu darba slodze ir lielapjoma īsa klasifikācija. Tur kvantēšanas kaitējums ir gandrīz neredzams — pērciet to, kas ir ātrākais.

09Kā izsaukt necenzēto MiMo API

Ja jūsu kods vēršas pie OpenAI SDK, bāzes URL un modeļa id nomaiņa ir visa migrācija:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages un /v1/responses pieņem to pašu id un tās pašas iespējas. Parametru atsauce, rīku izsaukšanas shēmas, strukturētas izvades piemēri un dzīva izmēģinājumu vide ir Shannon AI API dokumentācijā.

Iespēja	MiMo-V2.5-Pro · W8A16
Konteksta logs	262,144 tokeni
Maks. izvade uz pieprasījumu	16,384 tokeni
Straumēšana	Jā — visos trīs dialektos
Rīku izsaukšana	Jā
Spriešana / reasoning_effort	Jā
json_schema strukturēta izvade	Jā
response_format	Jā
Redze / attēlu ievade	Nē — izmantojiet MiMo-V2.5
Atteikuma slānis / izvades filtrs	Nav
Cena uz 1M tokenu	$0.50 ievadē / $2.00 izvadē

10Biežāk uzdotie jautājumi

---

Avoti: MiMo tehniskais ziņojums, arXiv:2505.07608 · MiMo-V2.5-Pro modeļa karte (Xiaomi) · „Give Me BF16 or Give Me Death”?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bitu izsecināšanas mērogošanas likumi, arXiv:2212.09720 · Scaling Laws for Precision, Kumar un līdzautori, ICLR 2025. Visi etalonu skaitļi ir tādi, kā tos ziņojuši to autori. Shannon AI ir Shannon Lab LLC, Ņūmeksika, ASV, produkts.