Necenzuriran MiMo API pri 8-bitni zvestobi

Večina katalogov vam prodaja število parametrov. To je napačna številka za nakupovanje, ker je vsak velik model z odprtimi utežmi, ki si ga dejansko lahko privoščite, nekje stisnjen, da gre noter. Pošteno vprašanje ni »kako velik je bil, preden so ga stisnili?«, ampak »koliko ga je še tukaj?«. Ta članek govori o tem vprašanju in o modelu v naši ponudbi, pri katerem je odgovor skoraj ves.

01Kaj vam necenzuriran MiMo API dejansko da

Necenzuriran MiMo API je en ID modela, MiMo-V2.5-Pro-W8A16, dosegljiv prek treh narečij, ki naslavljajo iste uteži na našem lastnem grozdu GPU: /v1/chat/completions, /v1/messages in /v1/responses. Vsa tri pretakajo ter podpirajo klicanje orodij in sklepanje.

Necenzuriran ima tu ozek pomen: pred modelom ni sloja zavračanja in na njegovem izhodu ni filtra. Ne prestrezamo, ne razvrščamo, ne prepisujemo. Dobite lastno vedenje temelja — kar pri raziskovalnem modelu z odprtimi utežmi pomeni, da se loti varnostnih raziskav, leposlovja za odrasle ali nasilnega leposlovja, zdravstvenega in pravnega sklepanja ter zahtev, ki jih gostovane komercialne končne točke zavrnejo po refleksu. Je strokovno orodje pod našo Politiko odgovorne uporabe, ne odsotnost pravil.

02Rodovnica MiMo: Xiaomijeva stava na predučenje, usmerjeno v sklepanje

MiMo ni izpeljanka Llame z novim imenom; je samosvoja rodovnica Xiaomijeve ekipe MiMo, njena ustanovna zamisel pa šteje, še preden model ovrednotite. Začne se z MiMo-7B (30. aprila 2025, licenca MIT), čigar tehnično poročilo trdi, da večina laboratorijev sklepanje obravnava kot težavo potreninga, ki jo je treba priviti z RL, in da je to obrnjeno narobe. Xiaomi je namesto tega okoli sklepanja prestrukturiral predučenje: tristopenjsko mešanico čez 25 bilijonov žetonov, kjer druga stopnja teče s približno 70 % matematike in kode, tretja pa vključi sintetične sledi sklepanja ob razširitvi konteksta z 8K na 32K — ob tem pa cilj napovedovanja več žetonov, ki hkrati služi kot glava za spekulativno dekodiranje.

Rezultat je bil osnovni model s 7B parametri, ki se je vedel kot nekaj precej večjega. MiMo-7B-Base je dosegel 32,9 na AIME 2024, kjer je Qwen2.5-7B dosegel 10,1, Gemma-2-9B 0,0 in Llama-3.1-8B 0,3. Potrening je nato izvedel RL čez 130.000 preverljivih matematičnih in programerskih nalog z nagrado za kodo, vodeno po težavnosti testov, s čimer se je izognil pasti redkih nagrad, ki razmaje RL pri kodi. Rezultat je pristal pred o1-mini:

AIME 2025, številke, ki jih Xiaomi poroča v tehničnem poročilu MiMo (arXiv:2505.07608). MiMo-7B-RL je poročal tudi 95,8 na MATH-500 in 57,8 na LiveCodeBench v5.

Družina se je razširila, ne razpršila: MiMo-VL-7B (junij 2025) je na isto hrbtenico postavil kodirnik Qwen2.5-ViT, december 2025 pa je prinesel MiMo-Audio-7B in prvi vpis MoE, MiMo-V2-Flash (309B skupno / 15B aktivnih, 27T žetonov, mešana natančnost FP8). MiMo-V2-Pro je sledil marca 2026 pri približno 1T / 42B aktivnih s kontekstom 1M, po tednih na OpenRouterju pod imenom »Hunter Alpha«. MiMo-V2.5 in MiMo-V2.5-Pro sta izšla skupaj 22. aprila 2026, oba pod MIT.

03Znotraj MiMo-V2.5-Pro: kako izgleda temelj

Po Xiaomijevi objavljeni kartici modela je MiMo-V2.5-Pro redek model Mixture-of-Experts z 1,02 bilijona skupnih parametrov in 42 milijardami aktivnih na žeton čez 70 plasti — ena gosta, 69 MoE — in 384 usmerjenimi strokovnjaki, 8 na žeton. Skrita velikost je 6144, z ozko vmesno velikostjo MoE 2048.

Dve odločitvi določata, kakšen je občutek pri rabi. Sklad pozornosti je hibriden: 10 plasti polne pozornosti in 60 plasti z drsečim oknom pri oknu 128, ob tem pa učljiva pristranskost ponora pozornosti. Xiaomi poroča, da to shrambo predpomnilnika KV skrči skoraj 7-krat v primerjavi s povsem splošno pozornostjo, ob ohranjeni kakovosti pri dolgem kontekstu — to je razlika med oknom, ki je dolgo le po imenu, in oknom, ki si ga lahko privoščite napolniti. Prihaja tudi s tremi plastmi napovedovanja več žetonov, kar dekodirniku da spekulativno glavo.

Učenje je obsegalo 27 bilijonov žetonov pri izvorni dolžini zaporedja 32K v mešani natančnosti FP8 (E4M3), nato nadzorovano dodelavo, obsežno agentno RL in večučiteljsko destilacijo na lastni politiki. To podrobnost o FP8 si zapomnite; je najmočnejši posamični argument za strežbo tega temelja pri 8 bitih.

Xiaomi za model poroča 57,2 % na SWE-bench Pro, 72,9 na τ3-Bench za rabo orodij in 48,0 % na Humanity's Last Exam — ponudnikove lastne številke na nestisnjenem modelu, navedene kot take.

Strežemo okno 262,144 žetonov, ne polnega 1M temelja — to je kontekst, ki ga lahko zagotovimo ob hitrosti, in ne vodilna številka, ki pod obremenitvijo razpade.

04Kaj natanko pomeni W8A16

Vsak model v tem katalogu nosi kvantizacijsko pripono, ki opisuje dejansko, merljivo preobrazbo in ne trženjske stopnje. Naše so 3BIT-REAP, W4A16-AUTOROUND-REAP in W8A16. MiMo-V2.5-Pro je tretji.

Zapis se razdeli na dvoje. W8 je natančnost uteži: vsak parameter je shranjen kot 8-bitno celo število namesto kot 16-bitno število s plavajočo vejico, z deljenim faktorjem merila na majhno skupino, tako da lokalni dinamični razpon vsake skupine preživi. A16 je natančnost aktivacij: vrednosti, ki ob sklepanju tečejo med plastmi, ostanejo pri 16 bitih. Uteži so stisnjene; aritmetika ni.

Ta druga polovica opravlja tiho, pomembno delo. Aktivacije je veliko težje kvantizirati kot uteži: vsebujejo skrajne odstopajoče kanale — nekaj razsežnosti, katerih velikosti pritlikavijo vse drugo in ki nosijo nesorazmeren delež vedenja modela. Potisnite jih v nizko natančnost in odrežete natanko signal, ki ste ga potrebovali. Sheme samo za uteži se težavi izognejo tako, da pot aktivacij pustijo pri miru, in prav zato se je resno delo pri kvantizaciji zbralo pri njih.

Praktično vprašanje se torej zoži na eno: kako malo bitov utež prenese?

05W8A16 proti W4A16 proti 3 bitom: kam gre izguba

Največja objavljena študija o tem je »Give Me BF16 or Give Me Death«? Accuracy-Performance Trade-Offs in LLM Quantization podjetij Neural Magic in Red Hat — več kot 500.000 vrednotenj čez družino Llama-3.1 pri 8B, 70B in 405B. Njihov vodilni rezultat, v njihovih številkah:

Oblika	Kaj je stisnjeno	Sporočena povrnitev proti BF16
W8A8-FP (8 bitov)	Uteži + aktivacije, plavajoča vejica	~99,75 % povprečno — »v bistvu brez izgube«
W8A8-INT (8 bitov)	Uteži + aktivacije, celoštevilsko	99–100 % pri 8B/70B; 98,2–99,3 % pri 405B
W4A16-INT (4 biti)	Samo uteži	98–99,4 % (8B); 98,6–99,8 % (70B)

Številke, ki jih poročata Neural Magic / Red Hat (arXiv:2411.02355) na modelih Llama-3.1 — gre za obliko kompromisa, ne za rezultat tega modela.

Pošteno prebrano je to videti kot argument proti temu, da bi nam bilo mar: 4 biti povrnejo 98–99 %, torej zakaj sploh paziti? Ker so to akademske meritve z več izbirami, kar je skorajda najslabši razpoložljivi instrument za zaznavanje škode zaradi kvantizacije. Vprašanje na meritvi ima en pravilen odgovor, dosegljiv v enem ali dveh žetonih, napaka kvantizacije pa je majhen šum s približno ničelno srednjo vrednostjo na vsakem logitu; pri kratkem vprašanju s široko rezervo se ta šum vpije.

Zdaj pa napišite 4.000 žetonov tehničnega dokumenta, držite glas čez zgodbo s 40.000 žetoni ali oddajte JSON, ki mora prestati preverbo v prvo. Isti šum je vzorčen tisočkrat zapored, vsak vzorec pa pogojuje naslednjega. Način odpovedi ni napačen odgovor — je zanašanje: rahljanje prijema na navodilo iz prvega obrata, lik, ki okoli 3.000. žetona neha zveneti kot on sam, zaklepaj, ki nikoli ne pride.

Kam biti dejansko gredo

Napaka kvantizacije ni enakomerno razporejena po sposobnostih modela; zgošča se v repu. Vedenja z veliko mase — slovnična angleščina, oblika funkcije v Pythonu, tisoč najpogostejših dejstev o svetu — so odvečno kodirana čez mnoge uteži in preživijo tako rekoč vse. Natančno uglašeni koti porazdelitve uteži z majhno velikostjo hranijo redke stvari: točen podpis nejasnega API, ritem določenega avtorja, razliko med dvema sosednjima CVE. Prav te vrednosti groba mreža zaokroži drugo v drugo.

Korak s 4 bitov na 3 je točka, kjer to neha biti davek in postane prepad. Dettmers in Zettlemoyer sta v zakonih razteza sklepanja pri k bitih ugotovila, da 4 biti maksimirajo natančnost brez primerov na bit pomnilnika modela, pod tem pa prevlada poslabšanje. Štirje biti dajo 16 ravni na skupino; trije dajo 8. Podvojite grobost že tako grobe mreže, napaka zaokroževanja na utež pa se približno podvoji.

Aritmetika, ki odloči

Primerjava, ki jo velja narediti, je aritmetična, ne meritvena. Kar preživi stiskanje, je približno parametri × biti na parameter — prostornina uteži, ki nosi podatek. Vzemimo dva hipotetična temelja z enako kakovostjo na parameter:

• Temelj A: 400B parametrov pri 3 bitih → približno 150 GB ohranjenih uteži.
• Temelj B: 160B parametrov pri 8 bitih → približno 160 GB ohranjenih uteži.

Po surovem številu parametrov A zmaga dva in pol proti ena — to je številka, s katero se kartica modela začne. Po ohranjenem podatku sta enakovredna, B pa ima povrhu strukturno prednost: njegove uteži ležijo na mreži, dovolj fini, da je njegovo repno vedenje nedotaknjeno, medtem ko je rep pri A kvantiziran v glavnino. A ve več stvari; B ostreje ve, kar ve. Za dolgo generiranje, natančno obliko, slogovni nadzor in zvesto upoštevanje dolgega konteksta vzemite B.

Ponazoritvena aritmetika, ne meritev: pokaže, zakaj sta »večji temelj« in »bolje strežen model« različni trditvi.

06Zakaj 27 bilijonov učnih žetonov agresivno kvantizacijo poslabša

Drug, manj intuitiven rezultat neposredno zadeva ta temelj. Članek Kumarja in soavtorjev Scaling Laws for Precision (ICLR 2025) ugotavlja, da več podatkov ko je model videl pri učenju, več škode mu naredi kvantizacija po učenju. Nizka natančnost zmanjša učinkovito število parametrov modela, to poslabšanje pa raste z vpitimi podatki predučenja — dovolj daleč, da so dodatni podatki predučenja lahko neto škodljivi, če nameravate agresivno kvantizirati, ker polagate fino strukturo, ki jo bo mreža izbrisala.

Model, učen na 5T žetonih, ima grobo, odvečno strukturo uteži in dovolj rezerve. Model, učen na 27T žetonih — kar je proračun MiMo-V2.5-Pro — je te dodatne podatke porabil za vpis finejših razlik v natančnejše vrednosti uteži, in prav tega 3-bitna mreža ne zna predstaviti.

Tu je še dejstvo o FP8 iz razdelka 03, najčistejši argument v tem članku. MiMo-V2.5-Pro je bil predučen v mešani natančnosti FP8. Njegove uteži je od začetka oblikoval optimizator, ki je delal pri približno osmih bitih natančnosti. Strežba pri 8-bitnih utežeh torej ni izgubna naknadna misel, vsiljena 16-bitnemu modelu — je blizu vračanju uteži v številski režim, v katerem so bile naučene. Pod osmim bitom je malo fine strukture, ki bi jo bilo mogoče izgubiti. Za iste uteži, potisnjene na tri bite, tega ni mogoče reči.

07REAP: zakaj je obrezovanje strokovnjakov drugačna vrsta izgube kot zaokroževanje

Dve od treh stopenj nosita pripono REAP — to je kategorijsko drugačna operacija od kvantizacije. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) je enkoračno stiskanje za redke modele MoE: vsakega strokovnjaka oceni po vrednostih vrat usmerjevalnika in po normi aktivacije strokovnjaka, nato pa najnižje ocenjene izbriše. Cerebras poroča o skoraj brezizgubnih rezultatih pri generiranju kode in klicanju orodij tudi pri 50 % obrezanih strokovnjakov.

REAP uporabljamo iz razloga, zaradi katerega obstaja: pri največjih temeljih je prav on tisto, kar jih naredi strežljive. A opazite razliko v vrsti. Kvantizacija vsako utež malce zabriše; obrezovanje strokovnjake povsem odstrani. Če vaša obremenitev močno usmerja k zmožnosti, ki je živela v redko izbranem strokovnjaku — manjšem programskem jeziku, specializiranem besedišču — ta ni poslabšana. Ni je več in noben poziv je ne vrne. Povprečja ostanejo odlična; vaš repni primer morda ne.

MiMo-V2.5-Pro · W8A16 pripone REAP ne nosi. Vseh 384 strokovnjakov je prisotnih, usmerjevalnik pa izbira iz polnega nabora, s katerim je bil temelj naučen.

Stopnja	Bitov za utež	Strokovnjaki	Kaj zamenjate
W8A16	8	Vsi prisotni	Nič strukturnega. Stopnja zvestobe.
W4A16-AUTOROUND-REAP	4	Obrezani	Fine podrobnosti uteži in strokovnjake z majhnim prometom, v zameno za precej večji temelj v istem cenovnem pasu.
3BIT-REAP	3	Obrezani	Precejšnjo ločljivost uteži in strokovnjake z majhnim prometom — to je cena za poganjanje najbolj velikanskih temeljev ob hitrosti.

Srednja stopnja si zasluži pošteno obravnavo. AutoRound ni naivno zaokroževanje: Intelova metoda (arXiv:2309.05516) s predznačenim gradientnim spustom v približno 200 korakih uglasi odločitve o zaokrožitvi in obseg obrezovanja na skupino uteži, poročana pa je kot skoraj brezizgubna pri 4 bitih v večini nastavitev, pri čemer v večini preizkušenih postavitev prekaša GPTQ, AWQ, HQQ in OmniQuant. Model W4A16-AUTOROUND je resnično dober 4-bitni model. A je še vedno 4-bitni model.

08Kdo naj izbere 8-bitno stopnjo — in kdo ne

MiMo-V2.5-Pro · W8A16 sedi na najnižji ceni celotnega kataloga — $0.50 vhod / $2.00 izhod na milijon žetonov, v istem pasu kot vstopni 4-bitni modeli in približno četrtina vhodne cene najdražjega modela, ki ga strežemo. Za zvestobo ne plačujete doplačila; izbirate drugo os istega proračuna.

Izberite ga, kadar

• Dolžina izhoda je opravilo. Dolgo tehnično pisanje, leposlovje v dolžini poglavja, celotni prehodi dokumentacije — vsak ustvarjeni žeton je žeton, kjer se šum stiskanja sešteva.
• Šteje glas in doslednost. Delo z liki, ton blagovne znamke, register, držan čez dolgo sejo. Slog živi v repu, rep pa je tisto, kar groba kvantizacija poje prvo.
• Strukturiran izhod mora prestati preverbo v prvo. Model podpira json_schema in response_format; držanje sheme je lastnost natančnosti, vsak prihranjen ponovni poskus pa sta prihranjena denar in latenca.
• Polnite kontekst. Upoštevanje navodil pri 200.000. žetonu je težje kot pri 2.000., in slabša se z natančnostjo uteži — enako velja za dolgo sled sklepanja, kjer se napake sešteva enako.
• Delo je po naravi necenzurirano. Varnostne raziskave, rdeče ekipe, nefiltrirano leposlovje, občutljive zdravstvene ali pravne analize — kjer je zavarovan odgovor slabši od nobenega.

Izberite kaj drugega, kadar

• Potrebujete razumevanje slik. Ta model je samo besedilen; njegov sorodnik MiMo-V2.5 · W8A16 razume slike po isti ceni in na isti stopnji.
• Potrebujete najširše znanje o svetu pri kratkih poizvedbah. To je režim, kjer zmagajo dodatni parametri precej večjega 3-bitnega temelja in kjer se njegova škoda zaradi kvantizacije komaj pozna.
• Vaša obremenitev je kratko razvrščanje v velikih količinah. Tam je škoda zaradi kvantizacije skoraj nevidna — kupite, kar je najhitrejše.

09Klicanje necenzuriranega API MiMo

Če vaša koda cilja na SDK OpenAI, je sprememba osnovnega URL in ID modela celotna selitev:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages in /v1/responses sprejemata isti ID in iste zmožnosti. Pregled parametrov, sheme klicanja orodij, primeri strukturiranega izhoda in živo igrišče so v dokumentaciji API Shannon AI.

Zmožnost	MiMo-V2.5-Pro · W8A16
Okno konteksta	262,144 žetonov
Največ izhoda na zahtevo	16,384 žetonov
Pretakanje	Da — vsa tri narečja
Klicanje orodij	Da
Sklepanje / reasoning_effort	Da
Strukturiran izhod json_schema	Da
response_format	Da
Razumevanje slik / slikovni vhod	Ne — uporabite MiMo-V2.5
Sloj zavračanja / filter izhoda	Ga ni
Cena na 1M žetonov	$0.50 vhod / $2.00 izhod

10Pogosta vprašanja

---

Viri: tehnično poročilo MiMo, arXiv:2505.07608 · kartica modela MiMo-V2.5-Pro (Xiaomi) · »Give Me BF16 or Give Me Death«?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · zakoni razteza sklepanja pri k bitih, arXiv:2212.09720 · Scaling Laws for Precision, Kumar in soavtorji, ICLR 2025. Vse številke meritev so takšne, kot jih poročajo njihovi avtorji. Shannon AI je izdelek podjetja Shannon Lab LLC, Nova Mehika, ZDA.