MiMo API bez cenzure u 8-bitnoj vjernosti

Većina kataloga prodaje vam broj parametara. To je pogrešna brojka za kupovinu, jer je svaki velik model otvorenih težina koji si doista možete priuštiti komprimiran da bi negdje stao. Pošteno pitanje nije „koliko je bio velik prije stiskanja?” nego „koliko ga je još ovdje?”. Ovaj je članak o tom pitanju i o modelu u našoj ponudi kod kojeg je odgovor gotovo sve.

01Što vam MiMo API bez cenzure zapravo daje

MiMo API bez cenzure jedan je id modela, MiMo-V2.5-Pro-W8A16, dostupan kroz tri dijalekta koji se obraćaju istim težinama na našem vlastitom GPU klasteru: /v1/chat/completions, /v1/messages i /v1/responses. Sva tri streamaju te podržavaju pozivanje alata i promišljanje.

Bez cenzure ovdje ima usko značenje: pred modelom nema sloja odbijanja, a na njegovu izlazu nema filtra. Ne presrećemo, ne klasificiramo i ne prepisujemo. Dobivate vlastito ponašanje temelja — što za model otvorenih težina istraživačke razine znači da se hvata u koštac sa sigurnosnim istraživanjima, fikcijom za odrasle ili nasilnom fikcijom, medicinskim i pravnim promišljanjem te zahtjevima koje komercijalne krajnje točke odbijaju refleksno. To je profesionalan alat prema našoj politici odgovorne uporabe, a ne odsutnost pravila.

02MiMo podrijetlo: Xiaomijeva oklada na predtreniranje usmjereno na promišljanje

MiMo nije Llama izvedenica s novim imenom; to je zasebno podrijetlo iz Xiaomijeva MiMo tima, a njegova je osnivačka zamisao važna prije nego što model ocijenite. Otvara ga MiMo-7B (30. travnja 2025., pod MIT licencom), čije tehničko izvješće tvrdi da većina laboratorija promišljanje tretira kao problem naknadnog treniranja koji treba prikvačiti podržanim učenjem, i da je to naopako. Xiaomi je umjesto toga oko njega preustrojio predtreniranje: trostupanjska mješavina kroz 25 bilijuna tokena, drugi stupanj s otprilike 70 % matematike i koda, treći stupanj koji uvodi sintetičke tragove promišljanja uz proširenje konteksta s 8K na 32K — plus cilj predviđanja više tokena koji ujedno služi kao glava za spekulativno dekodiranje.

Rezultat je bio osnovni model od 7B koji se ponašao kao nešto mnogo veće. MiMo-7B-Base ostvario je 32,9 na AIME 2024, gdje je Qwen2.5-7B ostvario 10,1, Gemma-2-9B 0,0, a Llama-3.1-8B 0,3. Naknadno je treniranje potom vodilo podržano učenje na 130.000 provjerljivih matematičkih i programerskih zadataka, uz nagradu za kod vođenu težinom testova, izbjegavajući zamku rijetke nagrade koja destabilizira podržano učenje na kodu. Rezultat je pretekao o1-mini:

AIME 2025, brojke koje je Xiaomi prijavio u MiMo tehničkom izvješću (arXiv:2505.07608). Za MiMo-7B-RL prijavljeno je i 95,8 na MATH-500 te 57,8 na LiveCodeBenchu v5.

Obitelj se širila, a nije odlutala: MiMo-VL-7B (lipanj 2025.) stavio je Qwen2.5-ViT koder na istu okosnicu, a prosinac 2025. donio je MiMo-Audio-7B plus prvi MoE član, MiMo-V2-Flash (309B ukupno / 15B aktivnih, 27T tokena, FP8 mješovita preciznost). MiMo-V2-Pro uslijedio je u ožujku 2026. s otprilike 1T / 42B aktivnih i kontekstom od milijun tokena, nakon nekoliko tjedana na OpenRouteru pod imenom „Hunter Alpha”. MiMo-V2.5 i MiMo-V2.5-Pro isporučeni su zajedno 22. travnja 2026., oba pod MIT licencom.

03Unutar MiMo-V2.5-Pro: kako temelj izgleda

Prema Xiaomijevoj objavljenoj kartici modela, MiMo-V2.5-Pro rijetki je Mixture-of-Experts model s 1,02 bilijuna ukupnih parametara i 42 milijarde aktivnih po tokenu kroz 70 slojeva — jedan gust, 69 MoE — i 384 usmjerena stručnjaka, 8 po tokenu. Skrivena veličina je 6144, uz usku MoE međuveličinu od 2048.

Dva izbora oblikuju kako se doima u uporabi. Sklop pažnje je hibridan: 10 slojeva pune pažnje i 60 slojeva s kliznim prozorom od 128, plus naučiva pristranost ponora pažnje. Xiaomi izvještava da to pohranu KV predmemorije smanjuje blizu 7× u odnosu na potpuno globalnu pažnju uz zadržanu kakvoću na dugom kontekstu — razlika između prozora koji je nominalno dug i onoga koji si možete priuštiti napuniti. Isporučuje i tri sloja predviđanja više tokena, čime dekoder dobiva spekulativnu glavu.

Treniranje je obuhvatilo 27 bilijuna tokena pri izvornoj duljini niza od 32K u FP8 (E4M3) mješovitoj preciznosti, a zatim nadzirano dotreniranje, agentsko podržano učenje velikih razmjera i on-policy destilaciju s više učitelja. Zadržite tu FP8 pojedinost; ona je najjači pojedinačni argument za posluživanje ovog temelja na 8 bita.

Xiaomi model prijavljuje na 57,2 % na SWE-benchu Pro, 72,9 na τ3-Benchu za uporabu alata i 48,0 % na Humanity's Last Examu — proizvođačeve vlastite brojke za nekomprimirani model, navedene kao takve.

Poslužujemo prozor od 262.144 tokena, a ne puni milijun s temelja — kontekst koji možemo jamčiti pri punoj brzini, umjesto naslovne brojke koja pod opterećenjem popušta.

04Što točno znači W8A16

Svaki model u ovom katalogu nosi sufiks kvantizacije koji opisuje stvarnu, mjerljivu preobrazbu, a ne marketinšku razinu. Naši su 3BIT-REAP, W4A16-AUTOROUND-REAP i W8A16. MiMo-V2.5-Pro je treći.

Oznaka se dijeli na dvoje. W8 je preciznost težina: svaki je parametar pohranjen kao 8-bitni cijeli broj umjesto 16-bitnog decimalnog, uz dijeljeni faktor skaliranja po maloj skupini kako bi lokalni dinamički raspon svake skupine preživio. A16 je preciznost aktivacija: vrijednosti koje pri zaključivanju teku između slojeva ostaju na 16 bita. Težine se komprimiraju; aritmetika ne.

Ta druga polovica radi tih, važan posao. Aktivacije je mnogo teže kvantizirati od težina: sadrže ekstremne izdvojene kanale — nekoliko dimenzija čije magnitude zasjenjuju sve ostalo i koje nose nesrazmjeran udio ponašanja modela. Gurnite ih u nisku preciznost i odsjeći ćete upravo signal koji vam je trebao. Sheme koje kvantiziraju samo težine zaobilaze problem tako da put aktivacija ostave na miru, i zato je ozbiljan rad na kvantizaciji konvergirao prema njima.

Praktično se pitanje stoga sužava na jedno: koliko malo bitova težina može podnijeti?

05W8A16 naspram W4A16 i 3 bita: kamo gubitak zapravo ide

Najveća objavljena studija o tome jest rad Neural Magica i Red Hata „Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization — više od 500.000 evaluacija kroz Llama-3.1 obitelj na 8B, 70B i 405B. Njihov naslovni rezultat, u njihovim brojkama:

Format	Što se komprimira	Prijavljeni oporavak naspram BF16
W8A8-FP (8 bita)	Težine + aktivacije, decimalno	~99,75 % prosječno — „u biti bez gubitka”
W8A8-INT (8 bita)	Težine + aktivacije, cjelobrojno	99–100 % na 8B/70B; 98,2–99,3 % na 405B
W4A16-INT (4 bita)	Samo težine	98–99,4 % (8B); 98,6–99,8 % (70B)

Brojke koje su prijavili Neural Magic / Red Hat (arXiv:2411.02355) na Llama-3.1 modelima — oblik kompromisa, a ne rezultat ovog modela.

Pošteno čitano, to izgleda kao argument protiv brige: 4 bita vraćaju 98–99 %, pa zašto se time zamarati? Zato što su to akademska mjerila s višestrukim izborom, gotovo najgori raspoloživi instrument za otkrivanje štete od kvantizacije. Pitanje na mjerilu ima jedan točan odgovor dohvatljiv u jednom ili dva tokena, a pogreška kvantizacije mali je šum, otprilike nultog prosjeka, na svakom logitu; na kratkom pitanju sa širokom razlikom taj se šum apsorbira.

A sad napišite 4.000 tokena tehničkog dokumenta, održite glas kroz priču od 40.000 tokena ili odašljite JSON koji se mora potvrditi iz prve. Isti se šum uzorkuje tisućama puta uzastopno, a svaki uzorak uvjetuje sljedeći. Način otkazivanja nije pogrešan odgovor — nego odlutavanje: sve slabiji stisak na uputi iz prvog poteza, lik koji oko 3.000. tokena prestaje zvučati kao on sam, zatvorena vitičasta zagrada koja nikad ne stigne.

Kamo bitovi zapravo idu

Pogreška kvantizacije nije ravnomjerno raspoređena po sposobnostima modela; koncentrira se u repu. Ponašanja velike mase — gramatički ispravan jezik, oblik Python funkcije, tisuću najvažnijih činjenica o svijetu — kodirana su redundantno kroz mnogo težina i preživljavaju gotovo sve. Precizno ugođeni kutovi raspodjele težina male magnitude drže rijetke stvari: točan potpis nejasnog API-ja, ritam određenog autora, razliku između dvaju susjednih CVE-ova. To su vrijednosti koje gruba rešetka zaokružuje jednu u drugu.

Korak s 4 bita na 3 mjesto je gdje ovo prestaje biti porez i postaje ponor. Zakoni skaliranja k-bitnog zaključivanja Dettmersa i Zettlemoyera utvrdili su da su 4 bita točka koja maksimizira točnost bez primjera po bitu memorije modela, uz degradaciju koja ispod nje prevladava. Četiri bita daju 16 razina po skupini; tri daju 8. Prepolovljujete razlučivost ionako grube rešetke, a pogreška zaokruživanja po težini otprilike se udvostručuje.

Aritmetika koja o tome odlučuje

Usporedba koju vrijedi napraviti jest aritmetička, a ne mjerilo. Ono što preživi kompresiju otprilike je parametri × bitova po parametru — obujam datoteke težina koji nosi informaciju. Uzmite dva hipotetska temelja jednake kakvoće po parametru:

• Temelj A: 400B parametara na 3 bita → otprilike 150 GB zadržane težine.
• Temelj B: 160B parametara na 8 bita → otprilike 160 GB zadržane težine.

Po sirovom broju parametara A pobjeđuje dva i pol prema jedan — brojka kojom kartica modela otvara. Po zadržanoj informaciji ravnopravni su, a B uz to ima i strukturnu prednost: njegove težine leže na rešetki dovoljno finoj da mu je repno ponašanje netaknuto, dok je A-ov rep kvantiziran u masu. A zna više stvari; B ono što zna zna oštrije. Za dugo generiranje, točno oblikovanje, stilsku kontrolu i vjerno pridržavanje dugog konteksta uzmite B.

Ilustrativna aritmetika, a ne mjerilo: pokazuje zašto su „veći temelj” i „bolje posluženi model” različite tvrdnje.

06Zašto 27 bilijuna tokena treniranja pogoršavaju agresivnu kvantizaciju

Drugi, manje intuitivan rezultat izravno se tiče ovog temelja. Rad Kumara i suradnika s ICLR-a 2025. Scaling Laws for Precision utvrđuje da što je model treniran na više podataka, to mu kvantizacija nakon treniranja više šteti. Niska preciznost smanjuje efektivan broj parametara modela, a ta degradacija raste s apsorbiranim podacima predtreniranja — dovoljno daleko da dodatni podaci predtreniranja mogu neto škoditi ako namjeravate agresivno kvantizirati, jer polažete finu strukturu koju će rešetka izbrisati.

Model treniran na 5T tokena ima grubu, redundantnu strukturu težina i zaliha na pretek. Model treniran na 27T tokena — proračun MiMo-V2.5-Pro — te je dodatne podatke potrošio zapisujući finije razlike u preciznije vrijednosti težina, a to je upravo ono što 3-bitna rešetka ne može prikazati.

Tu je i FP8 činjenica iz odjeljka 03, najčišći argument u ovom članku. MiMo-V2.5-Pro predtreniran je u FP8 mješovitoj preciznosti. Njegove je težine od početka oblikovao optimizator koji radi s otprilike osam bita preciznosti. Posluživanje na 8-bitnim težinama stoga nije gubitna naknadna misao nametnuta 16-bitnom modelu — nego je blizu vraćanju težina u numerički režim u kojem su naučene. Ispod osmog bita ima malo fine strukture koju bi se izgubilo. Isto se ne može reći za te težine stjerane na tri.

07REAP: zašto je obrezivanje stručnjaka drukčija vrsta gubitka od zaokruživanja

Dvije od tri razine nose sufiks REAP — kategorijski drukčiju operaciju od kvantizacije. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) jednokratna je kompresija za rijetke MoE modele: svakog stručnjaka ocjenjuje po vrijednostima usmjerivačevih vrata i normi aktivacije stručnjaka, a zatim briše one s najnižim rezultatom. Cerebras izvještava o gotovo bezgubitnim rezultatima na generiranju koda i pozivanju alata čak i uz 50 % obrezanih stručnjaka.

REAP koristimo iz razloga zbog kojeg i postoji: na najvećim temeljima on je ono što ih čini poslužljivima. Ali uočite razliku u vrsti. Kvantizacija svaku težinu pomalo zamućuje; obrezivanje stručnjake uklanja u cijelosti. Ako vaše opterećenje snažno usmjerava prema sposobnosti koja je živjela u rijetko biranom stručnjaku — sporedan programski jezik, specijalizirano nazivlje — ona nije pogoršana. Nje nema, i nikakvo je zadavanje upita ne vraća. Prosjeci ostaju izvrsni; vaš repni slučaj možda ne.

MiMo-V2.5-Pro · W8A16 ne nosi REAP sufiks. Prisutna su sva 384 stručnjaka, a usmjerivač bira iz punog skupa s kojim je temelj treniran.

Razina	Bitova težine	Stručnjaci	Čime trgujete
W8A16	8	Svi prisutni	Ničim strukturnim. Razina vjernosti.
W4A16-AUTOROUND-REAP	4	Obrezani	Finim detaljem težina i stručnjacima slabog prometa, u zamjenu za mnogo veći temelj u istom cjenovnom pojasu.
3BIT-REAP	3	Obrezani	Znatnom razlučivosti težina i stručnjacima slabog prometa — cijena pokretanja najvećih temelja pri punoj brzini.

Srednja razina zaslužuje pošteno slušanje. AutoRound nije naivno zaokruživanje: Intelova metoda (arXiv:2309.05516) predznačenim gradijentnim spustom kroz otprilike 200 koraka ugađa odluke o zaokruživanju i raspon odsijecanja po skupini težina, a prijavljena je kao gotovo bezgubitna na 4 bita u većini postava, uz nadmašivanje GPTQ-a, AWQ-a, HQQ-a i OmniQuanta u većini ispitanih konfiguracija. W4A16-AUTOROUND model uistinu je dobar 4-bitni model. I dalje je 4-bitni model.

08Tko bi trebao odabrati 8-bitnu razinu — a tko ne

MiMo-V2.5-Pro · W8A16 stoji po najnižoj cijeni cijelog kataloga — 0,50 $ ulaz / 2,00 $ izlaz po milijunu tokena, u istom pojasu kao 4-bitni modeli ulazne razine i otprilike četvrtina ulazne cijene najskupljeg modela koji poslužujemo. Ne plaćate premiju za vjernost; birate drugu os istog proračuna.

Odaberite ga kad

• Duljina izlaza jest posao. Dugo tehničko pisanje, fikcija duljine poglavlja, potpuni prolazi kroz dokumentaciju — svaki generirani token mjesto je na kojem se šum kompresije zbraja.
• Glas i dosljednost su važni. Rad s likom, ton marke, registar održan kroz dugu sesiju. Stil živi u repu, a rep je ono što gruba kvantizacija prvo pojede.
• Strukturirani se izlaz mora potvrditi iz prve. Model podržava json_schema i response_format; pridržavanje sheme svojstvo je preciznosti, a svako izbjegnuto ponavljanje ušteda je novca i latencije.
• Punite kontekst. Pridržavanje upute na 200.000. tokenu teže je nego na 2.000., a slabi s preciznošću težina — jednako kao i dug trag promišljanja, gdje se pogreške zbrajaju na isti način.
• Posao je po naravi bez cenzure. Sigurnosna istraživanja, red teaming, nefiltrirana fikcija, osjetljiva medicinska ili pravna analiza — gdje je ograđen odgovor gori od nikakvog.

Odaberite nešto drugo kad

• Trebate vid. Ovaj je model isključivo tekstualan; njegov srodnik MiMo-V2.5 · W8A16 ima vid po istoj cijeni i na istoj razini.
• Trebate najšire znanje o svijetu na kratkim upitima. To je režim u kojem pobjeđuju dodatni parametri mnogo većeg 3-bitnog temelja, a njegova se šteta od kvantizacije jedva vidi.
• Vaše je opterećenje kratka klasifikacija u velikom obujmu. Ondje je šteta od kvantizacije gotovo nevidljiva — kupite ono što je najbrže.

09Pozivanje MiMo API-ja bez cenzure

Ako vaš kod cilja OpenAI SDK, promjena osnovnog URL-a i id-a modela cijela je migracija:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages i /v1/responses prihvaćaju isti id i iste mogućnosti. Popis parametara, sheme za pozivanje alata, primjeri strukturiranog izlaza i živi playground nalaze se u dokumentaciji Shannon AI API-ja.

Mogućnost	MiMo-V2.5-Pro · W8A16
Prozor konteksta	262,144 tokena
Najveći izlaz po zahtjevu	16,384 tokena
Streaming	Da — sva tri dijalekta
Pozivanje alata	Da
Promišljanje / reasoning_effort	Da
Strukturirani izlaz po json_schema	Da
response_format	Da
Vid / ulaz sa slikama	Ne — upotrijebite MiMo-V2.5
Sloj odbijanja / filtar izlaza	Nema
Cijena po 1M tokena	$0.50 ulaz / $2.00 izlaz

10Često postavljana pitanja

---

Izvori: MiMo tehničko izvješće, arXiv:2505.07608 · kartica modela MiMo-V2.5-Pro (Xiaomi) · „Give Me BF16 or Give Me Death”?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · zakoni skaliranja k-bitnog zaključivanja, arXiv:2212.09720 · Scaling Laws for Precision, Kumar i sur., ICLR 2025. Sve brojke s mjerila navedene su onako kako su ih prijavili njihovi autori. Shannon AI proizvod je tvrtke Shannon Lab LLC, New Mexico, SAD.