Necenzurirani MiMo API u 8-bitnoj vjernosti

Većina kataloga vam prodaje broj parametara. To je pogrešan broj po kojem se kupuje, jer je svaki veliki model otvorenih težina koji zaista možete priuštiti komprimovan da bi negdje stao. Pošteno pitanje nije „koliko je ovo bilo veliko prije stiskanja?” nego „koliko ga je još ovdje?” Ovaj članak govori o tom pitanju i o modelu iz naše postave gdje je odgovor gotovo sve.

01Šta vam necenzurirani MiMo API zapravo daje

Necenzurirani MiMo API jeste jedan id modela, MiMo-V2.5-Pro-W8A16, dosežljiv kroz tri dijalekta koji se obraćaju istim težinama na našem vlastitom GPU klasteru: /v1/chat/completions, /v1/messages i /v1/responses. Sva tri strimuju i podržavaju pozivanje alata i rezonovanje.

Necenzurirano ovdje ima usko značenje: nema sloja odbijanja ispred modela, nema filtera na njegovom izlazu. Ne presrećemo, ne klasifikujemo i ne prepisujemo. Dobijate vlastito ponašanje temelja — što kod modela otvorenih težina istraživačkog ranga znači da se hvata u koštac sa sigurnosnim istraživanjem, fikcijom za odrasle ili nasilnom fikcijom, medicinskim i pravnim rezonovanjem te zahtjevima koje hostovane komercijalne krajnje tačke odbijaju refleksno. To je profesionalni alat pod našom Politikom odgovornog korištenja, a ne odsustvo pravila.

02Loza MiMo: Xiaomijeva oklada na predtrening usmjeren na rezonovanje

MiMo nije izvedenica Llame sa novim imenom; to je zasebna loza Xiaomijevog tima MiMo, a njena osnivačka ideja bitna je prije nego što uopšte procjenjujete model. Otvara je MiMo-7B (30. april 2025., pod MIT licencom), čiji tehnički izvještaj tvrdi da većina laboratorija rezonovanje tretira kao problem post-treninga koji se naknadno prikači kroz RL, i da je to naopako. Xiaomi je umjesto toga oko toga preuredio predtrening: trostepena mješavina kroz 25 biliona tokena, druga faza sa otprilike 70% matematike i koda, treća sa uklopljenim sintetičkim tragovima rezonovanja uz proširenje konteksta sa 8K na 32K — plus cilj Multi-Token Prediction koji ujedno služi kao glava za spekulativno dekodiranje.

Rezultat je bio osnovni model od 7 milijardi koji se ponašao kao nešto daleko veće. MiMo-7B-Base postigao je 32,9 na AIME 2024 tamo gdje je Qwen2.5-7B postigao 10,1, Gemma-2-9B 0,0, a Llama-3.1-8B 0,3. Post-trening je zatim vodio RL nad 130.000 provjerljivih matematičkih i programskih zadataka uz nagradu za kod vođenu težinom testa, izbjegavajući zamku rijetke nagrade koja destabilizuje RL nad kodom. Rezultat je sletio ispred o1-minija:

AIME 2025, brojke koje je Xiaomi prijavio u tehničkom izvještaju o MiMo-u (arXiv:2505.07608). Za MiMo-7B-RL prijavljeno je i 95,8 na MATH-500 te 57,8 na LiveCodeBenchu v5.

Porodica se širila umjesto da odluta: MiMo-VL-7B (jun 2025.) stavio je Qwen2.5-ViT enkoder na istu okosnicu, a decembar 2025. donio je MiMo-Audio-7B plus prvi MoE unos, MiMo-V2-Flash (309B ukupno / 15B aktivnih, 27T tokena, FP8 mješovita preciznost). MiMo-V2-Pro uslijedio je u martu 2026. sa otprilike 1T / 42B aktivnih i kontekstom od 1M, nakon nekoliko sedmica na OpenRouteru pod imenom „Hunter Alpha”. MiMo-V2.5 i MiMo-V2.5-Pro isporučeni su zajedno 22. aprila 2026., oba pod MIT-om.

03Unutar MiMo-V2.5-Proa: kako temelj izgleda

Prema Xiaomijevoj objavljenoj kartici modela, MiMo-V2.5-Pro je rijetki model tipa Mixture-of-Experts sa 1,02 biliona ukupnih parametara i 42 milijarde aktivnih po tokenu kroz 70 slojeva — jedan gust, 69 MoE — i 384 usmjeravana eksperta, 8 po tokenu. Skrivena dimenzija je 6144, uz usku MoE međudimenziju od 2048.

Dva izbora oblikuju kako se model osjeća u radu. Skup slojeva pažnje je hibridan: 10 slojeva pune pažnje i 60 slojeva sa kliznim prozorom od 128, plus naučiva pristrasnost ponora pažnje. Xiaomi prijavljuje da to smanjuje pohranu KV keša blizu 7x u odnosu na potpuno globalnu pažnju uz zadržan kvalitet na dugom kontekstu — razliku između prozora koji je nominalno dug i onog koji možete priuštiti da popunite. Isporučuje i tri sloja Multi-Token Predictiona, dajući dekoderu spekulativnu glavu.

Treniranje je teklo na 27 biliona tokena pri izvornoj dužini sekvence od 32K u FP8 (E4M3) mješovitoj preciznosti, pa nadgledano dotjerivanje, agentski RL velikog obima i destilacija sa više učitelja u toku same politike. Zapamtite taj detalj o FP8; on je najjači pojedinačni argument za posluživanje ovog temelja na 8 bita.

Xiaomi model prijavljuje na 57,2% na SWE-benchu Pro, 72,9 na τ3-Benchu za korištenje alata i 48,0% na Humanity's Last Exam — proizvođačeve vlastite brojke na nekomprimovanom modelu, navedene kao takve.

Mi poslužujemo prozor od 262.144 tokena, a ne punih 1M iz temelja — kontekst koji možemo garantovati pri punoj brzini, umjesto naslovne brojke koja pod opterećenjem popušta.

04Šta W8A16 znači, precizno

Svaki model u ovom katalogu nosi kvantizacijski sufiks koji opisuje stvarnu, mjerljivu transformaciju, a ne marketinški nivo. Naši su 3BIT-REAP, W4A16-AUTOROUND-REAP i W8A16. MiMo-V2.5-Pro je treći.

Notacija se dijeli na dva. W8 je preciznost težina: svaki parametar pohranjen je kao 8-bitni cijeli broj umjesto kao 16-bitni broj s pomičnim zarezom, uz zajednički faktor skaliranja po maloj grupi kako bi lokalni dinamički raspon svake grupe preživio. A16 je preciznost aktivacija: vrijednosti koje pri zaključivanju teku između slojeva ostaju na 16 bita. Težine se komprimuju; aritmetika ne.

Ta druga polovina obavlja tih, važan posao. Aktivacije je mnogo teže kvantizovati od težina: sadrže ekstremne kanale s ruba raspodjele — nekoliko dimenzija čije veličine zasjenjuju sve ostalo i koje nose nesrazmjeran udio ponašanja modela. Gurnite ih u nisku preciznost i odsjekli ste upravo signal koji vam je trebao. Sheme samo za težine zaobilaze problem tako što putanju aktivacija ostavljaju na miru, i zato se ozbiljan rad na kvantizaciji na njih i sveo.

Praktično pitanje se, dakle, sužava na jedno: koliko malo bita jedna težina može podnijeti?

05W8A16 naspram W4A16 i 3 bita: gdje gubitak zaista ode

Najveća objavljena studija o tome jeste rad Neural Magica i Red Hata „Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization — preko 500.000 evaluacija kroz porodicu Llama-3.1 na 8B, 70B i 405B. Njihov glavni rezultat, u njihovim brojkama:

Format	Šta se komprimuje	Prijavljeni oporavak spram BF16
W8A8-FP (8 bita)	Težine + aktivacije, pomični zarez	~99,75% prosjek — „u suštini bez gubitka”
W8A8-INT (8 bita)	Težine + aktivacije, cijeli broj	99–100% na 8B/70B; 98,2–99,3% na 405B
W4A16-INT (4 bita)	Samo težine	98–99,4% (8B); 98,6–99,8% (70B)

Brojke koje su prijavili Neural Magic / Red Hat (arXiv:2411.02355) na modelima Llama-3.1 — oblik razmjene, a ne rezultat ovog modela.

Pošteno pročitano, to izgleda kao argument protiv brige: 4 bita vraćaju 98–99%, pa zašto se onda opterećivati? Zato što su to akademski benchmarkovi sa višestrukim izborom, među najgorim raspoloživim instrumentima za otkrivanje štete od kvantizacije. Benchmark pitanje ima jedan tačan odgovor dosežljiv u jednom ili dva tokena, a greška kvantizacije mali je šum otprilike nultog prosjeka na svakom logitu; na kratkom pitanju sa širokom razlikom taj se šum upije.

Sada napišite 4.000 tokena tehničkog dokumenta, držite glas kroz priču od 40.000 tokena ili emitujte JSON koji mora proći validaciju iz prve. Isti šum se uzorkuje hiljadama puta u nizu, a svaki uzorak uslovljava sljedeći. Način kvara nije pogrešan odgovor — nego lutanje: sve labaviji stisak na uputu iz prvog poteza, lik koji oko 3.000. tokena prestaje zvučati kao on sam, zatvorena vitičasta zagrada koja nikad ne stigne.

Gdje bitovi zaista odu

Greška kvantizacije nije ravnomjerno raspoređena po sposobnostima modela; koncentriše se u repu raspodjele. Ponašanja velike mase — gramatički engleski, oblik Python funkcije, prvih hiljadu činjenica o svijetu — kodirana su redundantno kroz mnogo težina i preživljavaju gotovo sve. Precizno naštimani uglovi raspodjele težina, malih veličina, drže rijetke stvari: tačan potpis nekog nepoznatog API-ja, kadencu određenog pisca, razliku između dvije susjedne CVE stavke. To su vrijednosti koje gruba mreža zaokruži jednu u drugu.

Korak sa 4 bita na 3 mjesto je gdje ovo prestaje biti porez i postaje provalija. Zakoni skaliranja za zaključivanje na k bita, Dettmersa i Zettlemoyera, našli su da su 4 bita tačka koja maksimizuje tačnost bez primjera po bitu memorije modela, uz degradaciju koja dominira ispod toga. Četiri bita daju 16 nivoa po grupi; tri daju 8. Prepolovljujete rezoluciju već grube mreže, a greška zaokruživanja po težini otprilike se udvostručuje.

Aritmetika koja to rješava

Poređenje koje vrijedi napraviti jeste aritmetičko, a ne benchmark. Ono što preživi kompresiju otprilike je parametri × bitova po parametru — zapremina datoteke težina koja nosi informaciju. Uzmite dva hipotetska temelja jednakog kvaliteta po parametru:

• Temelj A: 400 milijardi parametara na 3 bita → otprilike 150 GB zadržane težine.
• Temelj B: 160 milijardi parametara na 8 bita → otprilike 160 GB zadržane težine.

Po sirovom broju parametara A pobjeđuje dva i po naprema jedan — broj kojim kartica modela otvara. Po zadržanoj informaciji jednaki su, a B uz to ima strukturnu prednost: njegove težine sjede na mreži dovoljno finoj da mu je ponašanje s repa netaknuto, dok je rep modela A kvantizovan u masu. A zna više stvari; B ono što zna zna oštrije. Za dugo generisanje, tačno oblikovanje, stilsku kontrolu i vjerno praćenje dugog konteksta uzmite B.

Ilustrativna aritmetika, a ne benchmark: pokazuje zašto su „veći temelj” i „bolje poslužen model” različite tvrdnje.

06Zašto 27 biliona tokena treniranja agresivnu kvantizaciju čine gorom

Drugi, manje intuitivan rezultat izravno se tiče ovog temelja. Rad Kumara i saradnika sa ICLR-a 2025, Scaling Laws for Precision, nalazi da što je model treniran na više podataka, to mu kvantizacija nakon treniranja nanosi veću štetu. Niska preciznost smanjuje efektivni broj parametara modela, a ta degradacija raste sa količinom upijenih podataka predtreninga — dovoljno daleko da dodatni podaci predtreninga mogu biti neto štetni ako namjeravate agresivno kvantizovati, jer polažete finu strukturu koju će mreža izbrisati.

Model treniran na 5 biliona tokena ima grubu, redundantnu strukturu težina i zaliha popuštanja. Model treniran na 27 biliona tokena — budžetu MiMo-V2.5-Proa — taj je višak podataka potrošio upisujući finije razlike u preciznije vrijednosti težina, a to je upravo ono što 3-bitna mreža ne može predstaviti.

Tu je i činjenica o FP8 iz odjeljka 03, najčistiji argument u ovom članku. MiMo-V2.5-Pro predtreniran je u FP8 mješovitoj preciznosti. Njegove težine od početka je oblikovao optimizator koji je radio na otprilike osam bita preciznosti. Posluživanje na 8-bitnim težinama stoga nije gubitna naknadna misao nametnuta 16-bitnom modelu — blizu je vraćanju težina u numerički režim u kojem su i naučene. Ispod osmog bita malo je fine strukture za izgubiti. Isto se ne može reći za te iste težine stjerane na tri.

07REAP: zašto je obrezivanje eksperata drugačija vrsta gubitka od zaokruživanja

Dva od tri nivoa nose sufiks REAP — kategorijalno drugačiju operaciju od kvantizacije. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) jednokoračna je kompresija za rijetke MoE modele: svakog eksperta ocjenjuje po vrijednostima kapije usmjerivača i normi aktivacije eksperta, pa briše one sa najnižim ocjenama. Cerebras prijavljuje rezultate skoro bez gubitka na generisanju koda i pozivanju alata čak i pri 50% obrezanih eksperata.

REAP koristimo iz razloga zbog kojeg i postoji: na najvećim temeljima on je ono što ih čini poslužljivima. Ali primijetite razliku u vrsti. Kvantizacija svaku težinu malo zamuti; obrezivanje eksperte uklanja u cijelosti. Ako vaše opterećenje snažno usmjerava ka sposobnosti koja je živjela u rijetko biranom ekspertu — manjinskom programskom jeziku, specijalizovanom rječniku — ona nije degradirana. Nema je, i nikakvo promptovanje je ne vraća. Prosjeci ostaju odlični; vaš slučaj s repa možda ne.

MiMo-V2.5-Pro · W8A16 ne nosi sufiks REAP. Svih 384 eksperata su prisutni, a usmjerivač bira iz punog skupa sa kojim je temelj i treniran.

Nivo	Bita po težini	Eksperti	Šta mijenjate
W8A16	8	Svi prisutni	Ništa strukturno. Nivo vjernosti.
W4A16-AUTOROUND-REAP	4	Obrezani	Fin detalj težina plus eksperti sa malim prometom, u zamjenu za mnogo veći temelj u istom cjenovnom pojasu.
3BIT-REAP	3	Obrezani	Znatna rezolucija težina plus eksperti sa malim prometom — cijena vrtenja najvećih temelja pri punoj brzini.

Srednji nivo zaslužuje pošteno saslušanje. AutoRound nije naivno zaokruživanje: Intelova metoda (arXiv:2309.05516) kroz otprilike 200 koraka predznačenim gradijentnim spustom štimuje odluke o zaokruživanju i raspon odsijecanja po grupi težina, i prijavljena je kao skoro bez gubitka na 4 bita u većini postavki, tukući GPTQ, AWQ, HQQ i OmniQuant kroz većinu testiranih konfiguracija. W4A16-AUTOROUND model istinski je dobar 4-bitni model. I dalje je 4-bitni model.

08Ko treba birati 8-bitni nivo — a ko ne

MiMo-V2.5-Pro · W8A16 stoji na najnižoj cijeni u cijelom katalogu — $0.50 ulaz / $2.00 izlaz na milion tokena, u istom pojasu kao 4-bitni modeli ulaznog nivoa i otprilike četvrtina ulazne cijene najskupljeg modela koji poslužujemo. Ne plaćate premiju za vjernost; birate drugu osu istog budžeta.

Birajte ga kada

• Dužina izlaza je posao. Tehničko pisanje u dugoj formi, fikcija dužine poglavlja, potpuni prolazi kroz dokumentaciju — svaki generisani token mjesto je gdje se šum kompresije slaže.
• Glas i dosljednost su bitni. Rad na liku, ton brenda, registar držan kroz dugu sesiju. Stil živi u repu, a rep je ono što gruba kvantizacija prvo pojede.
• Strukturirani izlaz mora proći validaciju iz prve. Model podržava json_schema i response_format; poštovanje sheme svojstvo je preciznosti, a svako izbjegnuto ponavljanje ušteđen je novac i latencija.
• Punite kontekst. Praćenje upute na 200.000. tokenu teže je nego na 2.000., i opada sa preciznošću težina — kao i dug trag rezonovanja, gdje se greške slažu na isti način.
• Posao je necenzuriran po prirodi. Sigurnosno istraživanje, red teaming, nefiltrirana fikcija, osjetljiva medicinska ili pravna analiza — gdje je ograđen odgovor gori od nikakvog.

Birajte nešto drugo kada

• Treba vam vid. Ovaj model radi samo sa tekstom; njegov brat MiMo-V2.5 · W8A16 vidi po istoj cijeni i na istom nivou.
• Treba vam najšire znanje o svijetu na kratkim upitima. To je režim u kojem višak parametara mnogo većeg 3-bitnog temelja pobjeđuje, a njegova šteta od kvantizacije jedva se vidi.
• Vaše opterećenje je kratka klasifikacija u velikom obimu. Šteta od kvantizacije tu je gotovo nevidljiva — kupite šta god je najbrže.

09Pozivanje necenzuriranog MiMo API-ja

Ako vaš kod cilja OpenAI SDK, promjena osnovnog URL-a i id-a modela cijela je migracija:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages i /v1/responses primaju isti id i iste mogućnosti. Pregled parametara, sheme za pozivanje alata, primjeri strukturiranog izlaza i živo igralište nalaze se u API dokumentaciji Shannon AI-ja.

Mogućnost	MiMo-V2.5-Pro · W8A16
Kontekstni prozor	262.144 tokena
Maksimalni izlaz po zahtjevu	16.384 tokena
Striming	Da — sva tri dijalekta
Pozivanje alata	Da
Rezonovanje / reasoning_effort	Da
Strukturirani izlaz po json_schema	Da
response_format	Da
Vid / slika na ulazu	Ne — koristite MiMo-V2.5
Sloj odbijanja / filter izlaza	Nema
Cijena po 1M tokena	$0.50 ulaz / $2.00 izlaz

10Često postavljana pitanja

---

Izvori: tehnički izvještaj o MiMo-u, arXiv:2505.07608 · kartica modela MiMo-V2.5-Pro (Xiaomi) · „Give Me BF16 or Give Me Death”?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · zakoni skaliranja za zaključivanje na k bita, arXiv:2212.09720 · Scaling Laws for Precision, Kumar i saradnici, ICLR 2025. Sve brojke sa benchmarkova onako su kako su ih prijavili njihovi autori. Shannon AI je proizvod kompanije Shannon Lab LLC, Novi Meksiko, SAD.