MiMo API bez cenzure sa 8-bitnom vernošću

Većina kataloga vam prodaje broj parametara. To je pogrešan broj po kom se kupuje, jer je svaki veliki model sa otvorenim težinama koji zaista možete da priuštite sabijen da bi negde stao. Pošteno pitanje nije „koliko je ovo bilo veliko pre nego što je iscedeno?“ nego „koliko je od toga još tu?“ Ovaj tekst govori o tom pitanju i o modelu iz našeg izbora kod kog je odgovor skoro sve od njega.

01Šta vam MiMo API bez cenzure zaista donosi

MiMo API bez cenzure jeste jedan identifikator modela, MiMo-V2.5-Pro-W8A16, dostupan kroz tri dijalekta koji se obraćaju istim težinama na našem sopstvenom GPU klasteru: /v1/chat/completions, /v1/messages i /v1/responses. Sva tri strimuju i podržavaju pozivanje alata i rezonovanje.

Bez cenzure ovde ima usko značenje: nema sloja odbijanja ispred modela, nema filtera na njegovom izlazu. Ne presrećemo, ne klasifikujemo i ne prepisujemo. Dobijate ponašanje samog temelja — što kod modela istraživačkog nivoa sa otvorenim težinama znači da se bavi bezbednosnim istraživanjima, fikcijom za odrasle ili nasilnom fikcijom, medicinskim i pravnim rezonovanjem, i onim zahtevima koje hostovani komercijalni endpointi refleksno odbijaju. To je profesionalni alat pod našom Politikom odgovorne upotrebe, a ne odsustvo pravila.

02MiMo loza: Xiaomi ulog na pretrening građen oko rezonovanja

MiMo nije Llama izdanak sa novim imenom; to je posebna loza tima MiMo u Xiaomi-ju, i njena osnivačka ideja bitna je pre nego što ocenite model. Počinje sa MiMo-7B (30. april 2025, MIT licenca), čiji tehnički izveštaj tvrdi da većina laboratorija tretira rezonovanje kao problem posle treninga koji treba prikačiti pomoću RL-a, i da je to naopako. Xiaomi je umesto toga oko toga preuredio pretrening: mešavina u tri faze preko 25 biliona tokena, druga faza sa otprilike 70% matematike i koda, treća faza sa uklopljenim sintetičkim tragovima rezonovanja uz širenje konteksta sa 8K na 32K — plus cilj Multi-Token Prediction koji ujedno služi kao glava za spekulativno dekodiranje.

Rezultat je bio osnovni model od 7B koji se ponašao kao nešto daleko veće. MiMo-7B-Base je postigao 32.9 na AIME 2024, gde je Qwen2.5-7B postigao 10.1, Gemma-2-9B 0.0 i Llama-3.1-8B 0.3. Posle treninga je pokrenut RL nad 130,000 proverljivih zadataka iz matematike i koda, sa nagradom za kod vođenom težinom testa, čime je izbegnuta zamka retke nagrade koja destabilizuje RL na kodu. Rezultat je završio ispred o1-mini:

AIME 2025, brojke koje je prijavio Xiaomi iz MiMo tehničkog izveštaja (arXiv:2505.07608). Za MiMo-7B-RL prijavljeno je i 95.8 na MATH-500 i 57.8 na LiveCodeBench v5.

Porodica se širila, a nije lutala: MiMo-VL-7B (jun 2025) stavio je Qwen2.5-ViT enkoder na istu kičmu, a decembar 2025. doneo je MiMo-Audio-7B plus prvi MoE unos, MiMo-V2-Flash (309B ukupno / 15B aktivno, 27T tokena, FP8 mešovita preciznost). MiMo-V2-Pro je usledio u martu 2026. sa otprilike 1T / 42B aktivnih i kontekstom od 1M, nakon nedelja na OpenRouter-u pod imenom „Hunter Alpha“. MiMo-V2.5 i MiMo-V2.5-Pro izašli su zajedno 22. aprila 2026, oba pod MIT licencom.

03Unutar MiMo-V2.5-Pro: kako temelj izgleda

Prema objavljenoj kartici modela od Xiaomi-ja, MiMo-V2.5-Pro je retki Mixture-of-Experts model sa 1.02 biliona ukupnih parametara i 42 milijarde aktivnih po tokenu kroz 70 slojeva — jedan gust, 69 MoE — i 384 rutirana eksperta, 8 po tokenu. Skrivena dimenzija je 6144, uz usku međudimenziju MoE od 2048.

Dva izbora oblikuju kakav je osećaj u upotrebi. Stek pažnje je hibridan: 10 slojeva pune pažnje i 60 slojeva sa kliznim prozorom veličine 128, plus naučiva pristrasnost ponora pažnje. Xiaomi navodi da to smanjuje skladištenje KV keša blizu 7x u odnosu na potpuno globalnu pažnju uz očuvan kvalitet u dugom kontekstu — razlika između prozora koji je nominalno dug i prozora koji možete priuštiti da napunite. Dolazi i sa tri sloja Multi-Token Prediction, što dekoderu daje spekulativnu glavu.

Trening je obuhvatio 27 biliona tokena pri izvornoj dužini sekvence od 32K u FP8 (E4M3) mešovitoj preciznosti, zatim nadgledano fino podešavanje, agentski RL velikih razmera i on-policy destilaciju sa više učitelja. Zapamtite taj detalj o FP8; to je najjači pojedinačni argument za serviranje ovog temelja na 8 bita.

Xiaomi za model navodi 57.2% na SWE-bench Pro, 72.9 na τ3-Bench za upotrebu alata i 48.0% na Humanity's Last Exam — proizvođačeve sopstvene brojke za nesabijeni model, citirane kao takve.

Mi serviramo prozor od 262,144 tokena, a ne pun 1M koji temelj ima — kontekst koji možemo da garantujemo uz brzinu, a ne naslovni broj koji se pod opterećenjem kvari.

04Šta W8A16 tačno znači

Svaki model u ovom katalogu nosi sufiks kvantizacije koji opisuje stvarnu, merljivu transformaciju, a ne marketinški nivo. Naši su 3BIT-REAP, W4A16-AUTOROUND-REAP i W8A16. MiMo-V2.5-Pro je treći.

Oznaka se deli nadvoje. W8 je preciznost težina: svaki parametar se čuva kao 8-bitni ceo broj umesto 16-bitnog decimalnog, uz deljeni faktor skaliranja po maloj grupi tako da lokalni dinamički opseg svake grupe preživi. A16 je preciznost aktivacija: vrednosti koje teku između slojeva pri zaključivanju ostaju na 16 bita. Težine se sabijaju; aritmetika ne.

Ta druga polovina radi tih, važan posao. Aktivacije je mnogo teže kvantizovati nego težine: sadrže ekstremne odstupajuće kanale — nekoliko dimenzija čije magnitude zasenjuju sve ostalo i koje nose nesrazmeran udeo u ponašanju modela. Gurnite ih na nisku preciznost i odsečete tačno onaj signal koji vam je trebao. Šeme koje kvantizuju samo težine zaobilaze problem tako što ostavljaju put aktivacija na miru, i zato se ozbiljan rad na kvantizaciji sveo baš na njih.

Praktično pitanje se time sužava na jedno: na koliko malo bitova težina može da izdrži?

05W8A16 naspram W4A16 naspram 3 bita: gde gubitak zaista odlazi

Najveća objavljena studija o tome je rad Neural Magic-a i Red Hat-a "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — preko 500,000 evaluacija nad porodicom Llama-3.1 na 8B, 70B i 405B. Njihov glavni nalaz, u njihovim brojkama:

Format	Šta se sabija	Prijavljeni oporavak naspram BF16
W8A8-FP (8-bitno)	Težine + aktivacije, decimalno	~99.75% prosečno — „u suštini bez gubitka“
W8A8-INT (8-bitno)	Težine + aktivacije, celobrojno	99–100% na 8B/70B; 98.2–99.3% na 405B
W4A16-INT (4-bitno)	Samo težine	98–99.4% (8B); 98.6–99.8% (70B)

Brojke koje su prijavili Neural Magic / Red Hat (arXiv:2411.02355) na Llama-3.1 modelima — oblik razmene, a ne rezultat ovog modela.

Pošteno pročitano, to izgleda kao argument protiv brige: 4-bitno vraća 98–99%, pa čemu onda pažnja? Zato što su to akademska merila sa višestrukim izborom, blizu najgoreg raspoloživog instrumenta za otkrivanje štete od kvantizacije. Pitanje na merilu ima jedan tačan odgovor dostupan u jednom ili dva tokena, a greška kvantizacije je mali šum sa približno nultom sredinom na svakom logitu; na kratkom pitanju sa širokom razlikom taj šum se upije.

A sada napišite 4,000 tokena tehničkog dokumenta, održite glas kroz priču od 40,000 tokena, ili izbacite JSON koji mora da prođe validaciju iz prvog puta. Isti šum se uzorkuje hiljadama puta zaredom, a svaki uzorak uslovljava sledeći. Način otkaza nije pogrešan odgovor — nego skretanje: stisak na uputstvo iz prvog poteza popušta, lik prestaje da zvuči kao on negde oko tokena 3,000, zatvorena vitičasta zagrada koja nikad ne stigne.

Kuda bitovi zaista odlaze

Greška kvantizacije nije ravnomerno razmazana po sposobnostima modela; ona se koncentriše u repu. Ponašanja velike mase — gramatički ispravan engleski, oblik Python funkcije, prvih hiljadu činjenica o svetu — kodirana su redundantno kroz mnogo težina i prežive skoro sve. Precizno naštimovani ćoškovi raspodele težina, oni male magnitude, drže retke stvari: tačan potpis nekog nepoznatog API-ja, kadencu određenog autora, razliku između dva susedna CVE-a. To su vrednosti koje gruba rešetka zaokruži jednu u drugu.

Korak sa 4 bita na 3 jeste mesto gde ovo prestaje da bude porez i postaje provalija. Zakoni skaliranja za k-bitno zaključivanje Dettmersa i Zettlemoyera pokazali su da je 4 bita tačka koja maksimizuje zero-shot tačnost po bitu memorije modela, uz degradaciju koja preovlađuje ispod toga. Četiri bita daju 16 nivoa po grupi; tri daju 8. Prepolovljavate rezoluciju već grube rešetke, a greška zaokruživanja po težini otprilike se udvostručuje.

Račun koji o tome odlučuje

Poređenje koje vredi napraviti je račun, a ne merilo. Ono što preživi sabijanje jeste otprilike parametri × bitovi po parametru — zapremina fajla težina koja nosi informaciju. Uzmite dva hipotetička temelja jednakog kvaliteta po parametru:

• Temelj A: 400B parametara na 3 bita → otprilike 150 GB zadržanih težina.
• Temelj B: 160B parametara na 8 bita → otprilike 160 GB zadržanih težina.

Po sirovom broju parametara A pobeđuje dva i po prema jedan — to je broj kojim kartica modela počinje. Po zadržanoj informaciji su izjednačeni, a B uz to ima i strukturnu prednost: njegove težine leže na rešetki dovoljno finoj da mu ponašanje u repu ostane celo, dok je rep temelja A kvantizovan u glavninu. A zna više stvari; B ono što zna zna oštrije. Za dugo generisanje, tačno formatiranje, stilsku kontrolu i verno praćenje dugog konteksta uzmite B.

Ilustrativan račun, ne merilo: pokazuje zašto su „veći temelj“ i „bolje serviran model“ različite tvrdnje.

06Zašto 27 biliona tokena treninga čine agresivnu kvantizaciju gorom

Drugi, manje intuitivan nalaz direktno se odnosi na ovaj temelj. Rad Kumara i saradnika sa ICLR 2025, Scaling Laws for Precision, nalazi da što je model treniran na više podataka, to mu kvantizacija posle treninga više šteti. Niska preciznost smanjuje efektivni broj parametara modela, a ta degradacija raste sa količinom upijenih podataka iz pretreninga — toliko da dodatni podaci iz pretreninga mogu biti neto štetni ako nameravate da agresivno kvantizujete, jer polažete finu strukturu koju će rešetka obrisati.

Model treniran na 5T tokena ima grubu, redundantnu strukturu težina i zalihu prostora. Model treniran na 27T tokena — što je budžet MiMo-V2.5-Pro — potrošio je te dodatne podatke upisujući finije razlike u preciznije vrednosti težina, a to je upravo ono što 3-bitna rešetka ne može da predstavi.

Tu je i ona činjenica o FP8 iz odeljka 03, najčistiji argument u ovom tekstu. MiMo-V2.5-Pro je pretreniran u FP8 mešovitoj preciznosti. Njegove težine je od početka oblikovao optimizator koji je radio na otprilike osam bita preciznosti. Serviranje na 8-bitnim težinama zato nije gubitna naknadna misao nametnuta 16-bitnom modelu — to je skoro vraćanje težina u numerički režim u kom su naučene. Ispod osmog bita jedva da postoji fina struktura koju bi se izgubilo. Isto se ne može reći za težine sabijene na tri.

07REAP: zašto je orezivanje eksperata drugačija vrsta gubitka od zaokruživanja

Dva od tri nivoa nose sufiks REAP — operaciju kategorijalno različitu od kvantizacije. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) jeste kompresija u jednom potezu za retke MoE modele: boduje svakog eksperta prema vrednostima kapije rutera i normi aktivacije eksperta, pa briše one sa najnižim rezultatom. Cerebras navodi rezultate skoro bez gubitka na generisanju koda i pozivanju alata čak i pri 50% orezanih eksperata.

REAP koristimo iz razloga zbog kog i postoji: na najvećim temeljima on je ono što ih čini servirljivim. Ali primetite razliku u vrsti. Kvantizacija svaku težinu malo zamuti; orezivanje eksperte uklanja u celini. Ako vaš posao teško ruta ka sposobnosti koja je živela u retko biranom ekspertu — manje korišćen programski jezik, specijalizovan rečnik — ona nije oslabljena. Nje nema, i nijedan prompt je ne vraća. Proseci ostaju odlični; vaš slučaj u repu možda ne.

MiMo-V2.5-Pro · W8A16 ne nosi REAP sufiks. Svih 384 eksperata je prisutno, a ruter bira iz punog skupa sa kojim je temelj i treniran.

Nivo	Bitova težine	Eksperti	Šta menjate
W8A16	8	Svi prisutni	Ništa strukturno. Nivo vernosti.
W4A16-AUTOROUND-REAP	4	Orezani	Finu razliku u težinama plus eksperte sa malim prometom, u zamenu za mnogo veći temelj u istom cenovnom razredu.
3BIT-REAP	3	Orezani	Znatan deo rezolucije težina plus eksperte sa malim prometom — cena vrtenja najvećih temelja uz brzinu.

Srednji nivo zaslužuje pošteno saslušanje. AutoRound nije naivno zaokruživanje: Intelov metod (arXiv:2309.05516) koristi predznakom vođeni gradijentni spust kroz otprilike 200 koraka da naštimuje odluke o zaokruživanju i opseg odsecanja po grupi težina, i prijavljen je kao skoro bez gubitka na 4 bita u većini postavki, uz nadmašivanje GPTQ-a, AWQ-a, HQQ-a i OmniQuant-a u većini testiranih konfiguracija. W4A16-AUTOROUND model je zaista dobar 4-bitni model. I dalje je 4-bitni model.

08Ko treba da izabere 8-bitni nivo — a ko ne

MiMo-V2.5-Pro · W8A16 stoji po najnižoj ceni u celom katalogu — $0.50 ulaz / $2.00 izlaz na milion tokena, isti razred kao ulazni 4-bitni modeli i otprilike četvrtina ulazne cene najskupljeg modela koji serviramo. Ne plaćate premiju za vernost; birate drugu osu istog budžeta.

Izaberite ga kada

• Dužina izlaza jeste posao. Dugo tehničko pisanje, fikcija dužine poglavlja, puni prolazi kroz dokumentaciju — svaki generisani token je mesto na kom se šum sabijanja nagomilava.
• Glas i doslednost su bitni. Rad na likovima, ton brenda, registar održan kroz dugu sesiju. Stil živi u repu, a rep je ono što gruba kvantizacija prvo pojede.
• Strukturirani izlaz mora da prođe iz prvog puta. Model podržava json_schema i response_format; poštovanje šeme jeste svojstvo preciznosti, a svaki izbegnut ponovni poziv je ušteđeni novac i kašnjenje.
• Punite kontekst. Poštovanje uputstva na tokenu 200,000 teže je nego na tokenu 2,000, i slabi sa preciznošću težina — kao i dug trag rezonovanja, gde se greške nagomilavaju na isti način.
• Posao je po prirodi bez cenzure. Bezbednosna istraživanja, red teaming, nefiltrirana fikcija, osetljiva medicinska ili pravna analiza — gde je izvrdan odgovor gori od nikakvog.

Izaberite nešto drugo kada

• Treba vam vizija. Ovaj model radi samo sa tekstom; njegov srodnik MiMo-V2.5 · W8A16 ima vizuelni ulaz po istoj ceni i na istom nivou.
• Treba vam najšire moguće znanje o svetu na kratkim upitima. To je režim u kom dodatni parametri mnogo većeg 3-bitnog temelja pobeđuju, a njegova šteta od kvantizacije jedva se vidi.
• Vaš posao je masovna kratka klasifikacija. Šteta od kvantizacije tamo je skoro nevidljiva — kupite ono što je najbrže.

09Pozivanje MiMo API-ja bez cenzure

Ako vaš kod cilja OpenAI SDK, promena baznog URL-a i identifikatora modela jeste cela migracija:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages i /v1/responses prihvataju isti identifikator i iste sposobnosti. Pregled parametara, šeme za pozivanje alata, primeri strukturiranog izlaza i živo igralište nalaze se u Shannon AI API dokumentaciji.

Sposobnost	MiMo-V2.5-Pro · W8A16
Prozor konteksta	262,144 tokena
Maks. izlaz po zahtevu	16,384 tokena
Striming	Da — sva tri dijalekta
Pozivanje alata	Da
Rezonovanje / reasoning_effort	Da
json_schema strukturirani izlaz	Da
response_format	Da
Vizija / unos slika	Ne — koristite MiMo-V2.5
Sloj odbijanja / filter izlaza	Nema
Cena na 1M tokena	$0.50 ulaz / $2.00 izlaz

10Često postavljana pitanja

---

Izvori: MiMo tehnički izveštaj, arXiv:2505.07608 · Kartica modela MiMo-V2.5-Pro (Xiaomi) · „Give Me BF16 or Give Me Death”?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Zakoni skaliranja za k-bitno zaključivanje, arXiv:2212.09720 · Scaling Laws for Precision, Kumar i saradnici, ICLR 2025. Sve brojke sa merila su onakve kakve su prijavili njihovi autori. Shannon AI je proizvod kompanije Shannon Lab LLC, Nju Meksiko, SAD.