API-ul MiMo fără cenzură la fidelitate pe 8 biți

Majoritatea cataloagelor îți vând numărul de parametri. Este cifra greșită după care să cumperi, pentru că orice model mare cu greutăți deschise pe care ți-l poți permite cu adevărat a fost comprimat ca să încapă undeva. Întrebarea onestă nu este „cât de mare era înainte să fie strâns?”, ci „cât din el mai este aici?”. Articolul acesta este despre întrebarea aceea și despre modelul din gama noastră unde răspunsul este aproape tot.

01Ce îți dă de fapt API-ul MiMo fără cenzură

API-ul MiMo fără cenzură este un singur id de model, MiMo-V2.5-Pro-W8A16, accesibil prin trei dialecte care se adresează acelorași greutăți de pe propriul nostru cluster GPU: /v1/chat/completions, /v1/messages și /v1/responses. Toate trei fac streaming și suportă apeluri de unelte și raționament.

Fără cenzură are aici un sens îngust: niciun strat de refuz în fața modelului, niciun filtru pe ieșirea lui. Nu interceptăm, nu clasificăm și nu rescriem. Primești comportamentul propriu al fundației — ceea ce, pentru un model cu greutăți deschise de nivel de cercetare, înseamnă că se angajează cu cercetarea de securitate, cu ficțiunea pentru adulți sau violentă, cu raționamentul medical și juridic și cu cererile pe care endpointurile comerciale găzduite le refuză reflex. Este o unealtă profesională, sub Politica noastră de utilizare responsabilă, nu o absență a regulilor.

02Linia MiMo: pariul Xiaomi pe preantrenarea centrată pe raționament

MiMo nu este un derivat de Llama cu un nume nou; este o linie distinctă, venită de la echipa MiMo a celor de la Xiaomi, iar ideea ei fondatoare contează înainte să evaluezi modelul. Începe cu MiMo-7B (30 aprilie 2025, licență MIT), al cărui raport tehnic susține că majoritatea laboratoarelor tratează raționamentul ca pe o problemă de post-antrenare, de lipit ulterior cu RL, și că lucrul acesta este pe dos. Xiaomi a restructurat în schimb preantrenarea în jurul lui: un amestec în trei etape peste 25 de trilioane de tokenuri, etapa a doua rulând aproximativ 70% matematică și cod, etapa a treia adăugând urme sintetice de raționament și extinzând contextul de la 8K la 32K — plus un obiectiv de Multi-Token Prediction care servește și drept cap de decodare speculativă.

Rezultatul a fost un model de bază de 7B care se purta ca ceva mult mai mare. MiMo-7B-Base a obținut 32,9 la AIME 2024, acolo unde Qwen2.5-7B a luat 10,1, Gemma-2-9B 0,0 și Llama-3.1-8B 0,3. Post-antrenarea a rulat apoi RL pe 130.000 de probleme verificabile de matematică și cod, cu o recompensă de cod condusă de dificultatea testelor, scăpând de capcana recompensei rare care destabilizează RL-ul pe cod. Rezultatul a ieșit înaintea lui o1-mini:

AIME 2025, cifre raportate de Xiaomi în raportul tehnic MiMo (arXiv:2505.07608). MiMo-7B-RL a mai raportat 95,8 la MATH-500 și 57,8 la LiveCodeBench v5.

Familia s-a lărgit, în loc să derive: MiMo-VL-7B (iunie 2025) a pus un encoder Qwen2.5-ViT pe același backbone, iar decembrie 2025 a adus MiMo-Audio-7B plus prima intrare MoE, MiMo-V2-Flash (309B total / 15B activi, 27T de tokenuri, precizie mixtă FP8). MiMo-V2-Pro a urmat în martie 2026, la aproximativ 1T / 42B activi, cu un context de 1M, după săptămâni petrecute pe OpenRouter sub numele „Hunter Alpha”. MiMo-V2.5 și MiMo-V2.5-Pro au apărut împreună pe 22 aprilie 2026, ambele sub MIT.

03În interiorul lui MiMo-V2.5-Pro: cum arată fundația

Conform fișei de model publicate de Xiaomi, MiMo-V2.5-Pro este un model Mixture-of-Experts rar, cu 1,02 trilioane de parametri totali și 42 de miliarde activi per token, pe 70 de straturi — unul dens, 69 MoE — și 384 de experți rutați, 8 per token. Dimensiunea ascunsă este 6144, cu o dimensiune intermediară MoE îngustă, de 2048.

Două alegeri modelează felul în care se simte la utilizare. Stiva de atenție este hibridă: 10 straturi de atenție completă și 60 de straturi cu fereastră glisantă, cu o fereastră de 128, plus o distorsiune de tip attention sink, învățată. Xiaomi raportează că asta taie stocarea cache-ului KV de aproape 7× față de atenția integral globală, păstrând în același timp calitatea pe context lung — diferența dintre o fereastră lungă nominal și una pe care ți-o poți permite să o umpli. Mai livrează și trei straturi de Multi-Token Prediction, care dau decodorului un cap speculativ.

Antrenarea a folosit 27 de trilioane de tokenuri, la o lungime nativă de secvență de 32K, în precizie mixtă FP8 (E4M3), apoi fine-tuning supervizat, RL agentic la scară largă și distilare on-policy cu mai mulți profesori. Ține minte detaliul acela cu FP8; este cel mai puternic argument singular pentru a servi fundația asta pe 8 biți.

Xiaomi raportează modelul la 57,2% la SWE-bench Pro, 72,9 la τ3-Bench pentru folosirea uneltelor și 48,0% la Humanity's Last Exam — cifrele proprii ale producătorului pe modelul necomprimat, citate ca atare.

Noi servim o fereastră de 262.144 de tokenuri, nu întregul 1M al fundației — un context pe care îl putem garanta la viteză, în loc de o cifră de titlu care se degradează sub încărcare.

04Ce înseamnă W8A16, exact

Fiecare model din catalogul acesta poartă un sufix de cuantizare care descrie o transformare reală, măsurabilă, nu o treaptă de marketing. Ale noastre sunt 3BIT-REAP, W4A16-AUTOROUND-REAP și W8A16. MiMo-V2.5-Pro este al treilea.

Notația se împarte în două. W8 este precizia greutăților: fiecare parametru este stocat ca întreg pe 8 biți în loc de float pe 16 biți, cu un factor de scalare partajat pe grup mic, astfel încât intervalul dinamic local al fiecărui grup să supraviețuiască. A16 este precizia activărilor: valorile care curg între straturi la inferență rămân pe 16 biți. Greutățile se comprimă; aritmetica, nu.

A doua jumătate face o treabă tăcută și importantă. Activările sunt mult mai greu de cuantizat decât greutățile: conțin canale extreme, aberante — câteva dimensiuni ale căror magnitudini le strivesc pe toate celelalte și care poartă o parte disproporționată din comportamentul modelului. Împinge-le la precizie mică și tai exact semnalul de care aveai nevoie. Schemele care ating doar greutățile ocolesc problema lăsând calea activărilor în pace — de aceea munca serioasă de cuantizare a convers spre ele.

Așa că întrebarea practică se îngustează la una singură: cât de puțini biți poate tolera o greutate?

05W8A16 față de W4A16 și de 3 biți: unde se duce pierderea, de fapt

Cel mai amplu studiu publicat pe tema asta este cel al celor de la Neural Magic și Red Hat, „Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization — peste 500.000 de evaluări pe familia Llama-3.1 la 8B, 70B și 405B. Rezultatul lor principal, în cifrele lor:

Format	Ce este comprimat	Recuperare raportată față de BF16
W8A8-FP (8 biți)	Greutăți + activări, virgulă mobilă	~99,75% în medie — „practic fără pierderi”
W8A8-INT (8 biți)	Greutăți + activări, întregi	99–100% la 8B/70B; 98,2–99,3% la 405B
W4A16-INT (4 biți)	Doar greutăți	98–99,4% (8B); 98,6–99,8% (70B)

Cifre raportate de Neural Magic / Red Hat (arXiv:2411.02355) pe modele Llama-3.1 — forma compromisului, nu scorul acestui model.

Citit cinstit, asta pare un argument împotriva ideii de a-ți păsa: 4 biți recuperează 98–99%, deci de ce să fii atent? Pentru că acelea sunt benchmarkuri academice cu variante multiple, aproape cel mai prost instrument disponibil pentru detectarea daunelor de cuantizare. O întrebare de benchmark are un singur răspuns corect, accesibil în unul sau doi tokeni, iar eroarea de cuantizare este un zgomot mic, cu medie aproape zero, pe fiecare logit; la o întrebare scurtă, cu o marjă largă, zgomotul acela este absorbit.

Acum scrie 4.000 de tokenuri dintr-un document tehnic, ține o voce pe o povestire de 40.000 de tokenuri sau emite JSON care trebuie să valideze din prima. Același zgomot este eșantionat de mii de ori la rând, fiecare eșantion condiționându-l pe următorul. Modul de eșec nu este un răspuns greșit — este deriva: o strângere care slăbește pe instrucțiunea din tura întâi, un personaj care nu mai sună a el pe la tokenul 3.000, o acoladă de închidere care nu mai vine niciodată.

Unde se duc de fapt biții

Eroarea de cuantizare nu se împrăștie uniform peste abilitățile unui model; se concentrează în coadă. Comportamentele cu masă mare — engleza gramaticală, forma unei funcții Python, primele o mie de fapte despre lume — sunt codificate redundant în multe greutăți și supraviețuiesc aproape oricui. Colțurile reglate fin, de magnitudine mică, ale distribuției greutăților țin lucrurile rare: semnătura exactă a unui API obscur, cadența unui autor anume, diferența dintre două CVE-uri învecinate. Acelea sunt valorile pe care o grilă grosieră le rotunjește una într-alta.

Pasul de la 4 biți la 3 este locul în care asta încetează să fie o taxă și devine o prăpastie. Legile de scalare pentru inferența pe k biți ale lui Dettmers și Zettlemoyer au găsit că 4 biți este punctul care maximizează acuratețea zero-shot per bit de memorie de model, cu degradarea dominând sub el. Patru biți dau 16 niveluri per grup; trei dau 8. Înjumătățești rezoluția unei grile deja grosiere, iar eroarea de rotunjire per greutate se cam dublează.

Aritmetica ce decide

Comparația care merită făcută este aritmetică, nu un benchmark. Ce supraviețuiește compresiei este aproximativ parametri × biți per parametru — volumul purtător de informație al fișierului de greutăți. Ia două fundații ipotetice, de calitate egală per parametru:

• Fundația A: 400B de parametri la 3 biți → aproximativ 150 GB de greutate reținută.
• Fundația B: 160B de parametri la 8 biți → aproximativ 160 GB de greutate reținută.

După numărul brut de parametri, A câștigă cu doi și jumătate la unu — cifra cu care se deschide fișa de model. După informația reținută sunt echivalente, iar B mai are pe deasupra un avantaj structural: greutățile ei stau pe o grilă suficient de fină cât comportamentul ei de coadă să rămână intact, în timp ce coada lui A a fost cuantizată în masa centrală. A știe mai multe lucruri; B știe mai clar ce știe. Pentru generare lungă, formatare exactă, control stilistic și respectarea fidelă a unui context lung, ia-o pe B.

Aritmetică ilustrativă, nu un benchmark: arată de ce „fundație mai mare” și „model servit mai bine” sunt afirmații diferite.

06De ce 27 de trilioane de tokenuri de antrenare înrăutățesc cuantizarea agresivă

Un al doilea rezultat, mai puțin intuitiv, este direct relevant pentru fundația asta. Lucrarea lui Kumar et al. de la ICLR 2025, Scaling Laws for Precision, constată că cu cât un model a fost antrenat pe mai multe date, cu atât cuantizarea post-antrenare îi face mai mult rău. Precizia mică reduce numărul efectiv de parametri al unui model, iar degradarea aceea crește odată cu datele de preantrenare absorbite — suficient de mult cât datele suplimentare de preantrenare să poată fi net dăunătoare dacă intenționezi să cuantizezi agresiv, pentru că așterni o structură fină pe care grila o va șterge.

Un model antrenat pe 5T de tokenuri are o structură de greutăți grosieră, redundantă, și lejeritate de risipit. Un model antrenat pe 27T de tokenuri — bugetul lui MiMo-V2.5-Pro — a folosit datele acelea suplimentare ca să scrie distincții mai fine în valori de greutate mai precise, exact ce nu poate reprezenta o grilă pe 3 biți.

Apoi este faptul cu FP8 din secțiunea 03, cel mai curat argument din articolul acesta. MiMo-V2.5-Pro a fost preantrenat în precizie mixtă FP8. Greutățile lui au fost modelate de la bun început de un optimizator care lucra la aproximativ opt biți de precizie. Prin urmare, servirea lui cu greutăți pe 8 biți nu este o gândire de după, cu pierderi, impusă unui model pe 16 biți — este aproape o întoarcere a greutăților în regimul numeric în care au fost învățate. Sub al optulea bit există puțină structură fină de pierdut. Același lucru nu se poate spune despre greutăți forțate până la trei.

07REAP: de ce tăierea experților este un alt fel de pierdere decât rotunjirea

Două dintre cele trei trepte poartă un sufix REAP — o operație categoric diferită de cuantizare. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) este compresie într-un singur pas pentru modele MoE rare: punctează fiecare expert după valorile porții routerului și după norma de activare a expertului, apoi îi șterge pe cei cu scoruri minime. Cerebras raportează rezultate aproape fără pierderi la generare de cod și apeluri de unelte, chiar și cu 50% dintre experți tăiați.

Folosim REAP pentru motivul pentru care există: pe cele mai mari fundații, el este ce le face servibile. Dar observă diferența de natură. Cuantizarea estompează puțin fiecare greutate; tăierea elimină experți cu totul. Dacă volumul tău de lucru rutează masiv spre o capabilitate care trăia într-un expert rar selectat — un limbaj de programare minor, un vocabular specializat — ea nu este degradată. A dispărut, și niciun prompt nu o mai recuperează. Mediile rămân excelente; cazul tău de coadă, poate nu.

MiMo-V2.5-Pro · W8A16 nu poartă sufix REAP. Toți cei 384 de experți sunt prezenți, iar routerul alege din setul complet cu care a fost antrenată fundația.

Treaptă	Biți per greutate	Experți	Ce dai la schimb
W8A16	8	Toți prezenți	Nimic structural. Treapta de fidelitate.
W4A16-AUTOROUND-REAP	4	Tăiați	Detaliu fin al greutăților plus experții cu trafic mic, în schimbul unei fundații mult mai mari în aceeași bandă de preț.
3BIT-REAP	3	Tăiați	Rezoluție substanțială a greutăților plus experții cu trafic mic — prețul rulării la viteză a celor mai mari fundații.

Treapta din mijloc merită o audiere corectă. AutoRound nu este rotunjire naivă: metoda Intel (arXiv:2309.05516) folosește coborâre pe gradient cu semn, pe aproximativ 200 de pași, ca să regleze deciziile de rotunjire și intervalul de decupare per grup de greutăți, și este raportată ca aproape fără pierderi la 4 biți în majoritatea situațiilor, bătând GPTQ, AWQ, HQQ și OmniQuant pe cele mai multe configurații testate. Un model W4A16-AUTOROUND este un model pe 4 biți cu adevărat bun. Rămâne totuși un model pe 4 biți.

08Cine ar trebui să aleagă treapta pe 8 biți — și cine nu

MiMo-V2.5-Pro · W8A16 stă la prețul minim al întregului catalog — 0,50 $ intrare / 2,00 $ ieșire per milion de tokenuri, aceeași bandă ca modelele pe 4 biți din treapta de intrare și aproximativ un sfert din prețul de intrare al celui mai scump model pe care îl servim. Nu plătești o primă pentru fidelitate; alegi o altă axă a aceluiași buget.

Alege-l când

• Lungimea ieșirii este treaba. Scriere tehnică lungă, ficțiune de mărimea unui capitol, treceri complete de documentație — fiecare token generat este unul în care zgomotul de compresie se compune.
• Vocea și consecvența contează. Lucrul pe personaje, tonul de brand, un registru ținut pe o sesiune lungă. Stilul trăiește în coadă, iar coada este exact ce mănâncă prima dată cuantizarea grosieră.
• Ieșirea structurată trebuie să valideze din prima. Modelul suportă json_schema și response_format; respectarea schemei este o proprietate de precizie, iar fiecare reîncercare evitată înseamnă bani și latență economisite.
• Umpli contextul. Respectarea instrucțiunii la tokenul 200.000 este mai grea decât la tokenul 2.000 și se degradează odată cu precizia greutăților — la fel ca o urmă lungă de raționament, unde erorile se compun în același fel.
• Munca este fără cenzură prin natura ei. Cercetare de securitate, red-teaming, ficțiune nefiltrată, analiză medicală sau juridică sensibilă — acolo unde un răspuns care se ferește este mai rău decât niciunul.

Alege altceva când

• Ai nevoie de viziune. Modelul acesta este doar text; fratele lui, MiMo-V2.5 · W8A16, are viziune, la același preț și în aceeași treaptă.
• Ai nevoie de cele mai largi cunoștințe despre lume, pe interogări scurte. Acela este regimul în care parametrii suplimentari ai unei fundații mult mai mari pe 3 biți câștigă, iar dauna ei de cuantizare abia se vede.
• Volumul tău de lucru este clasificare scurtă, la scară mare. Dauna de cuantizare este aproape invizibilă acolo — cumpără orice este mai rapid.

09Cum apelezi API-ul MiMo fără cenzură

Dacă în cod țintești SDK-ul OpenAI, schimbarea URL-ului de bază și a id-ului de model este toată migrarea:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages și /v1/responses acceptă același id și aceleași capabilități. Referința de parametri, schemele pentru apeluri de unelte, exemplele de ieșire structurată și un playground live se află în documentația API Shannon AI.

Capabilitate	MiMo-V2.5-Pro · W8A16
Fereastră de context	262.144 de tokenuri
Ieșire maximă per cerere	16.384 de tokenuri
Streaming	Da — toate cele trei dialecte
Apeluri de unelte	Da
Raționament / reasoning_effort	Da
Ieșire structurată cu json_schema	Da
response_format	Da
Viziune / intrare de tip imagine	Nu — folosește MiMo-V2.5
Strat de refuz / filtru de ieșire	Niciunul
Preț per 1M de tokenuri	0,50 $ intrare / 2,00 $ ieșire

10Întrebări frecvente

---

Surse: raportul tehnic MiMo, arXiv:2505.07608 · fișa de model MiMo-V2.5-Pro (Xiaomi) · „Give Me BF16 or Give Me Death”?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · legi de scalare pentru inferența pe k biți, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Toate cifrele de benchmark sunt așa cum au fost raportate de autorii lor. Shannon AI este un produs al Shannon Lab LLC, New Mexico, SUA.