API e pacensuruar MiMo me besnikëri 8-bitëshe

Shumica e katalogëve ju shesin numrin e parametrave. Ky është numri i gabuar për të blerë, sepse çdo model i madh me pesha të hapura që mund ta përballoni vërtet është ngjeshur për të hyrë diku. Pyetja e ndershme nuk është "sa i madh ishte përpara se ta shtrydhnin?", por "sa prej tij është ende këtu?". Ky artikull flet për atë pyetje dhe për modelin në listën tonë ku përgjigjja është thuajse i tëri.

01Çfarë ju jep vërtet API-ja e pacensuruar MiMo

API-ja e pacensuruar MiMo është një id modeli e vetme, MiMo-V2.5-Pro-W8A16, e arritshme përmes tri dialekteve që i adresohen po atyre peshave në grupin tonë të GPU-ve: /v1/chat/completions, /v1/messages dhe /v1/responses. Të tria transmetojnë dhe mbështesin thirrje mjetesh e arsyetim.

"I pacensuruar" ka një kuptim të ngushtë këtu: pa shtresë refuzimi para modelit, pa filtër mbi daljen e tij. Nuk ndërpresim, nuk klasifikojmë dhe nuk rishkruajmë. Merrni sjelljen e vetë themelit — që për një model me pesha të hapura të nivelit kërkimor do të thotë se ai përfshihet në kërkim sigurie, në trillim për të rritur ose me dhunë, në arsyetim mjekësor e ligjor, dhe në kërkesat që endpoint-et tregtare të strehuara i refuzojnë me refleks. Është një mjet profesional sipas Politikës sonë të Përdorimit të Përgjegjshëm, jo mungesë rregullash.

02Linja MiMo: basti i Xiaomi-t mbi para-stërvitjen e ndërtuar rreth arsyetimit

MiMo nuk është një derivat i Llama-s me emër të ri; është një linjë e veçantë nga ekipi MiMo i Xiaomi-t, dhe ideja e saj themeluese ka rëndësi përpara se ta vlerësoni modelin. Nis me MiMo-7B (30 prill 2025, me licencë MIT), raporti teknik i të cilit argumenton se shumica e laboratorëve e trajtojnë arsyetimin si problem pas-stërvitjeje për t'u mbërthyer me RL, dhe se kjo është së prapthi. Xiaomi e ristrukturoi para-stërvitjen rreth tij: një përzierje trefazëshe përgjatë 25 trilion tokenash, ku faza e dytë ekzekuton rreth 70% matematikë dhe kod, ndërsa faza e tretë fut gjurmë sintetike arsyetimi duke e zgjeruar kontekstin nga 8K në 32K — plus një objektiv Multi-Token Prediction që shërben njëkohësisht si kokë për dekodim spekulativ.

Rezultati ishte një model bazë 7B që sillej si diçka shumë më e madhe. MiMo-7B-Base shënoi 32.9 në AIME 2024 aty ku Qwen2.5-7B shënoi 10.1, Gemma-2-9B 0.0 dhe Llama-3.1-8B 0.3. Pas-stërvitja pastaj ekzekutoi RL mbi 130.000 probleme të verifikueshme matematike dhe programimi me një shpërblim kodi të drejtuar nga vështirësia e testeve, duke i shpëtuar kurthit të shpërblimit të rrallë që e destabilizon RL-në mbi kod. Rezultati doli përpara o1-mini-t:

AIME 2025, shifra të raportuara nga Xiaomi nga raporti teknik i MiMo-s (arXiv:2505.07608). MiMo-7B-RL raportoi gjithashtu 95.8 në MATH-500 dhe 57.8 në LiveCodeBench v5.

Familja u zgjerua në vend që të rrëshqiste: MiMo-VL-7B (qershor 2025) vendosi një kodues Qwen2.5-ViT mbi të njëjtën shtyllë, dhe dhjetori 2025 solli MiMo-Audio-7B plus hyrjen e parë MoE, MiMo-V2-Flash (309B në total / 15B aktivë, 27T tokena, saktësi e përzier FP8). MiMo-V2-Pro pasoi në mars 2026 me rreth 1T / 42B aktivë dhe kontekst 1M, pas javësh në OpenRouter si "Hunter Alpha". MiMo-V2.5 dhe MiMo-V2.5-Pro dolën bashkë më 22 prill 2026, të dy me MIT.

03Brenda MiMo-V2.5-Pro: si duket themeli

Sipas kartës së publikuar të modelit nga Xiaomi, MiMo-V2.5-Pro është një model Mixture-of-Experts i rrallë me 1.02 trilion parametra në total dhe 42 miliardë aktivë për token përgjatë 70 shtresash — një e dendur, 69 MoE — dhe 384 ekspertë të drejtuar, 8 për token. Përmasa e fshehur është 6144, me një përmasë të ndërmjetme MoE të ngushtë prej 2048.

Dy zgjedhje e formësojnë ndjesinë në përdorim. Stiva e vëmendjes është hibride: 10 shtresa me vëmendje të plotë dhe 60 shtresa me dritare rrëshqitëse me dritare 128, plus një anësi të mësueshme si "kullues" vëmendjeje. Xiaomi raporton se kjo e pret ruajtjen e cache-it KV afër 7 herë kundrejt vëmendjes krejtësisht globale, duke e mbajtur cilësinë me kontekst të gjatë — diferenca mes një dritareje nominalisht të gjatë dhe një të cilën mund ta përballoni ta mbushni. Nxjerr gjithashtu tri shtresa Multi-Token Prediction, duke i dhënë dekoderit një kokë spekulative.

Stërvitja ishte 27 trilion tokena me një gjatësi sekuence vendase 32K me saktësi të përzier FP8 (E4M3), pastaj rregullim i mbikëqyrur, RL agjentike në shkallë të gjerë dhe distilim shumë-mësuesh mbi politikë. Mbajeni mend atë hollësi për FP8-shin; është argumenti i vetëm më i fortë për ta shërbyer këtë themel me 8 bita.

Xiaomi e raporton modelin me 57.2% në SWE-bench Pro, 72.9 në τ3-Bench për përdorim mjetesh dhe 48.0% në Humanity's Last Exam — shifrat e vetë prodhuesit mbi modelin e pangjeshur, të cituara si të tilla.

Ne shërbejmë një dritare prej 262.144 tokenash, jo 1M-shin e plotë të themelit — një kontekst që mund ta garantojmë me shpejtësi, e jo një shifër titulli që degradon nën ngarkesë.

04Çfarë do të thotë W8A16, saktësisht

Çdo model në këtë katalog mbart një prapashtesë kuantizimi që përshkruan një shndërrim të vërtetë e të matshëm, e jo një nivel marketingu. Tonat janë 3BIT-REAP, W4A16-AUTOROUND-REAP dhe W8A16. MiMo-V2.5-Pro është i treti.

Shënimi ndahet në dysh. W8 është saktësia e peshave: çdo parametër ruhet si numër i plotë 8-bitësh në vend të një numri me presje 16-bitësh, me një faktor shkallëzimi të përbashkët për çdo grup të vogël, që rangu lokal dinamik i secilit grup të mbijetojë. A16 është saktësia e aktivizimeve: vlerat që rrjedhin mes shtresave gjatë nxjerrjes mbeten me 16 bita. Peshat ngjeshen; aritmetika jo.

Ajo gjysma e dytë bën punë të heshtur e të rëndësishme. Aktivizimet janë shumë më të vështira për t'u kuantizuar se peshat: përmbajnë kanale ekstreme të jashtëzakonshme — pak dimensione madhësitë e të cilëve i tejkalojnë të gjitha të tjerat dhe që mbajnë një pjesë joproporcionale të sjelljes së modelit. Shtyjini ato në saktësi të ulët dhe pritni pikërisht sinjalin që ju duhej. Skemat vetëm me pesha e anashkalojnë problemin duke e lënë të qetë shtegun e aktivizimeve, dhe prandaj puna serioze e kuantizimit ka konverguar drejt tyre.

Pra pyetja praktike ngushtohet te një gjë: me sa pak bita mund të durojë një peshë?

05W8A16 kundrejt W4A16 kundrejt 3-bitëshit: ku shkon vërtet humbja

Studimi më i madh i publikuar mbi këtë është "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization i Neural Magic dhe Red Hat — mbi 500.000 vlerësime përgjatë familjes Llama-3.1 me 8B, 70B dhe 405B. Rezultati i tyre kryesor, me shifrat e tyre:

Formati	Çfarë ngjishet	Rikuperimi i raportuar kundrejt BF16
W8A8-FP (8-bitësh)	Pesha + aktivizime, me presje	~99.75% mesatare — "në thelb pa humbje"
W8A8-INT (8-bitësh)	Pesha + aktivizime, të plota	99–100% te 8B/70B; 98.2–99.3% te 405B
W4A16-INT (4-bitësh)	Vetëm peshat	98–99.4% (8B); 98.6–99.8% (70B)

Shifra të raportuara nga Neural Magic / Red Hat (arXiv:2411.02355) mbi modelet Llama-3.1 — forma e shkëmbimit, jo pikët e këtij modeli.

Lexuar ndershmërisht, kjo duket si argument kundër shqetësimit: 4-bitëshi rikuperon 98–99%, pra pse t'i kushtosh vëmendje? Sepse ato janë benchmark-e akademike me zgjedhje të shumëfishtë, afër instrumentit më të keq në dispozicion për të zbuluar dëmin nga kuantizimi. Një pyetje benchmark-u ka një përgjigje të saktë të arritshme brenda një ose dy tokenash, dhe gabimi i kuantizimit është zhurmë e vogël me mesatare afër zeros mbi çdo logit; te një pyetje e shkurtër me diferencë të gjerë, ajo zhurmë përthithet.

Tani shkruani 4.000 tokena të një dokumenti teknik, mbani një zë përgjatë një tregimi me 40.000 tokena, ose nxirrni JSON që duhet të validohet që herën e parë. E njëjta zhurmë kampionohet mijëra herë me radhë, ku çdo kampion e kushtëzon të ardhshmin. Mënyra e dështimit nuk është një përgjigje e gabuar — është rrëshqitja: një kapje që lirohet mbi udhëzimin që nga raundi i parë, një personazh që rreth tokenit 3.000 pushon së tingëlluari si vetja, një kllapë mbyllëse që nuk mbërrin kurrë.

Ku shkojnë vërtet bitat

Gabimi i kuantizimit nuk shpërndahet në mënyrë të barabartë mbi aftësitë e një modeli; përqendrohet te bishti. Sjelljet me masë të madhe — anglishtja gramatikore, forma e një funksioni Python, njëmijë faktet kryesore për botën — janë të koduara tepricë mbi shumë pesha dhe mbijetojnë thuajse gjithçka. Cepat e rregulluar me përpikëri dhe me madhësi të vogël të shpërndarjes së peshave mbajnë gjërat e rralla: nënshkrimin e saktë të një API-je të errët, kadencën e një autori të caktuar, diferencën mes dy CVE-ve fqinje. Këto janë vlerat që një rrjetë e trashë i rrumbullakos njërën mbi tjetrën.

Hapi nga 4 bita në 3 është aty ku kjo pushon së qeni taksë dhe bëhet greminë. Ligjet e shkallëzimit të nxjerrjes me k bita të Dettmers-it dhe Zettlemoyer-it e gjetën 4-bitëshin si pikën që e maksimizon saktësinë zero-shot për bit memorieje modeli, me degradim që sundon nën të. Katër bita japin 16 nivele për grup; tre japin 8. Po e përgjysmoni rezolucionin e një rrjete tashmë të trashë, dhe gabimi i rrumbullakimit për peshë afërsisht dyfishohet.

Aritmetika që vendos

Krahasimi që ia vlen të bëhet është aritmetikë, jo benchmark. Ajo që mbijeton ngjeshjen është afërsisht parametrat × bitat për parametër — vëllimi që mbart informacion i skedarit të peshave. Merrni dy themele hipotetikë me cilësi të barabartë për parametër:

• Themeli A: 400B parametra me 3 bita → rreth 150 GB peshë të mbajtur.
• Themeli B: 160B parametra me 8 bita → rreth 160 GB peshë të mbajtur.

Sipas numrit të papërpunuar të parametrave, A fiton dy e gjysmë me një — numri me të cilin nis karta e modelit. Sipas informacionit të mbajtur ata janë ekuivalentë, dhe B ka veç kësaj një avantazh strukturor: peshat e tij qëndrojnë mbi një rrjetë mjaftueshëm të imët sa sjellja e bishtit të tij të mbetet e paprekur, ndërsa bishti i A-së është kuantizuar brenda masës. A di më shumë gjëra; B e di më qartë atë që di. Për gjenerim të gjatë, formatim të saktë, kontroll stilistik dhe ndjekje besnike të kontekstit të gjatë, merrni B-në.

Aritmetikë ilustruese, jo benchmark: tregon pse "themel më i madh" dhe "model më i mirë i shërbyer" janë pohime të ndryshme.

06Pse 27 trilion tokena stërvitjeje e përkeqësojnë kuantizimin agresiv

Një rezultat i dytë, më pak intuitiv, ka lidhje të drejtpërdrejtë me këtë themel. Punimi i Kumar-it dhe kolegëve në ICLR 2025, Scaling Laws for Precision, gjen se sa më shumë të dhëna të jetë stërvitur një model, aq më shumë dëm i bën kuantizimi pas stërvitjes. Saktësia e ulët e zvogëlon numrin efektiv të parametrave të një modeli, dhe ai degradim rritet me të dhënat e para-stërvitjes të përthithura — aq sa të dhënat shtesë të para-stërvitjes mund të jenë neto të dëmshme nëse keni ndërmend të kuantizoni agresivisht, sepse po shtroni strukturë të imët që rrjeta do ta fshijë.

Një model i stërvitur mbi 5T tokena ka strukturë peshash të trashë e tepricë dhe hapësirë për të lëshuar. Një model i stërvitur mbi 27T tokena — buxheti i MiMo-V2.5-Pro — i shpenzoi ato të dhëna shtesë duke shkruar dallime më të imëta në vlera peshash më të përpikta, dhe pikërisht kjo është ajo që një rrjetë 3-bitëshe nuk e paraqet dot.

Pastaj vjen fakti i FP8-shit nga seksioni 03, argumenti më i pastër në këtë artikull. MiMo-V2.5-Pro u para-stërvit me saktësi të përzier FP8. Peshat e tij u formësuan që nga fillimi nga një optimizues që punonte me rreth tetë bita saktësie. Shërbimi i tij me pesha 8-bitëshe nuk është pra një mendim i mëvonshëm me humbje i imponuar mbi një model 16-bitësh — është afër kthimit të peshave në regjimin numerik në të cilin u mësuan. Pak strukturë e imët ekziston nën bitin e tetë për t'u humbur. E njëjta nuk mund të thuhet për ato pesha të shtyra deri në tre.

07REAP: pse krasitja e ekspertëve është një lloj tjetër humbjeje nga rrumbullakimi

Dy nga tri nivelet mbartin një prapashtesë REAP — një veprim kategorikisht i ndryshëm nga kuantizimi. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) është ngjeshje me një hedhje për modele MoE të rralla: e vlerëson çdo ekspert sipas vlerave të portës së drejtuesit dhe normës së aktivizimit të ekspertit, pastaj i fshin ata me pikët më të ulëta. Cerebras raporton rezultate thuajse pa humbje te gjenerimi i kodit dhe thirrja e mjeteve edhe me 50% të ekspertëve të krasitur.

Ne e përdorim REAP-in për arsyen pse ekziston: mbi themelet më të mëdha ai është ajo që i bën të shërbyeshme. Por vini re diferencën në lloj. Kuantizimi e turbullon pak çdo peshë; krasitja i heq ekspertët krejtësisht. Nëse ngarkesa juaj drejtohet rëndë drejt një aftësie që jetonte në një ekspert të përzgjedhur rrallë — një gjuhë programimi e vogël, një fjalor i specializuar — ajo nuk është e degraduar. Ajo është zhdukur, dhe asnjë prompt nuk e rikthen. Mesataret mbeten të shkëlqyera; rasti juaj i bishtit ndoshta jo.

MiMo-V2.5-Pro · W8A16 nuk mbart asnjë prapashtesë REAP. Të 384 ekspertët janë të pranishëm, dhe drejtuesi zgjedh nga grupi i plotë me të cilin u stërvit themeli.

Niveli	Bita peshe	Ekspertët	Çfarë shkëmbeni
W8A16	8	Të gjithë të pranishëm	Asgjë strukturore. Niveli i besnikërisë.
W4A16-AUTOROUND-REAP	4	Të krasitur	Hollësi të imëta peshash plus ekspertë me trafik të ulët, në këmbim të një themeli shumë më të madh në të njëjtin brez çmimi.
3BIT-REAP	3	Të krasitur	Rezolucion të konsiderueshëm peshash plus ekspertë me trafik të ulët — çmimi për t'i ekzekutuar themelet më të mëdha me shpejtësi.

Niveli i mesëm e meriton një dëgjesë të drejtë. AutoRound nuk është rrumbullakim naiv: metoda e Intel-it (arXiv:2309.05516) përdor zbritje gradienti me shenjë përgjatë rreth 200 hapave për t'i rregulluar vendimet e rrumbullakimit dhe rangun e kufizimit për çdo grup peshash, dhe raportohet thuajse pa humbje me 4 bita në shumicën e cilësimeve, duke mundur GPTQ-në, AWQ-në, HQQ-në dhe OmniQuant-in përgjatë shumicës së konfigurimeve të testuara. Një model W4A16-AUTOROUND është vërtet një model i mirë 4-bitësh. Është prapëseprapë një model 4-bitësh.

08Kush duhet ta zgjedhë nivelin 8-bitësh — dhe kush jo

MiMo-V2.5-Pro · W8A16 qëndron te çmimi dysheme i krejt katalogut — 0.50 $ hyrje / 2.00 $ dalje për milion tokena, i njëjti brez si modelet 4-bitëshe të nivelit hyrës dhe rreth një e katërta e çmimit të hyrjes së modelit më të shtrenjtë që shërbejmë. Nuk po paguani premium për besnikërinë; po zgjidhni një bosht tjetër të të njëjtit buxhet.

Zgjidheni kur

• Gjatësia e daljes është vetë puna. Shkrim teknik i gjatë, trillim sa një kapitull, kalime të plota dokumentacioni — çdo token i gjeneruar është një ku zhurma e ngjeshjes përbëhet mbi vete.
• Zëri dhe qëndrueshmëria kanë rëndësi. Punë me personazhe, ton marke, një regjistër i mbajtur përgjatë një seance të gjatë. Stili jeton te bishti, dhe bishti është ajo që kuantizimi i trashë e ha e para.
• Dalja e strukturuar duhet të validohet që herën e parë. Modeli mbështet json_schema dhe response_format; përputhja me skemën është veti saktësie, dhe çdo riprovë e shmangur janë para dhe vonesë të kursyera.
• Po e mbushni kontekstin. Ndjekja e udhëzimeve te tokeni 200.000 është më e vështirë se te tokeni 2.000, dhe degradon me saktësinë e peshave — po ashtu edhe një gjurmë e gjatë arsyetimi, ku gabimet përbëhen njësoj.
• Puna është e pacensuruar për nga natyra. Kërkim sigurie, red-teaming, trillim i pafiltruar, analizë e ndjeshme mjekësore ose ligjore — ku një përgjigje me dorashka është më e keqe se asnjë.

Zgjidhni diçka tjetër kur

• Ju duhet pamja. Ky model është vetëm me tekst; motra e tij MiMo-V2.5 · W8A16 është me pamje me të njëjtin çmim dhe nivel.
• Ju duhet dija më e gjerë e botës mbi pyetje të shkurtra. Ky është regjimi ku parametrat shtesë të një themeli shumë më të madh 3-bitësh fitojnë dhe dëmi i kuantizimit të tij mezi duket.
• Ngarkesa juaj është klasifikim i shkurtër me volum të lartë. Dëmi i kuantizimit është thuajse i padukshëm atje — blini çfarëdo që është më e shpejtë.

09Si ta thërrisni API-në e pacensuruar MiMo

Nëse kodi juaj i drejtohet SDK-së së OpenAI-t, ndryshimi i URL-së bazë dhe i id-së së modelit është krejt migrimi:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages dhe /v1/responses pranojnë të njëjtën id dhe të njëjtat aftësi. Referenca e parametrave, skemat e thirrjes së mjeteve, shembujt e daljes së strukturuar dhe një terren prove i drejtpërdrejtë gjenden te dokumentacioni i API-t të Shannon AI.

Aftësia	MiMo-V2.5-Pro · W8A16
Dritarja e kontekstit	262.144 tokena
Dalje maksimale për kërkesë	16.384 tokena
Transmetim	Po — të tri dialektet
Thirrje mjetesh	Po
Arsyetim / reasoning_effort	Po
Dalje e strukturuar me json_schema	Po
response_format	Po
Pamje / hyrje me imazh	Jo — përdorni MiMo-V2.5
Shtresë refuzimi / filtër daljeje	Asnjë
Çmimi për 1M tokena	$0.50 hyrje / $2.00 dalje

10Pyetje të bëra shpesh

---

Burimet: raporti teknik i MiMo-s, arXiv:2505.07608 · karta e modelit MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · ligjet e shkallëzimit të nxjerrjes me k bita, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Të gjitha shifrat e benchmark-eve janë siç i kanë raportuar autorët e tyre. Shannon AI është produkt i Shannon Lab LLC, Nju Meksiko, SHBA.