Zentsurarik gabeko MiMo APIa 8 biteko fideltasunean

Katalogo gehienek parametro-kopurua saltzen dizute. Hori da erosketa egiteko zenbaki okerra, benetan ordain dezakezun pisu irekiko eredu handi bakoitza nonbait kabitzeko konprimitu baita. Galdera zintzoa ez da "zenbat handia zen hau estutu aurretik?" baizik eta "zenbat dago oraindik hemen?". Artikulu hau galdera horri buruzkoa da, eta erantzuna ia dena den gure zerrendako ereduari buruzkoa.

01Zer ematen dizun benetan zentsurarik gabeko MiMo APIak

Zentsurarik gabeko MiMo APIa ereduaren id bakar bat da, MiMo-V2.5-Pro-W8A16, gure GPU kluster propioko pisu berberak jotzen dituzten hiru dialektoren bidez atzigarria: /v1/chat/completions, /v1/messages eta /v1/responses. Hirurek streaminga egiten dute eta tresna-deiak eta arrazoiketa onartzen dituzte.

Zentsurarik gabe esanahi estua du hemen: ez dago uko egiteko geruzarik ereduaren aurrean, ez dago iragazkirik bere irteeran. Ez dugu atzematen, sailkatzen ez berridazten. Oinarriaren portaera propioa jasotzen duzu — eta ikerketa-mailako pisu irekiko eredu batentzat horrek esan nahi du segurtasun-ikerketarekin, helduentzako edo indarkeriazko fikzioarekin, arrazoiketa mediko eta juridikoarekin, eta ostatatutako amaiera-puntu komertzialek erreflexuz ukatzen dituzten eskaerekin lan egiten duela. Tresna profesionala da gure Erabilera Arduratsuaren Politikaren pean, ez arauen gabezia.

02MiMo leinua: Xiaomi-ren apustua arrazoiketa-lehen aurre-entrenamenduaren alde

MiMo ez da izen berri bat duen Llama eratorria; Xiaomi-ren MiMo taldearen leinu bereizia da, eta bere sorrerako ideiak axola du eredua ebaluatu aurretik. MiMo-7B-rekin hasten da (2025eko apirilaren 30a, MIT lizentzia), zeinaren txosten teknikoak dioen laborategi gehienek arrazoiketa entrenamendu osteko arazo gisa tratatzen dutela, RL-rekin gainean itsasteko, eta hori alderantziz dagoela. Xiaomi-k aurre-entrenamendua berrantolatu zuen horren inguruan: hiru faseko nahasketa 25 bilioi tokenetan, bigarren fasea %70 inguru matematika eta kode, eta hirugarren fasea arrazoiketa-arrasto sintetikoak sartuz testuingurua 8K-tik 32K-ra luzatzen zen bitartean — gehi Token Anitzeko Iragarpena helburua, deskodetze espekulatiboko buru gisa ere balio duena.

Emaitza askoz handiagoa bezala jokatzen zuen 7B oinarrizko eredu bat izan zen. MiMo-7B-Base-k 32.9 lortu zuen AIME 2024-n, Qwen2.5-7B-k 10.1, Gemma-2-9B-k 0.0 eta Llama-3.1-8B-k 0.3 lortu zuten bitartean. Ondoren entrenamendu ostekoak RL exekutatu zuen egiaztagarriak diren 130,000 matematika eta kode problemaren gainean, probaren zailtasunak bultzatutako kode-sariarekin, kodearen RL desegonkortzen duen sari bakanaren tranpatik ihes eginez. Emaitza o1-mini-ren aurretik geratu zen:

AIME 2025, Xiaomi-k jakinarazitako datuak MiMo txosten teknikotik (arXiv:2505.07608). MiMo-7B-RL-k 95.8 ere jakinarazi zuen MATH-500-en eta 57.8 LiveCodeBench v5-en.

Familia zabaldu egin zen, ez noraezean joan: MiMo-VL-7B-k (2025eko ekaina) Qwen2.5-ViT kodetzailea jarri zuen bizkarrezur berean, eta 2025eko abenduak MiMo-Audio-7B ekarri zuen lehen MoE kidearekin batera, MiMo-V2-Flash (309B guztira / 15B aktibo, 27T token, FP8 zehaztasun mistoa). MiMo-V2-Pro 2026ko martxoan etorri zen, 1T / 42B aktibo inguruan eta 1M testuinguruarekin, OpenRouter-en "Hunter Alpha" gisa asteak eman ondoren. MiMo-V2.5 eta MiMo-V2.5-Pro elkarrekin bidali ziren 2026ko apirilaren 22an, biak MIT lizentziapean.

03MiMo-V2.5-Pro barrutik: nolakoa den oinarria

Xiaomi-k argitaratutako ereduaren txartelaren arabera, MiMo-V2.5-Pro Mixture-of-Experts eredu bakana da, 1.02 bilioi parametro guztira eta token bakoitzeko 42 mila milioi aktibo, 70 geruzatan — bat trinkoa, 69 MoE — eta 384 aditu bideratu, 8 token bakoitzeko. Tamaina ezkutua 6144 da, eta MoE tarteko tamaina estua, 2048.

Bi erabakik moldatzen dute nolakoa den erabiltzean. Arreta-pila hibridoa da: 10 arreta osoko geruza eta 128ko leihoa duten 60 leiho irristakorreko geruza, gehi ikas daitekeen arreta-hustubidearen alborapena. Xiaomi-k jakinarazten du honek KV cachearen biltegiratzea 7 halakoraino murrizten duela arreta guztiz globalaren aldean, testuinguru luzearen kalitateari eutsiz — nominalki luzea den leiho baten eta bete dezakezun baten arteko aldea. Hiru Token Anitzeko Iragarpen geruza ere badakartza, deskodetzaileari buru espekulatibo bat emanez.

Entrenamendua 27 bilioi token izan zen 32K sekuentzia-luzera natiboan FP8 (E4M3) zehaztasun mistoan, gero gainbegiratutako doikuntza fina, eskala handiko RL agentikoa eta irakasle anitzeko politika gaineko distilazioa. Gogoan hartu FP8 xehetasun hori; oinarri hau 8 bitean zerbitzatzeko argudiorik indartsuena da.

Xiaomi-k jakinarazten du ereduak %57.2 SWE-bench Pro-n, 72.9 τ3-Bench-en tresnak erabiltzeko eta %48.0 Humanity's Last Exam-en lortzen dituela — saltzailearen beraren zenbakiak konprimitu gabeko ereduaren gainean, halakotzat aipatuak.

262,144 tokeneko leihoa zerbitzatzen dugu, ez oinarriaren 1M osoa — abiaduran berma dezakegun testuingurua, kargapean hondatzen den titular-zenbaki bat baino.

04Zer esan nahi duen zehazki W8A16-k

Katalogo honetako eredu bakoitzak kuantizazio-atzizki bat darama, marketin-maila bat baino benetako eraldaketa neurgarri bat deskribatzen duena. Gureak 3BIT-REAP, W4A16-AUTOROUND-REAP eta W8A16 dira. MiMo-V2.5-Pro hirugarrena da.

Notazioa bitan banatzen da. W8 pisuen zehaztasuna da: parametro bakoitza 8 biteko osoko gisa gordetzen da 16 biteko koma higikorreko baten ordez, talde txiki bakoitzeko eskala-faktore partekatu batekin, talde bakoitzaren tarte dinamiko lokala biziraun dezan. A16 aktibazioen zehaztasuna da: inferentzian geruzen artean doazen balioak 16 bitean geratzen dira. Pisuak konprimitzen dira; aritmetika ez.

Bigarren erdi horrek lan isila eta garrantzitsua egiten du. Aktibazioak pisuak baino askoz zailagoak dira kuantizatzeko: muturreko kanal atipikoak dituzte — beste guztia txikitzen duten magnitudeak dituzten dimentsio gutxi batzuk, ereduaren portaeraren zati desproportzionatua daramatenak. Bultza itzazu zehaztasun baxura eta behar zenuen seinalea moztuko duzu. Pisu soileko eskemek arazoa saihesten dute aktibazioen bidea ukitu gabe utziz, eta horregatik hurbildu da kuantizazio-lan serioa horietara.

Beraz, galdera praktikoa gauza bakar batera estutzen da: zenbat bit gutxienez jasan ditzake pisu batek?

05W8A16, W4A16 eta 3 bit: nora doan galera benetan

Honi buruzko azterketa argitaraturik handiena Neural Magic eta Red Hat-en "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization da — 500,000 ebaluazio baino gehiago Llama-3.1 familian 8B, 70B eta 405B tamainetan. Haien emaitza nagusia, haien zenbakietan:

Formatua	Zer konprimitzen den	Jakinarazitako berreskurapena BF16-ren aldean
W8A8-FP (8 bit)	Pisuak + aktibazioak, koma higikorra	~%99.75 batez beste — "funtsean galerarik gabe"
W8A8-INT (8 bit)	Pisuak + aktibazioak, osokoa	%99–100 8B/70B-n; %98.2–99.3 405B-n
W4A16-INT (4 bit)	Pisuak soilik	%98–99.4 (8B); %98.6–99.8 (70B)

Neural Magic / Red Hat-ek jakinarazitako datuak (arXiv:2411.02355) Llama-3.1 ereduetan — trukearen forma, ez eredu honen puntuazioa.

Zintzoki irakurrita, hori axola izatearen aurkako argudioa dirudi: 4 bitek %98–99 berreskuratzen du, orduan zergatik arreta jarri? Aukera anitzeko benchmark akademikoak direlako, kuantizazioaren kaltea antzemateko dagoen tresnarik txarrenetik hurbil. Benchmark galdera batek erantzun zuzen bakarra du, token bat edo bitan iristen dena, eta kuantizazio-errorea zarata txikia da, batez beste zero ingurukoa, logit bakoitzean; tarte zabaleko galdera labur batean zarata hori xurgatu egiten da.

Orain idatzi dokumentu tekniko bateko 4,000 token, eutsi ahots bati 40,000 tokeneko istorio batean zehar, edo igorri lehen saiakeran balioztatu behar den JSON bat. Zarata bera milaka aldiz laginduta dago segidan, lagin bakoitzak hurrengoa baldintzatuz. Hutsegite-modua ez da erantzun oker bat — noraeza da: lehen txandako jarraibidearen gaineko eskua askatzea, 3,000. tokenaren inguruan bere burua bezala hitz egiteari uzten dion pertsonaia bat, inoiz iristen ez den giltza ixtekoa.

Nora doazen bitak benetan

Kuantizazio-errorea ez dago berdin banatuta ereduaren gaitasunen artean; isatsean pilatzen da. Masa handiko portaerak — ingeles gramatikala, Python funtzio baten forma, munduari buruzko lehen mila gertaerak — pisu askotan modu erredundantean kodetuta daude eta ia edozeri eusten diote. Pisuen banaketaren txoko zehatz eta magnitude txikikoek dituzte gauza arraroak: API ezezagun baten sinadura zehatza, egile jakin baten kadentzia, elkarren ondoan dauden bi CVEren arteko aldea. Horiek dira sareta zakar batek elkarren gainera biribiltzen dituen balioak.

4 bitetik 3-ra doan urratsa da hau zerga izateari utzi eta amildegi bihurtzen den tokia. Dettmers eta Zettlemoyer-en k biteko inferentziaren eskala-legeek aurkitu zuten 4 bit dela ereduaren memoriako bit bakoitzeko zero-tiroko zehaztasuna maximizatzen duen puntua, eta handik behera degradazioa nagusitzen dela. Lau bitek talde bakoitzeko 16 maila ematen ditu; hiruk 8. Dagoeneko zakarra den sareta baten bereizmena erdibitzen ari zara, eta pisu bakoitzeko biribiltze-errorea gutxi gorabehera bikoiztu egiten da.

Erabakitzen duen aritmetika

Egitea merezi duen konparazioa aritmetika da, ez benchmark bat. Konpresioa gainditzen duena gutxi gorabehera parametroak × parametroko bitak da — pisu-fitxategiaren informazio-bolumena. Har itzazu parametroko kalitate berdineko bi oinarri hipotetiko:

• A oinarria: 400B parametro 3 bitean → gutxi gorabehera 150 GB pisu gordeta.
• B oinarria: 160B parametro 8 bitean → gutxi gorabehera 160 GB pisu gordeta.

Parametro-kopuru gordinaren arabera A-k bi eta erdi bat irabazten du — ereduaren txartelak titularrean ematen duen zenbakia. Gordetako informazioaren arabera parekoak dira, eta B-k, gainera, abantaila estrukturala du: bere pisuak isatseko portaera osorik uzteko bezain sareta fin batean daude, A-ren isatsa masa nagusira kuantizatu den bitartean. A-k gauza gehiago daki; B-k dakiena argiago daki. Sorkuntza luzerako, formatu zehatzerako, estilo-kontrolerako eta testuinguru luzeari leial jarraitzeko, hartu B.

Aritmetika ilustratiboa, ez benchmark bat: erakusten du zergatik diren "oinarri handiagoa" eta "hobeto zerbitzatutako eredua" bi baieztapen desberdin.

06Zergatik okertzen duten 27 bilioi entrenamendu-tokenek kuantizazio oldarkorra

Bigarren emaitza bat, gutxiago intuitiboa, zuzenean dagokio oinarri honi. Kumar eta lankideen ICLR 2025eko Scaling Laws for Precision artikuluak aurkitzen du eredu bat zenbat eta datu gehiagorekin entrenatu, orduan eta kalte handiagoa egiten diola entrenamendu osteko kuantizazioak. Zehaztasun baxuak ereduaren parametro-kopuru eraginkorra murrizten du, eta degradazio hori xurgatutako aurre-entrenamenduko datuekin hazten da — hainbeste ezen aurre-entrenamenduko datu gehigarria kaltegarria izan baitaiteke oldarkorki kuantizatzeko asmoa baduzu, saretak ezabatuko duen egitura fina ezartzen ari baitzara.

5T tokenekin entrenatutako eredu batek pisu-egitura zakarra, erredundantea eta soberakina du. 27T tokenekin entrenatutako eredu batek — MiMo-V2.5-Pro-ren aurrekontua — datu gehigarri hori bereizketa finagoak pisu-balio zehatzagoetan idazten eman zuen, eta hori da hain zuzen ere 3 biteko sareta batek ordezkatu ezin duena.

Gero 03. ataleko FP8 gertaera dago, artikulu honetako argudiorik garbiena. MiMo-V2.5-Pro FP8 zehaztasun mistoan aurre-entrenatu zen. Bere pisuak hasieratik moldatu zituen zortzi bit inguruko zehaztasunean lan egiten zuen optimizatzaile batek. Beraz, 8 biteko pisuekin zerbitzatzea ez da 16 biteko eredu bati ezarritako gogoeta galkor bat — pisuak ikasi zituzten erregimen numerikora itzultzetik hurbil dago. Zortzigarren bitetik behera egitura fin gutxi dago galtzeko. Ezin da gauza bera esan hiru bitera behartutako pisu horietaz.

07REAP: zergatik den adituen inausketa biribiltzea baino galera-mota desberdina

Hiru mailetatik bik REAP atzizkia daramate — kuantizaziotik kategorikoki desberdina den eragiketa. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) MoE eredu bakanentzako urrats bakarreko konpresioa da: aditu bakoitza puntuatzen du bideratzailearen ate-balioengatik eta adituaren aktibazio-normagatik, eta gero puntuazio baxuenekoak ezabatzen ditu. Cerebras-ek galerarik gabetik hurbil dauden emaitzak jakinarazten ditu kode-sorkuntzan eta tresna-deietan adituen %50 inausita ere.

REAP existitzen den arrazoiagatik erabiltzen dugu: oinarririk handienetan horrek egiten ditu zerbitzagarri. Baina ohartu mota-aldeaz. Kuantizazioak pisu bakoitza pixka bat lausotzen du; inausketak adituak erabat kentzen ditu. Zure lan-kargak gutxitan hautatzen den aditu batean bizi zen gaitasun batera asko bideratzen badu — programazio-lengoaia txiki bat, hiztegi espezializatu bat — ez dago hondatuta. Ez dago, eta ez dago promptik berreskuratzen duenik. Batez bestekoak bikain jarraitzen dute; zure isats-kasuak agian ez.

MiMo-V2.5-Pro · W8A16-k ez du REAP atzizkirik. 384 adituak denak daude, eta bideratzaileak oinarria entrenatu zuten multzo osotik hautatzen du.

Maila	Pisu-bitak	Adituak	Zeren truke
W8A16	8	Denak daude	Ezeren truke estrukturalki. Fideltasun-maila.
W4A16-AUTOROUND-REAP	4	Inausita	Pisuen xehetasun fina eta trafiko gutxiko adituak, prezio-banda berean oinarri askoz handiago baten truke.
3BIT-REAP	3	Inausita	Pisuen bereizmen nabarmena eta trafiko gutxiko adituak — oinarririk handienak abiaduran exekutatzearen prezioa.

Erdiko mailak entzunaldi zuzena merezi du. AutoRound ez da biribiltze inuxentea: Intel-en metodoak (arXiv:2309.05516) zeinu-gradientearen jaitsiera erabiltzen du 200 urrats inguruan biribiltze-erabakiak eta pisu-talde bakoitzeko mozketa-tartea doitzeko, eta ezarpen gehienetan 4 bitean galerarik gabetik hurbil dagoela jakinarazten da, GPTQ, AWQ, HQQ eta OmniQuant gaindituz probatutako konfigurazio gehienetan. W4A16-AUTOROUND eredu bat benetan 4 biteko eredu on bat da. 4 biteko eredua da oraindik ere.

08Nork aukeratu beharko luke 8 biteko maila — eta nork ez

MiMo-V2.5-Pro · W8A16 katalogo osoaren zoruko prezioan dago — milioi bat tokeneko $0.50 sarreran / $2.00 irteeran, sarrera-mailako 4 biteko ereduen banda bera eta zerbitzatzen dugun eredurik garestienaren sarrera-prezioaren laurdena inguru. Ez zaude fideltasunagatik gainprezio bat ordaintzen; aurrekontu beraren beste ardatz bat aukeratzen ari zara.

Aukeratu ezazu noiz

• Irteeraren luzera denean lana. Formatu luzeko idazketa teknikoa, kapitulu luzerako fikzioa, dokumentazio-pasaldi osoak — sortutako token bakoitza konpresio-zarata metatzen den token bat da.
• Ahotsak eta koherentziak axola dutenean. Pertsonaia-lana, markaren tonua, saio luze batean zehar eutsitako erregistroa. Estiloa isatsean bizi da, eta isatsa da kuantizazio zakarrak lehenengo jaten duena.
• Egituratutako irteerak lehen saiakeran balioztatu behar duenean. Ereduak json_schema eta response_format onartzen ditu; eskemari eustea zehaztasun-propietatea da, eta saihestutako saiakera bakoitza dirua eta latentzia aurreztea da.
• Testuingurua betetzen ari zarenean. 200,000. tokenean jarraibideari eustea 2,000.ean baino zailagoa da, eta pisuen zehaztasunarekin batera hondatzen da — arrazoiketa-arrasto luze batekin gertatzen den bezala, non erroreak modu berean metatzen diren.
• Lana berez zentsuragabea denean. Segurtasun-ikerketa, talde gorria, iragazi gabeko fikzioa, azterketa mediko edo juridiko sentikorra — non erantzun zuhur bat bat ere ez baino okerragoa den.

Aukeratu beste zerbait noiz

• Ikusmena behar duzunean. Eredu hau testua soilik da; bere anaia MiMo-V2.5 · W8A16 ikusmenduna da prezio berean eta maila berean.
• Kontsulta laburretan munduko ezagutzarik zabalena behar duzunean. Hori da 3 biteko oinarri askoz handiago baten parametro gehigarriek irabazten duten erregimena eta bere kuantizazio-kaltea ozta-ozta nabaritzen dena.
• Zure lan-karga bolumen handiko sailkapen laburra denean. Kuantizazio-kaltea ia ikusezina da hor — erosi azkarrena dena.

09Zentsurarik gabeko MiMo APIari deitzea

Zure kodeak OpenAI SDK jotzen badu, oinarrizko URLa eta ereduaren id-a aldatzea da migrazio osoa:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages eta /v1/responses-ek id eta gaitasun berak onartzen dituzte. Parametroen erreferentzia, tresna-deien eskemak, egituratutako irteeraren adibideak eta proba-eremu bizi bat Shannon AI APIaren dokumentazioan daude.

Gaitasuna	MiMo-V2.5-Pro · W8A16
Testuinguru-leihoa	262,144 token
Eskaerako gehieneko irteera	16,384 token
Streaming	Bai — hiru dialektoetan
Tresna-deiak	Bai
Arrazoiketa / reasoning_effort	Bai
json_schema egituratutako irteera	Bai
response_format	Bai
Ikusmena / irudi-sarrera	Ez — erabili MiMo-V2.5
Uko egiteko geruza / irteera-iragazkia	Bat ere ez
Prezioa 1M tokeneko	$0.50 sarreran / $2.00 irteeran

10Maiz egiten diren galderak

---

Iturriak: MiMo txosten teknikoa, arXiv:2505.07608 · MiMo-V2.5-Pro ereduaren txartela (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k biteko inferentziaren eskala-legeak, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Benchmark datu guztiak beren egileek jakinarazi bezala daude. Shannon AI Shannon Lab LLC-ren produktua da, New Mexico, AEB.