API ya MiMo bila udhibiti kwa uaminifu wa biti 8

Katalogi nyingi zinakuuzia idadi ya vigezo. Hiyo ndiyo namba isiyo sahihi ya kununulia, kwa sababu kila modeli kubwa ya uzani wazi unayoweza kuimudu kweli imebanwa ili itoshee mahali fulani. Swali la kweli si "ilikuwa kubwa kiasi gani kabla haijabanwa?" bali "ni kiasi gani chake bado kipo?" Makala hii inahusu swali hilo, na inahusu modeli ndani ya orodha yetu ambapo jibu ni karibu chote.

01API ya MiMo isiyodhibitiwa inakupa nini hasa

API ya MiMo isiyodhibitiwa ni kitambulisho kimoja cha modeli, MiMo-V2.5-Pro-W8A16, kinachofikika kupitia lahaja tatu zinazoshughulikia uzani uleule kwenye kundi letu la GPU: /v1/chat/completions, /v1/messages na /v1/responses. Zote tatu zinatiririsha na zinaunga mkono kuita zana na hoja.

Bila udhibiti lina maana jembamba hapa: hakuna safu ya kukataa mbele ya modeli, hakuna kichujio kwenye matokeo yake. Hatunasi, hatuainishi wala hatuandiki upya. Unapata tabia ya msingi wenyewe — ambayo kwa modeli ya uzani wazi ya daraja la utafiti inamaanisha inashughulika na utafiti wa usalama, hadithi za watu wazima au za ukatili, hoja za kimatibabu na kisheria, na maombi ambayo ncha za kibiashara zinazohudumiwa zinayakataa kwa mazoea. Ni chombo cha kitaalamu chini ya Sera yetu ya Matumizi ya Kuwajibika, si kutokuwepo kwa sheria.

02Ukoo wa MiMo: dau la Xiaomi kwenye mafunzo ya awali yanayotanguliza hoja

MiMo si mtoto wa Llama mwenye jina jipya; ni ukoo tofauti kutoka timu ya MiMo ya Xiaomi, na wazo lake la msingi linahusu kabla hujatathmini modeli. Unaanza na MiMo-7B (30 Aprili 2025, chini ya leseni ya MIT), ambaye ripoti yake ya kiufundi inahoji kwamba maabara nyingi zinashughulikia hoja kama tatizo la mafunzo ya baadaye la kuambatishwa kwa RL, na kwamba hilo ni kinyume. Xiaomi badala yake ilipanga upya mafunzo ya awali kuzunguka hoja: mchanganyiko wa awamu tatu katika tokeni trilioni 25, awamu ya pili ikiendesha takriban 70% hesabu na msimbo, awamu ya tatu ikijumuisha nyayo bandia za hoja huku ikipanua muktadha kutoka 8K hadi 32K — pamoja na lengo la Multi-Token Prediction linalofanya kazi pia kama kichwa cha usimbuaji wa kubahatisha.

Matokeo yalikuwa modeli ya msingi ya 7B iliyotenda kama kitu kikubwa zaidi kwa mbali. MiMo-7B-Base ilipata 32.9 kwenye AIME 2024 ambapo Qwen2.5-7B ilipata 10.1, Gemma-2-9B 0.0 na Llama-3.1-8B 0.3. Mafunzo ya baadaye kisha yaliendesha RL juu ya matatizo 130,000 yanayothibitishika ya hesabu na msimbo yakiwa na zawadi ya msimbo inayoendeshwa na ugumu wa jaribio, yakikwepa mtego wa zawadi adimu unaotikisa RL ya msimbo. Matokeo yaliangukia mbele ya o1-mini:

AIME 2025, namba zilizoripotiwa na Xiaomi kutoka ripoti ya kiufundi ya MiMo (arXiv:2505.07608). MiMo-7B-RL pia iliripoti 95.8 kwenye MATH-500 na 57.8 kwenye LiveCodeBench v5.

Familia ilipanuka badala ya kupotea: MiMo-VL-7B (Juni 2025) iliweka kisimbaji cha Qwen2.5-ViT juu ya uti wa mgongo uleule, na Desemba 2025 ilileta MiMo-Audio-7B pamoja na mwanachama wa kwanza wa MoE, MiMo-V2-Flash (jumla 309B / 15B vinavyowaka, tokeni 27T, usahihi mchanganyiko wa FP8). MiMo-V2-Pro ilifuata Machi 2026 kwa takriban 1T / 42B vinavyowaka ikiwa na muktadha wa 1M, baada ya wiki kadhaa kwenye OpenRouter kama "Hunter Alpha". MiMo-V2.5 na MiMo-V2.5-Pro zilitoka pamoja tarehe 22 Aprili 2026, zote chini ya MIT.

03Ndani ya MiMo-V2.5-Pro: msingi unaonekanaje

Kwa mujibu wa kadi ya modeli iliyochapishwa ya Xiaomi, MiMo-V2.5-Pro ni modeli ya Mixture-of-Experts nyembamba yenye jumla ya vigezo trilioni 1.02 na bilioni 42 vinavyowaka kwa kila tokeni katika tabaka 70 — moja mnene, 69 za MoE — na wataalamu 384 wanaoelekezwa, 8 kwa kila tokeni. Ukubwa fiche ni 6144, ukiwa na ukubwa mwembamba wa kati wa MoE wa 2048.

Chaguo mawili yanaunda jinsi inavyohisiwa unapoitumia. Rundo la attention ni changamano: tabaka 10 za attention kamili na tabaka 60 za dirisha linalotelezea lenye dirisha la 128, pamoja na upendeleo wa nanga ya attention unaojifunzwa. Xiaomi inaripoti kwamba hili linakata uhifadhi wa akiba ya KV karibu mara 7 dhidi ya attention ya kimataifa yote huku likishikilia ubora wa muktadha mrefu — tofauti kati ya dirisha lililo refu kwa jina na lile unaloweza kumudu kulijaza. Pia inatoa tabaka tatu za Multi-Token Prediction, zikimpa kisimbuzi kichwa cha kubahatisha.

Mafunzo yalikuwa tokeni trilioni 27 kwa urefu wa asili wa mfuatano wa 32K katika usahihi mchanganyiko wa FP8 (E4M3), kisha urekebishaji wa kina uliosimamiwa, RL ya kiwakala ya kiwango kikubwa na unakili wa walimu wengi kwa sera hai. Shika kipengele hicho cha FP8; ndiyo hoja moja imara kuliko zote ya kuhudumia msingi huu kwa biti 8.

Xiaomi inaripoti modeli kwa 57.2% kwenye SWE-bench Pro, 72.9 kwenye τ3-Bench kwa matumizi ya zana na 48.0% kwenye Humanity's Last Exam — namba za mtoaji mwenyewe kwenye modeli isiyobanwa, zilizotajwa hivyo.

Tunahudumia dirisha la tokeni 262,144, si 1M kamili ya msingi — muktadha tunaoweza kuuhakikisha kwa kasi, badala ya namba ya kichwa cha habari inayodhoofika chini ya mzigo.

04W8A16 inamaanisha nini, kwa usahihi

Kila modeli ndani ya katalogi hii inabeba kiambishi cha mbano kinachoeleza mabadiliko halisi, yanayoweza kupimwa badala ya daraja la kimatangazo. Vyetu ni 3BIT-REAP, W4A16-AUTOROUND-REAP na W8A16. MiMo-V2.5-Pro ni cha tatu.

Nukuu inagawanyika mara mbili. W8 ni usahihi wa uzani: kila kigezo kinahifadhiwa kama nambari kamili ya biti 8 badala ya nambari elea ya biti 16, ikiwa na kipengele cha kupima kinachoshirikiwa kwa kila kundi dogo ili wigo wa ndani wa kila kundi udumu. A16 ni usahihi wa uwashaji: thamani zinazotiririka kati ya tabaka wakati wa uendeshaji zinabaki kwa biti 16. Uzani unabanwa; hesabu haibanwi.

Nusu hiyo ya pili inafanya kazi ya kimyakimya, muhimu. Uwashaji ni mgumu zaidi kubana kuliko uzani: una vituo vya nje vilivyokithiri — vipimo vichache ambavyo ukubwa wake unafunika kila kitu kingine na vinavyobeba sehemu isiyolingana ya tabia ya modeli. Sukuma hivyo hadi usahihi mdogo na unakata hasa ishara uliyoihitaji. Mipango ya uzani-pekee inakwepa tatizo kwa kuacha njia ya uwashaji peke yake, ndiyo sababu kazi nzito ya mbano imekusanyika kwenye mipango hiyo.

Hivyo swali la vitendo linabana hadi jambo moja: uzani unaweza kuvumilia biti chache kiasi gani?

05W8A16 dhidi ya W4A16 dhidi ya biti 3: hasara inakwenda wapi hasa

Utafiti mkubwa kuliko yote uliochapishwa juu ya hili ni ule wa Neural Magic na Red Hat, "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — zaidi ya tathmini 500,000 katika familia ya Llama-3.1 kwa 8B, 70B na 405B. Matokeo yao makuu, kwa namba zao:

Umbo	Kinachobanwa	Urejeshaji ulioripotiwa dhidi ya BF16
W8A8-FP (biti 8)	Uzani + uwashaji, elea	wastani ~99.75% — "bila hasara kimsingi"
W8A8-INT (biti 8)	Uzani + uwashaji, nambari kamili	99–100% kwa 8B/70B; 98.2–99.3% kwa 405B
W4A16-INT (biti 4)	Uzani pekee	98–99.4% (8B); 98.6–99.8% (70B)

Namba zilizoripotiwa na Neural Magic / Red Hat (arXiv:2411.02355) kwenye modeli za Llama-3.1 — umbo la badiliko, si alama ya modeli hii.

Ikisomwa kwa ukweli, hiyo inaonekana kama hoja dhidi ya kujali: biti 4 inarejesha 98–99%, hivyo kwa nini kuzingatia? Kwa sababu hizo ni vipimo vya kitaaluma vya kuchagua jibu, karibu na chombo kibaya kuliko vyote kinachopatikana cha kugundua uharibifu wa mbano. Swali la kipimo lina jibu moja sahihi linaloweza kufikiwa kwa tokeni moja au mbili, na kosa la mbano ni kelele ndogo, yenye wastani wa sifuri takriban, kwenye kila logit; kwenye swali fupi lenye tofauti pana, kelele hiyo inafyonzwa.

Sasa andika tokeni 4,000 za hati ya kiufundi, shikilia sauti moja katika hadithi ya tokeni 40,000, au toa JSON inayopaswa kuthibitika mara ya kwanza. Kelele ileile inachukuliwa sampuli maelfu ya mara mfululizo, kila sampuli ikiweka masharti kwa inayofuata. Namna ya kushindwa si jibu baya — ni kupotea: mtego unaolegea kwenye maelekezo tangu zamu ya kwanza, mhusika anayeacha kusikika kama yeye karibu na tokeni 3,000, kifungo cha kufunga kisichofika kamwe.

Biti zinakwenda wapi hasa

Kosa la mbano halijaenea kwa usawa katika uwezo wa modeli; linakaza kwenye mkia. Tabia zenye uzito mkubwa — Kiingereza cha kisarufi, umbo la kazi ya Python, ukweli elfu za juu kuhusu dunia — zimesimbwa kwa marudio katika uzani mwingi na zinavumilia karibu chochote. Pembe zilizorekebishwa kwa usahihi, zenye ukubwa mdogo, za mgawanyo wa uzani zinashikilia mambo adimu: saini halisi ya API isiyofahamika, mdundo wa mwandishi mahususi, tofauti kati ya CVE mbili zilizo jirani. Hizo ndizo thamani ambazo gridi butu inaziviringisha kuwa moja.

Hatua kutoka biti 4 hadi 3 ndipo hili linaacha kuwa kodi na linakuwa mteremko. Sheria za kupanuka za uendeshaji wa biti k za Dettmers na Zettlemoyer zilikuta biti 4 ndiyo nukta inayoongeza usahihi wa pigo-sifuri kwa kila biti ya kumbukumbu ya modeli, upungufu ukitawala chini yake. Biti nne inatoa viwango 16 kwa kila kundi; tatu inatoa 8. Unapunguza nusu ya utatuzi wa gridi ambayo tayari ni butu, na kosa la kuviringisha kwa kila uzani linazidi kuwa mara mbili takriban.

Hesabu inayoamua

Ulinganisho unaostahili kufanywa ni wa kihesabu, si kipimo. Kinachovumilia mbano ni takriban vigezo × biti kwa kila kigezo — ujazo unaobeba taarifa wa faili ya uzani. Chukua misingi miwili ya kudhaniwa yenye ubora sawa kwa kila kigezo:

• Msingi A: vigezo bilioni 400 kwa biti 3 → takriban GB 150 ya uzani uliobaki.
• Msingi B: vigezo bilioni 160 kwa biti 8 → takriban GB 160 ya uzani uliobaki.

Kwa idadi mbichi ya vigezo A inashinda mbili na nusu kwa moja — namba ambayo kadi ya modeli inaianza nayo. Kwa taarifa iliyobaki wanalingana, na B ina faida ya kimuundo zaidi ya hapo: uzani wake unakaa kwenye gridi laini kiasi cha kuacha tabia yake ya mkia ikiwa salama, wakati mkia wa A umebanwa kuingia ndani ya wingi. A inajua vitu vingi zaidi; B inajua inachokijua kwa ukali zaidi. Kwa uzalishaji mrefu, umbo halisi, udhibiti wa mtindo na kufuata kwa uaminifu muktadha mrefu, chukua B.

Hesabu ya mfano, si kipimo: inaonyesha kwa nini "msingi mkubwa zaidi" na "modeli bora inayohudumiwa" ni madai mawili tofauti.

06Kwa nini tokeni trilioni 27 za mafunzo zinafanya mbano mkali kuwa mbaya zaidi

Matokeo ya pili, yasiyo ya kueleweka kwa urahisi, yanahusu moja kwa moja msingi huu. Karatasi ya Kumar na wenzake ya ICLR 2025, Scaling Laws for Precision, inakuta kwamba kadri modeli ilivyofunzwa kwa data nyingi zaidi, ndivyo mbano wa baada ya mafunzo unavyoiharibu zaidi. Usahihi mdogo unapunguza idadi yenye ufanisi ya vigezo vya modeli, na upungufu huo unakua kadri data ya mafunzo ya awali iliyofyonzwa inavyoongezeka — mbali kiasi kwamba data ya ziada ya mafunzo ya awali inaweza kuwa na madhara kwa jumla kama unakusudia kubana kwa ukali, kwa sababu unaweka muundo mwembamba ambao gridi itaufuta.

Modeli iliyofunzwa kwenye tokeni 5T ina muundo wa uzani butu, wenye marudio na nafasi ya ziada. Modeli iliyofunzwa kwenye tokeni 27T — bajeti ya MiMo-V2.5-Pro — ilitumia data hiyo ya ziada kuandika tofauti nyembamba zaidi ndani ya thamani sahihi zaidi za uzani, ndicho hasa gridi ya biti 3 isichoweza kukiwakilisha.

Kisha kuna ukweli wa FP8 kutoka sehemu ya 03, hoja safi kuliko zote ndani ya makala hii. MiMo-V2.5-Pro ilifunzwa awali kwa usahihi mchanganyiko wa FP8. Uzani wake uliundwa tangu mwanzo na kiboreshaji kilichofanya kazi kwa takriban biti nane za usahihi. Kuihudumia kwa uzani wa biti 8 kwa hivyo si wazo la baadaye lenye hasara lililowekwa kwenye modeli ya biti 16 — ni karibu na kurudisha uzani kwenye eneo la kihesabu ambalo ulijifunziwa. Muundo mwembamba mdogo upo chini ya biti ya nane wa kupotea. Vilevile haviwezi kusemwa kwa uzani huo unaposukumwa hadi tatu.

07REAP: kwa nini upogoaji wa wataalamu ni aina tofauti ya hasara kuliko kuviringisha

Madaraja mawili kati ya matatu yanabeba kiambishi cha REAP — operesheni tofauti kabisa na mbano. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) ni mbano wa pigo moja kwa modeli za MoE nyembamba: inampa kila mtaalamu alama kwa thamani za lango la kielekezi na kanuni ya uwashaji ya mtaalamu, kisha inafuta wenye alama za chini kuliko wote. Cerebras inaripoti matokeo yanayokaribia kutokuwa na hasara kwenye uzalishaji wa msimbo na kuita zana hata kwa 50% ya wataalamu waliopogolewa.

Tunatumia REAP kwa sababu iliyoifanya iwepo: kwenye misingi mikubwa kuliko yote ndiyo inayowafanya waweze kuhudumiwa. Lakini angalia tofauti ya aina. Mbano unafifisha kila uzani kidogo; upogoaji unaondoa wataalamu kabisa. Kama mzigo wako wa kazi unaelekeza kwa wingi kwenye uwezo uliokuwa ndani ya mtaalamu anayechaguliwa mara chache — lugha ndogo ya programu, msamiati maalum — hauja dhoofishwa. Umekwisha, na hakuna kudokeza kunaourejesha. Wastani unabaki bora; kesi yako ya mkia inaweza isibaki.

MiMo-V2.5-Pro · W8A16 haibebi kiambishi cha REAP. Wataalamu wote 384 wapo, na kielekezi kinachagua kutoka seti kamili ambayo msingi ulifunzwa nayo.

Daraja	Biti za uzani	Wataalamu	Unachobadilisha
W8A16	8	Wote wapo	Hakuna cha kimuundo. Daraja la uaminifu.
W4A16-AUTOROUND-REAP	4	Wamepogolewa	Undani mwembamba wa uzani pamoja na wataalamu wa trafiki ndogo, badala ya msingi mkubwa zaidi kwa mbali ndani ya ukanda uleule wa bei.
3BIT-REAP	3	Wamepogolewa	Utatuzi mkubwa wa uzani pamoja na wataalamu wa trafiki ndogo — bei ya kuendesha misingi mikubwa kuliko yote kwa kasi.

Daraja la kati linastahili kusikilizwa kwa haki. AutoRound si mviringisho rahisi: mbinu ya Intel (arXiv:2309.05516) inatumia mteremko wa gredienti wenye alama katika takriban hatua 200 kurekebisha maamuzi ya kuviringisha na eneo la kukata kwa kila kundi la uzani, na imeripotiwa ikikaribia kutokuwa na hasara kwa biti 4 katika mipangilio mingi, ikiipita GPTQ, AWQ, HQQ na OmniQuant katika mipangilio mingi iliyojaribiwa. Modeli ya W4A16-AUTOROUND ni modeli nzuri ya biti 4 kwa kweli. Bado ni modeli ya biti 4.

08Nani achague daraja la biti 8 — na nani asilichague

MiMo-V2.5-Pro · W8A16 inakaa kwenye bei ya sakafu ya katalogi nzima — $0.50 ndani / $2.00 nje kwa tokeni milioni, ukanda uleule na modeli za daraja la kuingia za biti 4 na takriban robo ya bei ya ingizo ya modeli ghali kuliko zote tunayoihudumia. Hulipii ziada kwa uaminifu; unachagua mhimili tofauti wa bajeti ileile.

Ichague pale

• Urefu wa matokeo ndiyo kazi. Uandishi wa kiufundi wa muundo mrefu, hadithi za urefu wa sura, mapito kamili ya nyaraka — kila tokeni iliyozalishwa ni ile ambapo kelele ya mbano inalimbikizana.
• Sauti na mfululizo vinahusu. Kazi ya wahusika, sauti ya chapa, mtindo unaoshikiliwa katika kipindi kirefu. Mtindo unaishi ndani ya mkia, na mkia ndicho mbano butu unachokila kwanza.
• Matokeo yenye muundo lazima yathibitike mara ya kwanza. Modeli inaunga mkono json_schema na response_format; kushikamana na muundo ni sifa ya usahihi, na kila kujaribu tena kunakoepukwa ni pesa na ucheleweshaji vilivyookolewa.
• Unajaza muktadha. Kufuata maelekezo kwenye tokeni 200,000 ni kugumu zaidi kuliko kwenye tokeni 2,000, na kunadhoofika kadri usahihi wa uzani unavyopungua — vivyo hivyo kwa nyayo ndefu ya hoja, ambapo makosa yanalimbikizana namna ileile.
• Kazi haidhibitiwi kwa asili. Utafiti wa usalama, timu nyekundu, hadithi zisizochujwa, uchambuzi nyeti wa kimatibabu au kisheria — ambapo jibu lililojiepusha ni baya kuliko kutokuwa na jibu.

Chagua kitu kingine pale

• Unahitaji uoni. Modeli hii ni ya maandishi pekee; ndugu yake MiMo-V2.5 · W8A16 ina uwezo wa uoni kwa bei ileile na daraja lilelile.
• Unahitaji maarifa mapana kuliko yote ya dunia kwenye maswali mafupi. Hilo ndilo eneo ambapo vigezo vya ziada vya msingi mkubwa zaidi wa biti 3 vinashinda na uharibifu wake wa mbano hauonekani karibu kabisa.
• Mzigo wako wa kazi ni uainishaji mfupi wa kiasi kikubwa. Uharibifu wa mbano karibu hauonekani hapo — nunua chochote cha kasi zaidi.

09Kuita API ya MiMo isiyodhibitiwa

Kama msimbo wako unalenga SDK ya OpenAI, kubadilisha URL ya msingi na kitambulisho cha modeli ndiyo uhamisho wote:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages na /v1/responses zinapokea kitambulisho kilekile na uwezo uleule. Marejeo ya vigezo, miundo ya kuita zana, mifano ya matokeo yenye muundo na uwanja hai wa majaribio vipo kwenye nyaraka za API za Shannon AI.

Uwezo	MiMo-V2.5-Pro · W8A16
Dirisha la muktadha	tokeni 262,144
Matokeo ya juu kabisa kwa kila ombi	tokeni 16,384
Utiririshaji	Ndiyo — lahaja zote tatu
Kuita zana	Ndiyo
Hoja / reasoning_effort	Ndiyo
Matokeo yenye muundo wa json_schema	Ndiyo
response_format	Ndiyo
Uoni / ingizo la picha	Hapana — tumia MiMo-V2.5
Safu ya kukataa / kichujio cha matokeo	Hakuna
Bei kwa tokeni 1M	$0.50 ndani / $2.00 nje

10Maswali yanayoulizwa mara kwa mara

---

Vyanzo: ripoti ya kiufundi ya MiMo, arXiv:2505.07608 · kadi ya modeli ya MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · sheria za kupanuka za uendeshaji wa biti k, arXiv:2212.09720 · Scaling Laws for Precision, Kumar na wenzake, ICLR 2025. Namba zote za vipimo ni kama zilivyoripotiwa na waandishi wao. Shannon AI ni bidhaa ya Shannon Lab LLC, New Mexico, Marekani.