API MiMo Enweghị Mmachi na Nkwenye 8-Bit
Ntọala MiMo nke Xiaomi nke echiche bụ isi ya, nke a na-agba ebe ọ dịghị akwa njụ na W8A16 — ọkwa quantization nwere nkwenye kacha elu anyị na-agba — n'ọnụ ahịa ala nke katalọgụ ahụ.
Nkenke
MiMo-V2.5-Pro · W8A16 bụ MiMo-V2.5-Pro arọ mepere emepe nke Xiaomi nke a na-agba n'ụyọkọ GPU nke Shannon na arọ 8-bit / mmalite 16-bit — ọkwa a pịkọtara kacha nta na katalọgụ ụdị iri na abụọ anyị. Ọnọdụ token 262,144, token mmepụta 16,384 kwa arịrịọ, ịkpọ ngwá ọrụ, echiche, mmepụta ahaziri ahazi nke JSON-schema, streaming n'olumba API atọ, na ọ dịghị akwa njụ ma ọ bụ nzacha mmepụta, na $0.50 nnata / $2.00 mgbasa kwa miliyọn token — ala nke katalọgụ ahụ. Naanị ederede; jiri MiMo-V2.5 · W8A16 maka onyonyo.
Ọtụtụ katalọgụ na-ere gị ọnụ ọgụgụ paramita. Nke ahụ bụ ọnụọgụ na-ezighị ezi ị ga-eji zụta ihe, n'ihi na e mepịala nnukwu ụdị arọ mepere emepe ọ bụla ị nwere ike ịkwụ ụgwọ ya ka ọ daba n'ebe ụfọdụ. Ajụjụ ziri ezi abụghị "olee ka o si buo ibu tupu e mepịa ya?" kama "ole ihe ka fọdụrụ n'ime ya?" Edemede a bụ maka ajụjụ ahụ, na maka ụdị dị n'usoro anyị ebe azịza ya bụ ihe fọrọ nke nta ka ọ bụrụ ya niile.
01Ihe API MiMo enweghị mmachi na-enye gị n'ezie
API MiMo enweghị mmachi bụ otu id ụdị, MiMo-V2.5-Pro-W8A16, nke a na-eru site n'olumba atọ nke na-eru otu arọ ahụ n'ụyọkọ GPU nke anyị: /v1/chat/completions, /v1/messages na /v1/responses. Ha atọ na-agba streaming ma na-akwado ịkpọ ngwá ọrụ na echiche.
Enweghị mmachi nwere nkọwa warara ebe a: ọ dịghị akwa njụ n'ihu ụdị ahụ, ọ dịghịkwa nzacha na mmepụta ya. Anyị anaghị egbochi, ekewa ma ọ bụ degharịa ihe ọ bụla. Ị na-enweta omume nke ntọala ahụ n'onwe ya — nke, maka ụdị arọ mepere emepe nke ọkwa nnyocha, pụtara na ọ na-etinye onwe ya na nnyocha nchekwa, akụkọ ifo nke ndị okenye ma ọ bụ nke ime ihe ike, echiche ahụike na iwu, na arịrịọ ndị endpoint azụmahịa a na-akwado na-ajụ n'enweghị echiche. Ọ bụ ngwá ọrụ ọkachamara n'okpuru Amụma Ojiji Kwesịrị Ekwesị anyị, ọ bụghị enweghị iwu.
02Ọdịnala MiMo: nzọ nkwụ nke Xiaomi n'ọzụzụ mbụ nke echiche bụ isi
MiMo abụghị ihe e si na Llama mepụta nke nwere aha ọhụrụ; ọ bụ ọdịnala dị iche sitere n'otu MiMo nke Xiaomi, echiche ntọala ya dịkwa mkpa tupu ị nyochaa ụdị ahụ. Ọ na-amalite na MiMo-7B (Eprel 30, 2025, nwere ikike MIT), nke akụkọ nka na ụzụ ya na-arụ ụka na ọtụtụ ụlọ nyocha na-ewere echiche dị ka nsogbu nke ọzụzụ na-esote nke a ga-akwụnye site na RL, na nke ahụ na-atụgharị azụ. Xiaomi haziri ọzụzụ mbụ gburugburu ya kama: ngwakọta nke ọkwa atọ n'ofe token trilion 25, ọkwa nke abụọ na-agba ihe dị ka 70% mgbakọ na mwepụ na koodu, ọkwa nke atọ na-etinye nsonaazụ echiche sịntetik ebe ọ na-agbatị ọnọdụ site na 8K ruo 32K — tinyere ebumnuche Multi-Token Prediction nke na-arụkwa ọrụ dị ka isi speculative-decoding.
Nsonaazụ ya bụ ụdị ndabere 7B nke kpara àgwà ka ihe buru ibu karịa ya. MiMo-7B-Base nwetara 32.9 na AIME 2024 ebe Qwen2.5-7B nwetara 10.1, Gemma-2-9B 0.0 na Llama-3.1-8B 0.3. Ọzụzụ na-esote wee gbaa RL n'elu nsogbu mgbakọ na mwepụ na koodu 130,000 a pụrụ ịnwale nwere ụgwọ ọrụ koodu nke ike ule na-eduzi, na-agbanarị ọnyà ụgwọ ọrụ dị fere fere nke na-emebi nkwụsi ike RL koodu. Nsonaazụ ya dabara n'ihu o1-mini:
AIME 2025, ọnụọgụ nke Xiaomi kọrọ sitere n'akụkọ nka na ụzụ MiMo (arXiv:2505.07608). MiMo-7B-RL kọkwara 95.8 na MATH-500 na 57.8 na LiveCodeBench v5.
Ezinụlọ ahụ gbasapụrụ kama ịkpafu: MiMo-VL-7B (Juun 2025) tinyere encoder Qwen2.5-ViT n'otu ntọala ahụ, Disemba 2025 wetakwara MiMo-Audio-7B tinyere onye MoE mbụ, MiMo-V2-Flash (309B zuru oke / 15B na-arụ ọrụ, token 27T, izi ezi agwakọtara FP8). MiMo-V2-Pro sochiri na Machị 2026 n'ihe dị ka 1T / 42B na-arụ ọrụ nwere ọnọdụ 1M, mgbe izu ole na ole gasịrị na OpenRouter dị ka "Hunter Alpha". MiMo-V2.5 na MiMo-V2.5-Pro bịara ọnụ na Eprel 22, 2026, ha abụọ nwere ikike MIT.
03N'ime MiMo-V2.5-Pro: otu ntọala ahụ si dị
Dịka kaadị ụdị Xiaomi bipụtara si dị, MiMo-V2.5-Pro bụ ụdị Mixture-of-Experts dị fere fere nwere paramita trilion 1.02 zuru oke na ijeri 42 na-arụ ọrụ kwa token n'ofe akwa 70 — otu dị njupụta, 69 bụ MoE — na ọkachamara 384 a na-eduzi, 8 kwa token. Nha zoro ezo bụ 6144, nwere nha etiti MoE dị warara nke 2048.
Nhọrọ abụọ na-eme ka o si dị mgbe eji ya. Ngwakọta nlebara anya ahụ bụ nke agwakọtara: akwa nlebara anya zuru oke 10 na akwa sliding-window 60 nwere windo nke 128, tinyere mkpezi attention-sink a pụrụ ịmụta. Xiaomi na-akọ na nke a na-ebipụ nchekwa cache KV dị nso na okpukpu 7 megide nlebara anya zuru ụwa ọnụ niile ebe ọ na-ejigide àgwà ogologo ọnọdụ — ọdịiche dị n'etiti windo nke dị ogologo n'aha na nke ị nwere ike ịkwụ ụgwọ ijuputa ya. Ọ na-ebufekwa akwa Multi-Token Prediction atọ, na-enye decoder ahụ isi speculative.
Ọzụzụ bụ token trilion 27 n'ogologo usoro 32K sitere n'okike n'izi ezi agwakọtara FP8 (E4M3), wee bụrụ nhazi nke a na-elekọta, RL agent nke ọkwa ukwuu na distillation on-policy nke ọtụtụ onye nkuzi. Jigide nkọwa FP8 ahụ; ọ bụ arụmụka kacha sie ike maka ije ozi ntọala a na bit 8.
Xiaomi na-akọ ụdị ahụ na 57.2% na SWE-bench Pro, 72.9 na τ3-Bench maka ojiji ngwá ọrụ na 48.0% na Humanity's Last Exam — ọnụọgụ nke onye na-ere ya n'onwe ya na ụdị a na-apịkọtaghị apịkọta, nke e hotara dị ka ya.
Anyị na-eje ozi windo token 262,144, ọ bụghị 1M zuru oke nke ntọala ahụ — ọnọdụ anyị nwere ike ikwe nkwa ya na nkenke, kama ọnụọgụ isiokwu nke na-ada n'okpuru ibu.
04Ihe W8A16 pụtara, kpọmkwem
Ụdị ọ bụla dị na katalọgụ a na-ebu njedebe quantization nke na-akọwa ezigbo mgbanwe a pụrụ ịtụ kama ọkwa mgbasa ozi. Nke anyị bụ 3BIT-REAP, W4A16-AUTOROUND-REAP na W8A16. MiMo-V2.5-Pro bụ nke atọ.
Ndepụta ahụ kewara ụzọ abụọ. W8 bụ izi ezi arọ: a na-echekwa paramita ọ bụla dị ka integer 8-bit kama float 16-bit, nwere ihe nha a na-ekekọrịta kwa obere otu ka oke dị ndụ nke mpaghara nke otu ọ bụla wee dịgide. A16 bụ izi ezi mmalite: uru ndị na-agafe n'etiti akwa n'oge nkwubi okwu na-anọgide na bit 16. A na-apịkọta arọ; a naghị apịkọta mgbako ahụ.
Ọkara nke abụọ ahụ na-arụ ọrụ dị jụụ ma dị mkpa. Mmalite siri ike ime quantize karịa arọ: ha nwere ọwa outlier dị oke — akụkụ ole na ole nke ịdị ukwuu ha karịrị ihe ndị ọzọ niile, nke na-ebukwa oke buru ibu nke omume ụdị ahụ. Kwaga ndị ahụ n'izi ezi dị ala ị ga-ebipụ kpọmkwem ihe ngosi ị chọrọ. Atụmatụ arọ-naanị na-agbanarị nsogbu ahụ site n'ịhapụ ụzọ mmalite ahụ, nke bụ ihe mere ezigbo ọrụ quantization ji gbakọta na ha.
Ya mere ajụjụ bara uru na-agbadata n'otu ihe: ole bit ka arọ nwere ike ịnabata?
05W8A16 megide W4A16 megide 3-bit: ebe mfu ahụ na-aga n'ezie
Ọmụmụ kacha ukwuu e bipụtara na nke a bụ nke Neural Magic na Red Hat, "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — ihe karịrị nyocha 500,000 n'ofe ezinụlọ Llama-3.1 na 8B, 70B na 405B. Nsonaazụ isiokwu ha, n'ọnụọgụ ha:
| Ụdị | Ihe a pịkọtara | Mweghachi e kọrọ megide BF16 |
|---|---|---|
| W8A8-FP (8-bit) | Arọ + mmalite, float | ~99.75% nkezi — "enweghị mfu n'ezie" |
| W8A8-INT (8-bit) | Arọ + mmalite, integer | 99–100% na 8B/70B; 98.2–99.3% na 405B |
| W4A16-INT (4-bit) | Arọ naanị | 98–99.4% (8B); 98.6–99.8% (70B) |
Ọnụọgụ nke Neural Magic / Red Hat kọrọ (arXiv:2411.02355) n'ụdị Llama-3.1 — ọdịdị nke mgbanwe ahụ, ọ bụghị akara nke ụdị a.
Gụọ ya n'eziokwu, nke ahụ dị ka arụmụka megide ịchọ ịma: 4-bit na-eweghachi 98–99%, ya mere gịnị mere anyị ga-eji tinye uche? N'ihi na ndị ahụ bụ benchmark nhọrọ n'ọtụtụ nke agụmakwụkwọ, nke dị nso n'ihe kacha njọ a pụrụ iji chọpụta mmebi quantization. Ajụjụ benchmark nwere otu azịza ziri ezi a pụrụ iru na token otu ma ọ bụ abụọ, njehie quantization dịkwa nta, ọ bụ ihe mkpọtụ nwere nkezi dị nso na efu na logit ọ bụla; n'ajụjụ dị mkpirikpi nwere oke sara mbara, a na-anara mkpọtụ ahụ.
Ugbu a dee token 4,000 nke akwụkwọ nka na ụzụ, jigide otu olu n'ofe akụkọ nke token 40,000, ma ọ bụ mepụta JSON nke ga-agafe nkwenye na mbụ. A na-anwale otu mkpọtụ ahụ puku ugboro n'usoro, ihe nlele ọ bụla na-edozi nke ọzọ. Ọdịda ahụ abụghị azịza na-ezighị ezi — ọ bụ ịkpafu: njide ntụziaka na-adịkwa ike site na ntụgharị mbụ, agwa nke na-akwụsị ịda ka ya n'ihe dị ka token 3,000, ihe mmechi nke na-abịaghị ma ọlị.
Ebe bit ndị ahụ na-aga n'ezie
A naghị ekesa njehie quantization n'ụzọ hà nhata n'ofe ikike ụdị ahụ; ọ na-agbakọta n'ọdụ ahụ. Omume nwere ibu dị elu — bekee nwere ụtọ asụsụ, ọdịdị ọrụ Python, ihe ọmụma puku kacha elu banyere ụwa — bụ nke edepụtara ugboro ugboro n'ofe ọtụtụ arọ ma dịgide fọrọ nke nta ka ọ bụrụ n'ihe ọ bụla. Akụkụ ndị a hazịrị nke ọma, nke ịdị ukwuu ha dị nta nke nkesa arọ ahụ na-ejide ihe ndị na-adịghị adịkarị: ụdị API a na-amaghị nke ọma, ụda onye edemede ụfọdụ, ọdịiche dị n'etiti CVE abụọ dị n'akụkụ ibe ha. Ndị ahụ bụ uru nke grid dị nkọ na-achịkọta n'ime ibe ha.
Nzọụkwụ site na bit anọ gaa n'atọ bụ ebe nke a na-akwụsị ịbụ ụtụ ma ghọọ ugwu. Iwu ọgbasa nkwubi okwu k-bit nke Dettmers na Zettlemoyer chọtara na 4-bit bụ ebe na-eme ka izi ezi zero-shot dị elu kacha kwa bit nke ebe nchekwa ụdị ahụ, mbelata na-achịkwa n'okpuru ya. Bit anọ na-enye ọkwa 16 kwa otu; atọ na-enye 8. Ị na-ebipụ ọkara nke mkpebi ihu nke grid dị nkọ ugbua, njehie nchịkọta kwa arọ na-abawanyekwa ihe dị ka okpukpu abụọ.
Mgbako nke na-ekpebi ya
Ntụnyere bara uru ime bụ mgbako, ọ bụghị benchmark. Ihe na-alanarị mkpakọ bụ ihe dị ka paramita × bit kwa paramita — olu na-ebu ozi nke faịlụ arọ ahụ. Were ntọala abụọ nke echiche nwere otu àgwà kwa paramita:
- Ntọala A: paramita 400B na bit 3 → ihe dị ka 150 GB nke arọ e chekwara.
- Ntọala B: paramita 160B na bit 8 → ihe dị ka 160 GB nke arọ e chekwara.
Site n'ọnụ ọgụgụ paramita gbara ọtọ A na-emeri abụọ na ọkara ruo otu — ọnụọgụ kaadị ụdị ahụ na-ebu ụzọ. Site n'ozi e chekwara ha hà nhata, B nwerekwa uru nhazi n'akụkụ nke ahụ: arọ ya dị n'elu grid dị nkọ nke na omume ọdụ ya kwụ ọtọ, ebe ọdụ nke A ka e mere quantize banye n'ime ihe ka ukwuu. A maara ihe ka ọtụtụ; B maara ihe ọ maara n'ụzọ dị nkọ karịa. Maka ogologo mmepụta, nhazi ziri ezi, njikwa ụdịdị na nsoro ogologo ọnọdụ kwesịrị ntụkwasị obi, were B.
Mgbako ihe atụ, ọ bụghị benchmark: ọ na-egosi ihe mere "ntọala buru ibu karịa" na "ụdị a na-agba nke ka mma" ji bụrụ nkwupụta dị iche.
06Ihe mere token ọzụzụ trilion 27 ji eme ka quantization siri ike ka njọ
Nsonaazụ nke abụọ, nke na-adịghị mfe ịghọta, metụtara ntọala a kpọmkwem. Akwụkwọ ICLR 2025 nke Kumar na ndị ọzọ, Scaling Laws for Precision, chọtara na ka data ọzụzụ ụdị si dị ukwuu, ka mmebi quantization nke a na-eme mgbe ọzụzụ gasịrị si emerụ ya. Izi ezi dị ala na-ebelata ọnụ ọgụgụ paramita na-arụ ọrụ nke ụdị ahụ, mbelata ahụ na-etokwa na data ọzụzụ mbụ ọ nabatara — ruo ebe data ọzụzụ mbụ ọzọ nwere ike ịbụ ihe ọjọọ ma ọ bụrụ na ị chọrọ ime quantize siri ike, n'ihi na ị na-edetu nhazi dị nkọ nke grid ahụ ga-ehichapụ.
Ụdị e ji token 5T zụọ nwere nhazi arọ dị nkọ, nke a na-emeghachi emeghachi, nwerekwa ohere fọdụrụ. Ụdị e ji token 27T zụọ — mmefu MiMo-V2.5-Pro — jiri data ọzọ ahụ dee ọdịiche dị nkọ n'ime uru arọ ziri ezi karịa, nke bụ kpọmkwem ihe grid 3-bit na-apụghị igosipụta.
Mgbe ahụ e nwere eziokwu FP8 sitere na nkebi 03, arụmụka kacha dị ọcha n'edemede a. E zụrụ MiMo-V2.5-Pro na mbụ n'izi ezi agwakọtara FP8. Optimizer nke na-arụ ọrụ n'ihe dị ka izi ezi bit asatọ kpụrụ arọ ya site na mmalite. Ije ozi ya na arọ 8-bit abụghị ya mere ihe nwere mfu e mesịrị tinye n'ụdị 16-bit — ọ dị nso n'iweghachi arọ ndị ahụ n'ọnọdụ ọnụọgụ e mụtara ha na ya. Obere nhazi dị nkọ dị n'okpuru bit nke asatọ ka ọ ga-atụfu. A pụghị ikwu otu ihe ahụ maka arọ ndị ahụ nke a manyere gbadaa ruo atọ.
07REAP: ihe mere nkpụcha ọkachamara ji bụrụ ụdị mfu dị iche na nchịkọta
Abụọ n'ime ọkwa atọ ahụ na-ebu njedebe REAP — ọrụ dị iche kpamkpam na quantization. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) bụ mkpakọ otu ugboro maka ụdị MoE dị fere fere: ọ na-enye ọkachamara ọ bụla akara site n'uru ọnụ ụzọ router na nha mmalite nke ọkachamara ahụ, wee hichapụ ndị nwere akara kacha ala. Cerebras na-akọ nsonaazụ fọrọ nke nta ka ọ ghara ifunahụ ihe ọ bụla na mmepụta koodu na ịkpọ ngwá ọrụ ọbụna mgbe a kpụchara 50% nke ọkachamara.
Anyị na-eji REAP maka ihe mere o ji dịrị: n'ọtụtụ ntọala kacha ibu ọ bụ ihe na-eme ka a pụọ ije ozi ha. Mana mara ọdịiche dị n'ụdị. Quantization na-emebi arọ ọ bụla ntakịrị; nkpụcha na-ewepụ ọkachamara kpamkpam. Ọ bụrụ na ọrụ gị na-eduga nke ukwuu n'ikike nke biri n'ọkachamara a na-adịghị ahọrọ ugboro ugboro — obere asụsụ mmemme, okwu ọkachamara — a naghị ebelata ya. Ọ pụọla, ọ dịghịkwa prompt na-eweghachi ya. Nkezi ndị ahụ na-adịgide na-adị mma; ọnọdụ ọdụ gị nwere ike ọ gaghị adị.
MiMo-V2.5-Pro · W8A16 anaghị ebu njedebe REAP. Ọkachamara 384 niile dị, router ahụ na-ahọrọkwa site na usoro zuru oke nke e ji zụọ ntọala ahụ.
| Ọkwa | Bit arọ | Ọkachamara | Ihe ị na-agbanwe |
|---|---|---|---|
| W8A16 | 8 | Ha niile dị | Ọ dịghị ihe nhazi. Ọkwa nkwenye ahụ. |
| W4A16-AUTOROUND-REAP | 4 | A kpụchara ya | Nkọwa arọ dị nkọ tinyere ọkachamara nwere obere okporo ụzọ, maka ntọala buru ibu karịa n'otu ọnụ ahịa ahụ. |
| 3BIT-REAP | 3 | A kpụchara ya | Mkpebi arọ dị ukwuu tinyere ọkachamara nwere obere okporo ụzọ — ọnụ ahịa nke ịgba ntọala ndị kacha ibu na nkenke. |
Ọkwa etiti ahụ kwesịrị ka a gee ya ntị n'ụzọ ziri ezi. AutoRound abụghị nchịkọta nkịtị: usoro Intel (arXiv:2309.05516) na-eji signed gradient descent n'ihe dị ka nzọụkwụ 200 hazie mkpebi nchịkọta na oke mbelata ọnụ kwa otu arọ, a na-akọkwa ya dị ka nke fọrọ nke nta ka ọ ghara inwe mfu na bit 4 n'ọtụtụ ọnọdụ, na-emeri GPTQ, AWQ, HQQ na OmniQuant n'ọtụtụ nhazi a nwalere. Ụdị W4A16-AUTOROUND bụ ezigbo ụdị 4-bit n'ezie. Ọ ka bụ ụdị 4-bit.
08Ònye kwesịrị ịhọrọ ọkwa 8-bit — na ònye na-ekwesịghị
MiMo-V2.5-Pro · W8A16 nọ n'ọnụ ahịa ala nke katalọgụ ahụ dum — $0.50 nnata / $2.00 mgbasa kwa miliyọn token, otu ọkwa ahụ na ụdị 4-bit nke ọkwa mbata na ihe dị ka otu ụzọ anọ nke ọnụ ahịa nnata nke ụdị kacha dị ọnụ anyị na-agba. Ị naghị akwụ ụgwọ elu maka nkwenye; ị na-ahọrọ njikere dị iche nke otu mmefu ahụ.
Họrọ ya mgbe
- Ogologo mmepụta bụ ọrụ ahụ. Ide ihe nka na ụzụ nke ogologo, akụkọ ifo nke ogologo isi, ngafe akwụkwọ zuru oke — token ọ bụla e mepụtara bụ nke mkpọtụ mkpakọ na-agbakọ na ya.
- Olu na nkwekọ dị mkpa. Ọrụ agwa, ụda akara ngwaahịa, olu e jigidere n'ofe ogologo nnọkọ. Ụdịdị bi n'ọdụ, ọdụ bụkwa ihe quantization dị nkọ na-ebu ụzọ rie.
- Mmepụta ahaziri ahazi ga-agafe nkwenye na mbụ. Ụdị ahụ na-akwado
json_schemanaresponse_format; nsoro schema bụ njirimara izi ezi, ịnwale ọzọ ọ bụla i zere bụkwa ego na oge nzaghachi echekwara. - Ị na-ejuputa ọnọdụ ahụ. Nsoro ntụziaka na token 200,000 siri ike karịa na token 2,000, ọ na-adakwa na izi ezi arọ — otu ihe ahụ dịkwa maka ogologo nsonaazụ echiche, ebe njehie na-agbakọ n'otu ụzọ ahụ.
- Ọrụ ahụ bụ nke enweghị mmachi n'okike. Nnyocha nchekwa, red-teaming, akụkọ ifo enweghị nzacha, nyocha ahụike ma ọ bụ iwu nwere mmetụta — ebe azịza a gbanarịrị dị njọ karịa nke ọ dịghị.
Họrọ ihe ọzọ mgbe
- Ịchọrọ ọhụụ. Ụdị a bụ naanị ederede; nwanne ya MiMo-V2.5 · W8A16 nwere ọhụụ n'otu ọnụ ahịa na otu ọkwa ahụ.
- Ịchọrọ ihe ọmụma ụwa kacha sara mbara n'ajụjụ dị mkpirikpi. Nke ahụ bụ ebe paramita ndị ọzọ nke ntọala 3-bit buru ibu karịa na-emeri, mmebi quantization ya anaghịkwa apụta ìhè.
- Ọrụ gị bụ nkewa dị mkpirikpi nke nnukwu ọnụ ọgụgụ. A naghị ahụ mmebi quantization ebe ahụ ma ọlị — zụta nke ọ bụla kacha dị ọsọ.
09Ịkpọ API MiMo enweghị mmachi
Ọ bụrụ na koodu gị na-eche SDK OpenAI ihu, ịgbanwe URL ndabere na id ụdị bụ mbugharị ahụ dum:
curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer $SHANNON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MiMo-V2.5-Pro-W8A16",
"messages": [
{"role": "user", "content": "Draft the threat model section."}
],
"reasoning_effort": "high",
"max_tokens": 16384,
"stream": true
}'
/v1/messages na /v1/responses na-anabata otu id na otu ikike ahụ. Ntụaka paramita, schema ịkpọ ngwá ọrụ, ihe atụ mmepụta ahaziri ahazi na ebe ọmụmụ dị ndụ dị n'akwụkwọ API Shannon AI.
| Ikike | MiMo-V2.5-Pro · W8A16 |
|---|---|
| Windo ọnọdụ | Token 262,144 |
| Mmepụta kacha elu kwa arịrịọ | Token 16,384 |
| Streaming | Ee — olumba atọ ahụ niile |
| Ịkpọ ngwá ọrụ | Ee |
Echiche / reasoning_effort | Ee |
Mmepụta ahaziri ahazi json_schema | Ee |
response_format | Ee |
| Ọhụụ / ntinye onyonyo | Mba — jiri MiMo-V2.5 |
| Akwa njụ / nzacha mmepụta | Ọ dịghị |
| Ọnụ ahịa kwa token 1M | $0.50 nnata / $2.00 mgbasa |
Ọnụọgụ mpụga ọ bụla dị ebe a bụ nke onye na-abụghị anyị bipụtara, e kwuru ebe o si na ederede ahụ. Nsonaazụ mweghachi quantization sitere n'ọmụmụ ezinụlọ Llama: ha na-akọwa ọdịdị nke mgbanwe ahụ, ọ bụghị akara nke ụdị a.
10Ajụjụ ndị a na-ajụkarị
Gịnị bụ API MiMo enweghị mmachi?
Endpoint Shannon AI maka MiMo-V2.5-Pro, ụdị Mixture-of-Experts arọ mepere emepe nke Xiaomi, nke a na-agba n'ụyọkọ GPU nke anyị ebe ọ dịghị akwa njụ, ọ dịghịkwa nzacha mmepụta. A na-eru ya site na /v1/chat/completions, /v1/messages na /v1/responses, nwere ọnọdụ token 262,144 na token mmepụta 16,384 kwa arịrịọ.
Gịnị ka W8A16 pụtara, gịnị mere o ji dị mkpa?
W8A16 pụtara na a na-echekwa arọ ndị ahụ na bit 8 kwa otu ebe a na-agbako mmalite na bit 16. Ọ bụ ọkwa quantization nwere nkwenye kacha elu na katalọgụ anyị. Ọmụmụ e bipụtara na-achọpụta na ụdị arọ-naanị nke 8-bit na-eweghachi ihe fọrọ nke nta ka ọ bụrụ izi ezi niile nke ụdị mbụ ahụ, ebe 4-bit na-agbanwe obere nkwenye maka ebe nchekwa, 3-bit na-agbanwekwa nke ukwuu.
Obere ụdị na 8-bit ọ̀ nwere ike imeri nnukwu ụdị na 3-bit?
Mgbe mgbe, ee. Ihe na-alanarị mkpakọ bụ ihe dị ka ọnụ ọgụgụ paramita nke a mụbara site na bit kwa paramita, njehie quantization na-agbakọtakwa n'omume ọdụ nke a na-adịghị ahụkebe. Ụdị e jigidere na bit 8 na-ejigide nkwekọ ogologo ederede ya, nhazi ziri ezi na ihe ọmụma ọdụ; nnukwu ụdị nke e mepịara ruo bit 3 na-ejigide akara benchmark ya sara mbara mana ọ na-atụfu njirimara ndị ahụ.
MiMo-V2.5-Pro ọ na-akwado ọhụụ ma ọ bụ ntinye onyonyo?
Mba. MiMo-V2.5-Pro na Shannon AI bụ naanị ederede. Ọ na-akwado ịkpọ ngwá ọrụ, echiche site na reasoning_effort, mmepụta ahaziri ahazi nke JSON-schema na response_format. Ọ bụrụ na ịchọrọ ntinye onyonyo, jiri ụdị nwanne ya MiMo-V2.5 W8A16, nke nwere ọhụụ n'otu ọnụ ahịa ahụ.
Ego ole ka API MiMo enweghị mmachi na-efu?
$0.50 kwa miliyọn token nnata na $2.00 kwa miliyọn token mgbasa. Nke ahụ bụ ọnụ ahịa ala na katalọgụ Shannon AI, nke na-eme MiMo-V2.5-Pro ka ọ bụrụ ụzọ kacha dị ọnụ ala isi zụta nkwenye 8-bit na gateway a.
Nwalee API MiMo enweghị mmachi
Nkwenye bit asatọ, ọnọdụ 262K, ọ dịghị akwa njụ — n'ọnụ ahịa ala nke katalọgụ ahụ.
Gụọ Akwụkwọ API Chọgharịa Ụdị NiileA na-arụ ya n'okpuru Amụma Ojiji Kwesịrị Ekwesị nke Shannon AI
Isi mmalite: Akụkọ nka na ụzụ MiMo, arXiv:2505.07608 · Kaadị ụdị MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Iwu ọgbasa nkwubi okwu k-bit, arXiv:2212.09720 · Scaling Laws for Precision, Kumar na ndị ọzọ, ICLR 2025. Ọnụọgụ benchmark niile dị ka ndị odee ha si kọọ ha. Shannon AI bụ ngwaahịa nke Shannon Lab LLC, New Mexico, USA.