API ya MiMo e se nang Thibelo ho Di-bit tse Robedi tsa Botshepehi
Motheo wa MiMo wa Xiaomi o beileng ho nahana pele, o sebediswang ntle le lera la ho hana ho W8A16 — sehlopha se phahameng ka ho fetisisa sa botshepehi seo re se sebedisang — ka theko e tlase ka ho fetisisa katalogong.
Kakaretso e Kgutshwane
MiMo-V2.5-Pro · W8A16 ke MiMo-V2.5-Pro ya di-weight tse bulehileng tsa Xiaomi, e sebediswang sehlopheng sa rona sa di-GPU ka di-weight tsa di-bit tse robedi / tshebediso ya di-bit tse 16 — sehlopha se sa fokotswang haholo katalogong ya rona ya di-model tse leshome le tse pedi. Context ya di-token tse 262,144, di-token tse 16,384 tsa tlhahiso ka kopo, ho bitsa disebediswa, ho nahana, tlhahiso e hlophisitsweng ya json-schema, ho phalla dipuong tse tharo tsa API, mme ha ho lera la ho hana kapa sefe hodima tlhahiso, ka $0.50 kenyo / $2.00 tlhahiso ka di-token tse milione — theko e tlase ka ho fetisisa katalogong. Ke mongolo feela; sebedisa MiMo-V2.5 · W8A16 bakeng sa ditshwantsho.
Bongata ba dikatalogo di o rekisetsa palo ya di-parameter. Ke palo e fosahetseng eo o ka rekang ho yona, hobane model efe kapa efe e kgolo ya di-weight tse bulehileng eo o ka e kgonang e fokotsitswe hore e kene kae kae. Potso e tshepahalang hase "e ne e le e kgolo hakae pele e patakwa?" empa ke "ke bokae ba yona bo ntseng bo le teng?" Sehlooho sena se buwa ka potso eo, le ka model lenaneng la rona moo karabo e leng hoo e ka bang tsohle.
01Seo API ya MiMo e se nang thibelo e o fang sona
API ya MiMo e se nang thibelo ke id e le nngwe ya model, MiMo-V2.5-Pro-W8A16, e fumanehang ka dipuo tse tharo tse buwang le di-weight tse tshwanang sehlopheng sa rona sa di-GPU: /v1/chat/completions, /v1/messages le /v1/responses. Tsohle tse tharo di a phalla mme di tshehetsa ho bitsa disebediswa le ho nahana.
E se nang thibelo e na le moelelo o mo tshesane mona: ha ho lera la ho hana ka pele ho model, ha ho sefe hodima tlhahiso ya yona. Ha re thibele, ha re hlophise le ha re ngole bocha. O fumana boitshwaro ba motheo o o feela — bo bolelang, bakeng sa model ya di-weight tse bulehileng tsa boemo ba dipatlisiso, hore e nka karolo dipatlisisong tsa tshireletso, mengolong ya boitsoaro bo hlokang thibelo kapa dikgoka, ho nahana ha bongaka le ha molao, le dikopo tseo dintlha tsa kgwebo tse hlokometsweng di di hanang ka tlwaelo. Ke sesebediswa sa boprofeshenale tlasa Leano la rona la Tshebediso e Ikarabellang, e seng ho hloka melao.
02Leloko la MiMo: kgatiso ya Xiaomi hodima koetliso e beileng ho nahana pele
MiMo hase ngwana wa Llama ka lebitso le letjha; ke leloko le arohaneng le tswang sehlopheng sa MiMo sa Xiaomi, mme mohopolo wa yona wa motheo o bohlokwa pele o hlahloba model. E qala ka MiMo-7B (la 30 Mmesa 2025, laesense ya MIT), tlaleho ya yona ya botekgeniki e pheha hore diteko tse ngata di tsheha ho nahana e le bothata ba kamora koetliso bo lokelang ho hokellwa ka RL, mme sena se le kgahlanong. Xiaomi e ile ya hlophisa bocha koetliso ya pele ho e potapotile ho e nang le sena: motswako wa mekgahlelo e meraro ho pholletsa le di-token tse dikete tse 25 tsa dimilione, mokgahlelo wa bobedi o sebetsang hoo e ka bang 70% dipalo le khoutu, mokgahlelo wa boraro o kenyeletsa dikgoele tsa ho nahana tse etsuweng ha o ntse o eketsa context ho tloha ho 8K ho ya ho 32K — hammoho le sepheo sa Multi-Token Prediction se sebetsang hape e le hlooho ya ho hlahisa pele.
Sephetho e ne e le model ya motheo ya 7B e neng e itshwara jwalo ka ntho e kgolo haholo ho feta. MiMo-7B-Base e fumane 32.9 ho AIME 2024 moo Qwen2.5-7B e fumaneng 10.1, Gemma-2-9B e fumana 0.0 le Llama-3.1-8B e fumana 0.3. Kamora koetliso ho ile ha matha RL hodima mathata a 130,000 a nepahatsehang a dipalo le khoutu ka moputso wa khoutu o susumetswang ke thata ya teko, ho phema leraba la moputso o fokolang le senyang RL ya khoutu. Sephetho se ile sa fihla pele ho o1-mini:
AIME 2025, dipalo tse tlalehilweng ke Xiaomi ho tswa tlalehong ya botekgeniki ya MiMo (arXiv:2505.07608). MiMo-7B-RL le yona e tlalehile 95.8 ho MATH-500 le 57.8 ho LiveCodeBench v5.
Lelapa le ile la atolosa ho ena le ho fapoha: MiMo-VL-7B (Phuptjhane 2025) e ile ya kenya encoder ya Qwen2.5-ViT sethefong se le seng, mme Tshitwe 2025 ya tlisa MiMo-Audio-7B hammoho le kabelo ya pele ya MoE, MiMo-V2-Flash (309B kaofela / 15B e sebetsang, di-token tse 27T, tshebediso e kopantsweng ya FP8). MiMo-V2-Pro e ile ya latela ka Hlakubele 2026 e ka bang 1T / 42B e sebetsang ka context ya 1M, kamora dibeke di le OpenRouter e bitswa "Hunter Alpha". MiMo-V2.5 le MiMo-V2.5-Pro di ile tsa lokolloa hammoho ka la 22 Mmesa 2026, tsohle ka laesense ya MIT.
03Ka hare ho MiMo-V2.5-Pro: kamoo motheo o shebahalang kateng
Ho ya ka karete ya model e phatlaladitsweng ke Xiaomi, MiMo-V2.5-Pro ke model ya Mixture-of-Experts e hasaneng e nang le di-parameter tse trillione e 1.02 kaofela mme di-billione tse 42 di sebetsa ka token ho pholletsa le marallo a 70 — le le leng le tebileng, a 69 e le MoE — le ditsebi tse 384 tse tsamaiswang, tse 8 ka token. Boholo bo patilweng ke 6144, ka boholo bo tshesane ba MoE bo pakeng ba 2048.
Dikgetho tse pedi di bopa kamoo e utlwahalang ka teng tshebedisong. Sethefo sa tlhokomelo se tswakantswe: marallo a 10 a tlhokomelo e felletseng le a 60 a fensetere e potolohang ka bogolo ba 128, hammoho le tshekamelo e ithutang ya "attention-sink". Xiaomi e tlaleha hore sena se fokotsa polokelo ya KV-cache haufi le makgetlo a 7 ho bapisa le tlhokomelo e felletseng yohle, ha e ntse e boloka boleng ba context e telele — phapang pakeng tsa fensetere e bolelwang e le e telele le e o kgonang ho e tlatsa. Hape e na le marallo a mararo a Multi-Token Prediction, e fa decoder hlooho ya ho hlahisa pele.
Koetliso e ne e le di-token tse trillione tse 27 ka botelele ba tatellano ba 32K ba tlhaho ho tshebediso e kopantsweng ya FP8 (E4M3), ho lateloa ke ho lokiswa ho hlokometsweng, RL e kgolo ya di-agent le ho fetisetsa boitsebiso ba baruti ba bangata ka mokgwa wa on-policy. Boloka ntlha eo ya FP8 kelellong; ke yona kgang e matla ka ho fetisisa ya ho sebedisa motheo ona ho di-bit tse robedi.
Xiaomi e tlaleha model e le 57.2% ho SWE-bench Pro, 72.9 ho τ3-Bench bakeng sa tshebediso ya disebediswa le 48.0% ho Humanity's Last Exam — dipalo tsa morekisi ka boyena hodima model e sa fokotswang, tse qotswang jwalo.
Re sebedisa fensetere ya di-token tse 262,144, e seng 1M e felletseng ya motheo — context eo re ka e tiisetsang ka lebelo, ho ena le palo e kgahlisang e fokotsehang tlasa boima.
04Seo W8A16 e se bolelang, ka botlalo
Model e nngwe le e nngwe katalogong ena e na le sehlomathiso sa ho fokotswa se hlalosang phetoho ya sebele, e lekanngwang ho ena le sehlopha sa kgwebisano. Tsa rona ke 3BIT-REAP, W4A16-AUTOROUND-REAP le W8A16. MiMo-V2.5-Pro ke ya boraro.
Sehlomathiso se arohana habedi. W8 ke botshepehi ba weight: parameter e nngwe le e nngwe e bolokwa e le nomoro ya di-bit tse robedi ho ena le float ya di-bit tse 16, ka setekanyetso se arolelanwang ka sehlopha se senyenyane hore boholo ba sehlopha ka seng bo phele. A16 ke botshepehi ba tshebediso: dintlha tse phallang pakeng tsa marallo ha ho hlahiswa di dula di le di-bit tse 16. Di-weight di a fokotswa; dipalo ha di fokotswe.
Karolo eo ya bobedi e etsa mosebetsi o bohlokwa o sa buuweng haholo. Tshebediso e thata ho e fokotsa ho feta di-weight: e na le dikgoele tse fetang tekano — dintlha tse seng kae tseo boholo ba tsona bo fetisang tse ding kaofela mme di jara karolo e kgolo ya boitshwaro ba model. O ka di fokotsa ho ya botshepehing bo tlase mme wa kgaola sešupa seo o neng o se hloka hantle. Mekgwa e fokotsang di-weight feela e phema bothata bona ka ho tlohela tsela ya tshebediso e ntse e le yona, ke ka lebaka leo mosebetsi wa nnete wa ho fokotsa o kopantseng ho yona.
Kahoo potso ya sebele e fokotseha ho ntho e le nngwe: weight e ka mamella dibit tse fokolang hakae?
05W8A16 kgahlanong le W4A16 kgahlanong le 3-bit: moo tahlehelo e leng teng
Phuputso e kgolo ka ho fetisisa e phatlaladitsweng ka sena ke ya Neural Magic le Red Hat, "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — ho feta ditshekatsheko tse 500,000 ho pholletsa le lelapa la Llama-3.1 ho 8B, 70B le 405B. Sephetho sa yona sa hlooho, ka dipalo tsa yona:
| Sebopeho | Se fokotswang | Ho boela ho tlalehilweng kgahlanong le BF16 |
|---|---|---|
| W8A8-FP (8-bit) | Di-weight + tshebediso, float | ~99.75% ka kelegare — "ha e latlhehe hantle" |
| W8A8-INT (8-bit) | Di-weight + tshebediso, nomoro e felletseng | 99–100% ho 8B/70B; 98.2–99.3% ho 405B |
| W4A16-INT (4-bit) | Di-weight feela | 98–99.4% (8B); 98.6–99.8% (70B) |
Dipalo tse tlalehilweng ke Neural Magic / Red Hat (arXiv:2411.02355) hodima di-model tsa Llama-3.1 — sebopeho sa phapanyetsano, e seng dintlha tsa model ena.
Ha di baloa ka nnete, seo se shebahala e le kgang e kgahlanong le ho tsotella: 4-bit e a boela 98–99%, hobaneng ha o hlokomela? Hobane tseo ke ditekanyetso tsa thuto tse nang le dikarabo tse ngata tse kgethwang, tse haufi le sesebediswa se fokolang ka ho fetisisa se leng teng ho fumana tshenyo ya ho fokotswa. Potso ya tekanyetso e na le karabo e le nngwe e nepahetseng e fihlellwang ka token e le nngwe kapa tse pedi, mme phoso ya ho fokotswa e nyenyane, e le lerata le sa nkeng lehlakore hodima logit ye nngwe le e nngwe; poting e kgutshwane e nang le sebaka se seholo, lerata leo le a monngwa.
Jwale ngola di-token tse 4,000 tsa tokomane ya botekgeniki, boloka lentswe ho pholletsa le pale ya di-token tse 40,000, kapa hlahisa JSON e tlamehang ho netefatswa teko ya pele. Lerata le tshwanang le nkuwa makgetlo a dikete tse ngata ka tatellano, ka sampole se seng le se seng se susumetsa se latelang. Mokgwa wa ho hloleha hase karabo e fosahetseng — ke ho kgeloha: matla a ho tshwara taelo a ntse a fokotseha ho tloha mokgahlelong wa pele, sebapadi se emisang ho utlwahala jwalo ka sona haufi le token ya 3,000, lebonto la ho kwala le sa keng la fihla.
Moo di-bit di lahlehang teng hantle
Phoso ya ho fokotswa ha e phatlaletse ka tekano hodima bokgoni ba model; e kopana mohatleng. Boitshwaro bo hasaneng haholo — Senyesemane sa sebopeho se nepahetseng, sebopeho sa mosebetsi wa Python, ntlha tse sekete tse hlwahlwa ka ho fetisisa ka lefatshe — di ngotswe hape le hape hodima di-weight tse ngata mme di phela ho hoholo. Dikhutlo tse lokisitsweng ka ho hlwaya, tse boholo bo bonyenyane tsa kabo ya weight di na le tse sa tlwaelehang: mongolo o nepahetseng wa API e sa tsejweng, mokgwa wa mongodi e itseng, phapang pakeng tsa di-CVE tse pedi tse haufi. Ke tsona boleng boo grid e kgolwana e di potapotisang hammoho.
Mohato o tswang ho di-bit tse nne ho ya ho tse tharo ke moo sena se emisang ho ba lekgetho mme e ba lebota. Melao ya tekanyetso ya k-bit ya Dettmers le Zettlemoyer e fumane hore 4-bit ke ntlha e phahamisang nepahalo ya zero-shot ka bit ye nngwe le e nngwe ya mohopolo wa model ka ho fetisisa, ka ho kgeloha ho laolang tlase ho yona. Di-bit tse nne di fa maemo a 16 ka sehlopha; tse tharo di fa a 8. O fokotsa halofo ya tlhahlobo ya grid e seng e kgolo pele, mme phoso ya ho pota e mpa e menahana.
Dipalo tse etsang qeto
Papiso e lokelang ho etswa ke dipalo, e seng tekanyetso. Se phelang kamora ho fokotswa ke hoo e ka bang di-parameter × di-bit ka parameter — boholo bo jarang tlhahisoleseding ba faele ya weight. Nka metheo e mmedi e nahanwang e nang le boleng bo lekanang ka parameter:
- Motheo A: di-parameter tse 400B ho di-bit tse tharo → hoo e ka bang 150 GB ya weight e setseng.
- Motheo B: di-parameter tse 160B ho di-bit tse robedi → hoo e ka bang 160 GB ya weight e setseng.
Ka palo e tala ya di-parameter, A e hlola ka makgetlo a pedi le halofo ho e le nngwe — palo eo karete ya model e qalang ka yona. Ka tlhahisoleseding e setseng ba lekana, mme B e na le molemo wa sebopeho hape: di-weight tsa yona di dutse hodima grid e nepahetseng ho lekana hore boitshwaro ba yona ba mohatla bo dutse bo phethehile, ha mohatla wa A o se o fokotsitswe ho ya boteng. A e tseba dintho tse ngata; B e tseba seo e se tsebang ka botebo bo eketsehileng. Bakeng sa tlhahiso e telele, sebopeho se nepahetseng, taolo ya setaele le boikanyo ba context e telele, nka B.
Dipalo tsa mohlala, e seng tekanyetso: e bontsha hobaneng "motheo o moholwana" le "model e sebetsang hantle" e leng dikgang tse fapaneng.
06Hobaneng di-token tse trillione tse 27 tsa koetliso di etsang ho fokotswa ho matla ho be hampe le ho feta
Sephetho sa bobedi, se sa bonahaleng kapele hakalo, se ama motheo ona ka kotloloho. Pampiri ya Kumar le ba bang ya ICLR 2025 Scaling Laws for Precision e fumana hore ha datha eo model e koetliswang ka yona e eketseha, tshenyo eo ho fokotswa kamora koetliso ho e etsang le yona ya eketseha. Botshepehi bo tlase bo fokotsa palo e sebetsang ya di-parameter tsa model, mme ho kgeloha hona ho eketseha ka datha ya koetliso ya pele e mometsweng — ho fihla moo datha e eketsehileng ya koetliso ya pele e ka bang kotsi hape haeba o rerile ho fokotsa ka matla, hobane o ntse o beha sebopeho se nepahetseng seo grid e tla se hlakola.
Model e koetlisitsweng ka di-token tse 5T e na le sebopeho sa weight se kgolwana, se phetahetsweng le sebaka se setseng. Model e koetlisitsweng ka di-token tse 27T — tekanyetso ya MiMo-V2.5-Pro — e sebedisitse datha eo e eketsehileng ho ngola dikgeo tse nepahetseng ka ho fetisisa ho di-weight tse nepahetseng, seo e leng hantle seo grid ya 3-bit e sa kgoneng ho se emela.
Ho na le nnete ya FP8 e tswang karolong 03, kgang e hlwekileng ka ho fetisisa sehloohong sena. MiMo-V2.5-Pro e koetlisitswe ka tshebediso e kopantsweng ya FP8. Di-weight tsa yona di ile tsa bopwa ho tloha qalong ke optimizer e sebetsang ka botshepehi ba hoo e ka bang di-bit tse robedi. Ho e sebedisa ka di-weight tsa di-bit tse robedi ha se ho hopolwa ha bofelo ho latlhehisang ho behwa hodima model ya di-bit tse 16 — ho haufi le ho kgutlisetsa di-weight moelong wa dinomoro oo di ithutetsweng ho ona. Sebopeho se senyenyane se nepahetseng se fumanehang tlasa bit ya boroba bobedi ke se senyenyane ho se latlhehisa. Ha ho jwalo ka di-weight tseo di qobelletsweng ho ya ho tse tharo.
07REAP: hobaneng ho poma ditsebi e le mofuta o fapaneng wa tahlehelo ho ena le ho pota
Dihlopha tse pedi ho tse tharo di na le sehlomathiso sa REAP — ketso e fapaneng ka botlalo ho ena le ho fokotswa. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) ke ho fokotswa hanngwe bakeng sa di-model tsa MoE tse hasaneng: e lekanya tsebi e nngwe le e nngwe ka boleng ba router ba lifensetere le tekanyo ya tshebediso ya tsebi, ebe e hlakola tse lekanyetswang ka tlase ka ho fetisisa. Cerebras e tlaleha diphetho tse haufi le ho se latlhehe tlhahisong ya khoutu le ho bitseng disebediswa esita le ha 50% ya ditsebi di pomilwe.
Re sebedisa REAP ka lebaka leo e leng teng ka lona: ho di-motheo tse kgolo ka ho fetisisa ke yona e etsang hore di kgonehe ho sebediswa. Empa hlokomela phapang ya mofuta. Ho fokotswa ho ferekanya weight e nngwe le e nngwe hanyenyane; ho poma ho tlosa ditsebi ka botlalo. Haeba mosebetsi wa hao o ya haholo bokgoning boo bo neng bo dula tsebing e sa kgethwang hangata — puo e nyenyane ya ho ngola khoutu, mantswe a itseng — ha ho kgeloha. E nyametse, mme ha ho prompt e e kgutlisang. Kelegare e dula e le ntle ka ho fetisisa; mohlala wa mohatla wa hao e ka nna wa se dule jwalo.
MiMo-V2.5-Pro · W8A16 ha e na sehlomathiso sa REAP. Ditsebi tsohle tse 384 di teng, mme router e kgetha ho tswa sehlopheng se felletseng seo motheo o koetlisitsweng ka sona.
| Sehlopha | Di-bit tsa weight | Ditsebi | Seo o se fanang ka sona |
|---|---|---|---|
| W8A16 | 8 | Tsohle di teng | Ha ho letho la sebopeho. Sehlopha sa botshepehi. |
| W4A16-AUTOROUND-REAP | 4 | Di pomilwe | Dintlha tse nepahetseng tsa weight hammoho le ditsebi tse sa sebediswang hangata, phapanyetsanong ya motheo o moholwana haholo lebandeng le tshwanang la theko. |
| 3BIT-REAP | 3 | Di pomilwe | Tlhahlobo e kgolo ya weight hammoho le ditsebi tse sa sebediswang hangata — theko ya ho matha di-motheo tse kgolo ka ho fetisisa ka lebelo. |
Sehlopha se bohareng se lokelwa ke ho utlwiswa ka toka. AutoRound hase ho pota ho bonolo: mokgwa wa Intel (arXiv:2309.05516) o sebedisa signed gradient descent ho pholletsa le mehato e ka bang 200 ho lokisa diqeto tsa ho pota le sebaka sa ho kgaola ka sehlopha se seng sa weight, mme o tlalehilwe o le haufi le ho se latlhehe ho di-bit tse nne dintlheng tse ngata, o hlola GPTQ, AWQ, HQQ le OmniQuant tlhophisong e ngata tse lekilweng. Model ya W4A16-AUTOROUND ke model e ntle ya nnete ya 4-bit. E ntse e le model ya 4-bit.
08Ke mang ya lokelang ho kgetha sehlopha sa 8-bit — le hore na ha se ya mang
MiMo-V2.5-Pro · W8A16 e dutse theko e tlase ka ho fetisisa ya katalogo yohle — $0.50 kenyo / $2.00 tlhahiso ka di-token tse milione, lebanda le tshwanang le la di-model tsa qalo tsa 4-bit mme e le hoo e ka bang karolo ya bone ya theko ya kenyo ya model e theko e phahameng ka ho fetisisa eo re e sebedisang. Ha o lefe ka ho eketsehileng bakeng sa botshepehi; o kgetha lehlakore le fapaneng la tekanyetso e tshwanang.
E kgethe ha
- Botelele ba tlhahiso e le ona mosebetsi. Mongolo o motelele wa botekgeniki, mongolo wa dikgaolo tsa pale, ditokomane tse felletseng — token e nngwe le e nngwe e hlahisitsweng ke eo lerata la ho fokotswa le eketsehang ho yona.
- Lentswe le tshepahalo di bohlokwa. Mosebetsi wa sebapadi, mokgwa wa lebitso la kgwebo, mokgwa o tshwarelwang ho pholletsa le seboka se telele. Setaele se dula mohatleng, mme ke mohatla oo ho fokotswa ho kgolwana ho o jang pele.
- Tlhahiso e hlophisitsweng e tlameha ho netefatsa teko ya pele. Model e tshehetsa
json_schemaleresponse_format; ho latela sebopeho ke tlhaho ya botshepehi, mme teko e nngwe le e nngwe e phemwang ke tjhelete le nako e bolokwang. - O ntse o tlatsa context. Ho latela taelo ho token ya 200,000 ho thata ho feta ho token ya 2,000, mme ho a kgeloha ka botshepehi ba weight — jwalo ka kgoele e telele ya ho nahana, moo diphoso di eketsehang ka tsela e tshwanang.
- Mosebetsi o se nang thibelo ka tlhaho. Dipatlisiso tsa tshireletso, red-teaming, mongolo o sa sefuweng, tlhahlobo e tebileng ya bongaka kapa molao — moo karabo e tshwarelehang e leng mpe ho feta ho se be le karabo.
Kgetha ntho e nngwe ha
- O hloka pono. Model ena ke mongolo feela; ngwanabo yona MiMo-V2.5 · W8A16 e na le pono ka theko e tshwanang le sehlopha se tshwanang.
- O hloka tsebo e phatlaletseng ka ho fetisisa ya lefatshe dipotsong tse kgutshwane. Ke moo di-parameter tse eketsehileng tsa motheo o moholwana wa 3-bit di hlolang teng mme tshenyo ya yona ya ho fokotswa e sa bonahale hakalo.
- Mosebetsi wa hao ke tlhophiso e kgutshwane e bongata bo boholo. Tshenyo ya ho fokotswa ha e bonahale teng — reka se potlakang ka ho fetisisa.
09Ho bitsa API ya MiMo e se nang thibelo
Haeba khoutu ya hao e sebedisa OpenAI SDK, ho fetola base URL le id ya model ke phetiso e felletseng:
curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer $SHANNON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MiMo-V2.5-Pro-W8A16",
"messages": [
{"role": "user", "content": "Draft the threat model section."}
],
"reasoning_effort": "high",
"max_tokens": 16384,
"stream": true
}'
/v1/messages le /v1/responses di amohela id le bokgoni bo tshwanang. Tshupiso ya di-parameter, dihlophiso tsa ho bitsa disebediswa, mehlala ya tlhahiso e hlophisitsweng le sebaka sa ho leka se phelang di ho ditokomane tsa API tsa Shannon AI.
| Bokgoni | MiMo-V2.5-Pro · W8A16 |
|---|---|
| Fensetere ya context | Di-token tse 262,144 |
| Tlhahiso e kgolo ka ho fetisisa ka kopo | Di-token tse 16,384 |
| Ho phalla | E — dipuo tsohle tse tharo |
| Ho bitsa disebediswa | E |
Ho nahana / reasoning_effort | E |
Tlhahiso e hlophisitsweng ya json_schema | E |
response_format | E |
| Pono / dikeno tsa ditshwantsho | Tjhe — sebedisa MiMo-V2.5 |
| Lera la ho hana / sefe hodima tlhahiso | Ha ho na |
| Theko ka di-token tse milione | $0.50 kenyo / $2.00 tlhahiso |
Dintlha tsohle tse tswang kantle mona di phatlaladitswe ke motho e mong ho ena le rona mme di supuwa mongolong. Diphetho tsa ho boela ho fokotswa di tswa dithutong tsa lelapa la Llama: di hlalosa sebopeho sa phapanyetsano, e seng dintlha tsa model ena.
10Dipotso tse botswang hangata
API ya MiMo e se nang thibelo ke eng?
Ntlha ya Shannon AI bakeng sa MiMo-V2.5-Pro, model ya Mixture-of-Experts ya di-weight tse bulehileng tsa Xiaomi, e sebediswang sehlopheng sa rona sa di-GPU ntle le lera la ho hana le ntle le ho sefuwa ha tlhahiso. E fumaneha ka /v1/chat/completions, /v1/messages le /v1/responses, ka context ya di-token tse 262,144 le di-token tse 16,384 tsa tlhahiso ka kopo.
W8A16 e bolela eng, mme hobaneng e le bohlokwa?
W8A16 e bolela hore di-weight di bolokwa ka di-bit tse robedi ka nngwe ha tshebediso e balwa ka di-bit tse 16. Ke sehlopha se phahameng ka ho fetisisa sa botshepehi katalogong ya rona. Dithuto tse phatlaladitsweng di fumana hore mekgwa e fokotsang di-weight feela ho di-bit tse robedi e boela hoo e ka bang nepahalo yohle ya model ya mmatho, ha 4-bit e fana ka botshepehi bo bonyenyane bakeng sa mohopolo mme 3-bit e fana ka bo boholo.
Na model e nyenyane ho 8-bit e ka hlola model e kgolwana ho 3-bit?
Hangata, e. Se phelang kamora ho fokotswa ke hoo e ka bang palo ya di-parameter e atisitswe ka di-bit ka parameter, mme phoso ya ho fokotswa e kopana boitshwarong bo sa tlwaelehang, ba mohatla. Model e bolokilweng ho di-bit tse robedi e boloka botsitso ba yona ba mongolo o motelele, sebopeho se nepahetseng le tsebo ya mohatla; model e kgolwana e fokotsitsweng ho di-bit tse tharo e boloka dintlha tsa yona tse phatlaletseng tsa tekanyetso empa e lahlehelwa ke dintho tseo.
Na MiMo-V2.5-Pro e tshehetsa pono kapa dikeno tsa ditshwantsho?
Tjhe. MiMo-V2.5-Pro ho Shannon AI ke mongolo feela. E tshehetsa ho bitsa disebediswa, ho nahana ka reasoning_effort, tlhahiso e hlophisitsweng ya JSON-schema le response_format. Haeba o hloka keno ya setshwantsho, sebedisa model e ngwanabo MiMo-V2.5 W8A16, e nang le pono ka theko e tshwanang.
API ya MiMo e se nang thibelo e bitsa bokae?
$0.50 ka di-token tse milione tsa kenyo le $2.00 ka di-token tse milione tsa tlhahiso. Ke theko e tlase ka ho fetisisa katalogong ya Shannon AI, e etsang hore MiMo-V2.5-Pro e be tsela e theko e tlase ka ho fetisisa ya ho reka botshepehi ba 8-bit sebakeng sena.
Leka API ya MiMo e se nang thibelo
Botshepehi ba di-bit tse robedi, context ya 262K, ha ho lera la ho hana — ka theko e tlase ka ho fetisisa katalogong.
Bala Ditokomane tsa API Sheba di-Model TsohleE sebetsa tlasa Leano la Shannon AI la Tshebediso e Ikarabellang
Mehlodi: Tlaleho ya botekgeniki ya MiMo, arXiv:2505.07608 · Karete ya model ya MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Melao ya tekanyetso ya k-bit, arXiv:2212.09720 · Scaling Laws for Precision, Kumar le ba bang, ICLR 2025. Dipalo tsohle tsa tekanyetso di jwalo ka ha di tlalehilwe ke bangodi ba tsona. Shannon AI ke sehlahiswa sa Shannon Lab LLC, New Mexico, USA.