API MiMo Aláìní Ìhámọ́ ní Ìpéye 8-Bit
Ìpìlẹ̀ MiMo ti Xiaomi tí ó fi ìrònú ṣáájú, tí a ń pèsè pẹ̀lú kò sí ìpele ìkọ̀sílẹ̀ ní W8A16 — ipele ìdínwọ̀n tí ó ní ìpéye gíga jù tí a ń ṣiṣẹ́ pẹ̀lú — ní iye ilẹ̀ àkójọ náà.
Ní Ṣókí
MiMo-V2.5-Pro · W8A16 ni MiMo-V2.5-Pro ti Xiaomi pẹ̀lú ìwúwo ṣíṣí, tí a ń pèsè lórí ìdìpọ̀ GPU ti Shannon fúnra rẹ̀ ní ìwúwo 8-bit / ìṣiṣẹ́ 16-bit — ipele tí ó kéré jù tí a fúnpọ̀ nínú àkójọ àwòṣe méjìlá wa. Kọ́ńtẹ́kìsì token 262,144, token ìtújáde 16,384 fún ìbéèrè kọ̀ọ̀kan, ìpe ohun-èlò, ìrònú, ìtújáde tí a ṣètò JSON-schema, ṣíṣàn lórí èdè API mẹ́tẹ̀ẹ̀ta, àti kò sí ìpele ìkọ̀sílẹ̀ tàbí ìṣẹ́sẹ̀ ìtújáde, ní $0.50 wọlé / $2.00 jáde fún mílíọ̀nù token kan — ilẹ̀ àkójọ náà. Ọ̀rọ̀-nìkan; lo MiMo-V2.5 · W8A16 fún àwòrán.
Ọ̀pọ̀ àkójọ ń tà ọ́ iye párámítà. Ìyẹn ni nọ́mbà tí kò tọ́ láti fi ra ọjà, nítorí gbogbo àwòṣe ńlá pẹ̀lú ìwúwo ṣíṣí tí o lè san fún ní ti gidi ni a ti fúnpọ̀ láti bá ibì kan mu. Ìbéèrè òtítọ́ náà kì í ṣe "báwo ni èyí ṣe tóbi tó kí a tó fún un pọ̀?" ṣùgbọ́n "mélòó nínú rẹ̀ ni ó ṣì wà níhìn-ín?" Àpilẹ̀kọ yìí ń sọ̀rọ̀ nípa ìbéèrè yẹn, àti nípa àwòṣe nínú àkójọ wa tí ìdáhùn rẹ̀ jẹ́ fẹ́rẹ̀ẹ́ jẹ́ gbogbo rẹ̀.
01Ohun tí API MiMo aláìní ìhámọ́ ń fún ọ ní ti gidi
API MiMo aláìní ìhámọ́ jẹ́ ìdámọ̀ àwòṣe kan, MiMo-V2.5-Pro-W8A16, tí a lè dé ọ̀dọ̀ rẹ̀ nípasẹ̀ èdè mẹ́tẹ̀ẹ̀ta tí ó ń dé ìwúwo kan náà lórí ìdìpọ̀ GPU tiwa: /v1/chat/completions, /v1/messages àti /v1/responses. Gbogbo mẹ́tẹ̀ẹ̀ta ń ṣàn wọ́n sì ń gba ìpe ohun-èlò àti ìrònú.
Aláìní ìhámọ́ ní ìtumọ̀ dín níhìn-ín: kò sí ìpele ìkọ̀sílẹ̀ níwájú àwòṣe náà, kò sí ìṣẹ́sẹ̀ lórí ìtújáde rẹ̀. A kì í dí, pín sí ẹ̀ka, tàbí tún kọ ohunkóhun. O ń rí ìwà tí ìpìlẹ̀ náà ní fúnra rẹ̀ — èyí tí, fún àwòṣe ìwúwo-ṣíṣí ìpele-ìwádìí, túmọ̀ sí pé ó ń bá ìwádìí ààbò, ìtàn àròsọ àgbàlagbà tàbí oníwà-ipá, ìrònú ìṣègùn àti òfin, àti àwọn ìbéèrè tí àwọn ibi ìsopọ̀ oníṣòwò tí a gbé kalẹ̀ ń kọ̀ láìronú, ṣiṣẹ́ pọ̀. Ó jẹ́ ohun-èlò oníṣẹ́ọ̀wọ́ lábẹ́ Ìlànà Ìlò Onídùúró wa, kì í ṣe àìsí òfin.
02Ìlà MiMo: eré tí Xiaomi tẹ̀ lé lórí ìdálẹ́kọ̀ọ́-ṣáájú tí ó fi ìrònú ṣáájú
MiMo kì í ṣe ọmọ Llama pẹ̀lú orúkọ tuntun; ó jẹ́ ìlà ọ̀tọ̀ láti ọ̀dọ̀ ẹgbẹ́ MiMo ti Xiaomi, èrò ìpìlẹ̀ẹ̀ rẹ̀ sì ṣe pàtàkì kí o tó díwọ̀n àwòṣe náà. Ó bẹ̀rẹ̀ pẹ̀lú MiMo-7B (April 30, 2025, ìwé-àṣẹ MIT), tí ìròyìn ìmọ̀-ẹ̀rọ rẹ̀ ń jiyàn pé ọ̀pọ̀ àwọn ilé-iṣẹ́ ìwádìí ń wo ìrònú gẹ́gẹ́ bí ìṣòro-lẹ́yìn-ìdálẹ́kọ̀ọ́ tí a ó fi kún un pẹ̀lú RL, èyí sì kọ̀ sẹ́yìn. Xiaomi kúkú tún ìdálẹ́kọ̀ọ́-ṣáájú ṣe yí i ká dípò: àdàpọ̀ ìpele mẹ́ta jákèjádò token 25 trílíọ̀nù, ìpele kejì tí ó fi nǹkan bí 70% sí ìṣírò àti koodu, ìpele kẹta tí ó ń fi ìtọpasẹ̀ ìrònú tí a dá sílẹ̀ kún un nígbà tí ó ń gbé kọ́ńtẹ́kìsì láti 8K sí 32K sókè — pẹ̀lú góńgó Àsọtẹ́lẹ̀ Token-Púpọ̀ tí ó tún jẹ́ orí ìdíwọ̀n-àsọtẹ́lẹ̀.
Àbájáde náà jẹ́ àwòṣe ìpìlẹ̀ 7B tí ó hùwà bí ohun tí ó tóbi ju bẹ́ẹ̀ lọ. MiMo-7B-Base gba 32.9 lórí AIME 2024 níbi tí Qwen2.5-7B gba 10.1, Gemma-2-9B gba 0.0, Llama-3.1-8B sì gba 0.3. Lẹ́yìn-ìdálẹ́kọ̀ọ́ lẹ́yìn náà ṣe RL lórí ìṣòro ìṣírò àti koodu 130,000 tí a lè fọwọ́sí pẹ̀lú ẹ̀san koodu tí ìsòro àdánwò darí, tí ó bọ́ sí àyè kúrò nínú ìdẹ̀kùn ẹ̀san-tín-ínrín tí ń mú RL koodu di aláìdúró. Àbájáde náà bọ́ sí iwájú o1-mini:
AIME 2025, nọ́mbà tí Xiaomi ròyìn láti inú ìròyìn ìmọ̀-ẹ̀rọ MiMo (arXiv:2505.07608). MiMo-7B-RL tún ròyìn 95.8 lórí MATH-500 àti 57.8 lórí LiveCodeBench v5.
Ìdílé náà gbòòrò dípò kí ó yapa: MiMo-VL-7B (June 2025) fi olùkó Qwen2.5-ViT sí ẹ̀yìn-ìpìlẹ̀ kan náà, December 2025 sì mú MiMo-Audio-7B wá pẹ̀lú ìtẹ̀wọlé MoE àkọ́kọ́, MiMo-V2-Flash (àpapọ̀ 309B / 15B tí ń ṣiṣẹ́, token 27T, ìpéye àdàpọ̀ FP8). MiMo-V2-Pro tẹ̀lé e ní March 2026 ní nǹkan bí 1T / 42B tí ń ṣiṣẹ́ pẹ̀lú kọ́ńtẹ́kìsì 1M, lẹ́yìn ọ̀sẹ̀ mélòó kan lórí OpenRouter gẹ́gẹ́ bí "Hunter Alpha". MiMo-V2.5 àti MiMo-V2.5-Pro jáde papọ̀ ní April 22, 2026, méjèèjì ní ìwé-àṣẹ MIT.
03Nínú MiMo-V2.5-Pro: bí ìpìlẹ̀ náà ṣe rí
Gẹ́gẹ́ bí àkọsílẹ̀ àwòṣe tí Xiaomi tẹ̀ jáde, MiMo-V2.5-Pro jẹ́ àwòṣe Àdàpọ̀ Àwọn Amòye tí ó fọn ká pẹ̀lú párámítà 1.02 trílíọ̀nù ní àpapọ̀ àti bílíọ̀nù 42 tí ń ṣiṣẹ́ fún token kọ̀ọ̀kan jákèjádò ìpele 70 — ọ̀kan dídí, 69 MoE — àti amòye 384 tí a darí, 8 fún token kọ̀ọ̀kan. Ìwọ̀n fífarasin jẹ́ 6144, pẹ̀lú ìwọ̀n àárín MoE tí ó dín ti 2048.
Àṣàyàn méjì ń ṣe àpẹẹrẹ bí ó ṣe ń rí lára nínú lílò. Ìdìpọ̀ àfiyèsí jẹ́ àdàpọ̀: ìpele àfiyèsí-kíkún 10 àti ìpele fèrèsé-ìrìn-àyípoyí 60 pẹ̀lú fèrèsé 128, pẹ̀lú ìtẹ̀síwájú ibùdó-àfiyèsí tí a lè kọ́. Xiaomi ròyìn pé èyí ń gé ìpamọ́ KV-cache dín sí ó fẹ́rẹ̀ẹ́ tó ìlọ́po 7 ní ìfiwéra sí àfiyèsí-àgbáyé-kíkún nígbà tí ó ń dá dídára kọ́ńtẹ́kìsì gígùn dúró — ìyàtọ̀ láàrin fèrèsé tí ó jẹ́ gígùn lórúkọ àti èyí tí o lè san fún láti kún. Ó tún ń gbé ìpele Àsọtẹ́lẹ̀ Token-Púpọ̀ mẹ́ta, tí ó fi orí àsọtẹ́lẹ̀ fún decoder náà.
Ìdálẹ́kọ̀ọ́ jẹ́ token 27 trílíọ̀nù ní gígùn ọ̀wọ́n 32K ti ìbílẹ̀ nínú ìpéye àdàpọ̀ FP8 (E4M3), lẹ́yìn náà àtúnṣe-dáradára tí a bójútó, RL aṣojú ìwọ̀n-ńlá àti ìdásílẹ̀ oníṣùgbọ́n-púpọ̀ orí-ìlànà. Dì mọ́ kúlẹ̀kúlẹ̀ FP8 yẹn; ó ni àríyànjiyàn kan tí ó lágbára jù láti pèsè ìpìlẹ̀ yìí ní bit 8.
Xiaomi ròyìn àwòṣe náà ní 57.2% lórí SWE-bench Pro, 72.9 lórí τ3-Bench fún lílo ohun-èlò àti 48.0% lórí Humanity's Last Exam — àwọn nọ́mbà olùtajà fúnra rẹ̀ lórí àwòṣe tí a kò fúnpọ̀, tí a fa yọ gẹ́gẹ́ bẹ́ẹ̀.
A ń pèsè fèrèsé token 262,144, kì í ṣe 1M kíkún ti ìpìlẹ̀ náà — kọ́ńtẹ́kìsì tí a lè dánilójú ní kánkán, dípò nọ́mbà orí-àkọlé tí ń dín kù lábẹ́ ẹrù.
04Kí ni W8A16 túmọ̀ sí, ní pàtó
Àwòṣe kọ̀ọ̀kan nínú àkójọ yìí ní àfikún ìdínwọ̀n tí ó ń ṣàpèjúwe ìyípadà gidi, tí a lè díwọ̀n dípò ipele polówó. Ti wa ni 3BIT-REAP, W4A16-AUTOROUND-REAP àti W8A16. MiMo-V2.5-Pro ni èkẹta.
Àmì náà pín sí méjì. W8 ni ìpéye ìwúwo: a ń fi párámítà kọ̀ọ̀kan pamọ́ gẹ́gẹ́ bí nọ́mbà 8-bit dípò fífò 16-bit, pẹ̀lú okùnfà ìwọ̀n tí a pín fún ẹgbẹ́ kékeré kọ̀ọ̀kan kí ààlà agbára àdúgbò ẹgbẹ́ kọ̀ọ̀kan lè yè. A16 ni ìpéye ìṣiṣẹ́: àwọn iye tí ń ṣàn láàrin àwọn ìpele nígbà ìṣírò ń dúró ní bit 16. Ìwúwo ń di fífúnpọ̀; ìṣírò náà kò dí bẹ́ẹ̀.
Ìdajì kejì yẹn ń ṣe iṣẹ́ pàtàkì tí kò fọ̀rọ̀ sọ. Ó ṣòro púpọ̀ láti dínwọ̀n ìṣiṣẹ́ ju ìwúwo lọ: wọ́n ní àwọn ọ̀nà ẹ̀ka tí ó jáde-sí-ìta gan-an — ìwọ̀n díẹ̀ tí ìwọ̀n wọn ju gbogbo ohun mìíràn lọ tí wọ́n sì ń gbé ìpín tí kò dọ́gba ti ìwà àwòṣe náà. Bí o bá tì wọ́n sí ìpéye kékeré o ń gé gan-an àmì tí o nílò. Àwọn ìlànà ìwúwo-nìkan ń yẹra fún ìṣòro náà nípa fífi ipa-ọ̀nà ìṣiṣẹ́ sílẹ̀, ìyẹn ni ìdí tí iṣẹ́ ìdínwọ̀n tí ó jinlẹ̀ ti ṣàpapọ̀ sí wọn.
Nítorí náà ìbéèrè amóhùnmáwòrán ń dín kù sí ohun kan: bit mélòó ni ìwúwo lè fara dà tí ó kéré jù?
05W8A16 lòdì sí W4A16 lòdì sí 3-bit: ibi tí ìpàdánù náà ti ń lọ ní ti gidi
Ìwádìí tí ó tóbi jù tí a tẹ̀ jáde lórí èyí ni ti Neural Magic àti Red Hat, "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — ju ìdánwò 500,000 lọ jákèjádò ìdílé Llama-3.1 ní 8B, 70B àti 405B. Àbájáde orí-àkọlé wọn, ní nọ́mbà tiwọn:
| Ìrísí | Ohun tí a fúnpọ̀ | Ìgbàpadà tí a ròyìn lòdì sí BF16 |
|---|---|---|
| W8A8-FP (8-bit) | Ìwúwo + ìṣiṣẹ́, fífò | ~99.75% ní àpapọ̀ — "fẹ́rẹ̀ẹ́ láìsí ìpàdánù" |
| W8A8-INT (8-bit) | Ìwúwo + ìṣiṣẹ́, nọ́mbà odidi | 99–100% ní 8B/70B; 98.2–99.3% ní 405B |
| W4A16-INT (4-bit) | Ìwúwo nìkan | 98–99.4% (8B); 98.6–99.8% (70B) |
Nọ́mbà tí Neural Magic / Red Hat ròyìn (arXiv:2411.02355) lórí àwọn àwòṣe Llama-3.1 — ìrísí pàṣípààrọ̀ náà, kì í ṣe ìwọ̀n àwòṣe yìí.
Bí a bá kà á ní òtítọ́, ó dà bí àríyànjiyàn lòdì sí bíbìkítà: 4-bit ń gba 98–99% padà, kí ló wá dé tí a fi ń fiyèsí? Nítorí àwọn wọ̀nyẹn jẹ́ ìdíwọ̀n ẹ̀kọ́ ààyò-púpọ̀, tí ó súnmọ́ ohun èlò tí ó burú jù tí ó wà láti ṣàwárí ìpalára ìdínwọ̀n. Ìbéèrè ìdíwọ̀n ní ìdáhùn kan tí ó tọ́ tí a lè dé ọ̀dọ̀ rẹ̀ ní token kan tàbí méjì, àṣìṣe ìdínwọ̀n sì kéré, ó fẹ́rẹ̀ẹ́ jẹ́ ariwo tí àárín rẹ̀ jẹ́ odo lórí logit kọ̀ọ̀kan; lórí ìbéèrè kúkúrú tí ó ní ààlà gbòòrò, a ń gba ariwo yẹn.
Ní báyìí kọ token 4,000 ti àkọsílẹ̀ ìmọ̀-ẹ̀rọ, dì mọ́ ohùn kan jákèjádò ìtàn token 40,000, tàbí dá JSON jáde tí ó gbọ́dọ̀ fọwọ́sí ní ìgbìyànjú àkọ́kọ́. Ariwo kan náà ni a ń yan ẹgbẹẹgbẹ̀rún ìgbà ní ọ̀wọ́ọ̀wọ́, ìyàn kọ̀ọ̀kan ń pinnu èyí tí ó tẹ̀lé e. Ipò ìkùnà náà kì í ṣe ìdáhùn tí kò tọ́ — ó jẹ́ ìṣíwájú: ìdìmú tí ó ń tú sílẹ̀ lórí ìtọ́ni láti ìyípo kìíní, ìhùwàsí tí ó dá dúró kíkọ bí ara rẹ̀ ní ààrọ̀ token 3,000, àmì-ìpalẹ̀ tí kò dé rárá.
Ibi tí àwọn bit ti ń lọ ní ti gidi
Àṣìṣe ìdínwọ̀n kò fọ́n ká ní déédéé jákèjádò agbára àwòṣe kan; ó ń kóra jọ sí ìrù. Àwọn ìwà agbára-gíga — Gẹ̀ẹ́sì gírámà, ìrísí iṣẹ́-ṣíṣe Python, ẹgbẹ̀rún òtítọ́ tí ó ga jù nípa ayé — ni a kọ sínú koodu ní ìgbà púpọ̀ jákèjádò ọ̀pọ̀ ìwúwo wọ́n sì ń yè fẹ́rẹ̀ẹ́ ohunkóhun. Àwọn igun ìpín-ìwúwo tí a tọ́ ní pàtó, tí ìwọ̀n rẹ̀ kéré ni ó ní ohun tí kò wọ́pọ̀: àmì gan-an ti API tí kò gbajúmọ̀, ìlù ọ̀rọ̀ òǹkọ̀wé pàtó kan, ìyàtọ̀ láàrin CVE méjì tí ó bára wọn mu. Àwọn wọ̀nyẹn ni iye tí gírídì tí ó ń hàn kedere ń yí kà sí ara wọn.
Ìgbésẹ̀ láti bit 4 sí 3 ni ibi tí èyí ti dá dúró jíjẹ́ owó orí tí ó sì di orí-àpáta. Òfin ìwọ̀n-ìṣírò k-bit ti Dettmers àti Zettlemoyer rí i pé 4-bit ni ibi tí ó ń mú ìpéye zero-shot pọ̀ jù fún bit ìrántí àwòṣe kọ̀ọ̀kan, dídín kù sì ń darí ní ìsàlẹ̀ rẹ̀. Bit mẹ́rin fún ipele 16 fún ẹgbẹ́ kan; mẹ́ta fún 8. O ń dá ìpéye gírídì tí ó ti hàn kedere tẹ́lẹ̀ ní ìdajì, àṣìṣe yíyí-kà fún ìwúwo kọ̀ọ̀kan sì fẹ́rẹ̀ẹ́ di ìlọ́po méjì.
Ìṣírò tí ó pinnu rẹ̀
Ìfiwéra tí ó tọ́ láti ṣe jẹ́ ìṣírò, kì í ṣe ìdíwọ̀n. Ohun tí ó ń yè lẹ́yìn ìfúnpọ̀ jẹ́ nǹkan bí párámítà × bit fún párámítà kọ̀ọ̀kan — ìwọ̀n ìgbé-ìmọ̀ ti fáìlì ìwúwo náà. Mú ìpìlẹ̀ méjì tí a rò pé wọ́n dọ́gba ní dídára fún párámítà kọ̀ọ̀kan:
- Ìpìlẹ̀ A: párámítà 400B ní bit 3 → nǹkan bí 150 GB ti ìwúwo tí ó kù.
- Ìpìlẹ̀ B: párámítà 160B ní bit 8 → nǹkan bí 160 GB ti ìwúwo tí ó kù.
Ní iye párámítà tààrà A borí ní méjì àti ìdajì sí ọ̀kan — nọ́mbà tí àkọsílẹ̀ àwòṣe náà fi ṣáájú. Ní ìmọ̀ tí ó kù wọ́n dọ́gba, B sì tún ní àǹfààní ìhun-ìkọ́ síwájú sí i: àwọn ìwúwo rẹ̀ jókòó lórí gírídì tí ó tọ́ tó bẹ́ẹ̀ tí ìwà ìrù rẹ̀ kò yẹ̀; nígbà tí a ti dín ìrù A kù sí inú ọ̀pọ̀ náà. A mọ ohun púpọ̀ sí i; B mọ ohun tí ó mọ̀ ní kedere sí i. Fún ìṣẹ̀dá gígùn, ìrísí tí ó tọ́, ìdarí ọ̀nà kíkọ àti ìtẹ̀lé kọ́ńtẹ́kìsì gígùn tí ó dúró ṣinṣin, mú B.
Ìṣírò àpẹẹrẹ, kì í ṣe ìdíwọ̀n: ó ń fi hàn ìdí tí "ìpìlẹ̀ tí ó tóbi jù" àti "àwòṣe tí a pèsè dáadáa jù" fi jẹ́ ọ̀rọ̀ méjì tí ó yàtọ̀.
06Ìdí tí token ìdálẹ́kọ̀ọ́ 27 trílíọ̀nù fi mú ìdínwọ̀n líle burú sí i
Àbájáde kejì, tí kò rọrùn láti mọ̀ ní kánkán, kan ìpìlẹ̀ yìí tààrà. Ìwé Kumar et al. ní ICLR 2025, Scaling Laws for Precision, rí i pé bí data tí a fi kọ́ àwòṣe kan ṣe pọ̀ sí i, bẹ́ẹ̀ náà ni ìpalára tí ìdínwọ̀n-lẹ́yìn-ìdálẹ́kọ̀ọ́ ń ṣe sí i ṣe pọ̀ sí i. Ìpéye kékeré ń dín iye párámítà tí ó ṣiṣẹ́ ní ti gidi ti àwòṣe kù, dídín kù náà sì ń pọ̀ sí i pẹ̀lú data ìdálẹ́kọ̀ọ́-ṣáájú tí a mú sí inú rẹ̀ — jìnnà tó bẹ́ẹ̀ tí data ìdálẹ́kọ̀ọ́-ṣáájú àfikún lè jẹ́ ìpalára ní àpapọ̀ bí ó bá jẹ́ pé o ń pète láti dínwọ̀n líle, nítorí o ń gbé ìhun-ìkọ́ tí ó tọ́ kalẹ̀ tí gírídì náà yóò nù.
Àwòṣe tí a kọ́ pẹ̀lú token 5T ní ìhun-ìkọ́ ìwúwo tí ó hàn kedere, tí ó sì ń tún ara rẹ̀ sọ, tí ó sì ní àyè láti fi sílẹ̀. Àwòṣe tí a kọ́ pẹ̀lú token 27T — ìsúná MiMo-V2.5-Pro — lo data àfikún yẹn láti kọ ìyàtọ̀ tí ó tọ́ sí i sínú iye ìwúwo tí ó péye sí i, èyí tí ó jẹ́ gan-an ohun tí gírídì 3-bit kò lè fi hàn.
Lẹ́yìn náà òtítọ́ FP8 wà láti apá 03, àríyànjiyàn tí ó mọ́ jù nínú àpilẹ̀kọ yìí. A kọ́ MiMo-V2.5-Pro ní ìpéye àdàpọ̀ FP8. A ṣe àwọn ìwúwo rẹ̀ láti ìbẹ̀rẹ̀pẹ̀pẹ̀ nípasẹ̀ olùmúdára tí ń ṣiṣẹ́ ní nǹkan bí ìpéye bit mẹ́jọ. Nítorí náà, pípèsè rẹ̀ ní ìwúwo 8-bit kì í ṣe àrò-lẹ́yìn tí ó ní ìpàdánù tí a fipá mú sórí àwòṣe 16-bit — ó fẹ́rẹ̀ẹ́ jẹ́ dídá àwọn ìwúwo padà sí ìlànà nọ́mbà tí a kọ́ wọn nínú rẹ̀. Ìhun-ìkọ́ tí ó tọ́ kékeré ni ó wà ní ìsàlẹ̀ bit kẹjọ láti pàdánù. A kò lè sọ bẹ́ẹ̀ nípa àwọn ìwúwo tí a fipá mú sí bit mẹ́ta.
07REAP: ìdí tí gígé amòye fi jẹ́ irú ìpàdánù tí ó yàtọ̀ sí yíyí-kà
Méjì nínú ipele mẹ́ta ní àfikún REAP — iṣẹ́ tí ó yàtọ̀ pátápátá sí ìdínwọ̀n. REAP (Gígé Ìṣiṣẹ́ Amòye tí a fi Ìwọ̀n Olùdarí wọ̀n, Cerebras Research, arXiv:2510.13999, ICLR 2026) jẹ́ ìfúnpọ̀ lẹ́ẹ̀kan ṣoṣo fún àwọn àwòṣe MoE tí ó fọn ká: ó ń díwọ̀n amòye kọ̀ọ̀kan pẹ̀lú iye ẹnu-ọ̀nà olùdarí àti ìwọ̀n ìṣiṣẹ́ amòye náà, ó sì ń pa àwọn tí ó ní ìwọ̀n tí ó kéré jù rẹ́. Cerebras ròyìn àbájáde tí ó fẹ́rẹ̀ẹ́ láìsí ìpàdánù lórí ìṣẹ̀dá koodu àti ìpe ohun-èlò kódà ní 50% amòye tí a gé.
A ń lo REAP fún ìdí tí ó fi wà: lórí àwọn ìpìlẹ̀ tí ó tóbi jù ó ni ohun tí ó jẹ́ kí a lè pèsè wọn. Ṣùgbọ́n ṣàkíyèsí ìyàtọ̀ irú náà. Ìdínwọ̀n ń ṣàwọ̀gùn ìwúwo kọ̀ọ̀kan díẹ̀; gígé ń yọ amòye kúrò pátápátá. Bí iṣẹ́ rẹ bá ń darí gidigidi sí agbára tí ó gbé inú amòye tí a kì í yàn sábà — èdè-ìṣàkóso kékeré, àwọn ọ̀rọ̀-ìṣùmọ̀ àkànṣe — kì í ṣe pé ó kàn dín kù. Ó ti lọ, kò sì sí ìtọ́ni tí ó lè gbà á padà. Ìwọ̀n àpapọ̀ ń dúró ní dídára; ọ̀ràn ìrù rẹ lè má rí bẹ́ẹ̀.
MiMo-V2.5-Pro · W8A16 kò ní àfikún REAP. Gbogbo amòye 384 wà, olùdarí sì ń yàn láti inú àkójọ kíkún tí a fi kọ́ ìpìlẹ̀ náà.
| Ipele | Bit ìwúwo | Amòye | Ohun tí o pàṣípààrọ̀ |
|---|---|---|---|
| W8A16 | 8 | Gbogbo wọn wà | Kò sí ohun tí ó jẹ́ ti ìhun-ìkọ́. Ipele ìpéye náà. |
| W4A16-AUTOROUND-REAP | 4 | A gé | Kúlẹ̀kúlẹ̀ ìwúwo tí ó tọ́ pẹ̀lú amòye tí kò gbajúmọ̀, ní pàṣípààrọ̀ fún ìpìlẹ̀ tí ó tóbi ju bẹ́ẹ̀ lọ ní ìwọ̀n iye kan náà. |
| 3BIT-REAP | 3 | A gé | Ìpéye ìwúwo tí ó pọ̀ pẹ̀lú amòye tí kò gbajúmọ̀ — iye tí a ń san láti fi ṣiṣẹ́ àwọn ìpìlẹ̀ tí ó tóbi jù ní kánkán. |
Ipele àárín náà yẹ kí a gbọ́ tirẹ̀ ní déédéé. AutoRound kì í ṣe yíyí-kà lásán: ọ̀nà Intel (arXiv:2309.05516) ń lo sísọ̀kalẹ̀ ìlọ́po tí a fi àmì sí ní nǹkan bí ìgbésẹ̀ 200 láti tún ìpinnu yíyí-kà àti ààlà gígé fún ẹgbẹ́ ìwúwo kọ̀ọ̀kan ṣe, a sì ròyìn pé ó fẹ́rẹ̀ẹ́ láìsí ìpàdánù ní bit 4 nínú ọ̀pọ̀ ìṣètò, ó ń borí GPTQ, AWQ, HQQ àti OmniQuant jákèjádò ọ̀pọ̀ ìṣètò tí a dán wò. Àwòṣe W4A16-AUTOROUND jẹ́ àwòṣe 4-bit tí ó dára ní ti gidi. Àwòṣe 4-bit sì ni ó ṣì jẹ́.
08Ta ni ó yẹ kí ó yan ipele 8-bit náà — àti ta ni kò yẹ
MiMo-V2.5-Pro · W8A16 wà ní iye ilẹ̀ ti gbogbo àkójọ náà — $0.50 wọlé / $2.00 jáde fún mílíọ̀nù token kan, ìwọ̀n kan náà pẹ̀lú àwọn àwòṣe 4-bit ipele-ìwọlé àti nǹkan bí ìdámẹ́rin iye ìwọlé ti àwòṣe tí ó gbówó lórí jù tí a ń pèsè. O kò ń san iye afikún fún ìpéye; o ń yan ọ̀nà mìíràn ti ìsúná kan náà.
Yàn án nígbà tí
- Gígùn ìtújáde ni iṣẹ́ náà. Kíkọ ìmọ̀-ẹ̀rọ gígùn, ìtàn àròsọ gígùn bí orí ìwé, gbogbo àkọsílẹ̀ kíkún — token kọ̀ọ̀kan tí a dá jẹ́ ọ̀kan tí ariwo ìfúnpọ̀ ń kóra jọ sí i.
- Ohùn àti ìdúró ṣe pàtàkì. Iṣẹ́ ìhùwàsí, ohùn àmì-ọjà, ìlànà tí a dì mọ́ jákèjádò ìpàdé gígùn. Ọ̀nà kíkọ ń gbé inú ìrù, ìrù náà sì ni ìdínwọ̀n tí ó hàn kedere ń jẹ ní àkọ́kọ́.
- Ìtújáde tí a ṣètò gbọ́dọ̀ fọwọ́sí ní ìgbìyànjú àkọ́kọ́. Àwòṣe náà ń gba
json_schemaàtiresponse_format; ìtẹ̀lé sikémà jẹ́ ànímọ́ ìpéye, gbogbo àtúngbìyànjú tí a yẹra fún sì jẹ́ owó àti àkókò tí a fi pamọ́. - O ń kún kọ́ńtẹ́kìsì. Títẹ̀lé ìtọ́ni ní token 200,000 le ju ní token 2,000 lọ, ó sì ń dín kù pẹ̀lú ìpéye ìwúwo — gẹ́gẹ́ bí ìtọpasẹ̀ ìrònú gígùn ti rí, níbi tí àwọn àṣìṣe ti ń kóra jọ ní ọ̀nà kan náà.
- Iṣẹ́ náà jẹ́ aláìní ìhámọ́ ní ẹ̀dá. Ìwádìí ààbò, red-teaming, ìtàn àròsọ láìsí ìṣẹ́sẹ̀, ìtúpalẹ̀ ìṣègùn tàbí òfin tí ó lẹgbin — níbi tí ìdáhùn tí a fà sẹ́yìn burú ju kò sí ìdáhùn rárá lọ.
Yan ohun mìíràn nígbà tí
- O nílò ìríran. Àwòṣe yìí jẹ́ ọ̀rọ̀-nìkan; arákùnrin rẹ̀ MiMo-V2.5 · W8A16 ní ìmọ̀ àwòrán ní iye àti ipele kan náà.
- O nílò ìmọ̀ ayé tí ó gbòòrò jù lórí ìbéèrè kúkúrú. Ìyẹn ni ipò tí àwọn párámítà àfikún ti ìpìlẹ̀ 3-bit tí ó tóbi ju bẹ́ẹ̀ lọ ti borí tí ìpalára ìdínwọ̀n rẹ̀ kò sì fi bẹ́ẹ̀ hàn.
- Iṣẹ́ rẹ jẹ́ ìyàsọ́tọ̀ kúkúrú ní ìwọ̀n gíga. Ìpalára ìdínwọ̀n fẹ́rẹ̀ẹ́ jẹ́ àìrí níbẹ̀ — ra èyíkéyìí tí ó yára jù.
09Pípe API MiMo aláìní ìhámọ́
Bí koodu rẹ bá fẹ́ SDK OpenAI, yíyí URL ìpìlẹ̀ àti ìdámọ̀ àwòṣe padà ni gbogbo ìṣí náà:
curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer $SHANNON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MiMo-V2.5-Pro-W8A16",
"messages": [
{"role": "user", "content": "Draft the threat model section."}
],
"reasoning_effort": "high",
"max_tokens": 16384,
"stream": true
}'/v1/messages àti /v1/responses ń gba ìdámọ̀ àti agbára kan náà. Ìtọ́kasí párámítà, sikémà ìpe-ohun-èlò, àpẹẹrẹ ìtújáde-tí-a-ṣètò àti ibi eré ìṣeré tí ó wà láàyè wà nínú àkọsílẹ̀ API Shannon AI.
| Agbára | MiMo-V2.5-Pro · W8A16 |
|---|---|
| Fèrèsé kọ́ńtẹ́kìsì | token 262,144 |
| Ìtújáde tí ó ga jù fún ìbéèrè kan | token 16,384 |
| Ṣíṣàn | Bẹ́ẹ̀ ni — gbogbo èdè mẹ́tẹ̀ẹ̀ta |
| Ìpe ohun-èlò | Bẹ́ẹ̀ ni |
Ìrònú / reasoning_effort | Bẹ́ẹ̀ ni |
Ìtújáde tí a ṣètò json_schema | Bẹ́ẹ̀ ni |
response_format | Bẹ́ẹ̀ ni |
| Ìríran / ìwọlé àwòrán | Rárá — lo MiMo-V2.5 |
| Ìpele ìkọ̀sílẹ̀ / ìṣẹ́sẹ̀ ìtújáde | Kò sí |
| Iye fún 1M token | $0.50 wọlé / $2.00 jáde |
Gbogbo nọ́mbà ìta níhìn-ín jẹ́ èyí tí ẹlòmíràn yàtọ̀ sí wa tẹ̀ jáde tí a sì fi orúkọ sí i nínú ọ̀rọ̀ náà. Àwọn àbájáde ìgbàpadà ìdínwọ̀n wá láti inú àwọn ìwádìí ìdílé Llama: wọ́n ń ṣàpèjúwe ìrísí pàṣípààrọ̀ náà, kì í ṣe ìwọ̀n àwòṣe yìí.
10Àwọn ìbéèrè tí a sábà ń bèèrè
Kí ni API MiMo aláìní ìhámọ́?
Ibi ìsopọ̀ Shannon AI fún MiMo-V2.5-Pro, àwòṣe Àdàpọ̀ Àwọn Amòye ti Xiaomi pẹ̀lú ìwúwo ṣíṣí, tí a ń pèsè lórí ìdìpọ̀ GPU tiwa láìsí ìpele ìkọ̀sílẹ̀ àti láìsí ìṣẹ́sẹ̀ lórí ìtújáde. A lè dé ọ̀dọ̀ rẹ̀ nípasẹ̀ /v1/chat/completions, /v1/messages àti /v1/responses, pẹ̀lú kọ́ńtẹ́kìsì token 262,144 àti token ìtújáde 16,384 fún ìbéèrè kọ̀ọ̀kan.
Kí ni W8A16 túmọ̀ sí, kí sì ló dé tí ó fi ṣe pàtàkì?
W8A16 túmọ̀ sí pé a ń fi ìwúwo kọ̀ọ̀kan pamọ́ ní bit 8 nígbà tí a ń ṣírò ìṣiṣẹ́ ní bit 16. Ó ni ipele ìdínwọ̀n tí ó ní ìpéye gíga jù nínú àkójọ wa. Àwọn ìwádìí tí a tẹ̀ jáde rí i pé ìrísí ìwúwo-nìkan 8-bit ń gba fẹ́rẹ̀ẹ́ gbogbo ìpéye àwòṣe ìpilẹ̀ṣẹ̀ padà, nígbà tí 4-bit ń pàṣípààrọ̀ ìpéye díẹ̀ fún ìrántí, 3-bit sì ń pàṣípààrọ̀ ìwọ̀n tí ó pọ̀.
Ṣé àwòṣe tí ó kéré ní 8-bit lè borí àwòṣe tí ó tóbi ní 3-bit?
Ní ọ̀pọ̀ ìgbà, bẹ́ẹ̀ ni. Ohun tí ó ń yè lẹ́yìn ìfúnpọ̀ jẹ́ ìwọ̀n iye párámítà ti a fi bit fún párámítà kọ̀ọ̀kan pọ̀, àṣìṣe ìdínwọ̀n sì ń kóra jọ sí ìwà tí kò wọ́pọ̀, tí ó sì wà ní ìrù. Àwòṣe tí a dá dúró ní 8-bit ń pa ìṣọ̀kan gígùn rẹ̀, ìrísí tí ó tọ́ àti ìmọ̀ ìrù rẹ̀ mọ́; àwòṣe tí ó tóbi tí a dá lulẹ̀ sí 3-bit ń pa ìwọ̀n ìdíwọ̀n gbòòrò rẹ̀ mọ́ ṣùgbọ́n ó ń pàdánù àwọn ànímọ́ wọ̀nyẹn.
Ṣé MiMo-V2.5-Pro ń gba ìríran tàbí ìwọlé àwòrán?
Rárá. MiMo-V2.5-Pro lórí Shannon AI jẹ́ ọ̀rọ̀-nìkan. Ó ń gba ìpe ohun-èlò, ìrònú pẹ̀lú reasoning_effort, ìtújáde tí a ṣètò JSON-schema àti response_format. Bí o bá nílò ìwọlé àwòrán, lo àwòṣe arákùnrin rẹ̀ MiMo-V2.5 W8A16, tí ó ní ìmọ̀ àwòrán ní iye kan náà.
Iye owó mélòó ni API MiMo aláìní ìhámọ́ ń ná?
$0.50 fún mílíọ̀nù token ìwọlé kan àti $2.00 fún mílíọ̀nù token ìtújáde kan. Ìyẹn ni iye ilẹ̀ nínú àkójọ Shannon AI, èyí tí ó jẹ́ kí MiMo-V2.5-Pro jẹ́ ọ̀nà tí ó rọrùn jù láti ra ìpéye 8-bit lórí ẹnu-ọ̀nà yìí.
Gbìyànjú API MiMo aláìní ìhámọ́
Ìpéye bit-mẹ́jọ, kọ́ńtẹ́kìsì 262K, kò sí ìpele ìkọ̀sílẹ̀ — ní iye ilẹ̀ àkójọ náà.
Ka Àkọsílẹ̀ API Ṣàwárí Gbogbo ÀwòṣeA ń ṣiṣẹ́ lábẹ́ Ìlànà Ìlò Onídùúró Shannon AI
Orísun: Ìròyìn ìmọ̀-ẹ̀rọ MiMo, arXiv:2505.07608 · Àkọsílẹ̀ àwòṣe MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Òfin ìwọ̀n-ìṣírò k-bit, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Gbogbo nọ́mbà ìdíwọ̀n jẹ́ èyí tí àwọn òǹkọ̀wé wọn ròyìn. Shannon AI jẹ́ ọjà Shannon Lab LLC, New Mexico, USA.