API MiMo tsy voasivana amin'ny fahatokisana 8-bit
Ny fototra MiMo mifototra amin'ny fisainana an'ny Xiaomi, atolotra tsy misy sosona fandavana amin'ny W8A16 — ny ambaratonga quantization misy fahatokisana ambony indrindra ampandehaninay — amin'ny fetra ambany indrindra amin'ny katalaogy.
Fintina
Ny MiMo-V2.5-Pro · W8A16 dia ny MiMo-V2.5-Pro lanja misokatra an'ny Xiaomi atolotra eo amin'ny vondrona GPU an'ny Shannon manokana amin'ny lanja 8-bit / fanetsehana 16-bit — ny ambaratonga voatery kely indrindra ao amin'ny katalaoginay misy modely roa ambin'ny folo. Context 262 144 token, 16 384 token mivoaka isaky ny fangatahana, fiantsoana fitaovana, fisainana, output voarafitra JSON-schema, streaming amin'ny fitenim-paritra API telo, ary tsy misy sosona fandavana na fanivanana output, amin'ny $0.50 miditra / $2.00 mivoaka isaky ny tapitrisa token — ny fetra ambany amin'ny katalaogy. Lahatsoratra ihany; ampiasao ny MiMo-V2.5 · W8A16 ho an'ny sary.
Ny ankamaroan'ny katalaogy dia mivarotra aminao isan'ny parametatra. Isa diso holanjaina izany, satria ny modely lanja misokatra lehibe rehetra azonao vidina marina dia efa noterena mba hifanaraka amin'ny toerana iray. Ny fanontaniana marina dia tsy hoe "lehibe ohatrinona izy talohan'ny nanerena azy?" fa hoe "hatraiza no mbola eto aminy?" Ity lahatsoratra ity dia momba io fanontaniana io, sy momba ilay modely ao amin'ny lisitray izay saika izy manontolo no valiny.
01Izay tena azonao amin'ny API MiMo tsy voasivana
Ny API MiMo tsy voasivana dia id-n'ny modely iray, MiMo-V2.5-Pro-W8A16, tratra amin'ny fitenim-paritra telo izay mikasika lanja mitovy eo amin'ny vondrona GPU anay manokana: /v1/chat/completions, /v1/messages ary /v1/responses. Manao streaming izy telo ary manohana ny fiantsoana fitaovana sy ny fisainana.
Manana dikany tery eto ny tsy voasivana: tsy misy sosona fandavana eo alohan'ny modely, tsy misy sivana amin'ny output-ny. Tsy manakana, tsy manasokajy, tsy manoratra indray izahay. Mahazo ny fitondran-tenan'ny fototra manokana ianao — izay midika ho an'ny modely lanja misokatra sokajy fikarohana fa mandray anjara amin'ny fikarohana momba ny fiarovana, ny tantara foronina ho an'ny olon-dehibe na feno herisetra, ny fisainana ara-pitsaboana sy ara-dalàna, ary ny fangatahana lavin'ny endpoint ara-barotra atolotra mandeha ho azy. Fitaovana matihanina eo ambanin'ny politikam-pampiasana tomponandraikitra anay izy, fa tsy tsy fisian'ny fitsipika.
02Ny firazanana MiMo: ny fifanarahan'ny Xiaomi amin'ny fiofanana mialoha mifototra amin'ny fisainana
Ny MiMo dia tsy taranaka Llama nomena anarana vaovao; firazanana miavaka avy amin'ny ekipa MiMo an'ny Xiaomi izy, ary manan-danja ny heviny fototra alohan'ny hanombananao ny modely. Manomboka amin'ny MiMo-7B izy (30 Aprily 2025, lisansa MIT), izay milaza ny tatitra ara-teknikany fa ny ankamaroan'ny laboratoara dia mandray ny fisainana ho olana aorian'ny fiofanana ampiraiketina amin'ny RT, ary hoe mifamadika izany. Nohavaozin'ny Xiaomi kosa ny rafitry ny fiofanana mialoha manodidina izany: fifangaroana misy dingana telo manerana ny 25 tapitrisa arivo token, ny dingana faharoa mampandeha 70% matematika sy kaody eo ho eo, ny dingana fahatelo mampiditra dian'ny fisainana synthetic sady manitatra ny context avy amin'ny 8K ho 32K — miampy tanjona Multi-Token Prediction izay miasa ihany koa ho loha decoding speculative.
Ny vokany dia modely fototra 7B izay nitondra tena toy ny zavatra lehibe lavitra. Ny MiMo-7B-Base dia nahazo 32,9 tamin'ny AIME 2024 raha 10,1 ny Qwen2.5-7B, 0,0 ny Gemma-2-9B ary 0,3 ny Llama-3.1-8B. Ny post-training dia nampandeha RL tamin'ny olana matematika sy kaody 130 000 azo hamarinina miaraka amin'ny valisoa kaody mifototra amin'ny hasarotan'ny fitsapana, nanafaka ny fandriky ny valisoa sparse izay manimba ny fahamarinan-toeran'ny RL kaody. Nipetraka mialoha ny o1-mini ny vokatra:
AIME 2025, tarehimarika notaterin'ny Xiaomi avy amin'ny tatitra ara-teknika MiMo (arXiv:2505.07608). Ny MiMo-7B-RL koa dia notaterina ho 95,8 amin'ny MATH-500 sy 57,8 amin'ny LiveCodeBench v5.
Nitatra fa tsy nivily ny fianakaviana: ny MiMo-VL-7B (Jona 2025) dia nametraka encoder Qwen2.5-ViT eo amin'io lamosina io ihany, ary ny Desambra 2025 dia nitondra ny MiMo-Audio-7B miampy ny fidirana MoE voalohany, ny MiMo-V2-Flash (309B manontolo / 15B mavitrika, 27T token, fahamarinana mifangaro FP8). Ny MiMo-V2-Pro no nanaraka tamin'ny Martsa 2026 amin'ny 1T / 42B mavitrika eo ho eo miaraka amin'ny context 1M, taorian'ny herinandro maromaro tao amin'ny OpenRouter ho "Hunter Alpha". Ny MiMo-V2.5 sy ny MiMo-V2.5-Pro dia navoaka niaraka ny 22 Aprily 2026, samy MIT.
03Ao anatin'ny MiMo-V2.5-Pro: ny endriky ny fototra
Araka ny karatra modely navoakan'ny Xiaomi, ny MiMo-V2.5-Pro dia modely Mixture-of-Experts sparse misy 1,02 tapitrisa arivo parametatra manontolo sy 42 miliara mavitrika isaky ny token manerana ny sosona 70 — iray matevina, 69 MoE — ary 384 manam-pahaizana voatondro, 8 isaky ny token. Ny habe miafina dia 6144, miaraka amin'ny habe antonony MoE tery 2048.
Safidy roa no mamolavola ny fahatsapana azy amin'ny fampiasana. Hybrid ny stack attention: sosona 10 attention feno sy 60 sliding-window misy varavarankely 128, miampy fironana attention-sink azo ianarana. Mitatitra ny Xiaomi fa manapaka ny fitehirizana KV-cache ho akaikin'ny 7x izany manoloana ny attention manerantany manontolo nefa mitazona ny kalitao amin'ny context lava — dia ny elanelana eo amin'ny varavarankely lava an'anarana sy ilay azonao fenoina. Manolotra sosona Multi-Token Prediction telo ihany koa izy, manome loha speculative ho an'ny decoder.
Ny fiofanana dia 27 tapitrisa arivo token amin'ny halavan'ny filaharana natoraly 32K amin'ny fahamarinana mifangaro FP8 (E4M3), dia fine-tuning voafehy, RL agentic midadasika ary distillation on-policy misy mpampianatra maro. Tazomy io antsipiriany FP8 io; izy no fanamarinana tokana matanjaka indrindra amin'ny fanolorana ity fototra ity amin'ny 8 bit.
Mitatitra ny modely amin'ny 57,2% amin'ny SWE-bench Pro, 72,9 amin'ny τ3-Bench ho an'ny fampiasana fitaovana ary 48,0% amin'ny Humanity's Last Exam ny Xiaomi — tarehimarikan'ny mpamatsy amin'ny modely tsy voatery, atolotra ho toy izany.
Varavarankely 262 144 token no atolotray, fa tsy ny 1M feno amin'ny fototra — context azonay antoka amin'ny hafainganana, fa tsy isa lohalaharana mihena rehefa mavesatra.
04Ny dikan'ny W8A16, marina
Ny modely rehetra ao amin'ity katalaogy ity dia mitondra tovana quantization mamaritra fanovana tena izy, azo refesina, fa tsy ambaratonga dokambarotra. Ny anay dia ny 3BIT-REAP, W4A16-AUTOROUND-REAP ary W8A16. Ny MiMo-V2.5-Pro no fahatelo.
Mizara roa ny fanamarihana. Ny W8 dia fahamarinan'ny lanja: ny parametatra tsirairay dia tehirizina ho integer 8-bit fa tsy float 16-bit, miaraka amin'ny faktiora fanalehibiazana iombonana isaky ny vondrona kely mba hitazonana ny elanelana dynamika eo an-toerana ho an'ny vondrona tsirairay. Ny A16 dia fahamarinan'ny fanetsehana: ny sanda mikoriana eo anelanelan'ny sosona amin'ny inference dia mijanona amin'ny 16 bit. Voatery ny lanja; tsy voatery ny aritmetika.
Manao asa mangina saingy manan-danja io antsasany faharoa io. Sarotra kokoa atao quantization noho ny lanja ny fanetsehana: misy fantsona outlier tafahoatra ao aminy — refy vitsivitsy izay lehibe lavitra noho ny hafa ary mitondra ampahany tsy mifandanja amin'ny fitondran-tenan'ny modely. Atosehy amin'ny fahamarinana ambany ireo dia hokapainao indrindra ny famantarana nilainao. Ny rafitra lanja-ihany dia mandingana io olana io amin'ny famelana ny lalan'ny fanetsehana, ary izany no antony niarahan'ny asa quantization matotra nifantoka aminy.
Ka mihena ho zavatra iray ny fanontaniana azo ampiharina: hatramin'ny bit firy no zakan'ny lanja iray?
05W8A16 sa W4A16 sa 3-bit: ny toerana tena andehanan'ny fatiantoka
Ny fandalinana lehibe indrindra navoaka momba izany dia ny "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization an'ny Neural Magic sy Red Hat — fanombanana 500 000 mahery manerana ny fianakaviana Llama-3.1 amin'ny 8B, 70B ary 405B. Indro ny valiny lohalaharana, amin'ny tarehimarikany:
| Endrika | Izay voatery | Famerenana notaterina manoloana ny BF16 |
|---|---|---|
| W8A8-FP (8-bit) | Lanja + fanetsehana, float | ~99,75% antonony — "saika tsy misy fatiantoka" |
| W8A8-INT (8-bit) | Lanja + fanetsehana, integer | 99–100% amin'ny 8B/70B; 98,2–99,3% amin'ny 405B |
| W4A16-INT (4-bit) | Lanja ihany | 98–99,4% (8B); 98,6–99,8% (70B) |
Tarehimarika notaterin'ny Neural Magic / Red Hat (arXiv:2411.02355) amin'ny modely Llama-3.1 — ny endriky ny fifanakalozana, fa tsy ny naoty amin'ity modely ity.
Raha vakiana am-pahamarinana dia toa fanamarinana manohitra ny fikarakarana izany: mamerina 98–99% ny 4-bit, ka nahoana no hijery? Satria benchmark akademika misy safidy maro ireo, saika ny fitaovana ratsy indrindra azo hamantarana ny fahasimbana avy amin'ny quantization. Ny fanontaniana benchmark dia manana valiny marina iray azo tratrarina ao anatin'ny token iray na roa, ary kely ny hadisoana avy amin'ny quantization, saika tabataba salan'isa aotra amin'ny logit tsirairay; amin'ny fanontaniana fohy misy elanelana midadasika dia voatelina io tabataba io.
Ankehitriny anoraty 4 000 token amin'ny antontan-taratasy ara-teknika, tazomy ny feo manerana tantara 40 000 token, na mamoaha JSON izay tsy maintsy manan-kery amin'ny fanandramana voalohany. Io tabataba io ihany dia alaina an'arivony an-tsesilany, ary ny santionany tsirairay mametra ny manaraka. Ny endriky ny tsy fahombiazana dia tsy valiny diso — fa fivilana: fihamalemen'ny fihazonana ny toromarika hatramin'ny fihodinana voalohany, olona iray izay tsy mitovy feo aminy intsony manodidina ny token 3 000, akora fanidiana izay tsy tonga mihitsy.
Ny toerana tena andehanan'ny bit
Ny hadisoana avy amin'ny quantization dia tsy miparitaka mitovy manerana ny fahaiza-manaon'ny modely; mifantoka amin'ny rambony izy. Ny fitondran-tena be lanja — ny anglisy ara-pitsipi-pitenenana, ny endriky ny function Python, ny zava-misy arivo voalohany momba izao tontolo izao — dia voasoratra imbetsaka manerana ny lanja maro ary mahatohitra saika ny zava-drehetra. Ny zoro voafehy marina, halehibe kely, amin'ny fizarana ny lanja no mitazona ny zavatra tsy fahita: ny soniam-panasa marina amin'ny API tsy dia fantatra, ny gadona an'ny mpanoratra iray manokana, ny fahasamihafana eo amin'ny CVE roa mifanila. Ireo no sanda ampifangaroin'ny fandrindrana malalaka.
Ny dingana avy amin'ny 4 bit mankany amin'ny 3 no toerana tsy hetra intsony izany fa hantsana. Ny lalàna fitomboan'ny inference k-bit an'i Dettmers sy Zettlemoyer dia nahita fa ny 4-bit no teboka manatsara indrindra ny fahamarinana zero-shot isaky ny bit amin'ny fitadidiana ny modely, ary manjaka ny fihenana ambaniny. Ny efatra bit dia manome 16 ambaratonga isaky ny vondrona; ny telo manome 8. Manapaka antsasaka ny fahitsiny amin'ny fandrindrana efa malalaka ianao, ary avo roa heny eo ho eo ny hadisoana amin'ny fanodinana isaky ny lanja.
Ny aritmetika manapaka azy
Ny fampitahana mendrika atao dia aritmetika, fa tsy benchmark. Izay tavela aorian'ny fanerena dia parametatra × bit isaky ny parametatra eo ho eo — ny habetsahan'ny vaovao entin'ny rakitry ny lanja. Raiso ny fototra roa ampoizina misy kalitao mitovy isaky ny parametatra:
- Fototra A: 400B parametatra amin'ny 3 bit → 150 GB eo ho eo amin'ny lanja tazonina.
- Fototra B: 160B parametatra amin'ny 8 bit → 160 GB eo ho eo amin'ny lanja tazonina.
Amin'ny isan'ny parametatra fotsiny dia mandresy roa sy sasany amin'ny iray ny A — ilay isa lohalaharan'ny karatra modely. Amin'ny vaovao tazonina kosa dia mitovy izy roa, ary manana tombony ara-drafitra fanampiny ny B: ny lanjany dia mipetraka amin'ny fandrindrana madinika ampy ka tsy simba ny fitondran-tenany amin'ny rambony, raha voaterin'ny quantization ho ao anatin'ny be kosa ny rambon'ny A. Mahafantatra zavatra maro kokoa ny A; mahafantatra ny fantany maranitra kokoa ny B. Ho an'ny famokarana lava, ny endrika marina, ny fifehezana ny fomba fanoratana ary ny fanarahana ny context lava am-pahatokiana, dia raiso ny B.
Aritmetika ho ohatra, fa tsy benchmark: mampiseho ny antony maha-fitakiana samy hafa ny "fototra lehibe kokoa" sy ny "modely atolotra tsara kokoa" izy.
06Ny antony maharatsy kokoa ny quantization mahery amin'ny token fiofanana 27 tapitrisa arivo
Valiny faharoa, tsy dia mora azo, no mikasika mivantana ity fototra ity. Ny taratasin'i Kumar sy ny namany ICLR 2025 Scaling Laws for Precision dia mahita fa arakaraka ny hatetiky ny angona nampiofanana modely no maharatsy ny fahasimbana ateraky ny quantization aorian'ny fiofanana aminy. Mampihena ny isan'ny parametatra tena mandeha amin'ny modely ny fahamarinana ambany, ary mitombo miaraka amin'ny angona fiofanana mialoha noraisina io fihenana io — lavitra ampy ka mety hanimba ny angona fiofanana mialoha fanampiny raha mikasa hanao quantization mahery ianao, satria mametraka firafitra madinika hofafan'ny fandrindrana ianao.
Ny modely nampiofanina tamin'ny token 5T dia manana firafitry ny lanja malalaka, miverimberina, ary manana toerana malalaka. Ny modely nampiofanina tamin'ny token 27T — dia ny teti-bolan'ny MiMo-V2.5-Pro — dia nandany io angona fanampiny io hanoratra fanavahana madinika kokoa ho sanda lanja marina kokoa, izay indrindra no tsy azon'ny fandrindrana 3-bit aseho.
Ary misy ilay zava-misy FP8 avy amin'ny fizarana 03, ny fanamarinana madio indrindra amin'ity lahatsoratra ity. Nampiofanina mialoha tamin'ny fahamarinana mifangaro FP8 ny MiMo-V2.5-Pro. Ny lanjany dia novolavolain'ny optimizer miasa amin'ny fahamarinana valo bit eo ho eo hatrany am-boalohany. Ny fanolorana azy amin'ny lanja 8-bit noho izany dia tsy zavatra mamoy natao aorian'ny modely 16-bit — fa manakaiky ny famerenana ny lanja amin'ny toe-javatra ara-isa nianarany. Kely ny firafitra madinika misy ambanin'ny bit fahavalo ho very. Tsy azo lazaina toy izany ireo lanja terena hidina ho telo.
07REAP: ny antony maha-karazana fatiantoka hafa noho ny fanodinana ny fanapahana manam-pahaizana
Roa amin'ny ambaratonga telo no mitondra tovana REAP — asa hafa karazana tanteraka noho ny quantization. Ny REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) dia fanerena indray mandeha ho an'ny modely MoE sparse: manisa ny manam-pahaizana tsirairay amin'ny sandan'ny vavahadin'ny router sy ny norm-n'ny fanetsehan'ny manam-pahaizana izy, dia mamafa ireo naoty ambany indrindra. Mitatitra valiny saika tsy misy fatiantoka amin'ny famokarana kaody sy ny fiantsoana fitaovana ny Cerebras na dia amin'ny 50% amin'ny manam-pahaizana notapahina aza.
Mampiasa REAP izahay noho ny antony nisiany: amin'ny fototra lehibe indrindra dia izy no mahatonga azy ireo ho azo atolotra. Fa mariho ny fahasamihafana amin'ny karazany. Ny quantization dia manjavozavo kely ny lanja tsirairay; ny fanapahana kosa manaisotra tanteraka ny manam-pahaizana. Raha mitarika mafy any amin'ny fahaiza-manao izay nipetraka ao anaty manam-pahaizana tsy dia voafidy matetika ny asanao — fiteny fandaharana tsy dia fampiasa, voambolana manokana — dia tsy nihena izy. Nanjavona izy, ary tsy misy prompt mamerina azy. Mijanona ho tsara ny salan'isa; mety tsy izany ny tranga rambony anao.
Ny MiMo-V2.5-Pro · W8A16 dia tsy mitondra tovana REAP. Eo avokoa ny manam-pahaizana 384, ary mifidy avy amin'ny andiany feno nampiofanana ny fototra ny router.
| Ambaratonga | Bit-n'ny lanja | Manam-pahaizana | Izay atakalonao |
|---|---|---|---|
| W8A16 | 8 | Eo avokoa | Tsy misy ara-drafitra. Ny ambaratongan'ny fahatokisana. |
| W4A16-AUTOROUND-REAP | 4 | Notapahina | Antsipirian'ny lanja madinika miampy manam-pahaizana tsy dia mifamoivoy, ho takalon'ny fototra lehibe lavitra ao anatin'io sokajim-bidy io ihany. |
| 3BIT-REAP | 3 | Notapahina | Fahitsiny lanja betsaka miampy manam-pahaizana tsy dia mifamoivoy — ny vidin'ny fampandehanana ny fototra lehibe indrindra amin'ny hafainganana. |
Mendrika fanadinana ara-drariny ny ambaratonga afovoany. Ny AutoRound dia tsy fanodinana tsotra: ny fomban'ny Intel (arXiv:2309.05516) dia mampiasa signed gradient descent mandritra ny dingana 200 eo ho eo hanamboarana ny fanapahan-kevitra momba ny fanodinana sy ny elanelana clipping isaky ny vondrona lanja, ary notaterina ho saika tsy misy fatiantoka amin'ny 4 bit amin'ny ankamaroan'ny fandrindrana, mandresy ny GPTQ, AWQ, HQQ ary OmniQuant amin'ny ankamaroan'ny fandrindrana nosedraina. Modely 4-bit tena tsara ny modely W4A16-AUTOROUND. Mbola modely 4-bit ihany izy.
08Iza no tokony hifidy ny ambaratonga 8-bit — ary iza no tsia
Ny MiMo-V2.5-Pro · W8A16 dia mipetraka eo amin'ny fetra ambany indrindra amin'ny katalaogy manontolo — $0.50 miditra / $2.00 mivoaka isaky ny tapitrisa token, io sokajy io ihany amin'ny modely 4-bit ambaratonga fidirana ary ampahefatry ny vidin'ny input amin'ny modely lafo indrindra atolotray eo ho eo. Tsy mandoa vidiny ambony ho an'ny fahatokisana ianao; mifidy axe hafa amin'io teti-bola io ihany ianao.
Fidio izy rehefa
- Ny halavan'ny output no asa. Fanoratana ara-teknika lava, tantara foronina mirefy toko, fandalovana antontan-taratasy feno — ny token vokarina tsirairay dia toerana itambaran'ny tabatabam-panerena.
- Manan-danja ny feo sy ny fitovizana. Asa momba ny toetra, ny feon'ny marika, ny endrika tazonina manerana fivoriana lava. Mipetraka ao amin'ny rambony ny fomba fanoratana, ary ny rambony no laniny voalohany amin'ny quantization malalaka.
- Tsy maintsy manan-kery amin'ny fanandramana voalohany ny output voarafitra. Manohana ny
json_schemasy nyresponse_formatny modely; toetra momba ny fahamarinana ny fanajana schema, ary vola sy hafainganana voatsitsy ny fanandramana indray tsy nisy. - Fenoinao ny context. Sarotra kokoa ny fanarahana toromarika amin'ny token 200 000 noho ny amin'ny token 2 000, ary mihena arakaraka ny fahamarinan'ny lanja izy — toy izany koa ny dian'ny fisainana lava, izay mitambatra toy izany ny hadisoana.
- Tsy voasivana amin'ny maha-izy azy ny asa. Fikarohana momba ny fiarovana, red-teaming, tantara foronina tsy voasivana, famakafakana ara-pitsaboana na ara-dalàna saro-pady — izay ratsy kokoa noho ny tsy misy ny valiny miolakolaka.
Mifidiana zavatra hafa rehefa
- Mila fahitana ianao. Lahatsoratra ihany ity modely ity; ny rahalahiny MiMo-V2.5 · W8A16 dia mahay fahitana amin'io vidiny sy ambaratonga io ihany.
- Mila ny fahalalana midadasika indrindra momba izao tontolo izao amin'ny fanontaniana fohy ianao. Izany no toe-javatra andresen'ny parametatra fanampin'ny fototra 3-bit lehibe lavitra ary saika tsy hita ny fahasimbany avy amin'ny quantization.
- Fanasokajiana fohy be habetsahana ny asanao. Saika tsy hita eo ny fahasimbana avy amin'ny quantization — vidio izay haingana indrindra.
09Ny fiantsoana ny API MiMo tsy voasivana
Raha mikendry ny SDK OpenAI ny kaodinao, dia ny fanovana ny URL fototra sy ny id-n'ny modely no fifindrana manontolo:
curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer $SHANNON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MiMo-V2.5-Pro-W8A16",
"messages": [
{"role": "user", "content": "Draft the threat model section."}
],
"reasoning_effort": "high",
"max_tokens": 16384,
"stream": true
}'
Manaiky io id io sy ireo fahaiza-manao io ihany ny /v1/messages sy ny /v1/responses. Ny fanovozan-kevitra momba ny parametatra, ny schema fiantsoana fitaovana, ny ohatra amin'ny output voarafitra ary ny playground velona dia ao amin'ny antontan-taratasin'ny API Shannon AI.
| Fahaiza-manao | MiMo-V2.5-Pro · W8A16 |
|---|---|
| Varavarankely context | 262 144 token |
| Output ambony indrindra isaky ny fangatahana | 16 384 token |
| Streaming | Eny — amin'ny fitenim-paritra telo |
| Fiantsoana fitaovana | Eny |
Fisainana / reasoning_effort | Eny |
Output voarafitra json_schema | Eny |
response_format | Eny |
| Fahitana / sary miditra | Tsia — ampiasao ny MiMo-V2.5 |
| Sosona fandavana / sivana output | Tsy misy |
| Vidiny isaky ny 1M token | $0.50 miditra / $2.00 mivoaka |
Ny tarehimarika ivelany rehetra eto dia navoakan'ny olona hafa fa tsy izahay ary voatondro ao anaty lahatsoratra. Ny valin'ny famerenana avy amin'ny quantization dia avy amin'ny fandalinana ny fianakaviana Llama: manoritsoritra ny endriky ny fifanakalozana izy ireo, fa tsy ny naoty amin'ity modely ity.
10Fanontaniana apetraka matetika
Inona no atao hoe API MiMo tsy voasivana?
Ny endpoint an'ny Shannon AI ho an'ny MiMo-V2.5-Pro, ilay modely Mixture-of-Experts lanja misokatra an'ny Xiaomi, atolotra eo amin'ny vondrona GPU anay manokana tsy misy sosona fandavana ary tsy misy fanivanana output. Tratra amin'ny /v1/chat/completions, /v1/messages ary /v1/responses izy, miaraka amin'ny context 262 144 token sy 16 384 token mivoaka isaky ny fangatahana.
Inona no dikan'ny W8A16, ary nahoana no manan-danja izy?
Ny W8A16 dia midika fa tehirizina amin'ny 8 bit avy ny lanja raha kajiana amin'ny 16 bit kosa ny fanetsehana. Izy no ambaratonga quantization misy fahatokisana ambony indrindra ao amin'ny katalaoginay. Ny fandalinana navoaka dia mahita fa mamerina saika ny fahamarinan'ny modely tany am-boalohany manontolo ny endrika lanja-ihany 8-bit, raha manakalo fahatokisana kely ho takalon'ny fitadidiana kosa ny 4-bit ary manakalo be ny 3-bit.
Afaka mandresy modely lehibe kokoa amin'ny 3-bit ve ny modely kely kokoa amin'ny 8-bit?
Matetika, eny. Izay tavela aorian'ny fanerena dia isan'ny parametatra ampitomboina amin'ny bit isaky ny parametatra eo ho eo, ary mifantoka amin'ny fitondran-tena tsy fahita, amin'ny rambony, ny hadisoana avy amin'ny quantization. Ny modely tazonina amin'ny 8 bit dia mitazona ny firindrany amin'ny endrika lava, ny endrika marina ary ny fahalalana amin'ny rambony; ny modely lehibe kokoa noterena ho 3 bit dia mitazona ny naoty benchmark ankapobeny fa mamoy ireo toetra ireo.
Manohana fahitana na sary miditra ve ny MiMo-V2.5-Pro?
Tsia. Lahatsoratra ihany ny MiMo-V2.5-Pro ao amin'ny Shannon AI. Manohana fiantsoana fitaovana, fisainana miaraka amin'ny reasoning_effort, output voarafitra JSON-schema ary response_format kosa izy. Raha mila sary miditra ianao, dia ampiasao ny modely rahalahiny MiMo-V2.5 W8A16, izay mahay fahitana amin'io vidiny io ihany.
Ohatrinona ny vidin'ny API MiMo tsy voasivana?
$0.50 isaky ny tapitrisa token miditra sy $2.00 isaky ny tapitrisa token mivoaka. Izany no fetra ambany indrindra ao amin'ny katalaogy Shannon AI, izay mahatonga ny MiMo-V2.5-Pro ho fomba mora indrindra hividianana fahatokisana 8-bit eo amin'ity vavahady ity.
Andramo ny API MiMo tsy voasivana
Fahatokisana valo bit, context 262K, tsy misy sosona fandavana — amin'ny fetra ambany indrindra amin'ny katalaogy.
Vakio ny antontan-taratasin'ny API Jereo ny modely rehetraTantanina eo ambanin'ny politikam-pampiasana tomponandraikitra an'ny Shannon AI
Loharano: Tatitra ara-teknika MiMo, arXiv:2505.07608 · Karatra modely MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Lalàna fitomboan'ny inference k-bit, arXiv:2212.09720 · Scaling Laws for Precision, Kumar sy ny namany, ICLR 2025. Ny tarehimarika benchmark rehetra dia araka ny notaterin'ny mpanoratra azy. Vokatry ny Shannon Lab LLC, New Mexico, Etazonia, ny Shannon AI.