API Bla Ċensura ta' MiMo f'Fedeltà ta' 8-Bit
Il-fondazzjoni ta' MiMo ta' Xiaomi, iffukata fuq ir-raġunament, servuta b'ebda saff ta' rifjut fuq W8A16 — l-ogħla livell ta' kwantizzazzjoni li nħaddmu — għall-prezz tal-qiegħ tal-katalgu.
Fil-qosor
MiMo-V2.5-Pro · W8A16 hi MiMo-V2.5-Pro b'piżi miftuħa ta' Xiaomi servuta fuq il-cluster GPU stess ta' Shannon b'piżi ta' 8-bit / attivazzjonijiet ta' 16-bit — il-livell l-inqas kompressat fil-katalgu tagħna ta' tnax-il mudell. Kuntest ta' 262,144-token, 16,384 token ta' output għal kull talba, sejħa ta' għodod, raġunament, output strutturat ta' JSON-schema, streaming fuq tliet djaletti tal-API, u ebda saff ta' rifjut jew filtrar tal-output, fi $0.50 dħul / $2.00 ħruġ għal kull miljun token — il-qiegħ tal-katalgu. Test biss; uża MiMo-V2.5 · W8A16 għall-immaġni.
Il-biċċa l-kbira tal-katalgi jbigħulek l-għadd ta' parametri. Dak hu n-numru ħażin biex tixtri fuqu, għax kull mudell kbir b'piżi miftuħa li tista' tabilħaqq tiflaħ ġie kompressat biex jidħol xi mkien. Il-mistoqsija onesta mhijiex "kemm kien kbir dan qabel ma tgħaffeġ?" imma "kemm minnu għad fadal?" Dan l-artiklu hu dwar dik il-mistoqsija, u dwar il-mudell fil-lineup tagħna fejn it-tweġiba hi kważi kollu.
01X'tikseb tabilħaqq mill-API bla ċensura ta' MiMo
L-API bla ċensura ta' MiMo hi id ta' mudell wieħed, MiMo-V2.5-Pro-W8A16, li tintlaħaq permezz ta' tliet djaletti li jindirizzaw l-istess piżi fuq il-cluster GPU tagħna stess: /v1/chat/completions, /v1/messages u /v1/responses. It-tliet kollha jagħmlu streaming u jappoġġjaw is-sejħa ta' għodod u r-raġunament.
Bla ċensura għandha tifsira dejqa hawn: ebda saff ta' rifjut quddiem il-mudell, ebda filtru fuq l-output tiegħu. Ma nintervjenux, nikklassifikaw jew nikteb mill-ġdid. Tikseb l-imġieba tal-fondazzjoni stess — li għal mudell b'piżi miftuħa ta' livell ta' riċerka jfisser li tinvolvi ruħha ma' riċerka tas-sigurtà, finzjoni għal adulti jew vjolenti, raġunament mediku u legali, u t-talbiet li endpoints kummerċjali ospitati jirrifjutaw b'riflessi. Hi għodda professjonali taħt il-Politika ta' Użu Responsabbli tagħna, mhux nuqqas ta' regoli.
02Il-lineage ta' MiMo: l-imħatra ta' Xiaomi fuq pretraining iffukat fuq ir-raġunament
MiMo mhijiex derivattiv ta' Llama b'isem ġdid; hi lineage distinta mit-tim ta' MiMo ta' Xiaomi, u l-idea fundazzjonali tagħha tgħodd qabel ma tevalwa l-mudell. Tiftaħ b'MiMo-7B (30 ta' April 2025, liċenzja MIT), li r-rapport tekniku tagħha jargumenta li l-biċċa l-kbira tal-labs jittrattaw ir-raġunament bħala problema ta' wara t-taħriġ li tissakkar bl-RL, u li dan hu bil-maqlub. Xiaomi restrutturat il-pretraining madwaru minflok: taħlita ta' tliet stadji tul 25 triljun token, it-tieni stadju jaħdem bejn wieħed u ieħor 70% matematika u kodiċi, it-tielet stadju jdaħħal traċċi ta' raġunament sintetiku waqt li jestendi l-kuntest minn 8K għal 32K — flimkien ma' objettiv ta' Multi-Token Prediction li jaqdi wkoll bħala ras ta' decoding spekulattiv.
Ir-riżultat kien mudell bażi ta' 7B li ġab ruħu bħal ħaġa ferm akbar. MiMo-7B-Base skorja 32.9 fuq AIME 2024 fejn Qwen2.5-7B skorja 10.1, Gemma-2-9B 0.0 u Llama-3.1-8B 0.3. Il-post-taħriġ imbagħad ħaddem RL fuq 130,000 problema verifikabbli ta' matematika u kodiċi b'premju tal-kodiċi mmexxi mid-diffikultà tat-test, li jaħrab mit-trappola tal-premju spars li tiddestabilizza r-RL tal-kodiċi. Ir-riżultat spiċċa quddiem o1-mini:
AIME 2025, ċifri rrapportati minn Xiaomi mir-rapport tekniku ta' MiMo (arXiv:2505.07608). MiMo-7B-RL irrapporta wkoll 95.8 fuq MATH-500 u 57.8 fuq LiveCodeBench v5.
Il-familja wesgħet minflok mardet: MiMo-VL-7B (Ġunju 2025) poġġa encoder Qwen2.5-ViT fuq l-istess backbone, u Diċembru 2025 ġieb MiMo-Audio-7B flimkien mal-ewwel dħul MoE, MiMo-V2-Flash (309B totali / 15B attivi, 27T token, preċiżjoni mħallta FP8). MiMo-V2-Pro segwa f'Marzu 2026 f'madwar 1T / 42B attivi b'kuntest ta' 1M, wara ġimgħat fuq OpenRouter bħala "Hunter Alpha". MiMo-V2.5 u MiMo-V2.5-Pro ħarġu flimkien fit-22 ta' April 2026, it-tnejn MIT.
03Ġewwa MiMo-V2.5-Pro: kif tidher il-fondazzjoni
Skont il-karta mudell ippubblikata ta' Xiaomi, MiMo-V2.5-Pro hi mudell spars ta' Taħlita ta' Esperti b'1.02 triljun parametru totali u 42 biljun attivi għal kull token tul 70 saff — wieħed dens, 69 MoE — u 384 espert routjat, 8 għal kull token. Id-daqs moħbi hu 6144, b'daqs intermedju dejjaq ta' MoE ta' 2048.
Żewġ għażliet jiffurmaw kif tħossha fl-użu. L-istack tal-attenzjoni hi ibrida: 10 saffi ta' attenzjoni sħiħa u 60 saff ta' tieqa scorrevoli b'tieqa ta' 128, flimkien ma' bias ta' attention-sink li jista' jitgħallem. Xiaomi jirrapporta li dan inaqqas il-ħażna tal-KV-cache b'qrib 7 darbiet kontra attenzjoni globali kollha filwaqt li jżomm il-kwalità ta' kuntest twil — id-differenza bejn tieqa li hi twila nominalment u waħda li tiflaħ timlieha. Iġġib magħha wkoll tliet saffi ta' Multi-Token Prediction, li jagħtu lid-decoder ras spekulattiva.
It-taħriġ kien 27 triljun token f'tul ta' sekwenza nattiv ta' 32K f'preċiżjoni mħallta FP8 (E4M3), imbagħad fine-tuning superviżat, RL aġentiku fuq skala kbira u distillazzjoni multi-teacher on-policy. Żomm f'moħħok dak id-dettall FP8; hu l-akbar argument waħdieni għall-preġju li din il-fondazzjoni tinqeda b'8-il bit.
Xiaomi jirrapporta l-mudell fuq 57.2% fuq SWE-bench Pro, 72.9 fuq τ3-Bench għall-użu tal-għodod u 48.0% fuq Humanity's Last Exam — in-numri stess tal-bejjiegħ fuq il-mudell mhux kompressat, ikkwotati bħala tali.
Naqdu tieqa ta' 262,144-token, mhux il-miljun sħiħ tal-fondazzjoni — kuntest li nistgħu niggarantixxu bil-veloċità, minflok numru fil-headline li jiddegrada taħt il-piż.
04X'ifisser W8A16, bil-preċiż
Kull mudell f'dan il-katalgu iġorr suffiss ta' kwantizzazzjoni li jiddeskrivi trasformazzjoni attwali u li tista' titkejjel minflok livell ta' marketing. Tagħna huma 3BIT-REAP, W4A16-AUTOROUND-REAP u W8A16. MiMo-V2.5-Pro hi t-tielet.
In-notazzjoni tinqasam f'żewġ partijiet. W8 hi l-preċiżjoni tal-piżi: kull parametru jinħażen bħala integer ta' 8-bit minflok float ta' 16-bit, b'fattur ta' skala kondiviż għal kull grupp żgħir biex il-medda dinamika lokali ta' kull grupp tibqa' ħajja. A16 hi l-preċiżjoni tal-attivazzjonijiet: il-valuri li jgħaddu bejn is-saffi fil-ħin tal-inferenza jibqgħu f'16-il bit. Il-piżi jiġu kompressati; l-aritmetika le.
Dik it-tieni parti tagħmel xogħol siekt u importanti. L-attivazzjonijiet huma ferm aktar diffiċli li tikkwantizza mill-piżi: fihom kanali outlier estremi — ftit dimensjonijiet li l-manjitudni tagħhom tgħatti kollox ieħor u li jġorru sehem sproporzjonat mill-imġieba tal-mudell. Agħfashom għal preċiżjoni baxxa u tikklippja eżatt is-sinjal li kellek bżonn. L-iskemi weight-only jevitaw il-problema billi jħallu l-mogħdija tal-attivazzjoni intatta, li hu għaliex ix-xogħol serju tal-kwantizzazzjoni kkonverga fuqhom.
Allura l-mistoqsija prattika tinqara f'ħaġa waħda: kemm bits jista' jittollera piż?
05W8A16 kontra W4A16 kontra 3-bit: fejn tmur tabilħaqq it-telfa
L-akbar studju ppubblikat dwar dan hu ta' Neural Magic u Red Hat, "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — aktar minn 500,000 evalwazzjoni tul il-familja Llama-3.1 fi 8B, 70B u 405B. Ir-riżultat prinċipali tagħhom, fiċ-ċifri tagħhom stess:
| Format | X'hu kompressat | Irkupru rrapportat vs BF16 |
|---|---|---|
| W8A8-FP (8-bit) | Piżi + attivazzjonijiet, float | ~99.75% medja — "essenzjalment mingħajr telf" |
| W8A8-INT (8-bit) | Piżi + attivazzjonijiet, integer | 99–100% fi 8B/70B; 98.2–99.3% fi 405B |
| W4A16-INT (4-bit) | Piżi biss | 98–99.4% (8B); 98.6–99.8% (70B) |
Ċifri rrapportati minn Neural Magic / Red Hat (arXiv:2411.02355) fuq mudelli Llama-3.1 — il-forma tat-tpartit, mhux il-punteġġ ta' dan il-mudell.
Miqrija onestament, dak jidher bħala argument kontra li tinkwieta: 4-bit tirkupra 98–99%, allura għaliex toqgħod attent? Għax dawk huma benchmarks akkademiċi ta' għażla multipla, qrib l-agħar strument disponibbli biex tinnota ħsara ta' kwantizzazzjoni. Mistoqsija ta' benchmark għandha tweġiba korretta waħda li tintlaħaq f'token wieħed jew tnejn, u l-iżball tal-kwantizzazzjoni hu ħoss żgħir, bejn wieħed u ieħor b'medja żero, fuq kull logit; fuq mistoqsija qasira b'marġni wiesa', dak il-ħoss jiġi assorbit.
Issa ikteb 4,000 token ta' dokument tekniku, żomm vuċi tul storja ta' 40,000-token, jew oħroġ JSON li jrid jivvalida mill-ewwel darba. L-istess ħoss hu meħud kampjun eluf ta' drabi f'sekwenza, kull kampjun jikkundizzjona dak li jmiss. Il-mod ta' falliment mhuwiex tweġiba żbaljata — hu drift: qbid li jitlaqqa' fuq l-istruzzjoni mit-turn wieħed, karattru li jieqaf jinstema' bħalu madwar it-token 3,000, parenthesi tal-għeluq li qatt ma jasal.
Fejn imorru tabilħaqq il-bits
L-iżball tal-kwantizzazzjoni mhuwiex imxerred b'mod ugwali fuq l-abbiltajiet ta' mudell; jikkonċentra fid-dnub twil. L-imġibiet ta' massa għolja — Ingliż grammatikalment korrett, il-forma ta' funzjoni Python, l-eqleb elf fatt dwar id-dinja — huma kkodifikati b'mod ridondanti tul ħafna piżi u jgħixu minn kważi kollox. Ir-rokni ttonjati b'mod preċiż u ta' manjitudni żgħira tad-distribuzzjoni tal-piżi jżommu l-ħaġa rari: is-signature eżatta ta' API mhux komuni, il-kadenza ta' awtur speċifiku, id-differenza bejn żewġ CVEs ġirien. Dawk huma l-valuri li grid goff itaqqab f'xulxin.
Il-pass minn 4 bits għal 3 hu fejn dan jieqaf milli jkun taxxa u jsir irdif. Il-liġijiet tal-iskalar tal-inferenza ta' k-bit ta' Dettmers u Zettlemoyer sabu li 4-bit hu l-punt li jimmassimizza l-preċiżjoni zero-shot għal kull bit ta' memorja tal-mudell, bid-degradazzjoni tiddomina taħtu. Erba' bits jagħtu 16-il livell għal kull grupp; tlieta jagħtu 8. Qed inaqqas bin-nofs ir-riżoluzzjoni ta' grid diġà goff, u l-iżball ta' tqarrib għal kull piż bejn wieħed u ieħor jirdoppja.
L-aritmetika li tiddeċiedi
It-tqabbil li jiswa hu aritmetiku, mhux benchmark. Dak li jibqa' ħaj wara l-kompressjoni hu bejn wieħed u ieħor parametri × bits għal kull parametru — il-volum li jġorr informazzjoni tal-fajl tal-piżi. Ħu żewġ fondazzjonijiet ipotetiċi ta' kwalità ugwali għal kull parametru:
- Fondazzjoni A: 400B parametru fi 3 bits → bejn wieħed u ieħor 150 GB ta' piż miżmum.
- Fondazzjoni B: 160B parametru fi 8 bits → bejn wieħed u ieħor 160 GB ta' piż miżmum.
Bl-għadd mhux maħdum tal-parametri A tirbaħ tnejn u nofs kontra wieħed — in-numru li l-karta mudell tibda biha. Bl-informazzjoni miżmuma huma ekwivalenti, u B għandha vantaġġ strutturali barra minn hekk: il-piżi tagħha joqogħdu fuq grid fin biżżejjed li l-imġieba ta' dnub twil tagħha tibqa' intatta, filwaqt li d-dnub ta' A ġie kwantizzat fil-massa. A taf aktar affarijiet; B taf dak li taf b'mod aktar preċiż. Għal ġenerazzjoni twila, formatjar eżatt, kontroll stilistiku u ħarsien fidil ta' kuntest twil, ħu B.
Aritmetika illustrattiva, mhux benchmark: turi għaliex "fondazzjoni akbar" u "mudell servut aħjar" huma pretensjonijiet differenti.
06Għaliex 27 triljun token ta' taħriġ jagħmlu l-kwantizzazzjoni aggressiva agħar
It-tieni riżultat, inqas intuittiv, jaqbad direttament ma' din il-fondazzjoni. Il-paper ta' Kumar et al. tal-ICLR 2025, Scaling Laws for Precision, isib li iktar data ta' taħriġ li mudell ġie mħarreġ biha, iktar ħsara tagħmillu l-kwantizzazzjoni ta' wara t-taħriġ. Preċiżjoni baxxa tnaqqas l-għadd effettiv ta' parametri ta' mudell, u dik id-degradazzjoni tikber mad-data ta' pretraining assorbita — sa punt li data żejda ta' pretraining tista' tkun ta' ħsara netta jekk beħsiebek tikkwantizza b'mod aggressiv, għax qed ittella' struttura fina li l-grid se tħassar.
Mudell imħarreġ fuq 5T token għandu struttura goffa u ridondanti ta' piżi u wisa' zejjed. Mudell imħarreġ fuq 27T token — il-baġit ta' MiMo-V2.5-Pro — nefaq dik id-data żejda jikteb distinzjonijiet aktar fini f'valuri ta' piżi aktar preċiżi, li hu eżattament dak li grid ta' 3-bit ma jistax jirrappreżenta.
Imbagħad hemm il-fatt tal-FP8 mit-taqsima 03, l-aktar argument nadif f'dan l-artiklu. MiMo-V2.5-Pro ġiet ippretrenjata f'preċiżjoni mħallta FP8. Il-piżi tagħha ġew iffurmati mill-bidu minn ottimizzatur li jaħdem f'madwar tmien bits ta' preċiżjoni. Li sserviha b'piżi ta' 8-bit għalhekk mhijiex ħsieb ta' wara b'telf impost fuq mudell ta' 16-bit — hi qrib li terġa' tpoġġi l-piżi fir-reġim numeriku li fih tgħallmu. Ftit struttura fina teżisti taħt it-tmien bit li tintilef. L-istess ma jistax jingħad għal dawk il-piżi mġiegħla għal tlieta.
07REAP: għaliex it-tqaċċit tal-esperti hu tip differenti ta' telf mit-tqarrib
Tnejn mit-tliet livelli jġorru suffiss REAP — operazzjoni kategorikament differenti mill-kwantizzazzjoni. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) hi kompressjoni ta' darba għal mudelli MoE spars: tiskorja kull espert bil-valuri tal-gate tar-router u n-norma tal-attivazzjoni tal-espert, imbagħad tħassar dawk bl-inqas punteġġ. Cerebras jirrapportaw riżultati kważi mingħajr telf fuq il-ġenerazzjoni tal-kodiċi u s-sejħa ta' għodod anke b'50% tal-esperti mqaċċta.
Nużaw REAP għar-raġuni li teżisti: fuq l-akbar fondazzjonijiet hi dak li jagħmilhom servibbli. Imma innota d-differenza fit-tip. Il-kwantizzazzjoni tħabbab kull piż ftit; it-tqaċċit ineħħi esperti għal kollox. Jekk ix-xogħol tiegħek jirrota bil-qawwa lejn kapaċità li kienet tgħix f'espert rarament magħżul — lingwa ta' programmar minuri, vokabolarju speċjalizzat — dan mhux degradat. Sparixxa, u ebda prompting ma jirkuprah. Il-medji jibqgħu eċċellenti; il-każ tad-dnub twil tiegħek jista' ma jibqax.
MiMo-V2.5-Pro · W8A16 ma ġġorr ebda suffiss REAP. All 384 espert huma preżenti, u r-router jagħżel mis-sett sħiħ li biha ġiet imħarrġa l-fondazzjoni.
| Livell | Bits tal-piżi | Esperti | X'tpartat |
|---|---|---|---|
| W8A16 | 8 | Kollha preżenti | Xejn strutturali. Il-livell ta' fedeltà. |
| W4A16-AUTOROUND-REAP | 4 | Imqaċċta | Dettall fin tal-piżi flimkien ma' esperti ta' traffiku baxx, bi tpartit għal fondazzjoni ferm akbar fl-istess firxa ta' prezz. |
| 3BIT-REAP | 3 | Imqaċċta | Riżoluzzjoni sostanzjali tal-piżi flimkien ma' esperti ta' traffiku baxx — il-prezz biex tħaddem l-akbar fondazzjonijiet bil-veloċità. |
Il-livell tan-nofs jistħoqqlu smigħ ġust. AutoRound mhijiex tqarrib naiv: il-metodu ta' Intel (arXiv:2309.05516) juża gradient descent b'sinjal fuq madwar 200 pass biex jottimizza d-deċiżjonijiet tat-tqarrib u l-medda tal-clipping għal kull grupp ta' piżi, u hu rrapportat kważi mingħajr telf fi 4 bits fil-biċċa l-kbira tal-ambjenti, jegħleb lil GPTQ, AWQ, HQQ u OmniQuant fil-biċċa l-kbira tal-konfigurazzjonijiet ittestjati. Mudell W4A16-AUTOROUND hu mudell ta' 4-bit tassew tajjeb. Xorta waħda hu mudell ta' 4-bit.
08Min għandu jagħżel il-livell ta' 8-bit — u min le
MiMo-V2.5-Pro · W8A16 toqgħod fil-prezz tal-qiegħ tal-katalgu kollu — $0.50 dħul / $2.00 ħruġ għal kull miljun token, l-istess firxa tal-mudelli ta' 4-bit tal-livell tad-dħul u bejn wieħed u ieħor kwart tal-prezz tad-dħul tal-mudell l-aktar għali li naqdu. Mhux qed tħallas premium għall-fedeltà; qed tagħżel assi differenti tal-istess baġit.
Agħżilha meta
- It-tul tal-output hu x-xogħol. Kitba teknika ta' forma twila, finzjoni tul kapitli, passaġġi ta' dokumentazzjoni sħiħa — kull token iġġenerat hu wieħed fejn il-ħoss tal-kompressjoni jikkumpona.
- Il-vuċi u l-konsistenza jgħoddu. Xogħol ta' karattru, tonalità ta' marka, reġistru miżmum tul sessjoni twila. L-istil jgħix fid-dnub twil, u d-dnub twil hu dak li l-kwantizzazzjoni goffa tiekol l-ewwel.
- L-output strutturat irid jivvalida mill-ewwel darba. Il-mudell jappoġġja
json_schemauresponse_format; il-ħarsien tal-iskema hi proprjetà ta' preċiżjoni, u kull retry evitat hu flus u latenza salvati. - Qed timla l-kuntest. Il-ħarsien tal-istruzzjonijiet fit-token 200,000 hu aktar diffiċli minn fit-token 2,000, u jiddegrada mal-preċiżjoni tal-piżi — l-istess bħal traċċa twila ta' raġunament, fejn l-iżbalji jikkumponaw bl-istess mod.
- Ix-xogħol hu bla ċensura b'natura tiegħu. Riċerka tas-sigurtà, red-teaming, finzjoni mhux filtrata, analiżi medika jew legali sensittiva — fejn tweġiba mgħottija hi agħar minn ebda waħda.
Agħżel xi ħaġa oħra meta
- Teħtieġ il-viżjoni. Dan il-mudell hu test biss; l-aħwa tiegħu MiMo-V2.5 · W8A16 hi kapaċi ta' viżjoni bl-istess prezz u livell.
- Teħtieġ l-aktar għarfien wiesa' tad-dinja fuq mistoqsijiet qosra. Dak hu r-reġim fejn il-parametri żejda ta' fondazzjoni ta' 3-bit ferm akbar jirbħu u l-ħsara tal-kwantizzazzjoni tagħha bilkemm tidher.
- Ix-xogħol tiegħek hu klassifikazzjoni qasira ta' volum għoli. Il-ħsara tal-kwantizzazzjoni hi kważi inviżibbli hemm — ixtri kwalunkwe ħaġa l-aktar mgħaġġla.
09Issejjaħ l-API bla ċensura ta' MiMo
Jekk il-kodiċi tiegħek jimmira l-SDK ta' OpenAI, il-bdil tal-base URL u l-id tal-mudell hu l-migrazzjoni kollha:
curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer $SHANNON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MiMo-V2.5-Pro-W8A16",
"messages": [
{"role": "user", "content": "Draft the threat model section."}
],
"reasoning_effort": "high",
"max_tokens": 16384,
"stream": true
}'/v1/messages u /v1/responses jaċċettaw l-istess id u kapaċitajiet. Referenza tal-parametri, skemi ta' sejħa ta' għodod, eżempji ta' output strutturat u playground ħaj huma fid-dokumentazzjoni tal-API ta' Shannon AI.
| Kapaċità | MiMo-V2.5-Pro · W8A16 |
|---|---|
| Tieqa ta' kuntest | 262,144 token |
| Output massimu għal kull talba | 16,384 token |
| Streaming | Iva — it-tliet djaletti kollha |
| Sejħa ta' għodod | Iva |
Raġunament / reasoning_effort | Iva |
Output strutturat json_schema | Iva |
response_format | Iva |
| Viżjoni / input ta' immaġni | Le — uża MiMo-V2.5 |
| Saff ta' rifjut / filtru tal-output | Xejn |
| Prezz għal kull 1M token | $0.50 dħul / $2.00 ħruġ |
Kull ċifra esterna hawn hi ppubblikata minn ħaddieħor u attribwita fit-test. Ir-riżultati tal-irkupru tal-kwantizzazzjoni ġejjin minn studji tal-familja Llama: jiddeskrivu l-forma tat-tpartit, mhux il-punteġġi ta' dan il-mudell.
10Mistoqsijiet frekwenti
X'inhi l-API bla ċensura ta' MiMo?
L-endpoint ta' Shannon AI għal MiMo-V2.5-Pro, il-mudell ta' Taħlita ta' Esperti b'piżi miftuħa ta' Xiaomi, servut fuq il-cluster GPU tagħna stess mingħajr saff ta' rifjut u mingħajr filtrar tal-output. Tintlaħaq permezz ta' /v1/chat/completions, /v1/messages u /v1/responses, b'kuntest ta' 262,144-token u 16,384 token ta' output għal kull talba.
X'ifisser W8A16, u għaliex jgħodd?
W8A16 ifisser li l-piżi jinħażnu f'8 bits kull wieħed filwaqt li l-attivazzjonijiet jiġu kkalkulati f'16-il bit. Hu l-livell ta' kwantizzazzjoni ta' l-ogħla fedeltà fil-katalgu tagħna. Studji ppubblikati jsibu li formati ta' 8-bit li jikkwantizzaw il-piżi biss jirkupraw essenzjalment il-preċiżjoni kollha tal-mudell oriġinali, filwaqt li 4-bit tpartat ftit fedeltà għall-memorja u 3-bit tpartat ħafna aktar.
Jista' mudell iżgħar fi 8-bit jegħleb mudell akbar fi 3-bit?
Ta' spiss, iva. Dak li jibqa' ħaj wara l-kompressjoni hu bejn wieħed u ieħor l-għadd ta' parametri mmultiplikat bil-bits għal kull parametru, u l-iżball tal-kwantizzazzjoni jikkonċentra fl-imġieba rari tad-dnub twil. Mudell miżmum f'8 bits iżomm il-koerenza tiegħu ta' forma twila, il-formatjar eżatt u l-għarfien tad-dnub twil; mudell akbar imgħaffeġ għal 3 bits iżomm il-punteġġi wesgħin tal-benchmark tiegħu imma jitlef dawk il-proprjetajiet.
MiMo-V2.5-Pro tappoġġja l-viżjoni jew l-input ta' immaġni?
Le. MiMo-V2.5-Pro fuq Shannon AI hi test biss. Tappoġġja s-sejħa ta' għodod, ir-raġunament b'reasoning_effort, l-output strutturat ta' JSON-schema u response_format. Jekk teħtieġ input ta' immaġni, uża l-mudell aħwa MiMo-V2.5 W8A16, li hi kapaċi ta' viżjoni bl-istess prezz.
Kemm tiswa l-API bla ċensura ta' MiMo?
$0.50 għal kull miljun token tad-dħul u $2.00 għal kull miljun token tal-ħruġ. Dak hu l-prezz tal-qiegħ fil-katalgu ta' Shannon AI, li jagħmel lil MiMo-V2.5-Pro l-irħas mod kif tixtri fedeltà ta' 8-bit fuq dan il-gateway.
Ipprova l-API bla ċensura ta' MiMo
Fedeltà ta' tmien bits, kuntest ta' 262K, ebda saff ta' rifjut — fil-prezz tal-qiegħ tal-katalgu.
Aqra d-Dokumenti tal-API Fittex il-Mudelli KollhaOperata taħt il-Politika ta' Użu Responsabbli ta' Shannon AI
Sorsi: Rapport tekniku ta' MiMo, arXiv:2505.07608 · Karta mudell ta' MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Liġijiet tal-iskalar tal-inferenza k-bit, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Iċ-ċifri kollha tal-benchmark huma kif irrapportati mill-awturi tagħhom. Shannon AI hu prodott ta' Shannon Lab LLC, New Mexico, l-Istati Uniti.