API MiMo Heb Sensoriaeth ar Ffyddlondeb 8-Did

Mae'r rhan fwyaf o gatalogau'n gwerthu cyfrif paramedrau i chi. Dyna'r rhif anghywir i siopa arno, oherwydd mae pob model pwysau agored mawr y gallwch ei fforddio mewn gwirionedd wedi'i gywasgu i ffitio rhywle. Nid "pa mor fawr oedd hwn cyn ei wasgu?" yw'r cwestiwn gonest ond "faint ohono sy'n dal yma?" Am y cwestiwn hwnnw y mae'r erthygl hon, ac am y model yn ein rhestr lle mai bron y cyfan ohono yw'r ateb.

01Beth mae'r API MiMo heb sensoriaeth yn ei roi i chi mewn gwirionedd

Un model id yw'r API MiMo heb sensoriaeth, MiMo-V2.5-Pro-W8A16, y gellir ei gyrraedd trwy dair tafodiaith sy'n mynd at yr un pwysau ar ein clwstwr GPU ein hunain: /v1/chat/completions, /v1/messages a /v1/responses. Mae'r tair yn ffrydio ac yn cefnogi galw offer a rhesymu.

Mae ystyr gul i heb sensoriaeth yma: dim haen wrthod o flaen y model, dim hidlydd ar ei allbwn. Nid ydym yn rhyng-gipio, dosbarthu nac ailysgrifennu. Cewch ymddygiad y sylfaen ei hun — sydd, ar gyfer model pwysau agored o safon ymchwil, yn golygu ei fod yn ymgysylltu ag ymchwil diogelwch, ffuglen i oedolion neu ffuglen dreisgar, rhesymu meddygol a chyfreithiol, a'r ceisiadau y mae pwyntiau terfyn masnachol yn eu gwrthod yn atgyrchol. Teclyn proffesiynol o dan ein Polisi Defnydd Cyfrifol ydyw, nid absenoldeb rheolau.

02Llinach MiMo: bet Xiaomi ar raghyfforddi sy'n rhoi rhesymu'n gyntaf

Nid deilliad Llama gydag enw newydd yw MiMo; llinach ar wahân gan dîm MiMo Xiaomi ydyw, ac mae ei syniad sylfaenol o bwys cyn i chi werthuso'r model. Mae'n agor gyda MiMo-7B (30 Ebrill 2025, trwydded MIT), y mae ei adroddiad technegol yn dadlau bod y rhan fwyaf o labordai'n trin rhesymu fel problem ôl-hyfforddi i'w bolltio arno gydag RL, a bod hynny am yn ôl. Ailstrwythurodd Xiaomi'r rhaghyfforddi o'i gwmpas yn lle hynny: cymysgedd tri cham ar draws 25 triliwn tocyn, gyda'r ail gam yn rhedeg tua 70% mathemateg a chod, a'r trydydd cam yn plygu olion rhesymu synthetig i mewn wrth ymestyn y cyd-destun o 8K i 32K — ynghyd ag amcan Rhagfynegi Aml-Docyn sydd hefyd yn gweithredu fel pen datgodio dyfaliadol.

Y canlyniad oedd model sylfaenol 7B a ymddygodd fel rhywbeth llawer mwy. Sgoriodd MiMo-7B-Base 32.9 ar AIME 2024 lle sgoriodd Qwen2.5-7B 10.1, Gemma-2-9B 0.0 a Llama-3.1-8B 0.3. Yna rhedodd yr ôl-hyfforddi RL dros 130,000 o broblemau mathemateg a chod y gellir eu gwirio, gyda gwobr cod wedi'i gyrru gan anhawster y prawf, gan ddianc rhag y fagl gwobr denau sy'n ansefydlogi RL cod. Glaniodd y canlyniad o flaen o1-mini:

AIME 2025, ffigurau a adroddwyd gan Xiaomi o adroddiad technegol MiMo (arXiv:2505.07608). Adroddodd MiMo-7B-RL hefyd 95.8 ar MATH-500 a 57.8 ar LiveCodeBench v5.

Lledodd y teulu yn hytrach na drifftio: rhoddodd MiMo-VL-7B (Mehefin 2025) amgodiwr Qwen2.5-ViT ar yr un asgwrn cefn, a daeth Rhagfyr 2025 â MiMo-Audio-7B ynghyd â'r cofnod MoE cyntaf, MiMo-V2-Flash (309B i gyd / 15B yn weithredol, 27T tocyn, manwl gywirdeb cymysg FP8). Dilynodd MiMo-V2-Pro ym Mawrth 2026 ar tua 1T / 42B yn weithredol gyda chyd-destun 1M, ar ôl wythnosau ar OpenRouter fel "Hunter Alpha". Anfonwyd MiMo-V2.5 a MiMo-V2.5-Pro gyda'i gilydd ar 22 Ebrill 2026, y ddau o dan MIT.

03Y tu mewn i MiMo-V2.5-Pro: sut olwg sydd ar y sylfaen

Yn ôl cerdyn model cyhoeddedig Xiaomi, model Cymysgedd-o-Arbenigwyr tenau yw MiMo-V2.5-Pro gyda 1.02 triliwn o baramedrau i gyd a 42 biliwn yn weithredol fesul tocyn ar draws 70 haen — un yn ddwys, 69 yn MoE — a 384 o arbenigwyr llwybredig, 8 fesul tocyn. Y maint cudd yw 6144, gyda maint canolradd MoE cul o 2048.

Mae dau ddewis yn siapio sut mae'n teimlo wrth ei ddefnyddio. Mae'r pentwr sylw'n hybrid: 10 haen sylw llawn a 60 haen ffenestr lithro gyda ffenestr o 128, ynghyd â gogwydd sinc sylw y gellir ei ddysgu. Mae Xiaomi'n adrodd bod hyn yn torri storio storfa KV bron i 7 gwaith o gymharu â sylw byd-eang llwyr tra'n dal ansawdd cyd-destun hir — y gwahaniaeth rhwng ffenestr sy'n hir yn enwol ac un y gallwch fforddio ei llenwi. Mae hefyd yn cynnwys tair haen Rhagfynegi Aml-Docyn, gan roi pen dyfaliadol i'r datgodiwr.

Roedd yr hyfforddi'n 27 triliwn o docynnau ar hyd dilyniant brodorol o 32K mewn manwl gywirdeb cymysg FP8 (E4M3), wedyn mireinio dan oruchwyliaeth, RL asiantaidd ar raddfa fawr a distyllu ar-bolisi aml-athro. Daliwch afael ar y manylyn FP8 hwnnw; dyna'r ddadl unigol gryfaf dros weini'r sylfaen hon ar 8 did.

Mae Xiaomi'n adrodd bod y model yn cyrraedd 57.2% ar SWE-bench Pro, 72.9 ar τ3-Bench ar gyfer defnyddio offer a 48.0% ar Humanity's Last Exam — rhifau'r gwerthwr ei hun ar y model heb ei gywasgu, wedi'u dyfynnu fel y cyfryw.

Rydym yn gweini ffenestr o 262,144 tocyn, nid 1M llawn y sylfaen — cyd-destun y gallwn ei warantu ar gyflymder, yn hytrach na rhif pennawd sy'n dirywio o dan lwyth.

04Beth yn union mae W8A16 yn ei olygu

Mae pob model yn y catalog hwn yn cario ôl-ddodiad cwanteiddio sy'n disgrifio trawsnewidiad gwirioneddol, mesuradwy yn hytrach nag haen farchnata. Ein rhai ni yw 3BIT-REAP, W4A16-AUTOROUND-REAP a W8A16. Y trydydd yw MiMo-V2.5-Pro.

Mae'r nodiant yn hollti'n ddwy. W8 yw manwl gywirdeb y pwysau: storir pob paramedr fel cyfanrif 8-did yn lle arnofyn 16-did, gyda ffactor graddio a rennir fesul grŵp bach fel bod ystod ddeinamig leol pob grŵp yn goroesi. A16 yw manwl gywirdeb yr actifadau: mae'r gwerthoedd sy'n llifo rhwng haenau adeg casglu'n aros ar 16 did. Cywasgir y pwysau; nid yw'r rhifyddeg.

Mae'r ail hanner hwnnw'n gwneud gwaith tawel, pwysig. Mae actifadau'n llawer anos i'w cwanteiddio na phwysau: maent yn cynnwys sianeli allanolion eithafol — ychydig o ddimensiynau y mae eu maintioli'n corrach popeth arall ac sy'n cario cyfran anghymesur o ymddygiad y model. Gwthiwch y rheini i fanwl gywirdeb isel a byddwch yn clipio'n union y signal yr oedd ei angen arnoch. Mae cynlluniau pwysau-yn-unig yn osgoi'r broblem trwy adael llonydd i lwybr yr actifadau, a dyna pam y mae gwaith cwanteiddio o ddifrif wedi cydgyfeirio arnynt.

Felly mae'r cwestiwn ymarferol yn culhau i un peth: pa mor ychydig o ddidau y gall pwysau eu goddef?

05W8A16 yn erbyn W4A16 yn erbyn 3-did: ble mae'r golled yn mynd mewn gwirionedd

Yr astudiaeth gyhoeddedig fwyaf ar hyn yw "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization gan Neural Magic a Red Hat — dros 500,000 o werthusiadau ar draws teulu Llama-3.1 ar 8B, 70B a 405B. Eu prif ganlyniad, yn eu rhifau nhw:

Fformat	Beth sy'n cael ei gywasgu	Adferiad adroddedig yn erbyn BF16
W8A8-FP (8-did)	Pwysau + actifadau, arnofyn	~99.75% ar gyfartaledd — "yn ei hanfod ddi-golled"
W8A8-INT (8-did)	Pwysau + actifadau, cyfanrif	99–100% ar 8B/70B; 98.2–99.3% ar 405B
W4A16-INT (4-did)	Pwysau yn unig	98–99.4% (8B); 98.6–99.8% (70B)

Ffigurau a adroddwyd gan Neural Magic / Red Hat (arXiv:2411.02355) ar fodelau Llama-3.1 — siâp y fasnach, nid sgôr y model hwn.

O'i ddarllen yn onest, mae hynny'n edrych fel dadl yn erbyn poeni: mae 4-did yn adfer 98–99%, felly pam rhoi sylw? Oherwydd meincnodau amlddewis academaidd yw'r rheini, sy'n agos at yr offeryn gwaethaf sydd ar gael i ganfod difrod cwanteiddio. Mae gan gwestiwn meincnod un ateb cywir y gellir ei gyrraedd mewn un neu ddau docyn, ac mae gwall cwanteiddio'n sŵn bach, tua chymedr-sero ar bob logit; ar gwestiwn byr gydag ymyl lydan, mae'r sŵn hwnnw'n cael ei amsugno.

Nawr ysgrifennwch 4,000 o docynnau o ddogfen dechnegol, daliwch lais ar draws stori 40,000 tocyn, neu allyrrwch JSON sy'n rhaid iddo ddilysu ar y cynnig cyntaf. Samplir yr un sŵn filoedd o weithiau mewn dilyniant, gyda phob sampl yn amodi'r nesaf. Nid ateb anghywir yw'r modd methu — drifft ydyw: gafael sy'n llacio ar y cyfarwyddyd o'r tro cyntaf, cymeriad sy'n peidio â swnio fel ef ei hun tua thocyn 3,000, cromfach gau nad yw byth yn cyrraedd.

Ble mae'r didau'n mynd mewn gwirionedd

Nid yw gwall cwanteiddio wedi'i wasgaru'n gyfartal ar draws galluoedd model; mae'n crynhoi yn y gynffon. Mae ymddygiadau màs uchel — Saesneg gramadegol, siâp ffwythiant Python, y mil o ffeithiau uchaf am y byd — wedi'u hamgodio'n ddiangen ar draws llawer o bwysau ac maent yn goroesi bron unrhyw beth. Mae corneli maintioli bach, wedi'u tiwnio'n fanwl, o'r dosbarthiad pwysau'n dal y pethau prin: llofnod union API anhysbys, cadens awdur penodol, y gwahaniaeth rhwng dau CVE cyfagos. Dyna'r gwerthoedd y mae grid bras yn eu talgrynnu i'w gilydd.

Y cam o 4 did i 3 yw lle mae hyn yn peidio â bod yn dreth ac yn dod yn glogwyn. Canfu deddfau graddio casglu k-did Dettmers a Zettlemoyer mai 4 did yw'r pwynt sy'n uchafu cywirdeb sero-ergyd fesul did o gof y model, gyda dirywiad yn dominyddu islaw hynny. Mae pedwar did yn rhoi 16 lefel fesul grŵp; mae tri'n rhoi 8. Rydych yn haneru cydraniad grid sydd eisoes yn fras, ac mae'r gwall talgrynnu fesul pwysau tua dyblu.

Y rhifyddeg sy'n penderfynu

Rhifyddeg yw'r gymhariaeth sy'n werth ei gwneud, nid meincnod. Yr hyn sy'n goroesi cywasgu yw tua paramedrau × didau fesul paramedr — cyfaint gwybodaeth y ffeil bwysau. Cymerwch ddwy sylfaen ddamcaniaethol o ansawdd cyfartal fesul paramedr:

• Sylfaen A: 400B o baramedrau ar 3 did → tua 150 GB o bwysau cadwedig.
• Sylfaen B: 160B o baramedrau ar 8 did → tua 160 GB o bwysau cadwedig.

Yn ôl cyfrif paramedrau crai mae A yn ennill dwy a hanner i un — y rhif y mae'r cerdyn model yn arwain ag ef. Yn ôl gwybodaeth gadwedig maent yn gyfartal, ac mae gan B fantais strwythurol ar ben hynny: mae ei bwysau'n eistedd ar grid digon mân fel bod ei ymddygiad cynffon yn gyfan, tra bod cynffon A wedi'i chwanteiddio i mewn i'r prif gorff. Mae A yn gwybod mwy o bethau; mae B yn gwybod yr hyn a ŵyr yn gliriach. Ar gyfer cynhyrchu hir, fformatio union, rheolaeth arddull a dilyn cyd-destun hir yn ffyddlon, cymerwch B.

Rhifyddeg ddangosol, nid meincnod: mae'n dangos pam fod "sylfaen fwy" a "model a weinir yn well" yn honiadau gwahanol.

06Pam mae 27 triliwn o docynnau hyfforddi'n gwneud cwanteiddio ymosodol yn waeth

Mae ail ganlyniad, llai greddfol, yn berthnasol yn uniongyrchol i'r sylfaen hon. Mae papur ICLR 2025 Kumar et al., Scaling Laws for Precision, yn canfod bod po fwyaf o ddata y hyfforddwyd model arno, y mwyaf o niwed y mae cwanteiddio ôl-hyfforddi yn ei wneud iddo. Mae manwl gywirdeb isel yn lleihau cyfrif paramedrau effeithiol model, ac mae'r dirywiad hwnnw'n tyfu gyda'r data rhaghyfforddi a amsugnwyd — yn ddigon pell fel y gall data rhaghyfforddi ychwanegol fod yn niweidiol net os ydych yn bwriadu cwanteiddio'n ymosodol, oherwydd rydych yn gosod strwythur mân y bydd y grid yn ei ddileu.

Mae gan fodel a hyfforddwyd ar 5T o docynnau strwythur pwysau bras, diangen a digon o le sbâr. Mae model a hyfforddwyd ar 27T o docynnau — cyllideb MiMo-V2.5-Pro — wedi gwario'r data ychwanegol hwnnw'n ysgrifennu gwahaniaethau manylach i mewn i werthoedd pwysau mwy manwl, sef yn union yr hyn na all grid 3-did ei gynrychioli.

Yna mae ffaith FP8 o adran 03, y ddadl lanaf yn yr erthygl hon. Rhaghyfforddwyd MiMo-V2.5-Pro mewn manwl gywirdeb cymysg FP8. Siapiwyd ei bwysau o'r cychwyn gan optimeiddiwr yn gweithio ar tua wyth did o fanwl gywirdeb. Nid ôl-ystyriaeth golledus a orfodwyd ar fodel 16-did, felly, yw ei weini ar bwysau 8-did — mae'n agos at ddychwelyd y pwysau i'r drefn rifyddol y'u dysgwyd ynddi. Ychydig o strwythur mân sy'n bodoli islaw'r wythfed did i'w golli. Ni ellir dweud yr un peth am y pwysau hynny wedi'u gwthio i lawr i dri.

07REAP: pam mae tocio arbenigwyr yn fath gwahanol o golled i dalgrynnu

Mae dau o'r tair haen yn cario ôl-ddodiad REAP — gweithred sy'n gategorïol wahanol i gwanteiddio. Cywasgu un ergyd ar gyfer modelau MoE tenau yw REAP (Tocio Actifadu Arbenigwyr wedi'i Bwysoli gan y Llwybrydd, Cerebras Research, arXiv:2510.13999, ICLR 2026): mae'n sgorio pob arbenigwr yn ôl gwerthoedd giât y llwybrydd a norm actifadu'r arbenigwr, yna'n dileu'r sgorwyr isaf. Mae Cerebras yn adrodd canlyniadau bron yn ddi-golled ar gynhyrchu cod a galw offer hyd yn oed pan docir 50% o'r arbenigwyr.

Rydym yn defnyddio REAP am y rheswm y mae'n bodoli: ar y sylfeini mwyaf, dyna sy'n eu gwneud yn weiniadwy. Ond nodwch y gwahaniaeth mewn math. Mae cwanteiddio'n pylu pob pwysau ychydig; mae tocio'n tynnu arbenigwyr yn gyfan gwbl. Os yw eich llwyth gwaith yn llwybro'n drwm at allu a oedd yn byw mewn arbenigwr a ddewisir yn brin — iaith raglennu leiafrifol, geirfa arbenigol — nid yw wedi'i ddiraddio. Mae wedi mynd, ac nid oes annog yn ei adfer. Mae'r cyfartaleddau'n aros yn ardderchog; efallai na fydd eich achos cynffon chi.

Nid yw MiMo-V2.5-Pro · W8A16 yn cario ôl-ddodiad REAP. Mae'r 384 arbenigwr i gyd yn bresennol, ac mae'r llwybrydd yn dewis o'r set lawn y hyfforddwyd y sylfaen â hi.

Haen	Didau pwysau	Arbenigwyr	Beth rydych yn ei fasnachu
W8A16	8	Pob un yn bresennol	Dim byd strwythurol. Yr haen ffyddlondeb.
W4A16-AUTOROUND-REAP	4	Wedi'u tocio	Manylder pwysau mân ynghyd ag arbenigwyr traffig isel, yn gyfnewid am sylfaen lawer mwy yn yr un band pris.
3BIT-REAP	3	Wedi'u tocio	Cydraniad pwysau sylweddol ynghyd ag arbenigwyr traffig isel — pris rhedeg y sylfeini mwyaf oll ar gyflymder.

Mae'r haen ganol yn haeddu gwrandawiad teg. Nid talgrynnu naïf yw AutoRound: mae dull Intel (arXiv:2309.05516) yn defnyddio disgyniad graddiant arwyddedig dros ryw 200 cam i diwnio'r penderfyniadau talgrynnu a'r ystod glipio fesul grŵp pwysau, ac adroddir ei fod bron yn ddi-golled ar 4 did yn y rhan fwyaf o leoliadau, gan guro GPTQ, AWQ, HQQ ac OmniQuant ar draws y rhan fwyaf o'r ffurfweddiadau a brofwyd. Mae model W4A16-AUTOROUND yn fodel 4-did gwirioneddol dda. Model 4-did ydyw o hyd.

08Pwy ddylai ddewis yr haen 8-did — a phwy na ddylai

Mae MiMo-V2.5-Pro · W8A16 yn eistedd ar bris llawr y catalog cyfan — $0.50 i mewn / $2.00 allan fesul miliwn tocyn, yr un band â'r modelau 4-did haen fynediad a thua chwarter pris mewnbwn y model drutaf a weinwn. Nid ydych yn talu premiwm am ffyddlondeb; rydych yn dewis echelin wahanol o'r un gyllideb.

Dewiswch ef pan

• Mai hyd yr allbwn yw'r gwaith. Ysgrifennu technegol ffurf hir, ffuglen hyd pennod, pasiau dogfennaeth lawn — mae pob tocyn a gynhyrchir yn un lle mae sŵn cywasgu'n cronni.
• Mae llais a chysondeb o bwys. Gwaith cymeriad, tôn brand, cywair a ddelir ar draws sesiwn hir. Mae arddull yn byw yn y gynffon, a'r gynffon yw'r hyn y mae cwanteiddio bras yn ei fwyta gyntaf.
• Rhaid i allbwn strwythuredig ddilysu ar y cynnig cyntaf. Mae'r model yn cefnogi json_schema a response_format; eiddo manwl gywirdeb yw glynu at sgema, ac mae pob ailgais a osgoir yn arian ac yn hwyrni wedi'u harbed.
• Rydych yn llenwi'r cyd-destun. Mae glynu at gyfarwyddyd ar docyn 200,000 yn anos nag ar docyn 2,000, ac mae'n dirywio gyda manwl gywirdeb y pwysau — fel y mae olrhain rhesymu hir, lle mae gwallau'n cronni'r un ffordd.
• Mae'r gwaith yn ddisensoriaeth wrth natur. Ymchwil diogelwch, timau coch, ffuglen heb ei hidlo, dadansoddi meddygol neu gyfreithiol sensitif — lle mae ateb gochelgar yn waeth na dim.

Dewiswch rywbeth arall pan

• Mae angen gweledol arnoch. Testun yn unig yw'r model hwn; mae ei frawd MiMo-V2.5 · W8A16 â gallu gweledol am yr un pris a'r un haen.
• Mae angen y wybodaeth fyd-eang ehangaf arnoch ar ymholiadau byr. Dyna'r drefn lle mae paramedrau ychwanegol sylfaen 3-did lawer mwy yn ennill ac nad yw ei difrod cwanteiddio prin yn dangos.
• Dosbarthu byr cyfaint uchel yw eich llwyth gwaith. Mae difrod cwanteiddio bron yn anweledig yno — prynwch beth bynnag sydd gyflymaf.

09Galw'r API MiMo heb sensoriaeth

Os yw eich cod yn targedu SDK OpenAI, newid yr URL sylfaen a'r model id yw'r mudo cyfan:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

Mae /v1/messages a /v1/responses yn derbyn yr un id a'r un galluoedd. Mae'r cyfeirlyfr paramedrau, sgemâu galw offer, enghreifftiau allbwn strwythuredig a maes chwarae byw yn dogfennaeth API Shannon AI.

Gallu	MiMo-V2.5-Pro · W8A16
Ffenestr gyd-destun	262,144 o docynnau
Uchafswm allbwn fesul cais	16,384 o docynnau
Ffrydio	Ie — pob un o'r tair tafodiaith
Galw offer	Ie
Rhesymu / reasoning_effort	Ie
Allbwn strwythuredig json_schema	Ie
response_format	Ie
Gweledol / mewnbwn delwedd	Na — defnyddiwch MiMo-V2.5
Haen wrthod / hidlydd allbwn	Dim
Pris fesul 1M tocyn	$0.50 i mewn / $2.00 allan

10Cwestiynau cyffredin

---

Ffynonellau: adroddiad technegol MiMo, arXiv:2505.07608 · cerdyn model MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · deddfau graddio casglu k-did, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Mae pob ffigur meincnod fel yr adroddwyd gan eu hawduron. Cynnyrch Shannon Lab LLC, New Mexico, UDA, yw Shannon AI.