Óritskoðað MiMo API á 8 bita trúmennsku

Flestar skrár selja þér færibreytufjölda. Það er röng tala til að versla eftir, því sérhvert stórt líkan með opnum þyngdum sem þú hefur raunverulega efni á hefur verið þjappað til að komast fyrir einhvers staðar. Heiðarlega spurningin er ekki „hversu stórt var þetta áður en það var kreist?“ heldur „hversu mikið af því er enn til staðar?“ Þessi grein fjallar um þá spurningu, og um líkanið í línunni okkar þar sem svarið er nánast allt af því.

01Hvað óritskoðaða MiMo API-ið gefur þér í raun

Óritskoðaða MiMo API-ið er eitt líkanaauðkenni, MiMo-V2.5-Pro-W8A16, aðgengilegt gegnum þrjár mállýskur sem ávarpa sömu þyngdir á okkar eigin GPU-klasa: /v1/chat/completions, /v1/messages og /v1/responses. Allar þrjár streyma og styðja verkfærakall og rökhugsun.

Óritskoðað hefur þrönga merkingu hér: ekkert neitunarlag fyrir framan líkanið, engin sía á úttaki þess. Við grípum ekki inn í, flokkum ekki og endurskrifum ekki. Þú færð hegðun grunnlíkansins sjálfs — sem hjá líkani með opnum þyngdum af rannsóknargæðum þýðir að það tekur þátt í öryggisrannsóknum, skáldskap fyrir fullorðna eða með ofbeldi, læknisfræðilegri og lagalegri rökhugsun, og þeim beiðnum sem hýstir viðskiptalegir endapunktar hafna sjálfkrafa. Þetta er faglegt verkfæri samkvæmt stefnu okkar um ábyrga notkun, ekki fjarvera reglna.

02MiMo-ættin: veðmál Xiaomi á rökhugsun frá byrjun

MiMo er ekki Llama-afleiða með nýju nafni; það er aðgreind ætt frá MiMo-teymi Xiaomi, og grunnhugmyndin á bak við hana skiptir máli áður en þú metur líkanið. Hún hefst með MiMo-7B (30. apríl 2025, undir MIT-leyfi), en tækniskýrsla þess heldur því fram að flestar rannsóknarstofur meðhöndli rökhugsun sem eftirþjálfunarvanda sem á að skrúfa á með styrkingarnámi, og að það sé öfugsnúið. Xiaomi endurskipulagði forþjálfunina í kringum hana í staðinn: þriggja þrepa blanda yfir 25 billjónir tákna, þar sem annað þrep keyrði gróflega 70% stærðfræði og kóða, og þriðja þrep felldi inn gerviferla af rökhugsun um leið og samhengið var lengt úr 8K í 32K — auk fjöltáknaspár sem gegnir jafnframt hlutverki spákaupmennskuhauss.

Niðurstaðan var 7B grunnlíkan sem hegðaði sér eins og eitthvað miklu stærra. MiMo-7B-Base fékk 32,9 á AIME 2024 þar sem Qwen2.5-7B fékk 10,1, Gemma-2-9B 0,0 og Llama-3.1-8B 0,3. Eftirþjálfun keyrði svo styrkingarnám yfir 130.000 sannreynanleg stærðfræði- og forritunardæmi með umbun fyrir kóða sem stýrðist af erfiðleikastigi prófa, og slapp þannig við gildru strjálla umbuna sem gerir styrkingarnám í kóða óstöðugt. Niðurstaðan lenti á undan o1-mini:

AIME 2025, tölur frá Xiaomi úr MiMo tækniskýrslunni (arXiv:2505.07608). MiMo-7B-RL var einnig sagt fá 95,8 á MATH-500 og 57,8 á LiveCodeBench v5.

Fjölskyldan breikkaði frekar en að reka: MiMo-VL-7B (júní 2025) setti Qwen2.5-ViT kóðara á sama burðarlag, og í desember 2025 komu MiMo-Audio-7B auk fyrsta MoE-liðsins, MiMo-V2-Flash (309B alls / 15B virkar, 27T tákn, FP8 blandaðri nákvæmni). MiMo-V2-Pro fylgdi í mars 2026 með gróflega 1T / 42B virkar og 1M samhengi, eftir margra vikna veru á OpenRouter undir nafninu „Hunter Alpha“. MiMo-V2.5 og MiMo-V2.5-Pro komu út saman 22. apríl 2026, bæði undir MIT.

03Inni í MiMo-V2.5-Pro: hvernig grunnlíkanið lítur út

Samkvæmt birtu líkanaspjaldi Xiaomi er MiMo-V2.5-Pro strjált Mixture-of-Experts líkan með 1,02 billjón færibreyta alls og 42 milljarða virkar á hvert tákn yfir 70 lög — eitt þétt, 69 MoE — og 384 beinda sérfræðinga, 8 á hvert tákn. Falin vídd er 6144, með þrönga MoE-millivídd upp á 2048.

Tvö val móta hvernig það upplifist í notkun. Athyglisstaflinn er blandaður: 10 lög með fullri athygli og 60 lög með rennigluggaathygli með glugga upp á 128, auk lærðs athyglisakkerisbjaga. Xiaomi greinir frá því að þetta skeri geymslu KV-skyndiminnis niður um nærri 7x á móti alhliða heildarathygli á meðan gæðum í löngu samhengi er haldið — munurinn á glugga sem er langur til málamynda og glugga sem þú hefur efni á að fylla. Það kemur líka með þremur lögum af fjöltáknaspá, sem gefur afkóðaranum spákaupmennskuhaus.

Þjálfunin var 27 billjónir tákna við innbyggða runulengd upp á 32K í FP8 (E4M3) blandaðri nákvæmni, svo stýrð fínstilling, styrkingarnám gerenda í stórum stíl og eiming frá mörgum kennurum. Haltu í þetta FP8 atriði; það er sterkasta einstaka röksemdin fyrir því að keyra þetta grunnlíkan á 8 bitum.

Xiaomi greinir frá líkaninu með 57,2% á SWE-bench Pro, 72,9 á τ3-Bench fyrir notkun verkfæra og 48,0% á Humanity's Last Exam — tölur framleiðandans sjálfs á óþjappaða líkaninu, tilgreindar sem slíkar.

Við keyrum 262,144 tákna glugga, ekki fullt 1M grunnlíkansins — samhengi sem við getum ábyrgst á hraða, frekar en fyrirsagnartölu sem hrörnar undir álagi.

04Hvað W8A16 þýðir, nákvæmlega

Sérhvert líkan í þessari skrá ber þjöppunarviðskeyti sem lýsir raunverulegri, mælanlegri umbreytingu frekar en markaðsþrepi. Okkar eru 3BIT-REAP, W4A16-AUTOROUND-REAP og W8A16. MiMo-V2.5-Pro er það þriðja.

Táknmálið skiptist í tvennt. W8 er nákvæmni þyngda: sérhver færibreyta er geymd sem 8 bita heiltala í stað 16 bita fleytitölu, með sameiginlegum skölunarstuðli fyrir hvern lítinn hóp svo staðbundið gildissvið hvers hóps lifi af. A16 er nákvæmni virkjana: gildin sem flæða milli laga við ályktun haldast á 16 bitum. Þyngdirnar eru þjappaðar; reikningurinn ekki.

Sá seinni helmingur vinnur hljóðlátt en mikilvægt verk. Virkjanir eru miklu erfiðari að þjappa en þyngdir: þær innihalda öfgakenndar útlagarásir — fáar víddir sem eru margfalt stærri en allt annað og bera óhóflegan hlut af hegðun líkansins. Ýttu þeim niður í litla nákvæmni og þú klippir einmitt merkið sem þú þurftir. Aðferðir sem þjappa aðeins þyngdum sniðganga vandann með því að láta virkjunarleiðina í friði, og þess vegna hefur alvarleg þjöppunarvinna hneigst að þeim.

Hagnýta spurningin þrengist því í eitt: hversu fáa bita þolir þyngd?

05W8A16 á móti W4A16 á móti 3 bitum: hvert tapið fer í raun

Stærsta birta rannsóknin á þessu er „Give Me BF16 or Give Me Death“? Accuracy-Performance Trade-Offs in LLM Quantization frá Neural Magic og Red Hat — yfir 500.000 mælingar yfir Llama-3.1 fjölskylduna á 8B, 70B og 405B. Aðalniðurstaða þeirra, í þeirra tölum:

Snið	Hvað er þjappað	Birt endurheimt á móti BF16
W8A8-FP (8 bitar)	Þyngdir + virkjanir, fleytitala	~99,75% að meðaltali — „í raun taplaust“
W8A8-INT (8 bitar)	Þyngdir + virkjanir, heiltala	99–100% á 8B/70B; 98,2–99,3% á 405B
W4A16-INT (4 bitar)	Aðeins þyngdir	98–99,4% (8B); 98,6–99,8% (70B)

Tölur birtar af Neural Magic / Red Hat (arXiv:2411.02355) á Llama-3.1 líkönum — lögun málamiðlunarinnar, ekki einkunn þessa líkans.

Lesið heiðarlega lítur þetta út eins og röksemd gegn því að láta sig þetta varða: 4 bitar endurheimta 98–99%, svo hvers vegna að hafa áhyggjur? Vegna þess að þetta eru akademísk krossaprófsviðmið, nálægt versta tiltæka mælitækinu til að greina skaða af þjöppun. Viðmiðsspurning hefur eitt rétt svar sem næst í einu eða tveimur táknum, og þjöppunarvilla er lítill hávaði með nokkurn veginn núllmeðaltali á hvern logit; á stuttri spurningu með breitt bil er sá hávaði gleyptur.

Skrifaðu nú 4.000 tákn af tæknilegu skjali, haltu rödd yfir 40.000 tákna sögu, eða gefðu frá þér JSON sem verður að standast vottun í fyrstu atrennu. Sami hávaði er sýnatekinn þúsundir sinnum í röð, þar sem hvert sýni skilyrðir það næsta. Bilunarhamurinn er ekki rangt svar — hann er rek: slaknandi tak á fyrirmælunum frá fyrstu umferð, persóna sem hættir að hljóma eins og hún sjálf í kringum tákn 3.000, lokasvigi sem kemur aldrei.

Hvert bitarnir fara í raun

Þjöppunarvilla dreifist ekki jafnt yfir getu líkans; hún safnast í halann. Hegðun með mikinn massa — málfræðileg enska, lögun Python-falls, þúsund helstu staðreyndirnar um heiminn — er kóðuð með offramboði yfir margar þyngdir og lifir nánast allt af. Fínstilltu, smáu hornin á þyngdadreifingunni geyma það sjaldgæfa: nákvæma undirskrift óljóss API, hrynjandi tiltekins höfundar, muninn á tveimur nálægum CVE-veikleikum. Það eru gildin sem gróft net námundar hvert í annað.

Skrefið úr 4 bitum í 3 er þar sem þetta hættir að vera skattur og verður hengiflug. Skölunarlögmál Dettmers og Zettlemoyer fyrir ályktun með fáum bitum komust að því að 4 bitar væru punkturinn sem hámarkar núllskotsnákvæmni á hvern bita af líkanaminni, þar sem hnignun ræður för fyrir neðan hann. Fjórir bitar gefa 16 stig á hvern hóp; þrír gefa 8. Þú ert að helminga upplausnina á neti sem er þegar gróft, og námundunarvillan á hverja þyngd nokkurn veginn tvöfaldast.

Reikningurinn sem sker úr

Samanburðurinn sem er þess virði að gera er reikningur, ekki viðmið. Það sem lifir af þjöppun er nálægt færibreytur × bitar á hverja færibreytu — upplýsingaberandi rúmmál þyngdaskrárinnar. Tökum tvö tilgátu grunnlíkön með sömu gæði á hverja færibreytu:

• Grunnlíkan A: 400B færibreytur á 3 bitum → gróflega 150 GB af varðveittri þyngd.
• Grunnlíkan B: 160B færibreytur á 8 bitum → gróflega 160 GB af varðveittri þyngd.

Eftir hráum færibreytufjölda vinnur A tvo og hálfan á móti einum — talan sem líkanaspjaldið byrjar á. Eftir varðveittum upplýsingum eru þau jafngild, og B hefur að auki byggingarlegt forskot: þyngdir þess sitja á neti sem er nógu fínt til að hegðun þess í halanum sé ósnert, á meðan hali A hefur verið þjappaður inn í meginmassann. A veit fleiri hluti; B veit það sem það veit skarpar. Fyrir langa framleiðslu, nákvæmt snið, stílstýringu og trúa fylgni við langt samhengi skaltu taka B.

Reikningur til skýringar, ekki viðmið: hann sýnir hvers vegna „stærra grunnlíkan“ og „betur keyrt líkan“ eru ólíkar fullyrðingar.

06Hvers vegna 27 billjónir þjálfunartákna gera harkalega þjöppun verri

Önnur, síður augljós niðurstaða á beint erindi við þetta grunnlíkan. Greinin Scaling Laws for Precision eftir Kumar o.fl. á ICLR 2025 kemst að því að því meiri gögn sem líkan var þjálfað á, þeim mun meiri skaða veldur þjöppun eftir þjálfun. Lítil nákvæmni fækkar virkum færibreytum líkans, og sú hnignun vex með þeim forþjálfunargögnum sem það drakk í sig — nógu langt til að aukagögn í forþjálfun geti verið til skaða ef þú ætlar að þjappa harkalega, því þú ert að leggja niður fína byggingu sem netið mun þurrka út.

Líkan þjálfað á 5T táknum hefur grófa þyngdarbyggingu með offramboði og slaka til vara. Líkan þjálfað á 27T táknum — heimild MiMo-V2.5-Pro — varði þessum aukagögnum í að skrifa fínni greinarmun inn í nákvæmari þyngdargildi, sem er einmitt það sem 3 bita net getur ekki sett fram.

Svo er það FP8 staðreyndin úr kafla 03, hreinasta röksemdin í þessari grein. MiMo-V2.5-Pro var forþjálfað í FP8 blandaðri nákvæmni. Þyngdir þess voru mótaðar frá byrjun af bestunaraðferð sem vann á gróflega átta bita nákvæmni. Að keyra það á 8 bita þyngdum er því ekki tapfull eftiráhugsun lögð á 16 bita líkan — það er nálægt því að skila þyngdunum aftur í talnaumhverfið sem þær voru lærðar í. Lítil fín bygging er til fyrir neðan áttunda bitann sem hægt er að tapa. Það sama verður ekki sagt um þessar þyngdir þvingaðar niður í þrjá.

07REAP: hvers vegna grisjun sérfræðinga er annars konar tap en námundun

Tvö af þrepunum þremur bera REAP viðskeyti — aðgerð af allt öðrum toga en þjöppun. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) er þjöppun í einu skoti fyrir strjál MoE-líkön: hún gefur hverjum sérfræðingi einkunn eftir hliðgildum beinisins og virkjunarstaðli sérfræðingsins, og eyðir svo þeim lægstu. Cerebras greinir frá nánast taplausum niðurstöðum í kóðasmíði og verkfærakalli jafnvel þegar 50% sérfræðinga eru grisjuð.

Við notum REAP af þeirri ástæðu sem hún er til: á stærstu grunnlíkönunum er hún það sem gerir þau keyranleg. En taktu eftir eðlismuninum. Þjöppun mýkir hverja þyngd örlítið; grisjun fjarlægir sérfræðinga alveg. Ef vinnuálagið þitt beinist mikið að getu sem bjó í sérfræðingi sem sjaldan var valinn — lítt notuðu forritunarmáli, sérhæfðum orðaforða — er hún ekki skert. Hún er farin, og engin fyrirmæli endurheimta hana. Meðaltölin haldast frábær; þitt jaðartilvik gerir það kannski ekki.

MiMo-V2.5-Pro · W8A16 ber ekkert REAP viðskeyti. Allir 384 sérfræðingarnir eru til staðar, og beinirinn velur úr öllu því safni sem grunnlíkanið var þjálfað með.

Þrep	Bitar á þyngd	Sérfræðingar	Hverju þú fórnar
W8A16	8	Allir til staðar	Engu byggingarlegu. Trúmennskuþrepið.
W4A16-AUTOROUND-REAP	4	Grisjaðir	Fínum þyngdarsmáatriðum auk sérfræðinga með litla umferð, í skiptum fyrir miklu stærra grunnlíkan í sama verðflokki.
3BIT-REAP	3	Grisjaðir	Talsverðri þyngdarupplausn auk sérfræðinga með litla umferð — verðið fyrir að keyra allra stærstu grunnlíkönin á hraða.

Miðþrepið á skilið sanngjarna umfjöllun. AutoRound er ekki einföld námundun: aðferð Intel (arXiv:2309.05516) notar formerkt stigulsfall yfir gróflega 200 skref til að stilla námundunarákvarðanir og klippisviðið fyrir hvern þyngdarhóp, og er sögð nánast taplaus á 4 bitum í flestum aðstæðum, betri en GPTQ, AWQ, HQQ og OmniQuant í flestum prófuðum stillingum. W4A16-AUTOROUND líkan er raunverulega gott 4 bita líkan. Það er samt 4 bita líkan.

08Hverjir ættu að velja 8 bita þrepið — og hverjir ekki

MiMo-V2.5-Pro · W8A16 situr á gólfverði allrar skrárinnar — $0.50 inn / $2.00 út á hverja milljón tákna, sama bili og 4 bita inngangslíkönin og gróflega fjórðungi af inntaksverði dýrasta líkansins sem við keyrum. Þú ert ekki að borga álag fyrir trúmennsku; þú ert að velja annan ás á sama fjárhag.

Veldu það þegar

• Lengd úttaksins er verkefnið. Löng tækniskrif, skáldskapur í kaflalengd, fullar yfirferðir yfir skjölun — sérhvert framleitt tákn er tákn þar sem þjöppunarhávaði hleðst upp.
• Rödd og samkvæmni skipta máli. Persónuvinna, tónn vörumerkis, málsnið haldið yfir langa lotu. Stíllinn býr í halanum, og halinn er það sem gróf þjöppun étur fyrst.
• Skipulagt úttak verður að standast vottun í fyrstu atrennu. Líkanið styður json_schema og response_format; að halda sig við skema er nákvæmniseiginleiki, og sérhver endurtekning sem sparast er peningur og svartími sparaður.
• Þú ert að fylla samhengið. Að fylgja fyrirmælum við tákn 200.000 er erfiðara en við tákn 2.000, og það hrörnar með nákvæmni þyngda — sem og langur rökhugsunarferill, þar sem villur hlaðast upp á sama hátt.
• Vinnan er óritskoðuð í eðli sínu. Öryggisrannsóknir, rauð teymi, ósíaður skáldskapur, viðkvæm læknisfræðileg eða lagaleg greining — þar sem loðið svar er verra en ekkert.

Veldu eitthvað annað þegar

• Þú þarft sjón. Þetta líkan er aðeins texti; systkinið MiMo-V2.5 · W8A16 er með sjón á sama verði og sama þrepi.
• Þú þarft breiðustu heimsþekkinguna á stuttum fyrirspurnum. Það er svæðið þar sem aukafæribreytur miklu stærra 3 bita grunnlíkans vinna og skaði þjöppunarinnar sést varla.
• Vinnuálagið þitt er stutt flokkun í miklu magni. Skaði af þjöppun er nánast ósýnilegur þar — kauptu það sem er hraðast.

09Að kalla á óritskoðaða MiMo API-ið

Ef kóðinn þinn miðar á OpenAI SDK-ið er það öll yfirfærslan að breyta grunnslóðinni og líkanaauðkenninu:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages og /v1/responses taka við sama auðkenni og sömu getu. Yfirlit yfir færibreytur, skemu fyrir verkfærakall, dæmi um skipulagt úttak og lifandi leikvöllur eru í API-skjölum Shannon AI.

Geta	MiMo-V2.5-Pro · W8A16
Samhengisgluggi	262,144 tákn
Hámarksúttak á beiðni	16,384 tákn
Streymi	Já — allar þrjár mállýskurnar
Verkfærakall	Já
Rökhugsun / reasoning_effort	Já
json_schema skipulagt úttak	Já
response_format	Já
Sjón / myndinntak	Nei — notaðu MiMo-V2.5
Neitunarlag / úttakssía	Ekkert
Verð á 1M tákn	$0.50 inn / $2.00 út

10Algengar spurningar

---

Heimildir: MiMo tækniskýrslan, arXiv:2505.07608 · líkanaspjald MiMo-V2.5-Pro (Xiaomi) · „Give Me BF16 or Give Me Death“?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · skölunarlögmál fyrir ályktun með fáum bitum, arXiv:2212.09720 · Scaling Laws for Precision, Kumar o.fl., ICLR 2025. Allar viðmiðatölur eru eins og höfundar þeirra birtu þær. Shannon AI er vara frá Shannon Lab LLC, Nýju-Mexíkó, Bandaríkjunum.