Cenzúrázatlan MiMo API 8 bites hűséggel

A legtöbb katalógus paraméterszámot ad el. Ez rossz szám vásárláshoz, mert minden nagy, nyílt súlyú modellt, amelyet valóban megengedhet magának, tömörítettek, hogy valahová elférjen. Az őszinte kérdés nem az, hogy „mekkora volt ez, mielőtt összenyomták”, hanem az, hogy „mennyi van még belőle itt”. Ez a cikk erről a kérdésről szól, és arról a modellről a kínálatunkban, ahol a válasz az, hogy szinte minden.

01Mit kap valójában a cenzúrázatlan MiMo API-val

A cenzúrázatlan MiMo API egyetlen modellazonosító, a MiMo-V2.5-Pro-W8A16, amely három dialektuson át érhető el, és mindhárom ugyanazokat a súlyokat címzi a saját GPU-fürtünkön: /v1/chat/completions, /v1/messages és /v1/responses. Mindhárom streamel, és támogatja az eszközhívást és a következtetést.

A cenzúrázatlan szűk jelentéssel bír itt: nincs elutasítási réteg a modell előtt, és nincs szűrő a kimenetén. Nem szólunk közbe, nem osztályozunk, nem írunk át. Az alapmodell saját viselkedését kapja — ami egy kutatási minőségű, nyílt súlyú modellnél azt jelenti, hogy foglalkozik a biztonsági kutatással, a felnőtt- vagy erőszakos szépirodalommal, az orvosi és jogi következtetéssel, valamint azokkal a kérésekkel, amelyeket a hosztolt kereskedelmi végpontok reflexből elutasítanak. Ez szakmai eszköz a felelős használati irányelvünk alatt, nem a szabályok hiánya.

02A MiMo vonal: a Xiaomi fogadása a következtetésközpontú előtanításra

A MiMo nem egy új nevet kapott Llama-származék; a Xiaomi MiMo csapatának önálló vonala, és az alapötlete számít, mielőtt értékelné a modellt. A MiMo-7B-vel nyit (2025. április 30., MIT licenc), amelynek műszaki jelentése azt állítja, hogy a legtöbb labor a következtetést utótanítási problémaként kezeli, amelyet RL-lel kell ráakasztani, és hogy ez fordítva van. A Xiaomi ehelyett az előtanítást szervezte át köré: háromlépcsős keverék 25 billió tokenen, a második lépcső nagyjából 70%-ban matematika és kód, a harmadik szintetikus következtetési nyomokat vegyít be, miközben a kontextust 8K-ról 32K-ra bővíti — plusz egy többtokenes előrejelzési célfüggvény, amely spekulatív dekódolási fejként is szolgál.

Az eredmény egy 7B-s alapmodell lett, amely sokkal nagyobbként viselkedett. A MiMo-7B-Base 32,9 pontot ért el az AIME 2024-en, ahol a Qwen2.5-7B 10,1-et, a Gemma-2-9B 0,0-t és a Llama-3.1-8B 0,3-at. Az utótanítás ezután RL-t futtatott 130 000 ellenőrizhető matematikai és kódfeladaton, teszt-nehézség által vezérelt kódjutalommal, kiszabadulva abból a ritkajutalom-csapdából, amely destabilizálja a kód-RL-t. Az eredmény az o1-mini elé került:

AIME 2025, a Xiaomi által közölt számok a MiMo műszaki jelentéséből (arXiv:2505.07608). A MiMo-7B-RL 95,8-at is jelentett a MATH-500-on és 57,8-at a LiveCodeBench v5-ön.

A család szélesedett, nem elsodródott: a MiMo-VL-7B (2025. június) egy Qwen2.5-ViT kódolót tett ugyanarra a gerincre, 2025 decembere pedig meghozta a MiMo-Audio-7B modellt és az első MoE-tagot, a MiMo-V2-Flasht (309B össz / 15B aktív, 27T token, FP8 vegyes pontosság). A MiMo-V2-Pro 2026 márciusában követte nagyjából 1T / 42B aktív mérettel és 1M kontextussal, miután hetekig „Hunter Alpha” néven volt az OpenRouteren. A MiMo-V2.5 és a MiMo-V2.5-Pro együtt jelent meg 2026. április 22-én, mindkettő MIT licenc alatt.

03A MiMo-V2.5-Pro belülről: hogy néz ki az alapmodell

A Xiaomi közzétett modellkártyája szerint a MiMo-V2.5-Pro ritka szakértőkeverékes modell 1,02 billió összparaméterrel és tokenenként 42 milliárd aktívval, 70 rétegen át — egy sűrű, 69 MoE — és 384 útvonalazott szakértővel, tokenenként 8-cal. A rejtett méret 6144, szűk, 2048-as MoE-köztes mérettel.

Két döntés alakítja, milyen érzés használni. A figyelmi köteg hibrid: 10 teljes figyelmű réteg és 60 csúszóablakos réteg 128-as ablakkal, plusz egy tanulható figyelmi nyelő torzítás. A Xiaomi arról számol be, hogy ez közel hétszeresére csökkenti a KV-gyorsítótár tárigényét a teljesen globális figyelemhez képest, miközben tartja a hosszú kontextus minőségét — ez a különbség egy névlegesen hosszú ablak és egy olyan között, amelyet meg is engedhet magának feltölteni. Emellett három többtokenes előrejelzési réteget is szállít, spekulatív fejet adva a dekódernek.

A tanítás 27 billió tokenen zajlott natív 32K-s szekvenciahosszon, FP8 (E4M3) vegyes pontossággal, majd felügyelt finomhangolással, nagy léptékű ügynöki RL-lel és többtanáros, on-policy desztillációval. Tartsa észben ezt az FP8-as részletet; ez a legerősebb egyedüli érv amellett, hogy ezt az alapmodellt 8 biten szolgáljuk ki.

A Xiaomi a modellt 57,2%-on jelenti a SWE-bench Prón, 72,9-en a τ3-Benchen eszközhasználatra és 48,0%-on a Humanity's Last Examen — a gyártó saját számai a tömörítetlen modellre, és így is idézzük őket.

Mi 262 144 tokenes ablakot szolgálunk ki, nem az alapmodell teljes 1M-jét — olyan kontextust, amelyet sebesség mellett garantálni tudunk, nem pedig egy kiemelt számot, amely terhelés alatt leromlik.

04Mit jelent pontosan a W8A16

Ebben a katalógusban minden modell kvantálási utótagot visel, amely valódi, mérhető átalakítást ír le, nem marketingszintet. A mieink a 3BIT-REAP, a W4A16-AUTOROUND-REAP és a W8A16. A MiMo-V2.5-Pro a harmadik.

A jelölés kettéválik. A W8 a súlypontosság: minden paraméter 8 bites egészként tárolódik 16 bites lebegőpontos helyett, kis csoportonként megosztott skálázási tényezővel, hogy minden csoport helyi dinamikatartománya megmaradjon. Az A16 az aktivációpontosság: a következtetéskor a rétegek között áramló értékek 16 biten maradnak. A súlyok tömörülnek; az aritmetika nem.

Ez a második fél csendes, fontos munkát végez. Az aktivációkat sokkal nehezebb kvantálni, mint a súlyokat: szélsőséges kiugró csatornákat tartalmaznak — néhány dimenziót, amelyek magnitúdója eltörpülteti az összes többit, és amelyek aránytalanul nagy részét viszik a modell viselkedésének. Nyomja ezeket alacsony pontosságra, és pontosan azt a jelet vágja le, amelyre szüksége volt. A csak súlyokat kvantáló sémák megkerülik a problémát azzal, hogy békén hagyják az aktivációs utat, és ezért konvergált feléjük a komoly kvantálási munka.

A gyakorlati kérdés tehát egyetlen dologra szűkül: hány bitet visel el egy súly?

05W8A16 vagy W4A16 vagy 3 bit: hová megy valójában a veszteség

A legnagyobb közzétett tanulmány erről a Neural Magic és a Red Hat „Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization című munkája — több mint 500 000 értékelés a Llama-3.1 család 8B-s, 70B-s és 405B-s tagjain. A kiemelt eredményük, az ő számaikkal:

Formátum	Mit tömörít	Jelentett visszanyerés a BF16-hoz képest
W8A8-FP (8 bites)	Súlyok + aktivációk, lebegőpontos	~99,75% átlag — „lényegében veszteségmentes”
W8A8-INT (8 bites)	Súlyok + aktivációk, egész	99–100% 8B/70B-n; 98,2–99,3% 405B-n
W4A16-INT (4 bites)	Csak súlyok	98–99,4% (8B); 98,6–99,8% (70B)

A Neural Magic / Red Hat által közölt számok (arXiv:2411.02355) Llama-3.1 modelleken — a csere alakja, nem ennek a modellnek a pontszáma.

Őszintén olvasva ez úgy néz ki, mint érv az ellen, hogy törődjünk vele: a 4 bit 98–99%-ot nyer vissza, akkor miért figyeljünk oda? Mert ezek akadémiai feleletválasztós benchmarkok, közel a legrosszabb elérhető műszerhez a kvantálási kár észlelésére. Egy benchmarkkérdésnek egyetlen helyes válasza van, amely egy-két tokennel elérhető, a kvantálási hiba pedig kicsi, nagyjából nulla várható értékű zaj minden logiton; egy rövid kérdésen széles ráhagyással ez a zaj elnyelődik.

Most írjon 4000 tokennyi műszaki dokumentumot, tartson egy hangot 40 000 tokenes történeten át, vagy bocsásson ki olyan JSON-t, amelynek elsőre validálnia kell. Ugyanaz a zaj ezerszer, egymás után mintavételeződik, és minden minta feltételezi a következőt. A hibamód nem rossz válasz — hanem elsodródás: az első körben kapott utasítás lazuló szorítása, egy szereplő, aki a 3000. token környékén már nem hangzik önmagának, egy záró kapcsos zárójel, amely soha nem érkezik meg.

Hová mennek valójában a bitek

A kvantálási hiba nem oszlik el egyenletesen a modell képességei között; a farokban sűrűsödik. A nagy tömegű viselkedések — a nyelvtanilag helyes angol, egy Python-függvény alakja, a világ első ezer ténye — sok súlyon át redundánsan vannak kódolva, és szinte mindent túlélnek. A súlyeloszlás pontosan hangolt, kis magnitúdójú sarkai tartalmazzák a ritka anyagot: egy homályos API pontos szignatúráját, egy adott szerző ritmusát, két szomszédos CVE közti különbséget. Ezek azok az értékek, amelyeket egy durva rács egymásba kerekít.

A 4 bitről 3-ra lépés az a pont, ahol ez már nem adó, hanem szakadék. Dettmers és Zettlemoyer k-bites következtetési skálázási törvényei szerint a 4 bit az a pont, amely maximalizálja a modellmemória bitjére jutó zéró lövéses pontosságot, alatta pedig a leromlás uralkodik. A négy bit csoportonként 16 szintet ad; a három nyolcat. Egy amúgy is durva rács felbontását felezi meg, és a súlyonkénti kerekítési hiba nagyjából megkétszereződik.

A számtan, amely eldönti

Az érdemi összehasonlítás számtani, nem benchmark. Ami túléli a tömörítést, az nagyjából a paraméterek × paraméterenkénti bitek — a súlyfájl információhordozó térfogata. Vegyünk két hipotetikus, paraméterenként azonos minőségű alapmodellt:

• A alapmodell: 400B paraméter 3 biten → nagyjából 150 GB megtartott súly.
• B alapmodell: 160B paraméter 8 biten → nagyjából 160 GB megtartott súly.

Nyers paraméterszámban A két és félszeresen nyer — ezt a számot emeli ki a modellkártya. Megtartott információban egyenértékűek, és B-nek van egy szerkezeti előnye is: a súlyai elég finom rácson ülnek ahhoz, hogy a farokviselkedése érintetlen maradjon, míg A farkát a törzsbe kvantálták. A több dolgot tud; B élesebben tudja, amit tud. Hosszú generáláshoz, pontos formázáshoz, stílusvezérléshez és hű, hosszú kontextusú követéshez válassza B-t.

Szemléltető számtan, nem benchmark: azt mutatja, miért két különböző állítás a „nagyobb alapmodell” és a „jobban kiszolgált modell”.

06Miért rontja 27 billió tanítási token az agresszív kvantálást

Egy második, kevésbé intuitív eredmény közvetlenül érinti ezt az alapmodellt. Kumar és társai ICLR 2025-ös Scaling Laws for Precision című cikke azt találja, hogy minél több adaton tanítottak egy modellt, annál nagyobb kárt tesz benne az utótanítási kvantálás. Az alacsony pontosság csökkenti a modell effektív paraméterszámát, és ez a leromlás nő a felszívott előtanítási adattal — annyira, hogy a többlet előtanítási adat összességében káros lehet, ha agresszíven kíván kvantálni, mert olyan finom szerkezetet rak le, amelyet a rács ki fog törölni.

Egy 5T tokenen tanított modellnek durva, redundáns súlyszerkezete van, és bőven van benne ráhagyás. Egy 27T tokenen tanított modell — a MiMo-V2.5-Pro kerete — ezt a többletadatot arra költötte, hogy finomabb megkülönböztetéseket írjon precízebb súlyértékekbe, és pontosan ezt nem tudja ábrázolni egy 3 bites rács.

Aztán ott van a 03. szakasz FP8-as ténye, ennek a cikknek a legtisztább érve. A MiMo-V2.5-Prót FP8 vegyes pontosságon tanították elő. A súlyait kezdettől fogva egy nagyjából nyolc bites pontossággal dolgozó optimalizáló formálta. Nyolc bites súlyokon kiszolgálni tehát nem egy 16 bites modellre utólag ráerőltetett veszteséges kényszermegoldás — hanem közel áll ahhoz, hogy a súlyokat visszahelyezzük abba a numerikus tartományba, amelyben megtanulták őket. A nyolcadik bit alatt kevés finom szerkezet van, amit el lehetne veszíteni. Ugyanez nem mondható el azokról a súlyokról, amelyeket háromra kényszerítenek le.

07REAP: miért másfajta veszteség a szakértőmetszés, mint a kerekítés

A három szint közül kettő REAP utótagot visel — ez kategorikusan más művelet, mint a kvantálás. A REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) egymenetes tömörítés ritka MoE-modellekhez: minden szakértőt az útválasztó kapuértékei és a szakértő aktivációs normája szerint pontoz, majd törli a legalacsonyabb pontszámúakat. A Cerebras közel veszteségmentes eredményekről számol be kódgenerálásban és eszközhívásban még a szakértők 50%-ának metszésénél is.

Azért használunk REAP-et, amiért létezik: a legnagyobb alapmodelleknél ettől lesznek egyáltalán kiszolgálhatók. De vegye észre a fajtabeli különbséget. A kvantálás minden súlyt kicsit elmos; a metszés teljesen eltávolít szakértőket. Ha a munkaterhelése erősen egy olyan képességhez útvonalaz, amely egy ritkán kiválasztott szakértőben lakott — egy kisebb programozási nyelv, egy speciális szókincs —, az nem leromlik. Az eltűnt, és semmilyen promptolás nem hozza vissza. Az átlagok kitűnőek maradnak; az Ön farokesete nem biztos.

A MiMo-V2.5-Pro · W8A16 nem visel REAP utótagot. Mind a 384 szakértő jelen van, és az útválasztó abból a teljes készletből választ, amellyel az alapmodellt tanították.

Szint	Súlybitek	Szakértők	Mit cserél el
W8A16	8	Mind jelen	Szerkezetileg semmit. Ez a hűségszint.
W4A16-AUTOROUND-REAP	4	Metszve	Finom súlyrészletet plusz kis forgalmú szakértőket, cserébe egy jóval nagyobb alapmodellért ugyanabban az ársávban.
3BIT-REAP	3	Metszve	Jelentős súlyfelbontást plusz kis forgalmú szakértőket — ennyibe kerül a legnagyobb alapmodellek sebesség melletti futtatása.

A középső szint megérdemel egy tisztességes meghallgatást. Az AutoRound nem naiv kerekítés: az Intel módszere (arXiv:2309.05516) előjeles gradiensereszkedést használ nagyjából 200 lépésen át, hogy súlycsoportonként hangolja a kerekítési döntéseket és a vágási tartományt, és a legtöbb környezetben közel veszteségmentesnek jelentik 4 biten, legyőzve a GPTQ, AWQ, HQQ és OmniQuant módszereket a tesztelt konfigurációk többségében. Egy W4A16-AUTOROUND modell valóban jó 4 bites modell. Attól még 4 bites modell.

08Kinek való a 8 bites szint — és kinek nem

A MiMo-V2.5-Pro · W8A16 a teljes katalógus legalacsonyabb árán ül — 0,50 $ be / 2,00 $ ki millió tokenenként, ugyanabban a sávban, mint a belépőszintű 4 bites modellek, és nagyjából negyede a legdrágább modellünk bemeneti árának. Nem felárat fizet a hűségért; ugyanannak a költségvetésnek egy másik tengelyét választja.

Akkor válassza, ha

• A kimenet hossza a lényeg. Hosszú műszaki írás, fejezetnyi szépirodalom, teljes dokumentációs menetek — minden generált token egy olyan pont, ahol a tömörítési zaj halmozódik.
• A hang és a következetesség számít. Karakterépítés, márkahang, egy hosszú munkameneten át tartott regiszter. A stílus a farokban lakik, és a farkot eszi meg először a durva kvantálás.
• A strukturált kimenetnek elsőre validálnia kell. A modell támogatja a json_schema és a response_format lehetőséget; a sémakövetés pontossági tulajdonság, és minden elkerült újrapróbálás pénz- és késleltetésmegtakarítás.
• Feltölti a kontextust. Az utasításkövetés a 200 000. tokennél nehezebb, mint a 2000-nél, és a súlypontossággal romlik — ahogy egy hosszú következtetési nyom is, ahol a hibák ugyanígy halmozódnak.
• A munka természeténél fogva cenzúrázatlan. Biztonsági kutatás, red teaming, szűretlen szépirodalom, érzékeny orvosi vagy jogi elemzés — ahol egy óvatoskodó válasz rosszabb a semmilyennél.

Válasszon mást, ha

• Képfeldolgozásra van szüksége. Ez a modell csak szöveges; a testvére, a MiMo-V2.5 · W8A16, képfeldolgozásra képes ugyanezen az áron és szinten.
• A legszélesebb világtudásra van szüksége rövid lekérdezéseken. Ez az a tartomány, ahol egy sokkal nagyobb, 3 bites alapmodell többletparaméterei nyernek, és a kvantálási kára alig látszik.
• A munkaterhelése nagy volumenű, rövid osztályozás. Ott a kvantálási kár szinte láthatatlan — vegye azt, ami a leggyorsabb.

09A cenzúrázatlan MiMo API meghívása

Ha a kódja az OpenAI SDK-t célozza, az alap-URL és a modellazonosító megváltoztatása a teljes migráció:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

A /v1/messages és a /v1/responses ugyanazt az azonosítót és ugyanazokat a képességeket fogadja el. A paraméterhivatkozás, az eszközhívási sémák, a strukturáltkimenet-példák és egy élő játszótér a Shannon AI API-dokumentációban találhatók.

Képesség	MiMo-V2.5-Pro · W8A16
Kontextusablak	262 144 token
Maximális kimenet kérésenként	16 384 token
Streamelés	Igen — mindhárom dialektuson
Eszközhívás	Igen
Következtetés / reasoning_effort	Igen
json_schema strukturált kimenet	Igen
response_format	Igen
Képfeldolgozás / képbemenet	Nem — használja a MiMo-V2.5 modellt
Elutasítási réteg / kimeneti szűrő	Nincs
Ár 1M tokenenként	0,50 $ be / 2,00 $ ki

10Gyakori kérdések

---

Források: MiMo műszaki jelentés, arXiv:2505.07608 · MiMo-V2.5-Pro modellkártya (Xiaomi) · „Give Me BF16 or Give Me Death”?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bites következtetési skálázási törvények, arXiv:2212.09720 · Scaling Laws for Precision, Kumar és társai, ICLR 2025. Minden benchmarkszám a szerzőik közlése szerint szerepel. A Shannon AI a Shannon Lab LLC terméke, Új-Mexikó, USA.