8 биттик тактыктагы цензурасыз MiMo API

Каталогдордун көбү сизге параметр санын сатат. Ал сатып алууда карай турган туура эмес сан, анткени чамаңыз жеткен ар бир чоң ачык салмактуу модель бир жерге батыш үчүн кысылган. Чынчыл суроо «кысылганга чейин бул канчалык чоң эле?» эмес, «анын канчасы дагы эле бул жерде?» болуп саналат. Бул макала ошол суроо жана тизмебиздеги жообу дээрлик баары болгон модель тууралуу.

01Цензурасыз MiMo API чындыгында сизге эмне берет

Цензурасыз MiMo API — бир модель id'си, MiMo-V2.5-Pro-W8A16, ага өз GPU кластерибиздеги ошол эле салмактарга кайрылган үч диалект аркылуу жетүүгө болот: /v1/chat/completions, /v1/messages жана /v1/responses. Үчөө тең агым берет жана курал чакырууну, ой жүгүртүүнү колдойт.

Цензурасыз дегендин бул жердеги мааниси тар: моделдин алдында баш тартуу катмары жок, анын чыгуусунда чыпка жок. Биз кармабайбыз, классификациялабайбыз жана кайра жазбайбыз. Сиз негиздин өз жүрүм-турумун аласыз — изилдөө деңгээлиндеги ачык салмактуу модель үчүн бул коопсуздук изилдөөсү, чоңдорго арналган же зомбулуктуу көркөм адабият, медициналык жана укуктук ой жүгүртүү, ошондой эле тейленген коммерциялык учтар рефлекс менен четке каккан сурамдар менен иштейт дегени. Бул — эрежелердин жоктугу эмес, жоопкерчиликтүү колдонуу саясатыбыздын алкагындагы кесипкөй курал.

02MiMo теги: Xiaomi'нин ой жүгүртүүнү биринчи койгон алдын ала үйрөтүүгө коюлган ставкасы

MiMo — жаңы ат кийген Llama туундусу эмес; бул Xiaomi'нин MiMo командасынан чыккан өзүнчө тек, ал эми моделди баалоодон мурун анын негиздөөчү идеясы маанилүү. Ал MiMo-7B менен ачылат (2025-жылдын 30-апрели, MIT лицензиясы), анын техникалык отчету лабораториялардын көбү ой жүгүртүүнү RL менен кийин бекитиле турган кийинки үйрөтүү маселеси катары карай турганын жана бул тескери экенин айтат. Xiaomi анын ордуна алдын ала үйрөтүүнү ошонун тегерегинде кайра курду: 25 триллион токен боюнча үч этаптуу аралашма, экинчи этап болжол менен 70% математика менен код, үчүнчү этап синтетикалык ой жүгүртүү издерин кошуп, контекстти 8K'дан 32K'га кеңейтет — плюс спекулятивдик декоддоо башы катары иштеген көп токенди алдын ала айтуу максаты.

Натыйжада алда канча чоңураактай иштеген 7B базалык модель чыкты. MiMo-7B-Base AIME 2024'тө 32,9 алды, ал эми Qwen2.5-7B 10,1, Gemma-2-9B 0,0 жана Llama-3.1-8B 0,3 алды. Кийинки үйрөтүү андан соң тест татаалдыгына негизделген код сыйлыгы менен 130 000 текшерилүүчү математика жана код маселесинде RL иштетип, код RL'ин туруксуздандырган сейрек сыйлык тузагынан качты. Натыйжа o1-mini'ден алдыга чыкты:

AIME 2025, MiMo техникалык отчетунан (arXiv:2505.07608) Xiaomi билдирген сандар. MiMo-7B-RL ошондой эле MATH-500 боюнча 95,8 жана LiveCodeBench v5 боюнча 57,8 билдирген.

Үй-бүлө четтебестен кеңейди: MiMo-VL-7B (2025-жылдын июну) ошол эле өзөккө Qwen2.5-ViT энкодерин койду, ал эми 2025-жылдын декабры MiMo-Audio-7B'ни жана биринчи MoE мүчөсү болгон MiMo-V2-Flash'ты (жалпы 309B / активдүү 15B, 27T токен, FP8 аралаш тактык) алып келди. MiMo-V2-Pro 2026-жылдын мартында, OpenRouter'де «Hunter Alpha» катары бир нече жума жүргөндөн кийин, болжол менен 1T / 42B активдүү жана 1M контекст менен чыкты. MiMo-V2.5 менен MiMo-V2.5-Pro 2026-жылдын 22-апрелинде чогуу чыкты, экөө тең MIT.

03MiMo-V2.5-Pro'нун ичинде: негиз кандай көрүнөт

Xiaomi'нин жарыяланган модель карточкасына ылайык, MiMo-V2.5-Pro — 70 катмар боюнча жалпысынан 1,02 триллион параметр жана токенге 42 миллиард активдүү параметрлүү сейрек эксперттер аралашмасы модели — бир тыгыз, 69 MoE — жана 384 маршруттолгон эксперт, токенге 8и. Жашыруун өлчөмү 6144, MoE аралык өлчөмү тар 2048.

Эки тандоо анын колдонуудагы сезилишин аныктайт. Көңүл буруу түзүлүшү гибриддик: 10 толук көңүл буруу катмары жана терезеси 128 болгон 60 жылма терезе катмары, плюс үйрөнүлүүчү көңүл буруу сиңирүү жантаюусу. Xiaomi бул узун контексттин сапатын кармап туруп KV кэш сактагычын толук глобалдык көңүл бурууга караганда 7 эсеге жакын кыскартарын билдирет — номиналдык узун терезе менен толтурууга чамаңыз жеткен терезенин ортосундагы айырма. Ал ошондой эле үч көп токенди алдын ала айтуу катмары менен келет, декодерге спекулятивдик баш берип.

Үйрөтүү FP8 (E4M3) аралаш тактыкта, өзүнөн 32K ырааттуулук узундугунда 27 триллион токенде жүргөн, андан соң көзөмөлдөнгөн тактоо, ири масштабдагы агенттик RL жана көп мугалимдүү on-policy дистилдөө болгон. Ошол FP8 деталын кармап туруңуз; бул негизди 8 битте тейлөөнүн эң күчтүү жалгыз аргументи ошол.

Xiaomi моделди SWE-bench Pro боюнча 57,2%, курал колдонуу үчүн τ3-Bench боюнча 72,9 жана Humanity's Last Exam боюнча 48,0% деп билдирет — кысылбаган моделдеги өндүрүүчүнүн өз сандары, ошондой деп келтирилди.

Биз негиздин толук 1M'ин эмес, 262 144 токендик терезени тейлейбиз — жүк астында начарлаган башкы сан эмес, ылдамдыгы менен кепилдей ала турган контекст.

04W8A16 так эмнени билдирет

Бул каталогдогу ар бир модель маркетингдик деңгээлди эмес, чыныгы, өлчөнүүчү өзгөртүүнү сүрөттөгөн кванттоо кошумчасын алып жүрөт. Биздикилер — 3BIT-REAP, W4A16-AUTOROUND-REAP жана W8A16. MiMo-V2.5-Pro — үчүнчүсү.

Белгилөө экиге бөлүнөт. W8 — салмактын тактыгы: ар бир параметр 16 биттик калкыма эмес, 8 биттик бүтүн сан катары сакталат, ар бир кичине топко жалпы масштабдоо коэффициенти менен, ошондуктан ар бир топтун жергиликтүү динамикалык диапазону сакталат. A16 — активациянын тактыгы: чыгаруу учурунда катмарлардын ортосунда аккан маанилер 16 битте калат. Салмактар кысылат; арифметика кысылбайт.

Ошол экинчи жарым үнсүз, маанилүү жумуш аткарат. Активацияларды кванттоо салмактарга караганда алда канча кыйын: аларда экстремалдык четтеги каналдар бар — чоңдугу калгандардын баарын басып кеткен жана моделдин жүрүм-турумунун ашыкча үлүшүн алып жүргөн бир нече өлчөм. Аларды төмөн тактыкка түртсөңүз, дал сизге керек сигналды кыркып саласыз. Салмак гана схемалары активация жолун тийбей коюп, көйгөйдү айланып өтөт, дал ошондуктан олуттуу кванттоо иштери ошолорго келип биригет.

Ошентип, практикалык суроо бир нерсеге тарыйт: салмак канча битке чейин чыдай алат?

05W8A16, W4A16 жана 3 бит: жоготуу чындыгында кайда кетет

Бул боюнча эң чоң жарыяланган изилдөө — Neural Magic менен Red Hat'тин «Give Me BF16 or Give Me Death»? Accuracy-Performance Trade-Offs in LLM Quantization иши — 8B, 70B жана 405B'деги Llama-3.1 үй-бүлөсү боюнча 500 000ден ашык баалоо. Алардын башкы натыйжасы, өз сандарында:

Формат	Эмне кысылат	BF16'га каршы билдирилген калыбына келүү
W8A8-FP (8 бит)	Салмактар + активациялар, калкыма	орточо ~99,75% — «иш жүзүндө жоготуусуз»
W8A8-INT (8 бит)	Салмактар + активациялар, бүтүн сан	8B/70B'де 99–100%; 405B'де 98,2–99,3%
W4A16-INT (4 бит)	Салмактар гана	98–99,4% (8B); 98,6–99,8% (70B)

Neural Magic / Red Hat (arXiv:2411.02355) Llama-3.1 моделдеринде билдирген сандар — бул моделдин упайы эмес, алмашуунун формасы.

Чынчыл окулса, бул көңүл бурууга каршы аргументтей көрүнөт: 4 бит 98–99%ды калыбына келтирет, анда эмне үчүн көңүл буруу керек? Анткени булар — академиялык тандоо суроолуу бенчмарктар, кванттоонун зыянын аныктоо үчүн бар куралдардын эң начарына жакын. Бенчмарк суроосунда бир-эки токендо жеткиликтүү бир туура жооп бар, ал эми кванттоо катасы ар бир логитте кичине, болжол менен нөл орточолуу ызы-чуу; чегимдин кеңдиги чоң кыска суроодо ошол ызы-чуу сиңип кетет.

Эми техникалык документтин 4 000 токенин жазып көрүңүз, 40 000 токендик аңгемеде үндү кармаңыз же биринчи аракеттен текшерүүдөн өтүшү керек болгон JSON чыгарыңыз. Ошол эле ызы-чуу катар менен миңдеген жолу тандалат, ар бир тандоо кийинкисин шарттайт. Бузулуу түрү туура эмес жооп эмес — четтөө: биринчи кезектеги көрсөтмөнү барган сайын алсыз кармоо, 3 000-токендин тегерегинде өзүнө окшобой калган каарман, эч качан келбеген жабуучу кашаа.

Биттер чындыгында кайда кетет

Кванттоо катасы моделдин жөндөмдөрү боюнча бирдей жайылбайт; ал куйрукка топтолот. Массасы чоң жүрүм-турумдар — грамматикалуу англис тили, Python функциясынын формасы, дүйнө тууралуу эң популярдуу миң факты — көптөгөн салмактарда ашыкча коддолгон жана дээрлик баарына чыдайт. Салмак бөлүштүрүүсүнүн так тууралган, чоңдугу кичине бурчтары сейрек нерселерди кармайт: белгисиз API'дин так колтамгасы, айрым автордун ыргагы, эки коңшу CVE'нин ортосундагы айырма. Дал ошол маанилерди одоно тор бири-бирине тегеректеп жиберет.

4 биттен 3кө өтүү — бул салык болуудан калып, тик жарга айланган жер. Dettmers менен Zettlemoyer'дин k-биттик чыгаруу масштабдоо мыйзамдары 4 битти моделдин эстутумунун битине туура келген нөл аракеттик тактыкты барынча жогорулаткан чекит деп тапкан, андан төмөндө начарлоо үстөмдүк кылат. Төрт бит топко 16 деңгээл берет; үчөө 8 берет. Сиз мурдатан одоно тордун чечилишин эки эсеге кыскартып жатасыз, ал эми салмакка туура келген тегеректөө катасы болжол менен эки эсе өсөт.

Аны чечкен арифметика

Жасоого арзырлык салыштыруу — бенчмарк эмес, арифметика. Кысууга чыдаган нерсе болжол менен параметрлер × параметрге бит — салмак файлынын маалымат алып жүрүүчү көлөмү. Параметрге сапаты бирдей эки шарттуу негизди алалы:

• A негизи: 3 биттеги 400B параметр → болжол менен 150 ГБ сакталган салмак.
• B негизи: 8 биттеги 160B параметр → болжол менен 160 ГБ сакталган салмак.

Таза параметр саны боюнча A эки жарым эсе утат — модель карточкасы башында келтирген сан ушул. Сакталган маалымат боюнча алар барабар, ал эми B'нин мындан тышкары түзүмдүк артыкчылыгы бар: анын салмактары куйрук жүрүм-туруму бузулбагыдай майда торго жайгашкан, ал эми A'нын куйругу негизги массага кванттелип кеткен. A көбүрөөк нерсе билет; B билгенин курчураак билет. Узун жаратуу, так формат, стилистикалык көзөмөл жана узун контексти чын сактоо үчүн B'ни алыңыз.

Мисал үчүн келтирилген арифметика, бенчмарк эмес: ал «чоңураак негиз» менен «жакшыраак тейленген модель» башка доомат экенин көрсөтөт.

0627 триллион үйрөтүү токени эмне үчүн агрессивдүү кванттоону начарлатат

Экинчи, азыраак интуитивдүү натыйжа бул негизге түздөн-түз тиешелүү. Kumar жана башкалардын ICLR 2025 макаласы Scaling Laws for Precision модель канча көп маалыматта үйрөтүлсө, кийинки үйрөтүү кванттоосу ага ошончо көп зыян келтирерин табат. Төмөн тактык моделдин натыйжалуу параметр санын азайтат, ал эми ошол начарлоо сиңирилген алдын ала үйрөтүү маалыматы менен өсөт — агрессивдүү кванттоону көздөсөңүз, кошумча алдын ала үйрөтүү маалыматы таза зыян боло тургандай деңгээлге чейин, анткени сиз тор өчүрө турган майда түзүмдү жазып жатасыз.

5T токенде үйрөтүлгөн моделде одоно, ашыкча салмак түзүмү жана артыкча орун бар. 27T токенде үйрөтүлгөн модель — MiMo-V2.5-Pro'нун бюджети — ошол кошумча маалыматты майдараак айырмачылыктарды такыраак салмак маанилерине жазууга сарптаган, ал эми 3 биттик тор так ошону көрсөтө албайт.

Андан кийин 03-бөлүмдөгү FP8 фактысы бар — бул макаладагы эң таза аргумент. MiMo-V2.5-Pro FP8 аралаш тактыкта алдын ала үйрөтүлгөн. Анын салмактары башынан эле болжол менен сегиз бит тактыкта иштеген оптимизатор менен калыпталган. Демек, аны 8 биттик салмактарда тейлөө — 16 биттик моделге таңууланган жоготуулуу кийинки ой эмес, бул салмактарды алар үйрөнүлгөн сандык режимге кайтарууга жакын нерсе. Сегизинчи биттен төмөн жогото турган майда түзүм аз. Ошол салмактарды үчкө чейин түшүргөн учурда мындай деп айтууга болбойт.

07REAP: эксперт кыскартуу эмне үчүн тегеректөөдөн башка түрдөгү жоготуу

Үч деңгээлдин экөө REAP кошумчасын алып жүрөт — бул кванттоодон категориялык жактан башка операция. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) — сейрек MoE моделдери үчүн бир жолку кысуу: ал ар бир экспертти маршрутизатордун дарбаза маанилери жана эксперттин активация нормасы боюнча баалап, эң төмөн упай алгандарын өчүрөт. Cerebras эксперттердин 50%ы кыскартылганда да код жаратууда жана курал чакырууда жоготуусузга жакын натыйжаларды билдирет.

Биз REAP'ти анын бар болуу себеби үчүн колдонобуз: эң чоң негиздерде дал ошол аларды тейлөөгө жарактуу кылат. Бирок айырманын түрүн байкаңыз. Кванттоо ар бир салмакты бир аз бүдөмүктөйт; кыскартуу эксперттерди толугу менен алып салат. Эгер жүгүңүз сейрек тандалган экспертте жашаган жөндөмгө көп маршруттолсо — майда программалоо тили, атайын лексика — ал начарлаган эмес. Ал жок, жана эч кандай промпт аны кайтарбайт. Орточолор мыкты бойдон калат; сиздин куйрук учуруңуз калбашы мүмкүн.

MiMo-V2.5-Pro · W8A16'да REAP кошумчасы жок. 384 эксперттин баары ордунда, ал эми маршрутизатор негиз үйрөтүлгөн толук топтомдон тандайт.

Деңгээл	Салмак бити	Эксперттер	Эмнени алмашасыз
W8A16	8	Баары ордунда	Түзүмдүк эч нерсе. Тактык деңгээли.
W4A16-AUTOROUND-REAP	4	Кыскартылган	Ошол эле баа тилкесиндеги алда канча чоң негиздин ордуна майда салмак детали плюс трафиги аз эксперттер.
3BIT-REAP	3	Кыскартылган	Салмактын олуттуу чечилиши плюс трафиги аз эксперттер — эң чоң негиздерди ылдамдыгы менен иштетүүнүн баасы.

Ортоңку деңгээл адилет угулууга татыктуу. AutoRound — жөнөкөй тегеректөө эмес: Intel'дин ыкмасы (arXiv:2309.05516) тегеректөө чечимдерин жана салмак тобуна кесүү диапазонун тууралоо үчүн болжол менен 200 кадамда белгиленген градиенттик түшүүнү колдонот жана шарттардын көбүндө 4 битте жоготуусузга жакын деп билдирилет, сыналган конфигурациялардын көбүндө GPTQ, AWQ, HQQ жана OmniQuant'тан озуп. W4A16-AUTOROUND модели — чындап жакшы 4 биттик модель. Ал дагы эле 4 биттик модель.

088 биттик деңгээлди ким тандашы керек — жана ким тандабашы керек

MiMo-V2.5-Pro · W8A16 бүткүл каталогдун түп баасында турат — миллион токенге $0.50 кирүү / $2.00 чыгуу, баштапкы деңгээлдеги 4 биттик моделдер менен ошол эле тилкеде жана биз тейлеген эң кымбат моделдин кирүү баасынын болжол менен төрттөн бири. Сиз тактык үчүн кошумча төлөбөй жатасыз; ошол эле бюджеттин башка огун тандап жатасыз.

Аны мына качан тандаңыз

• Жумуш — чыгуунун узундугу. Узун формадагы техникалык жазуу, бөлүм көлөмүндөгү көркөм адабият, документтердин толук өтүшү — жаратылган ар бир токен кысуу ызы-чуусу топтолгон токен.
• Үн менен ырааттуулук маанилүү. Образ менен иштөө, бренд үнү, узун сессияда кармалган регистр. Стиль куйрукта жашайт, ал эми одоно кванттоо биринчи ошол куйрукту жейт.
• Структураланган чыгуу биринчи аракеттен текшерүүдөн өтүшү керек. Модель json_schema менен response_format'ту колдойт; схеманы сактоо — тактык касиети, ал эми ар бир качырылган кайра аракет — үнөмдөлгөн акча жана кечигүү.
• Контекстти толтуруп жатасыз. 200 000-токендеги көрсөтмө аткаруу 2 000-токендегиден кыйыныраак жана ал салмак тактыгы менен начарлайт — узун ой жүгүртүү изи да ошондой, анда каталар ошол эле жол менен топтолот.
• Иш жаратылышы боюнча цензурасыз. Коопсуздук изилдөөсү, red-team, чыпкаланбаган көркөм адабият, сезгич медициналык же укуктук талдоо — айланма жооп жоктон жаман болгон жерлер.

Башканы мына качан тандаңыз

• Көрүү керек. Бул модель — текст гана; анын тектеши MiMo-V2.5 · W8A16 ошол эле баада жана ошол эле деңгээлде көрүүсү менен турат.
• Кыска суроолордо эң кеңири дүйнөлүк билим керек. Дал ошол режимде алда канча чоң 3 биттик негиздин кошумча параметрлери утат, ал эми анын кванттоо зыяны араң көрүнөт.
• Жүгүңүз — көлөмдүү кыска классификация. Ал жерде кванттоонун зыяны дээрлик көрүнбөйт — эң тезин сатып алыңыз.

09Цензурасыз MiMo API'ди чакыруу

Эгер кодуңуз OpenAI SDK'га багытталса, базалык URL менен модель id'син өзгөртүү бүткүл миграция болуп саналат:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages менен /v1/responses ошол эле id'ни жана мүмкүнчүлүктөрдү кабыл алат. Параметрлер справкасы, курал чакыруу схемалары, структураланган чыгуу мисалдары жана жандуу аянтча Shannon AI API документтеринде.

Мүмкүнчүлүк	MiMo-V2.5-Pro · W8A16
Контекст терезеси	262 144 токен
Сурамга эң чоң чыгуу	16 384 токен
Агымдуу берүү	Ооба — үч диалектте тең
Курал чакыруу	Ооба
Ой жүгүртүү / reasoning_effort	Ооба
json_schema структураланган чыгуу	Ооба
response_format	Ооба
Көрүү / сүрөт киргизүү	Жок — MiMo-V2.5 колдонуңуз
Баш тартуу катмары / чыгуу чыпкасы	Жок
1M токенге баасы	$0.50 кирүү / $2.00 чыгуу

10Көп берилүүчү суроолор

---

Булактар: MiMo техникалык отчету, arXiv:2505.07608 · MiMo-V2.5-Pro модель карточкасы (Xiaomi) · «Give Me BF16 or Give Me Death»?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-биттик чыгаруу масштабдоо мыйзамдары, arXiv:2212.09720 · Scaling Laws for Precision, Kumar жана башкалар, ICLR 2025. Бардык бенчмарк сандары авторлору билдиргендей. Shannon AI — Shannon Lab LLC'нин (Нью-Мексико, АКШ) продуктусу.