API-и бесензураи MiMo бо садоқати 8-битӣ
Асоси ба мулоҳиза нигаронидашудаи MiMo-и Xiaomi, ки бе қабати рад кардан дар W8A16 — баландтарин зинаи садоқати квантизатсияи мо — бо нархи фарши каталог хизмат мерасонад.
Мухтасар
MiMo-V2.5-Pro · W8A16 MiMo-V2.5-Pro-и Xiaomi бо вазнҳои кушода аст, ки дар кластери GPU-и худи Shannon бо вазнҳои 8-битӣ / фаъолсозиҳои 16-битӣ хизмат мерасонад — камфишурдатарин зина дар каталоги дувоздаҳмоделаи мо. Контексти 262,144 токен, 16,384 токени баромад дар як дархост, фарохонии абзорҳо, мулоҳиза, баромади сохтории JSON-схема, ҷараёнӣ дар се лаҳҷаи API ва бе қабати рад кардан ё филтри баромад, бо $0.50 вуруд / $2.00 баромад барои як миллион токен — фарши каталог. Танҳо матнӣ; барои тасвирҳо MiMo-V2.5 · W8A16-ро истифода баред.
Аксари каталогҳо ба шумо шумораи параметрҳоро мефурӯшанд. Ин рақами нодурустест, ки аз рӯи он харид кардан лозим аст, зеро ҳар модели калони вазнҳои кушода, ки шумо воқеан харида метавонед, барои ҷойгир шудан дар ҷое фишурда шудааст. Саволи ростқавлона на «ин пеш аз фишурдан чӣ қадар калон буд?», балки «чӣ қадараш то ҳол ин ҷост?» аст. Ин мақола дар бораи ҳамин савол ва дар бораи моделест, ки дар қатори мо ҷавоб ба он қариб ҳамааш мебошад.
01API-и бесензураи MiMo ба шумо воқеан чӣ медиҳад
API-и бесензураи MiMo як идентификатори модел аст, MiMo-V2.5-Pro-W8A16, ки тавассути се лаҳҷа дастрас аст ва ба ҳамон вазнҳо дар кластери GPU-и худамон муроҷиат мекунад: /v1/chat/completions, /v1/messages ва /v1/responses. Ҳар се ҷараён медиҳанд ва фарохонии абзорҳо ва мулоҳизаро дастгирӣ мекунанд.
Бесензура дар ин ҷо маънои танг дорад: дар пеши модел қабати рад кардан нест, дар баромади он филтр нест. Мо боздошта, тасниф ё аз нав нависӣ намекунем. Шумо рафтори худи асосро мегиред — ки барои модели вазнҳои кушодаи дараҷаи тадқиқотӣ маънои онро дорад, ки он бо тадқиқоти амният, бадеии калонсолон ё зӯроварона, мулоҳизаи тиббӣ ва ҳуқуқӣ ва дархостҳое кор мекунад, ки нуқтаҳои интиҳоии тиҷоратии мизбонишуда аз рӯи рефлекс рад мекунанд. Ин абзори касбӣ тибқи Сиёсати Истифодаи Масъулонаи мост, на набудани қоидаҳо.
02Насаби MiMo: гарави Xiaomi ба пештаълими ба мулоҳиза нигаронидашуда
MiMo ҳосилаи Llama бо номи нав нест; ин насаби ҷудогона аз дастаи MiMo-и Xiaomi аст ва ғояи асосии он пеш аз арзёбии модел муҳим аст. Он бо MiMo-7B оғоз меёбад (30 апрели соли 2025, бо литсензияи MIT), ки ҳисоботи техникии он баҳс мекунад, ки аксари озмоишгоҳҳо мулоҳизаро ҳамчун масъалаи пас аз таълим меҳисобанд, ки бо RL часпонида мешавад, ва ин баръакс аст. Xiaomi ба ҷои ин пештаълим-ро дар атрофи он аз нав сохт: омехтаи семарҳилавӣ дар 25 триллион токен, марҳилаи дуюм тақрибан 70% математика ва код, марҳилаи сеюм изҳои синтетикии мулоҳизаро дохил мекунад ва контекстро аз 8K то 32K васеъ мекунад — ба замми ҳадафи Пешгӯии Бисёртокенӣ, ки ҳамзамон ҳамчун сари декодиронии тахминӣ хизмат мекунад.
Натиҷа модели асосии 7B буд, ки мисли чизи хеле калонтар рафтор мекард. MiMo-7B-Base 32.9 дар AIME 2024 хол гирифт, дар ҳоле ки Qwen2.5-7B 10.1, Gemma-2-9B 0.0 ва Llama-3.1-8B 0.3. Сипас пас аз таълим RL дар 130,000 масъалаи тасдиқшавандаи математика ва код бо мукофоти коди аз душвории тест вобаста гузашт ва аз доми мукофоти сироҷ раҳо шуд, ки RL-и кодро ноустувор мекунад. Натиҷа аз o1-mini пеш баромад:
AIME 2025, рақамҳои аз ҷониби Xiaomi эълоншуда аз ҳисоботи техникии MiMo (arXiv:2505.07608). MiMo-7B-RL инчунин 95.8 дар MATH-500 ва 57.8 дар LiveCodeBench v5-ро эълон кард.
Оила ба ҷои дур шудан васеъ шуд: MiMo-VL-7B (июни соли 2025) кодкунандаи Qwen2.5-ViT-ро дар ҳамон сутунмӯҳра гузошт ва декабри соли 2025 MiMo-Audio-7B ва аввалин узви MoE, MiMo-V2-Flash-ро овард (309B умумӣ / 15B фаъол, 27T токен, дақиқии омехтаи FP8). MiMo-V2-Pro марти соли 2026 бо тақрибан 1T / 42B фаъол ва контексти 1M пас аз чанд ҳафта дар OpenRouter ҳамчун «Hunter Alpha» пайравӣ кард. MiMo-V2.5 ва MiMo-V2.5-Pro якҷоя 22 апрели соли 2026 фиристода шуданд, ҳар ду бо MIT.
03Дар дохили MiMo-V2.5-Pro: асос чӣ гуна аст
Тибқи корти модели нашркардаи Xiaomi, MiMo-V2.5-Pro модели сироҷи Омехтаи Мутахассисон бо 1.02 триллион параметри умумӣ ва 42 миллиард фаъол дар як токен дар 70 қабат — якто зич, 69 MoE — ва 384 мутахассиси маршрутшуда, 8 дар як токен аст. Андозаи ниҳонӣ 6144 бо андозаи мобайнии танги MoE-и 2048.
Ду интихоб ҳиссиёти истифодаро шакл медиҳанд. Стеки таваҷҷуҳ дурага аст: 10 қабати таваҷҷуҳи пурра ва 60 қабати тирезаи лағжанда бо тирезаи 128, ба замми тамоюли омӯзандаи ғарқобаи таваҷҷуҳ. Xiaomi хабар медиҳад, ки ин нигоҳдории кэши KV-ро нисбат ба таваҷҷуҳи пурра глобалӣ қариб 7 маротиба кам мекунад ва сифати контексти дарозро нигоҳ медорад — фарқи байни тирезае, ки номӣ дароз аст, ва тирезае, ки шумо онро пур карда метавонед. Он инчунин се қабати Пешгӯии Бисёртокенӣ дорад, ки ба декодер сари тахминӣ медиҳад.
Таълим 27 триллион токен бо дарозии ватании пайдарпаии 32K дар дақиқии омехтаи FP8 (E4M3) гузашт, сипас танзими дақиқи назоратшаванда, RL-и агентии миқёси калон ва дистилятсияи бисёрмуаллимаи on-policy. Ин тафсилоти FP8-ро дар ёд доред; ин қавитарин далели ягона барои хизматрасонии ин асос бо 8 бит аст.
Xiaomi моделро бо 57.2% дар SWE-bench Pro, 72.9 дар τ3-Bench барои истифодаи абзорҳо ва 48.0% дар Humanity's Last Exam эълон мекунад — рақамҳои худи фурӯшанда дар модели фишурданашуда, ки маҳз ҳамчун чунин иқтибос оварда мешаванд.
Мо тирезаи 262,144-токениро хизмат мерасонем, на 1M-и пурраи асосро — контексте, ки мо онро бо суръат кафолат дода метавонем, на рақами сарлавҳавие, ки зери бор паст мешавад.
04W8A16 дақиқан чӣ маъно дорад
Ҳар модели ин каталог пасванди квантизатсия дорад, ки табдили воқеӣ ва ченшавандаро тавсиф мекунад, на зинаи таблиғотиро. Пасвандҳои мо 3BIT-REAP, W4A16-AUTOROUND-REAP ва W8A16 мебошанд. MiMo-V2.5-Pro сеюмист.
Нишонагузорӣ ба ду қисм тақсим мешавад. W8 дақиқии вазн аст: ҳар параметр ба ҷои float-и 16-битӣ ҳамчун бутуни 8-битӣ нигоҳ дошта мешавад, бо коэффитсиенти миқёси муштарак барои ҳар гурӯҳи хурд, то доираи динамикии маҳаллии ҳар гурӯҳ боқӣ монад. A16 дақиқии фаъолсозист: қиматҳое, ки ҳангоми хулосабарорӣ байни қабатҳо мегузаранд, дар 16 бит мемонанд. Вазнҳо фишурда мешаванд; арифметика не.
Нисфи дуюм кори хомӯш ва муҳим мекунад. Фаъолсозиҳоро квантизатсия кардан аз вазнҳо хеле душвортар аст: онҳо каналҳои шадиди берунӣ доранд — чанд андозае, ки бузургиашон ҳама чизи дигарро зер мекунад ва ҳиссаи номутаносиби рафтори моделро мебарад. Онҳоро ба дақиқии паст тела диҳед ва шумо маҳз ҳамон сигналеро мебуред, ки ба шумо лозим буд. Нақшаҳои танҳо-вазн ин масъаларо дур мезананд, зеро роҳи фаъолсозиро даст намерасонанд, ва маҳз бинобар ин кори ҷиддии квантизатсия ба онҳо ҷамъ шудааст.
Пас саволи амалӣ ба як чиз танг мешавад: як вазн ба чанд бити кам тоқат карда метавонад?
05W8A16 дар муқобили W4A16 ва 3-бит: талафот воқеан ба куҷо меравад
Бузургтарин омӯзиши нашршуда дар ин мавзӯъ мақолаи Neural Magic ва Red Hat "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization аст — зиёда аз 500,000 арзёбӣ дар оилаи Llama-3.1 бо 8B, 70B ва 405B. Натиҷаи сарлавҳавии онҳо, бо рақамҳои худи онҳо:
| Формат | Чӣ фишурда мешавад | Барқарорсозии эълоншуда нисбат ба BF16 |
|---|---|---|
| W8A8-FP (8-бит) | Вазнҳо + фаъолсозиҳо, float | ~99.75% миёна — «аслан бе талафот» |
| W8A8-INT (8-бит) | Вазнҳо + фаъолсозиҳо, бутун | 99–100% дар 8B/70B; 98.2–99.3% дар 405B |
| W4A16-INT (4-бит) | Танҳо вазнҳо | 98–99.4% (8B); 98.6–99.8% (70B) |
Рақамҳои аз ҷониби Neural Magic / Red Hat эълоншуда (arXiv:2411.02355) дар моделҳои Llama-3.1 — шакли ин мубодила, на холи ин модел.
Агар ростқавлона хонда шавад, ин ба далели зидди аҳамият додан монанд аст: 4-бит 98–99%-ро барқарор мекунад, пас чаро диққат диҳем? Зеро инҳо бенчмаркҳои академии интихоби чандвариантӣ мебошанд, ки ба бадтарин асбоби дастрас барои ошкор кардани зарари квантизатсия наздиканд. Саволи бенчмарк як ҷавоби дуруст дорад, ки бо як ё ду токен ба даст меояд, ва хатои квантизатсия садои хурди тақрибан бо миёнаи сифр дар ҳар логит аст; дар саволи кӯтоҳ бо фарқи васеъ ин садо фурӯ бурда мешавад.
Акнун 4,000 токени ҳуҷҷати техникӣ нависед, овозро дар ҳикояи 40,000-токенӣ нигоҳ доред ё JSON-е тавлид кунед, ки бояд аз кӯшиши аввал тасдиқ шавад. Ҳамон садо ҳазорҳо маротиба дар пайдарпаӣ намуна гирифта мешавад, ки ҳар намуна ба навбатӣ шарт мегузорад. Реҷаи нокомӣ ҷавоби нодуруст нест — он дур шудан аст: суст шудани дасти дастур аз давраи аввал, персонаже, ки дар атрофи токени 3,000 дигар мисли худаш садо намедиҳад, қавси пӯшандае, ки ҳеҷ гоҳ намеояд.
Битҳо воқеан ба куҷо мераванд
Хатои квантизатсия дар байни қобилиятҳои модел баробар пахн намешавад; он дар дум мутамарказ мешавад. Рафторҳои сермасса — грамматикаи англисӣ, шакли функсияи Python, ҳазор далели асосии ҷаҳон — дар бисёр вазн такроран кодгузорӣ шудаанд ва қариб ба ҳама чиз тоб меоранд. Кунҷҳои дақиқ танзимшуда ва камбузурги тақсимоти вазнҳо чизҳои нодирро нигоҳ медоранд: имзои дақиқи API-и номаълум, оҳанги муаллифи мушаххас, фарқи байни ду CVE-и ҳамсоя. Маҳз ҳамин қиматҳоеанд, ки шабакаи дағал онҳоро ба ҳам мудаввар мекунад.
Қадам аз 4 бит ба 3 ҷоест, ки ин дигар андоз набуда, партгоҳ мешавад. Қонунҳои миқёсбандии хулосабарории k-битии Dettmers ва Zettlemoyer муайян карданд, ки 4-бит нуқтаест, ки дақиқии сифрзарбаро дар ҳар бити хотираи модел ҳадди аксар мекунад ва поёнтар аз он коҳиш бартарӣ мегирад. Чор бит 16 сатҳ дар як гурӯҳ медиҳад; се бит 8. Шумо ҳалнокии шабакаи аллакай дағалро ду баробар кам мекунед ва хатои мудавварсозӣ дар ҳар вазн тақрибан ду баробар мешавад.
Арифметикае, ки инро ҳал мекунад
Муқоисае, ки арзиши гузаронданро дорад, арифметика аст, на бенчмарк. Он чи аз фишурдасозӣ мемонад, тақрибан параметрҳо × битҳо дар як параметр аст — ҳаҷми иттилоотбарандаи файли вазнҳо. Ду асоси фарзии сифати баробар дар ҳар параметрро гиред:
- Асоси A: 400B параметр бо 3 бит → тақрибан 150 ГБ вазни нигоҳдошташуда.
- Асоси B: 160B параметр бо 8 бит → тақрибан 160 ГБ вазни нигоҳдошташуда.
Аз рӯи шумораи хоми параметрҳо A ду ним ба як ғолиб мешавад — ҳамон рақаме, ки корти модел бо он оғоз мешавад. Аз рӯи иттилои нигоҳдошташуда онҳо баробаранд ва B ба замми ин бартарии сохторӣ дорад: вазнҳои он дар шабакае ҷойгиранд, ки барои солим мондани рафтори думи он ба қадри кофӣ нозук аст, дар ҳоле ки думи A ба тӯда квантизатсия шудааст. A чизҳои бештарро медонад; B он чиро, ки медонад, тезтар медонад. Барои тавлиди дароз, форматонии дақиқ, идораи услубӣ ва риояи содиқонаи контексти дароз B-ро гиред.
Арифметикаи намунавӣ, на бенчмарк: он нишон медиҳад, ки чаро «асоси калонтар» ва «модели беҳтар хизматрасонишуда» изҳороти гуногунанд.
06Чаро 27 триллион токени таълим квантизатсияи шадидро бадтар мекунад
Натиҷаи дуюм ва камтар аёнӣ бевосита ба ин асос дахл дорад. Мақолаи Kumar ва дигарон дар ICLR 2025 Scaling Laws for Precision муайян мекунад, ки ҳар чӣ модел дар маълумоти бештар таълим гирифта бошад, квантизатсияи пас аз таълим ба он ҳамон қадар бештар зарар мерасонад. Дақиқии паст шумораи самараноки параметрҳои моделро кам мекунад ва ин коҳиш бо маълумоти пештаълими фурӯбурдашуда меафзояд — то он ҷо, ки маълумоти иловагии пештаълим метавонад дар маҷмӯъ зарарнок бошад, агар шумо ният дошта бошед шадид квантизатсия кунед, зеро шумо сохтори нозукеро мегузоред, ки шабака онро нест мекунад.
Моделе, ки дар 5T токен таълим гирифтааст, сохтори дағал ва такрории вазн ва захираи барзиёд дорад. Моделе, ки дар 27T токен таълим гирифтааст — буҷаи MiMo-V2.5-Pro — он маълумоти иловагиро ба навиштани фарқиятҳои нозуктар дар қиматҳои дақиқтари вазн сарф кардааст, ки маҳз ҳамонро шабакаи 3-битӣ ифода карда наметавонад.
Сипас далели FP8 аз бахши 03, тозатарин далели ин мақола. MiMo-V2.5-Pro дар дақиқии омехтаи FP8 пештаълим гирифтааст. Вазнҳои он аз аввал бо оптимизаторе шакл гирифтаанд, ки бо тақрибан ҳашт бит дақиқӣ кор мекард. Бинобар ин хизматрасонии он бо вазнҳои 8-битӣ фикри баъдинаи зиёнбор нест, ки ба модели 16-битӣ таҳмил шудааст — ин ба баргардонидани вазнҳо ба реҷаи ададие наздик аст, ки дар он омӯхта шудаанд. Дар поёнтар аз бити ҳаштум сохтори нозуки кам ҳаст, ки аз даст равад. Ҳаминро дар бораи ҳамон вазнҳое, ки то се бит фишурда шудаанд, гуфтан мумкин нест.
07REAP: чаро буридани мутахассисон навъи дигари талафот аст, на мудавварсозӣ
Дуто аз се зина пасванди REAP доранд — амалиёте, ки аз квантизатсия аз ҷиҳати категория фарқ мекунад. REAP (Буридани Фаъолсозии Мутахассисон бо Вазни Маршрутизатор, Cerebras Research, arXiv:2510.13999, ICLR 2026) фишурдасозии якзарба барои моделҳои сироҷи MoE аст: он ҳар мутахассисро аз рӯи қиматҳои дарвозаи маршрутизатор ва меъёри фаъолсозии мутахассис баҳо медиҳад, сипас камхолтаринҳоро нест мекунад. Cerebras натиҷаҳои қариб бе талафотро дар тавлиди код ва фарохонии абзорҳо ҳатто ҳангоми буридани 50% мутахассисон эълон мекунад.
Мо REAP-ро барои ҳамон сабабе истифода мебарем, ки он вуҷуд дорад: дар бузургтарин асосҳо маҳз он онҳоро қобили хизматрасонӣ мегардонад. Вале фарқи навъро қайд кунед. Квантизатсия ҳар вазнро каме норавшан мекунад; буридан мутахассисонро тамоман нест мекунад. Агар бори кории шумо ба қувваи зиёде маршрут шавад, ки дар мутахассиси нодир интихобшуда зиндагӣ мекард — забони барномасозии камистифода, луғати мутахассис — он коҳиш намеёбад. Он нест шудааст ва ҳеҷ дархостдиҳӣ онро барқарор намекунад. Миёнаҳо аъло мемонанд; ҳолати думи шумо шояд не.
MiMo-V2.5-Pro · W8A16 пасванди REAP надорад. Ҳамаи 384 мутахассис ҳозиранд ва маршрутизатор аз маҷмӯи пурраи он, ки асос бо он таълим гирифтааст, интихоб мекунад.
| Зина | Битҳои вазн | Мутахассисон | Шумо чиро мубодила мекунед |
|---|---|---|---|
| W8A16 | 8 | Ҳама ҳозир | Ҳеҷ чизи сохторӣ. Зинаи садоқат. |
| W4A16-AUTOROUND-REAP | 4 | Буридашуда | Тафсилоти нозуки вазн ба замми мутахассисони кам истифодашаванда, дар ивази асоси хеле калонтар дар ҳамон банди нарх. |
| 3BIT-REAP | 3 | Буридашуда | Ҳалнокии назарраси вазн ба замми мутахассисони кам истифодашаванда — нархи кор фармудани бузургтарин асосҳо бо суръат. |
Зинаи миёна сазовори баррасии одилона аст. AutoRound мудавварсозии оддӣ нест: усули Intel (arXiv:2309.05516) фуруди градиенти аломатдорро дар давоми тақрибан 200 қадам барои танзими қарорҳои мудавварсозӣ ва доираи буриш дар ҳар гурӯҳи вазн истифода мебарад ва дар аксари танзимот дар 4 бит қариб бе талафот эълон шудааст ва дар аксари конфигуратсияҳои санҷидашуда аз GPTQ, AWQ, HQQ ва OmniQuant болотар мебарояд. Модели W4A16-AUTOROUND воқеан модели хуби 4-битист. Он бо вуҷуди ин модели 4-битӣ мемонад.
08Кӣ бояд зинаи 8-битиро интихоб кунад — ва кӣ не
MiMo-V2.5-Pro · W8A16 дар нархи фарши тамоми каталог ҷойгир аст — $0.50 вуруд / $2.00 баромад барои як миллион токен, ҳамон банди моделҳои 4-битии зинаи ибтидоӣ ва тақрибан чоряки нархи вуруди гаронтарин модели хизматрасонии мо. Шумо барои садоқат иловапулӣ намепардозед; шумо меҳвари дигари ҳамон буҷаро интихоб мекунед.
Онро интихоб кунед, вақте ки
- Дарозии баромад худи кор аст. Навиштани техникии дарозшакл, бадеии ба ҳаҷми боб, гузариши пурраи ҳуҷҷатгузорӣ — ҳар токени тавлидшуда ҷоест, ки садои фишурдасозӣ дар он ҷамъ мешавад.
- Овоз ва ҳамоҳангӣ муҳиманд. Кор бо персонаж, оҳанги бренд, сабке, ки дар тамоми сессияи дароз нигоҳ дошта мешавад. Услуб дар дум зиндагӣ мекунад ва думро квантизатсияи дағал аввал мехӯрад.
- Баромади сохторӣ бояд аз кӯшиши аввал тасдиқ шавад. Модел
json_schemaваresponse_format-ро дастгирӣ мекунад; риояи схема хосияти дақиқист ва ҳар такрори пешгиришуда пул ва таъхири сарфашуда аст. - Шумо контекстро пур мекунед. Риояи дастур дар токени 200,000 аз токени 2,000 душвортар аст ва он бо дақиқии вазн паст мешавад — ҳамон тавре ки изи дарози мулоҳиза, ки дар он хатоҳо ҳамин тавр ҷамъ мешаванд.
- Кор аз рӯи табиат бесензура аст. Тадқиқоти амният, гурӯҳи сурх, бадеии бефилтр, таҳлили ҳассоси тиббӣ ё ҳуқуқӣ — ки дар онҳо ҷавоби гурезон аз набудани ҷавоб бадтар аст.
Чизи дигарро интихоб кунед, вақте ки
- Ба шумо биноӣ лозим аст. Ин модел танҳо матнист; бародараш MiMo-V2.5 · W8A16 бо ҳамон нарх ва ҳамон зина қобили биноӣ аст.
- Ба шумо васеътарин дониши ҷаҳон дар дархостҳои кӯтоҳ лозим аст. Ин ҳамон реҷаест, ки дар он параметрҳои иловагии асоси хеле калонтари 3-битӣ ғолиб мешаванд ва зарари квантизатсияи он базӯр намоён аст.
- Бори кории шумо таснифоти кӯтоҳи ҳаҷми калон аст. Зарари квантизатсия дар он ҷо қариб ноаён аст — ҳар чи тезтар аст, онро харед.
09Фарохонии API-и бесензураи MiMo
Агар коди шумо ба SDK-и OpenAI нигаронида шуда бошад, тағйири URL-и асосӣ ва идентификатори модел тамоми муҳоҷират аст:
curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer $SHANNON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MiMo-V2.5-Pro-W8A16",
"messages": [
{"role": "user", "content": "Draft the threat model section."}
],
"reasoning_effort": "high",
"max_tokens": 16384,
"stream": true
}'
/v1/messages ва /v1/responses ҳамон идентификатор ва имкониятҳоро қабул мекунанд. Маълумотномаи параметрҳо, схемаҳои фарохонии абзорҳо, намунаҳои баромади сохторӣ ва майдончаи зинда дар ҳуҷҷатгузории API-и Shannon AI ҳастанд.
| Имконият | MiMo-V2.5-Pro · W8A16 |
|---|---|
| Тирезаи контекст | 262,144 токен |
| Баромади ҳадди аксар дар як дархост | 16,384 токен |
| Ҷараёнӣ | Бале — ҳар се лаҳҷа |
| Фарохонии абзорҳо | Бале |
Мулоҳиза / reasoning_effort | Бале |
Баромади сохтории json_schema | Бале |
response_format | Бале |
| Биноӣ / вуруди тасвир | Не — MiMo-V2.5-ро истифода баред |
| Қабати рад кардан / филтри баромад | Нест |
| Нарх барои 1M токен | $0.50 вуруд / $2.00 баромад |
Ҳар рақами берунии ин ҷо аз ҷониби каси дигар, на мо нашр шудааст ва дар матн ба соҳибаш нисбат дода шудааст. Натиҷаҳои барқарорсозии квантизатсия аз омӯзишҳои оилаи Llama меоянд: онҳо шакли ин мубодиларо тавсиф мекунанд, на холҳои ин моделро.
10Саволҳои маъмул
API-и бесензураи MiMo чист?
Нуқтаи интиҳоии Shannon AI барои MiMo-V2.5-Pro, модели Омехтаи Мутахассисони Xiaomi бо вазнҳои кушода, ки дар кластери GPU-и худамон бе қабати рад кардан ва бе филтри баромад хизмат мерасонад. Он тавассути /v1/chat/completions, /v1/messages ва /v1/responses дастрас аст, бо контексти 262,144 токен ва 16,384 токени баромад дар як дархост.
W8A16 чӣ маъно дорад ва чаро он муҳим аст?
W8A16 маънои онро дорад, ки вазнҳо ҳар кадом дар 8 бит нигоҳ дошта мешаванд, дар ҳоле ки фаъолсозиҳо дар 16 бит ҳисоб карда мешаванд. Ин баландтарин зинаи садоқати квантизатсия дар каталоги мост. Омӯзишҳои нашршуда муайян мекунанд, ки форматҳои танҳо-вазни 8-битӣ аслан тамоми дақиқии модели аслиро барқарор мекунанд, дар ҳоле ки 4-бит миқдори ками садоқатро бо хотира мубодила мекунад ва 3-бит миқдори назаррасро.
Оё модели хурдтар дар 8-бит метавонад аз модели калонтар дар 3-бит болотар барояд?
Аксаран бале. Он чи аз фишурдасозӣ мемонад, тақрибан шумораи параметрҳо зарб карда ба битҳо дар ҳар параметр аст ва хатои квантизатсия дар рафтори нодири думӣ мутамарказ мешавад. Моделе, ки дар 8 бит нигоҳ дошта мешавад, ҳамоҳангии дарозшакл, форматонии дақиқ ва дониши думии худро нигоҳ медорад; модели калонтаре, ки то 3 бит фишурда шудааст, холҳои васеи бенчмаркии худро нигоҳ медорад, вале ин хосиятҳоро гум мекунад.
Оё MiMo-V2.5-Pro биноӣ ё вуруди тасвирро дастгирӣ мекунад?
Не. MiMo-V2.5-Pro дар Shannon AI танҳо матнист. Он фарохонии абзорҳо, мулоҳиза бо reasoning_effort, баромади сохтории JSON-схема ва response_format-ро дастгирӣ мекунад. Агар ба шумо вуруди тасвир лозим бошад, модели бародарии MiMo-V2.5 W8A16-ро истифода баред, ки бо ҳамон нарх қобили биноӣ аст.
API-и бесензураи MiMo чанд меарзад?
$0.50 барои як миллион токени вуруд ва $2.00 барои як миллион токени баромад. Ин нархи фарш дар каталоги Shannon AI аст, ки MiMo-V2.5-Pro-ро арзонтарин роҳи харидани садоқати 8-битӣ дар ин шлюз мегардонад.
API-и бесензураи MiMo-ро санҷед
Садоқати ҳаштбитӣ, контексти 262K, бе қабати рад кардан — бо нархи фарши каталог.
Хондани ҳуҷҷатгузории API Дидани ҳамаи моделҳоТибқи Сиёсати Истифодаи Масъулонаи Shannon AI кор мекунад
Манбаъҳо: Ҳисоботи техникии MiMo, arXiv:2505.07608 · корти модели MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Қонунҳои миқёсбандии хулосабарории k-битӣ, arXiv:2212.09720 · Scaling Laws for Precision, Kumar ва дигарон, ICLR 2025. Ҳамаи рақамҳои бенчмарк тавре ҳастанд, ки муаллифони онҳо эълон кардаанд. Shannon AI маҳсули Shannon Lab LLC, Ню-Мексико, ИМА мебошад.