8-bitli sadoqatda senzurasiz MiMo API
Xiaomi ning fikrlashni birinchi qo'yadigan MiMo poydevori, katalogning eng quyi narxida rad etish qatlamisiz va biz ishlatadigan eng yuqori sadoqatli kvantlash darajasi W8A16 da xizmat qiladi.
TL;DR
MiMo-V2.5-Pro · W8A16 — Xiaomi ning ochiq og'irlikli MiMo-V2.5-Pro si Shannon ning o'z GPU klasterida 8-bitli og'irliklar / 16-bitli aktivatsiyalar da xizmat qiladi — o'n ikki modelli katalogimizdagi eng kam siqilgan daraja. 262,144 tokenli kontekst, har bir so'rovga 16,384 chiqish tokeni, vosita chaqirish, fikrlash, JSON-sxema tuzilmali chiqishi, uchta API dialektida striming va rad etish qatlami ham, chiqish filtri ham yo'q, million tokenga $0.50 kirish / $2.00 chiqish — katalogning eng quyi chegarasi. Faqat matnli; rasmlar uchun MiMo-V2.5 · W8A16 ni ishlating.
Kataloglarning aksariyati sizga parametr sonini sotadi. Bu — xarid qilishda noto'g'ri raqam, chunki siz haqiqatan qurbingiz yetadigan har bir katta ochiq og'irlikli model biror joyga sig'ishi uchun siqilgan. Halol savol "u siqilishidan oldin qanchalik katta edi?" emas, "undan qanchasi hamon shu yerda?". Bu maqola aynan shu savol haqida va ro'yxatimizdagi javob deyarli hammasi bo'lgan model haqida.
01Senzurasiz MiMo API sizga aslida nima beradi
Senzurasiz MiMo API — bitta model id, MiMo-V2.5-Pro-W8A16, u o'z GPU klasterimizdagi bir xil og'irliklarga murojaat qiladigan uchta dialekt orqali yetib boriladi: /v1/chat/completions, /v1/messages va /v1/responses. Uchalasi ham oqadi hamda vosita chaqirish va fikrlashni qo'llab-quvvatlaydi.
Senzurasiz bu yerda tor ma'noga ega: modelning oldida rad etish qatlami yo'q, uning chiqishida filtr yo'q. Biz oraga kirmaymiz, tasniflamaymiz va qayta yozmaymiz. Siz poydevorning o'z xulqini olasiz — tadqiqot darajasidagi ochiq og'irlikli model uchun bu xavfsizlik tadqiqoti, kattalar uchun yoki zo'ravonlikli badiiy adabiyot, tibbiy va huquqiy mulohaza hamda joylashtirilgan tijoriy endpointlar refleks bilan rad etadigan so'rovlar bilan ishlashini anglatadi. Bu — qoidalarning yo'qligi emas, Mas'uliyatli Foydalanish Siyosatimiz doirasidagi professional asbob.
02MiMo nasli: Xiaomi ning fikrlashni birinchi qo'yadigan oldindan o'qitishga tikkan garovi
MiMo — yangi nom kiygan Llama hosilasi emas; bu Xiaomi ning MiMo jamoasidan chiqqan alohida nasl va uning asos g'oyasi modelni baholashdan oldin muhim. U MiMo-7B (2025-yil 30-aprel, MIT litsenziyasi) bilan ochiladi; uning texnik hisoboti laboratoriyalarning aksariyati fikrlashni RL bilan keyinroq mahkamlanadigan post-treyning muammosi deb qarashini va bu teskari ekanini asoslaydi. Xiaomi buning o'rniga oldindan o'qitish ni shu atrofda qayta tuzdi: 25 trillion token bo'ylab uch bosqichli aralashma, ikkinchi bosqich taxminan 70% matematika va koddan iborat, uchinchi bosqich kontekstni 8K dan 32K ga uzaytirgan holda sintetik fikrlash izlarini qo'shadi — plyus spekulyativ dekodlash boshi vazifasini ham bajaradigan Multi-Token Prediction maqsadi.
Natijada ancha kattaroq narsadek o'zini tutgan 7B bazaviy model chiqdi. MiMo-7B-Base AIME 2024 da 32.9 ball to'pladi, Qwen2.5-7B esa 10.1, Gemma-2-9B 0.0 va Llama-3.1-8B 0.3. Post-treyning keyin 130,000 tekshirib bo'ladigan matematika va kod masalasi ustidan test qiyinligiga asoslangan kod mukofoti bilan RL o'tkazdi va kod RL ini beqarorlashtiradigan siyrak mukofot tuzog'idan qutuldi. Natija o'zini o1-mini dan oldinda topdi:
AIME 2025, MiMo texnik hisobotidan (arXiv:2505.07608) Xiaomi xabar qilgan ko'rsatkichlar. MiMo-7B-RL shuningdek MATH-500 da 95.8 va LiveCodeBench v5 da 57.8 ni xabar qildi.
Oila chetga og'ish o'rniga kengaydi: MiMo-VL-7B (2025-yil iyun) o'sha o'zakka Qwen2.5-ViT enkoderini qo'ydi, 2025-yil dekabr esa MiMo-Audio-7B ni hamda birinchi MoE a'zosi MiMo-V2-Flash ni (jami 309B / 15B aktiv, 27T token, FP8 aralash aniqlik) olib keldi. MiMo-V2-Pro 2026-yil martda taxminan 1T / 42B aktiv va 1M kontekst bilan, OpenRouter da "Hunter Alpha" nomi ostida bir necha hafta turganidan keyin chiqdi. MiMo-V2.5 va MiMo-V2.5-Pro 2026-yil 22-aprelda birga, ikkalasi ham MIT ostida chiqdi.
03MiMo-V2.5-Pro ichida: poydevor qanday ko'rinadi
Xiaomi ning chop etilgan model kartasiga ko'ra, MiMo-V2.5-Pro — 70 qatlam bo'ylab jami 1.02 trillion parametr va har bir tokenda 42 milliard aktiv bo'lgan siyrak Mixture-of-Experts modeli — bittasi zich, 69 tasi MoE — va 384 yo'naltiriladigan ekspert, har bir tokenda 8 tasi. Yashirin o'lcham 6144, MoE ning oraliq o'lchami esa tor, 2048.
Ikkita tanlov uning ishlatishdagi tuyg'usini shakllantiradi. E'tibor to'plami gibrid: 10 to'liq e'tiborli qatlam va oynasi 128 bo'lgan 60 suriladigan oynali qatlam, plyus o'rganiladigan e'tibor botig'i siljishi. Xiaomi bu butunlay global e'tiborga nisbatan KV kesh xotirasini 7x ga yaqin qisqartirishini va shu bilan birga uzun kontekst sifatini ushlab turishini xabar qiladi — nomigagina uzun oyna bilan to'ldirishga qurbingiz yetadigani orasidagi farq. U shuningdek uchta Multi-Token Prediction qatlami ni beradi va dekoderga spekulyativ bosh qo'shadi.
O'qitish nativ 32K ketma-ketlik uzunligida FP8 (E4M3) aralash aniqlikda 27 trillion tokenda, so'ng nazoratli fine-tuning, keng miqyosli agentlik RL va ko'p o'qituvchili on-policy distillash bilan o'tgan. O'sha FP8 tafsilotini yodda tuting; bu poydevorni 8 bitda xizmatga qo'yishning eng kuchli yagona dalili shu.
Xiaomi modelni SWE-bench Pro da 57.2%, vosita ishlatishi bo'yicha τ3-Bench da 72.9 va Humanity's Last Exam da 48.0% deb xabar qiladi — bular ishlab chiqaruvchining kvantlanmagan modeldagi o'z raqamlari va shundayligicha keltirilgan.
Biz poydevorning to'liq 1M ini emas, 262,144 tokenli oynani xizmatga qo'yamiz — yuklama ostida yomonlashadigan bosh raqam emas, tezlikda kafolatlay oladigan kontekst.
04W8A16 aynan nimani anglatadi
Bu katalogdagi har bir model marketing darajasini emas, haqiqiy, o'lchab bo'ladigan o'zgarishni ta'riflaydigan kvantlash qo'shimchasini olib yuradi. Bizniki — 3BIT-REAP, W4A16-AUTOROUND-REAP va W8A16. MiMo-V2.5-Pro — uchinchisi.
Belgilash ikkiga bo'linadi. W8 — og'irlik aniqligi: har bir parametr 16-bitli suzuvchi son o'rniga 8-bitli butun son sifatida saqlanadi, har bir kichik guruh uchun umumiy masshtablash koeffitsienti bilan, shunda har bir guruhning lokal dinamik oralig'i saqlanadi. A16 — aktivatsiya aniqligi: inference paytida qatlamlar orasida oqadigan qiymatlar 16 bitda qoladi. Og'irliklar siqiladi; arifmetika esa yo'q.
O'sha ikkinchi yarim jimgina, muhim ish qiladi. Aktivatsiyalarni kvantlash og'irliklardan ancha qiyinroq: ularda ekstremal chetlashgan kanallar bor — kattaligi qolgan hamma narsadan ustun keladigan va modelning xulqidan nomutanosib katta ulushni ko'taradigan bir nechta o'lcham. Ularni past aniqlikka itaring va siz aynan kerakli signalni kesib tashlaysiz. Faqat og'irlikli sxemalar aktivatsiya yo'lini tinch qoldirib, muammoni chetlab o'tadi va jiddiy kvantlash ishi ularga yaqinlashganining sababi ham shu.
Demak, amaliy savol bitta narsaga toraydi: og'irlik nechta bitgacha chidashi mumkin?
05W8A16 va W4A16 va 3-bit: yo'qotish aslida qayerga ketadi
Bu bo'yicha eng katta chop etilgan tadqiqot — Neural Magic va Red Hat ning "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization ishi — Llama-3.1 oilasi bo'ylab 8B, 70B va 405B da 500,000 dan ortiq baholov. Ularning asosiy natijasi, o'z raqamlarida:
| Format | Nima siqiladi | BF16 ga nisbatan xabar qilingan tiklanish |
|---|---|---|
| W8A8-FP (8-bit) | Og'irliklar + aktivatsiyalar, suzuvchi | ~99.75% o'rtacha — "mohiyatan yo'qotishsiz" |
| W8A8-INT (8-bit) | Og'irliklar + aktivatsiyalar, butun son | 8B/70B da 99–100%; 405B da 98.2–99.3% |
| W4A16-INT (4-bit) | Faqat og'irliklar | 98–99.4% (8B); 98.6–99.8% (70B) |
Llama-3.1 modellarida Neural Magic / Red Hat (arXiv:2411.02355) xabar qilgan ko'rsatkichlar — bu modelning bali emas, kelishuvning shakli.
Halol o'qilsa, bu e'tibor berishga qarshi dalilga o'xshaydi: 4-bit 98–99% ni tiklaydi, unda nega e'tibor berish kerak? Chunki bular akademik ko'p tanlovli benchmarklar, ya'ni kvantlash shikastini aniqlash uchun mavjud bo'lgan eng yomon asboblardan biri. Benchmark savolining bitta to'g'ri javobi bo'ladi va unga bir-ikki tokenda yetish mumkin, kvantlash xatoligi esa har bir logitda kichik, taxminan nol o'rtachali shovqin; keng farqli qisqa savolda o'sha shovqin yutib yuboriladi.
Endi 4,000 tokenli texnik hujjat yozing, 40,000 tokenli hikoya bo'ylab ovozni ushlab turing yoki birinchi urinishdayoq tekshiruvdan o'tishi kerak bo'lgan JSON chiqaring. O'sha shovqin ketma-ket minglab marta namuna olinadi va har bir namuna keyingisini shartlaydi. Nosozlik rejimi noto'g'ri javob emas — bu chetga og'ish: birinchi navbatdanoq ko'rsatmani ushlashning bo'shashishi, 3,000-token atrofida o'ziga o'xshamay qoladigan qahramon, hech qachon kelmaydigan yopuvchi qavs.
Bitlar aslida qayerga ketadi
Kvantlash xatoligi modelning qobiliyatlari bo'ylab teng tarqalmaydi; u dumga jamlanadi. Ko'p massali xulqlar — grammatik ingliz tili, Python funksiyasining shakli, dunyo haqidagi eng yuqori mingta fakt — ko'plab og'irliklar bo'ylab ortiqchalik bilan kodlangan va deyarli hamma narsaga chidaydi. Og'irlik taqsimotining aniq sozlangan, kichik kattalikdagi burchaklari esa noyob narsalarni saqlaydi: noma'lum API ning aniq imzosi, muayyan muallifning ohangi, ikkita qo'shni CVE orasidagi farq. Qo'pol panjara bir-biriga yaxlitlaydigan qiymatlar aynan shular.
4 bitdan 3 ga qadam — bu soliq bo'lishdan to'xtab, jarlikka aylanadigan joy. Dettmers va Zettlemoyer ning k-bitli inference miqyoslash qonunlari 4-bitni model xotirasining har bir bitiga to'g'ri keladigan nol zarbali aniqlikni maksimallashtiradigan nuqta deb topdi, undan pastda esa yomonlashuv hukmronlik qiladi. To'rt bit har bir guruhga 16 daraja beradi; uch bit 8 ta. Siz allaqachon qo'pol bo'lgan panjaraning ruxsatini ikki barobar kamaytirasiz va har bir og'irlikdagi yaxlitlash xatoligi taxminan ikki barobar oshadi.
Masalani hal qiladigan arifmetika
Qilishga arziydigan taqqoslash — benchmark emas, arifmetika. Siqishdan omon qoladigan narsa taxminan parametrlar × har bir parametrga to'g'ri keladigan bit — og'irlik faylining axborot ko'taruvchi hajmi. Har bir parametr bo'yicha teng sifatli ikkita faraziy poydevorni oling:
- A poydevori: 3 bitda 400B parametr → taxminan 150 GB saqlangan og'irlik.
- B poydevori: 8 bitda 160B parametr → taxminan 160 GB saqlangan og'irlik.
Xom parametr soni bo'yicha A ikki yarim barobar yutadi — model kartasi boshida turadigan raqam. Saqlangan axborot bo'yicha esa ular teng va B ning bundan tashqari tuzilmaviy ustunligi bor: uning og'irliklari dum xulqi butun qoladigan darajada mayda panjarada turadi, A ning dumi esa asosiy massaga kvantlangan. A ko'proq narsa biladi; B bilgan narsasini o'tkirroq biladi. Uzun generatsiya, aniq formatlash, uslubiy nazorat va uzun kontekstga sodiq rioya uchun B ni oling.
Illyustrativ arifmetika, benchmark emas: u nega "kattaroq poydevor" va "yaxshiroq xizmatga qo'yilgan model" har xil da'volar ekanini ko'rsatadi.
06Nega 27 trillion o'qitish tokeni agressiv kvantlashni battar qiladi
Ikkinchi, kamroq intuitiv natija bevosita shu poydevorga tegishli. Kumar va boshqalarning ICLR 2025 dagi Scaling Laws for Precision maqolasi model qancha ko'p ma'lumotda o'qitilgan bo'lsa, post-treyning kvantlash unga shuncha ko'p zarar yetkazishini aniqlaydi. Past aniqlik modelning samarali parametr sonini kamaytiradi va bu yomonlashuv o'zlashtirilgan oldindan o'qitish ma'lumoti bilan o'sadi — shu darajadaki, agressiv kvantlash niyatingiz bo'lsa, qo'shimcha oldindan o'qitish ma'lumoti sof zararli bo'lishi mumkin, chunki siz panjara o'chirib tashlaydigan nozik tuzilmani yotqizayapsiz.
5T tokenda o'qitilgan modelning og'irlik tuzilmasi qo'pol, ortiqchalikka boy va bo'sh joyi ko'p. 27T tokenda o'qitilgan model — MiMo-V2.5-Pro ning byudjeti — o'sha qo'shimcha ma'lumotni nozikroq farqlarni aniqroq og'irlik qiymatlariga yozishga sarfladi va bu aynan 3-bitli panjara ifodalay olmaydigan narsa.
Keyin 03-bo'limdagi FP8 fakti bor — bu maqoladagi eng toza dalil. MiMo-V2.5-Pro FP8 aralash aniqlikda oldindan o'qitilgan. Uning og'irliklari boshidanoq taxminan sakkiz bitli aniqlikda ishlaydigan optimizator tomonidan shakllantirilgan. Demak, uni 8-bitli og'irliklarda xizmatga qo'yish 16-bitli modelga yuklangan yo'qotishli keyingi o'y emas — bu og'irliklarni ular o'rganilgan sonli rejimga qaytarishga yaqin. Sakkizinchi bitdan pastda yo'qotadigan nozik tuzilma kam. Uch bitgacha tushirilgan o'sha og'irliklar haqida buni aytib bo'lmaydi.
07REAP: nega ekspert kesish yaxlitlashdan boshqa turdagi yo'qotish
Uchta darajadan ikkitasi REAP qo'shimchasini olib yuradi — bu kvantlashdan tubdan farq qiladigan amal. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) — siyrak MoE modellari uchun bir zarbali siqish: u har bir ekspertni routerning darvoza qiymatlari va ekspertning aktivatsiya normasi bo'yicha baholaydi, so'ng eng past ball olganlarini o'chiradi. Cerebras hatto ekspertlarning 50% i kesilganda ham kod generatsiyasi va vosita chaqirishda yo'qotishsizga yaqin natijalarni xabar qiladi.
Biz REAP ni u mavjud bo'lgan sababga ko'ra ishlatamiz: eng katta poydevorlarda ularni xizmatga yaroqli qiladigan narsa aynan shu. Lekin tur farqiga e'tibor bering. Kvantlash har bir og'irlikni bir oz xiralashtiradi; kesish esa ekspertlarni butunlay olib tashlaydi. Agar ish yukingiz kamdan-kam tanlanadigan ekspertda yashagan qobiliyatga ko'p yo'naltirilsa — kichik dasturlash tili, ixtisoslashgan lug'at — u yomonlashmaydi. U yo'q va hech qanday so'rov uni qaytarmaydi. O'rtachalar a'lo bo'lib qoladi; sizning dum holatingiz esa yo'q.
MiMo-V2.5-Pro · W8A16 hech qanday REAP qo'shimchasini olib yurmaydi. Barcha 384 ekspert joyida va router poydevor o'qitilgan to'liq to'plamdan tanlaydi.
| Daraja | Og'irlik biti | Ekspertlar | Nimani almashtirasiz |
|---|---|---|---|
| W8A16 | 8 | Hammasi joyida | Tuzilmaviy hech narsa. Sadoqat darajasi. |
| W4A16-AUTOROUND-REAP | 4 | Kesilgan | Nozik og'irlik tafsiloti plyus kam trafikli ekspertlar, o'sha narx oralig'ida ancha kattaroq poydevor evaziga. |
| 3BIT-REAP | 3 | Kesilgan | Sezilarli og'irlik ruxsati plyus kam trafikli ekspertlar — juda katta poydevorlarni tezlikda ishlatishning narxi. |
O'rtadagi daraja adolatli tinglashga loyiq. AutoRound sodda yaxlitlash emas: Intel ning usuli (arXiv:2309.05516) har bir og'irlik guruhi uchun yaxlitlash qarorlarini va kesish oralig'ini sozlash uchun taxminan 200 qadam davomida ishorali gradient tushishidan foydalanadi va aksariyat sozlamalarda 4 bitda yo'qotishsizga yaqin deb xabar qilinadi hamda sinovdan o'tgan konfiguratsiyalarning ko'pchiligida GPTQ, AWQ, HQQ va OmniQuant dan ustun keladi. W4A16-AUTOROUND modeli — chinakam yaxshi 4-bitli model. U baribir 4-bitli model.
08Kim 8-bitli darajani tanlashi kerak — va kim kerak emas
MiMo-V2.5-Pro · W8A16 butun katalogning eng quyi narxida turadi — million tokenga $0.50 kirish / $2.00 chiqish, ya'ni boshlang'ich daraja 4-bitli modellar bilan bir xil oraliq va biz xizmat qiladigan eng qimmat modelning kirish narxining taxminan chorak qismi. Siz sadoqat uchun ustama to'lamayapsiz; siz o'sha byudjetning boshqa o'qini tanlayapsiz.
Uni tanlang, agar
- Ish — chiqish uzunligi bo'lsa. Uzun shakldagi texnik yozuv, bob uzunligidagi badiiy adabiyot, to'liq hujjatlashtirish o'tishlari — generatsiya qilingan har bir token siqish shovqini to'planadigan joy.
- Ovoz va izchillik muhim bo'lsa. Obraz ishi, brend ohangi, uzun seans bo'ylab ushlab turiladigan uslub. Uslub dumda yashaydi, dum esa qo'pol kvantlash birinchi bo'lib yeydigan narsa.
- Tuzilmali chiqish birinchi urinishdayoq tekshiruvdan o'tishi kerak bo'lsa. Model
json_schemavaresponse_formatni qo'llab-quvvatlaydi; sxemaga sodiqlik — aniqlik xususiyati va oldi olingan har bir qayta urinish pul hamda kechikish tejaydi. - Siz kontekstni to'ldirayotgan bo'lsangiz. 200,000-tokenda ko'rsatmaga rioya 2,000-tokendagidan qiyinroq va u og'irlik aniqligi bilan yomonlashadi — xatoliklar xuddi shunday to'planadigan uzun fikrlash izi ham shunday.
- Ish tabiatan senzurasiz bo'lsa. Xavfsizlik tadqiqoti, red-teaming, filtrsiz badiiy adabiyot, nozik tibbiy yoki huquqiy tahlil — chetlab o'tilgan javob umuman javobsizlikdan yomonroq bo'lgan joylar.
Boshqa narsani tanlang, agar
- Sizga tasvir kerak bo'lsa. Bu model faqat matnli; uning qardoshi MiMo-V2.5 · W8A16 xuddi shu narx va darajada tasvirga qodir.
- Sizga qisqa so'rovlarda eng keng dunyoviy bilim kerak bo'lsa. Bu — ancha kattaroq 3-bitli poydevorning qo'shimcha parametrlari yutadigan va uning kvantlash shikasti deyarli ko'rinmaydigan rejim.
- Ish yukingiz katta hajmli qisqa tasniflash bo'lsa. U yerda kvantlash shikasti deyarli ko'rinmas — eng tezini sotib oling.
09Senzurasiz MiMo API ni chaqirish
Agar kodingiz OpenAI SDK ga qaratilgan bo'lsa, bazaviy URL va model id sini o'zgartirish butun ko'chishning o'zi:
curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer $SHANNON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MiMo-V2.5-Pro-W8A16",
"messages": [
{"role": "user", "content": "Draft the threat model section."}
],
"reasoning_effort": "high",
"max_tokens": 16384,
"stream": true
}'/v1/messages va /v1/responses o'sha id va qobiliyatlarni qabul qiladi. Parametrlar ma'lumotnomasi, vosita chaqirish sxemalari, tuzilmali chiqish misollari va jonli sinov maydoni Shannon AI API hujjatlarida.
| Qobiliyat | MiMo-V2.5-Pro · W8A16 |
|---|---|
| Kontekst oynasi | 262,144 token |
| Har bir so'rovga maksimal chiqish | 16,384 token |
| Striming | Ha — uchala dialektda |
| Vosita chaqirish | Ha |
Fikrlash / reasoning_effort | Ha |
json_schema tuzilmali chiqishi | Ha |
response_format | Ha |
| Tasvir / rasm kirishi | Yo'q — MiMo-V2.5 ni ishlating |
| Rad etish qatlami / chiqish filtri | Yo'q |
| 1M tokenga narx | $0.50 kirish / $2.00 chiqish |
Bu yerdagi har bir tashqi ko'rsatkich bizdan boshqa kimdir tomonidan chop etilgan va matnda manbasi ko'rsatilgan. Kvantlash tiklanish natijalari Llama oilasidagi tadqiqotlardan keladi: ular bu modelning ballarini emas, kelishuvning shaklini ta'riflaydi.
10Ko'p beriladigan savollar
Senzurasiz MiMo API nima?
Bu — Xiaomi ning ochiq og'irlikli Mixture-of-Experts modeli MiMo-V2.5-Pro uchun Shannon AI endpointi, u o'z GPU klasterimizda rad etish qatlamisiz va chiqishga filtr qo'llanmasdan xizmat qiladi. Unga /v1/chat/completions, /v1/messages va /v1/responses orqali, 262,144 tokenli kontekst va har bir so'rovga 16,384 chiqish tokeni bilan yetib boriladi.
W8A16 nimani anglatadi va nega u muhim?
W8A16 og'irliklar har biri 8 bitda saqlanishini, aktivatsiyalar esa 16 bitda hisoblanishini bildiradi. Bu — katalogimizdagi eng yuqori sadoqatli kvantlash darajasi. Chop etilgan tadqiqotlar 8-bitli faqat og'irlikli formatlar asl modelning aniqligini mohiyatan to'liq tiklashini, 4-bit esa xotira evaziga oz miqdorda sadoqatni, 3-bit esa sezilarli miqdorda sadoqatni almashtirishini aniqlaydi.
8-bitdagi kichikroq model 3-bitdagi kattaroq modelni yenga oladimi?
Ko'pincha ha. Siqishdan omon qoladigan narsa taxminan parametr soniga har bir parametrga to'g'ri keladigan bit soni ko'paytmasi va kvantlash xatoligi noyob, dum xulqiga jamlanadi. 8 bitda ushlab turiladigan model o'zining uzun shakldagi izchilligini, aniq formatlashini va dum bilimini saqlaydi; 3 bitgacha ezilgan kattaroq model esa keng benchmark ballarini saqlaydi, lekin o'sha xususiyatlarni yo'qotadi.
MiMo-V2.5-Pro tasvirni yoki rasm kirishini qo'llab-quvvatlaydimi?
Yo'q. Shannon AI dagi MiMo-V2.5-Pro faqat matnli. U vosita chaqirish, reasoning_effort bilan fikrlash, JSON-sxema tuzilmali chiqishi va response_format ni qo'llab-quvvatlaydi. Rasm kirishi kerak bo'lsa, xuddi shu narxda tasvirga qodir bo'lgan qardosh model MiMo-V2.5 W8A16 ni ishlating.
Senzurasiz MiMo API qancha turadi?
Million kirish tokeni uchun $0.50 va million chiqish tokeni uchun $2.00. Bu — Shannon AI katalogidagi eng quyi narx va aynan shu MiMo-V2.5-Pro ni bu gateway da 8-bitli sadoqatni sotib olishning eng arzon yo'liga aylantiradi.
Senzurasiz MiMo API ni sinab ko'ring
Sakkiz bitli sadoqat, 262K kontekst, rad etish qatlami yo'q — katalogning eng quyi narxida.
API hujjatlarini o'qing Barcha modellarni ko'ringShannon AI Mas'uliyatli Foydalanish Siyosati doirasida ishlaydi
Manbalar: MiMo texnik hisoboti, arXiv:2505.07608 · MiMo-V2.5-Pro model kartasi (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bitli inference miqyoslash qonunlari, arXiv:2212.09720 · Scaling Laws for Precision, Kumar va boshqalar, ICLR 2025. Barcha benchmark ko'rsatkichlari mualliflari xabar qilganidek. Shannon AI — Shannon Lab LLC, Nyu-Meksiko, AQSh mahsuloti.