8-bitlik dəqiqliklə senzurasız MiMo API

Kataloqların çoxu sizə parametr sayı satır. Bu, alış-veriş üçün yanlış rəqəmdir, çünki həqiqətən ödəyə biləcəyiniz hər böyük açıq çəkili model haradasa sığsın deyə sıxılıb. Dürüst sual "sıxılmadan əvvəl bu nə qədər böyük idi?" deyil, "onun nə qədəri hələ də buradadır?" sualıdır. Bu məqalə həmin sual haqqındadır — və siyahımızda cavabın demək olar ki, hamısı olduğu model haqqında.

01Senzurasız MiMo API əslində sizə nə verir

Senzurasız MiMo API tək bir model id-dir, MiMo-V2.5-Pro-W8A16, və öz GPU klasterimizdəki eyni çəkilərə müraciət edən üç dialekt vasitəsilə əlçatandır: /v1/chat/completions, /v1/messages və /v1/responses. Hər üçü axın verir, alət çağırışını və düşünməni dəstəkləyir.

Senzurasız sözünün burada dar mənası var: modelin qarşısında imtina qatı yoxdur, çıxışına filtr tətbiq edilmir. Biz nə tuturuq, nə təsnif edirik, nə də yenidən yazırıq. Siz təməlin öz davranışını alırsınız — tədqiqat səviyyəli açıq çəkili model üçün bu o deməkdir ki, o, təhlükəsizlik tədqiqatı, yetkin və ya zorakı bədii ədəbiyyat, tibbi və hüquqi mühakimə, həmçinin hostlanan kommersiya uc nöqtələrinin refleks kimi imtina etdiyi sorğularla işləyir. Bu, qaydaların yoxluğu deyil, Məsuliyyətli İstifadə Siyasətimiz çərçivəsində peşəkar alətdir.

02MiMo nəsli: Xiaomi-nin düşünməyə köklənmiş ilkin öyrətmə mərci

MiMo yeni ad almış Llama törəməsi deyil; o, Xiaomi-nin MiMo komandasından gələn ayrıca nəsildir və modeli qiymətləndirməzdən əvvəl onun təməl ideyası önəmlidir. Nəsil MiMo-7B ilə açılır (30 aprel 2025, MIT lisenziyası); onun texniki hesabatı iddia edir ki, laboratoriyaların çoxu düşünməyə RL ilə sonradan bərkidiləsi öyrətmədən sonrakı problem kimi baxır və bu, tərsinədir. Xiaomi bunun əvəzinə ilkin öyrətməni onun ətrafında yenidən qurdu: 25 trilyon token üzrə üç mərhələli qarışıq; ikinci mərhələ təxminən 70% riyaziyyat və kod, üçüncü mərhələ isə kontekst 8K-dan 32K-ya uzadılarkən sintetik düşünmə izlərini qatır — üstəlik spekulyativ dekodlaşdırma başlığı kimi də işləyən Çoxtokenli Proqnoz məqsədi.

Nəticədə 7B baza modeli özünü xeyli böyük bir şey kimi apardı. MiMo-7B-Base AIME 2024-də 32.9 topladı; Qwen2.5-7B 10.1, Gemma-2-9B 0.0, Llama-3.1-8B isə 0.3 toplamışdı. Öyrətmədən sonrakı mərhələdə 130,000 yoxlanıla bilən riyaziyyat və kod məsələsi üzərində, test çətinliyinə bağlı kod mükafatı ilə RL aparıldı və bu, kod RL-ni qeyri-sabitləşdirən seyrək mükafat tələsindən qaçmağa imkan verdi. Nəticə o1-mini-nin önündə dayandı:

AIME 2025, MiMo texniki hesabatından Xiaomi tərəfindən bildirilən rəqəmlər (arXiv:2505.07608). MiMo-7B-RL həmçinin MATH-500-də 95.8, LiveCodeBench v5-də 57.8 bildirib.

Ailə sürüşmək yerinə genişləndi: MiMo-VL-7B (iyun 2025) eyni onurğa üzərinə Qwen2.5-ViT enkoderi qoydu, dekabr 2025 isə MiMo-Audio-7B ilə birlikdə ilk MoE nümayəndəsini — MiMo-V2-Flash (cəmi 309B / 15B aktiv, 27T token, FP8 qarışıq dəqiqlik) gətirdi. MiMo-V2-Pro mart 2026-da təxminən 1T / 42B aktiv və 1M kontekstlə, OpenRouter-də "Hunter Alpha" adı ilə həftələr keçirdikdən sonra gəldi. MiMo-V2.5 və MiMo-V2.5-Pro birlikdə 22 aprel 2026-da göndərildi, hər ikisi MIT lisenziyası ilə.

03MiMo-V2.5-Pro-nun içi: təməl necə görünür

Xiaomi-nin dərc etdiyi model bələdçisinə görə MiMo-V2.5-Pro seyrək Mixture-of-Experts modelidir: 70 qat boyunca — biri sıx, 69-u MoE — cəmi 1.02 trilyon parametr və token başına 42 milyard aktiv, həmçinin 384 marşrutlanan ekspert, token başına 8-i. Gizli ölçü 6144-dür, MoE aralıq ölçüsü isə dar, 2048.

İki qərar modelin istifadədə necə hiss olunduğunu formalaşdırır. Diqqət yığını hibriddir: 10 tam diqqət qatı və 128 pəncərəli 60 sürüşən pəncərə qatı, üstəgəl öyrənilə bilən diqqət-uducu meyli. Xiaomi bildirir ki, bu, tamamilə qlobal diqqətlə müqayisədə KV-keş saxlamasını 7 misilə yaxın azaldır və uzun kontekst keyfiyyətini saxlayır — nominal olaraq uzun pəncərə ilə doldurmağa gücünüz çatan pəncərə arasındakı fərq budur. Model həmçinin üç Çoxtokenli Proqnoz qatı ilə gəlir və dekoderə spekulyativ başlıq verir.

Öyrətmə doğma 32K ardıcıllıq uzunluğunda 27 trilyon token üzərində FP8 (E4M3) qarışıq dəqiqliklə aparılıb, sonra nəzarətli incə tənzimləmə, geniş miqyaslı agentik RL və çoxmüəllimli siyasətüstü distillə gəlib. Bu FP8 təfərrüatını yadda saxlayın; bu təməli 8 bitdə verməyin ən güclü tək arqumenti odur.

Xiaomi modelin SWE-bench Pro-da 57.2%, alət istifadəsi üzrə τ3-Bench-də 72.9 və Humanity's Last Exam-da 48.0% göstərici topladığını bildirir — bunlar istehsalçının sıxılmamış model üzrə öz rəqəmləridir və elə də təqdim olunur.

Biz təməlin tam 1M pəncərəsini deyil, 262,144 tokenlik pəncərə veririk — yük altında pisləşən başlıq rəqəmi deyil, sürətlə zəmanət verə bildiyimiz kontekst.

04W8A16 dəqiq olaraq nə deməkdir

Bu kataloqdakı hər model marketinq pilləsini deyil, real və ölçülə bilən çevrilməni təsvir edən kvantlama sonluğu daşıyır. Bizimkilər 3BIT-REAP, W4A16-AUTOROUND-REAP və W8A16-dır. MiMo-V2.5-Pro üçüncüsüdür.

İşarələmə iki hissəyə bölünür. W8 çəki dəqiqliyidir: hər parametr 16-bitlik sürüşən nöqtə əvəzinə 8-bitlik tam ədəd kimi saxlanılır, hər kiçik qrupa isə paylaşılan miqyaslama əmsalı düşür ki, qrupun lokal dinamik diapazonu qorunsun. A16 aktivasiya dəqiqliyidir: nəticə çıxarma zamanı qatlar arasında axan dəyərlər 16 bitdə qalır. Çəkilər sıxılır; hesablama isə yox.

Bu ikinci hissə səssiz, amma önəmli iş görür. Aktivasiyaları kvantlamaq çəkilərdən qat-qat çətindir: onlarda kənar kanallar var — böyüklüyü qalan hər şeyi kölgədə qoyan və modelin davranışının qeyri-mütənasib hissəsini daşıyan bir neçə ölçü. Onları aşağı dəqiqliyə sıxsanız, məhz lazım olan siqnalı kəsmiş olarsınız. Yalnız çəkiləri kvantlayan sxemlər aktivasiya yoluna toxunmamaqla bu problemi yan keçir; ciddi kvantlama işlərinin onlara yaxınlaşmasının səbəbi də budur.

Beləliklə praktik sual bir şeyə daralır: bir çəki ən azı neçə bitə dözə bilər?

05W8A16, W4A16 və 3-bit: itki əslində hara gedir

Bu mövzuda ən böyük dərc olunmuş araşdırma Neural Magic və Red Hat-in "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization işidir — Llama-3.1 ailəsində 8B, 70B və 405B üzrə 500,000-dən çox qiymətləndirmə. Onların öz rəqəmləri ilə əsas nəticə:

Format	Nə sıxılır	BF16-ya nisbətdə bildirilən bərpa
W8A8-FP (8-bit)	Çəkilər + aktivasiyalar, sürüşən nöqtə	orta ~99.75% — "faktiki olaraq itkisiz"
W8A8-INT (8-bit)	Çəkilər + aktivasiyalar, tam ədəd	8B/70B-də 99–100%; 405B-də 98.2–99.3%
W4A16-INT (4-bit)	Yalnız çəkilər	98–99.4% (8B); 98.6–99.8% (70B)

Rəqəmlər Llama-3.1 modelləri üzrə Neural Magic / Red Hat tərəfindən bildirilib (arXiv:2411.02355) — bu modelin balı deyil, güzəştin forması.

Dürüst oxunduqda bu, sanki əhəmiyyət verməyə qarşı arqumentdir: 4-bit 98–99% bərpa edir, onda niyə diqqət yetirək? Çünki bunlar akademik çoxvariantlı benchmarklardır və kvantlama zərərini aşkarlamaq üçün mövcud alətlərin ən pisinə yaxındır. Benchmark sualının bir-iki tokenlə çatıla bilən tək düzgün cavabı var, kvantlama xətası isə hər loqit üzərində kiçik, təxminən sıfır ortalı küydür; geniş fərqli qısa sualda həmin küy udulur.

İndi 4,000 tokenlik texniki sənəd yazın, 40,000 tokenlik hekayə boyunca səsi saxlayın və ya ilk cəhddən doğrulanmalı JSON çıxarın. Eyni küy ardıcıl olaraq minlərlə dəfə seçilir və hər seçim növbətinin şərtini qurur. Nasazlıq forması səhv cavab deyil — sürüşmədir: birinci növbədəki təlimatın əlindən getməsi, 3,000-ci token ətrafında öz səsi kimi səslənməyi dayandıran personaj, heç vaxt gəlməyən bağlayıcı mötərizə.

Bitlər əslində hara gedir

Kvantlama xətası modelin qabiliyyətləri arasında bərabər yayılmır; o, quyruqda cəmlənir. Yüksək kütləli davranışlar — qrammatik ingilis dili, Python funksiyasının forması, dünya haqqında ilk min fakt — bir çox çəkidə təkrarən kodlanır və demək olar ki, hər şeyə tab gətirir. Çəki paylanmasının dəqiq tənzimlənmiş, kiçik böyüklüklü künclərində isə nadir şeylər dayanır: az tanınan API-nin dəqiq imzası, konkret müəllifin ahəngi, iki qonşu CVE arasındakı fərq. Kobud tor məhz bu dəyərləri bir-birinin içinə yuvarlaqlaşdırır.

4 bitdən 3 bitə addım bunun vergi olmaqdan çıxıb uçuruma çevrildiyi yerdir. Dettmers və Zettlemoyer-in k-bit nəticə çıxarma miqyas qanunları 4 bitin model yaddaşının hər biti üzrə sıfır-nümunəli dəqiqliyi maksimuma çatdıran nöqtə olduğunu, ondan aşağıda isə pisləşmənin üstünlük təşkil etdiyini tapıb. Dörd bit qrup başına 16 səviyyə verir; üç bit 8. Siz onsuz da kobud olan torun ayırdetməsini yarıya endirirsiniz və çəki başına yuvarlaqlaşdırma xətası təxminən iki qat artır.

Məsələni həll edən hesab

Aparmağa dəyər müqayisə benchmark deyil, hesabdır. Sıxılmadan sağ çıxan təxminən parametrlər × parametr başına bit-dir — çəki faylının məlumat daşıyan həcmi. Parametr başına keyfiyyəti eyni olan iki fərziyyəvi təməl götürək:

• A təməli: 3 bitdə 400B parametr → təxminən 150 GB saxlanmış çəki.
• B təməli: 8 bitdə 160B parametr → təxminən 160 GB saxlanmış çəki.

Xam parametr sayına görə A ikiyə yarıma bir hesabı ilə qalib gəlir — model bələdçisinin başlıqda verdiyi rəqəm budur. Saxlanmış məlumata görə isə onlar bərabərdir və üstəlik B-nin struktur üstünlüyü var: onun çəkiləri quyruq davranışını toxunulmaz saxlayacaq qədər incə torda oturur, A-nın quyruğu isə əsas kütləyə doğru kvantlanıb. A daha çox şey bilir; B bildiyini daha aydın bilir. Uzun yaratma, dəqiq formatlaşdırma, üslub nəzarəti və uzun konteksti sədaqətlə izləmə üçün B-ni seçin.

İzahedici hesab, benchmark deyil: "daha böyük təməl" ilə "daha yaxşı verilən model" ifadələrinin niyə fərqli iddialar olduğunu göstərir.

0627 trilyon öyrətmə tokeni aqressiv kvantlamanı niyə pisləşdirir

İkinci, daha az intuitiv nəticə birbaşa bu təmələ aiddir. Kumar və həmmüəlliflərinin ICLR 2025 məqaləsi Scaling Laws for Precision tapır ki, model nə qədər çox veri üzərində öyrədilibsə, öyrətmədən sonrakı kvantlama ona bir o qədər çox zərər verir. Aşağı dəqiqlik modelin effektiv parametr sayını azaldır və bu pisləşmə mənimsənilmiş ilkin öyrətmə verisi ilə birlikdə artır — o dərəcədə ki, aqressiv kvantlama niyyətindəsinizsə, əlavə ilkin öyrətmə verisi xalis zərərli ola bilər, çünki siz torun siləcəyi incə strukturu döşəyirsiniz.

5T token üzərində öyrədilmiş modelin çəki strukturu kobud, təkrarlı və ehtiyatı boldur. 27T token üzərində öyrədilmiş model — MiMo-V2.5-Pro-nun büdcəsi — həmin əlavə verini daha incə fərqləri daha dəqiq çəki dəyərlərinə yazmağa sərf edib; 3-bitlik torun təmsil edə bilmədiyi məhz budur.

Bir də 03-cü bölmədəki FP8 faktı var — bu məqalədəki ən təmiz arqument. MiMo-V2.5-Pro FP8 qarışıq dəqiqliklə ilkin öyrədilib. Onun çəkiləri ilk andan təxminən səkkiz bitlik dəqiqliklə işləyən optimallaşdırıcı tərəfindən formalaşdırılıb. Deməli, onu 8-bitlik çəkilərlə vermək 16-bitlik modelə sonradan tətbiq edilən itkili düşüncə deyil — bu, çəkiləri öyrənildikləri ədədi rejimə qaytarmağa yaxındır. Səkkizinci bitdən aşağıda itiriləsi çox az incə struktur var. Eyni şeyi üç bitə sıxılmış həmin çəkilər haqqında demək olmaz.

07REAP: ekspert budaması niyə yuvarlaqlaşdırmadan fərqli itki növüdür

Üç pillədən ikisi REAP sonluğu daşıyır — kvantlamadan kateqoriya olaraq fərqli əməliyyat. REAP (Marşrutlayıcı Çəkili Ekspert Aktivasiya Budaması, Cerebras Research, arXiv:2510.13999, ICLR 2026) seyrək MoE modelləri üçün birdəfəlik sıxılmadır: hər eksperti marşrutlayıcının qapı dəyərləri və ekspertin aktivasiya norması üzrə qiymətləndirir, sonra ən aşağı bal toplayanları silir. Cerebras bildirir ki, ekspertlərin 50%-i budandıqda belə kod yaratma və alət çağırışında nəticələr itkisizə yaxındır.

Biz REAP-i mövcud olma səbəbinə görə işlədirik: ən böyük təməllərdə onları verilə bilən edən məhz odur. Amma növ fərqini qeyd edin. Kvantlama hər çəkini bir az bulandırır; budama ekspertləri tamamilə çıxarır. İş yükünüz nadir seçilən ekspertdə yaşayan bir qabiliyyətə — az yayılmış proqramlaşdırma dilinə, ixtisaslaşmış lüğətə — çox marşrutlanırsa, o qabiliyyət zəifləmir. O, yoxdur və heç bir prompt onu geri qaytarmır. Ortalamalar əla qalır; sizin quyruq halınız isə qalmaya bilər.

MiMo-V2.5-Pro · W8A16 heç bir REAP sonluğu daşımır. 384 ekspertin hamısı yerindədir və marşrutlayıcı təməlin öyrədildiyi tam dəstdən seçir.

Pillə	Çəki bitləri	Ekspertlər	Nədən güzəştə gedirsiniz
W8A16	8	Hamısı yerində	Struktur baxımından heç nədən. Dəqiqlik pilləsi.
W4A16-AUTOROUND-REAP	4	Budanıb	İncə çəki təfərrüatı və az yüklü ekspertlər — əvəzində eyni qiymət zolağında xeyli böyük təməl.
3BIT-REAP	3	Budanıb	Xeyli çəki ayırdetməsi və az yüklü ekspertlər — ən böyük təməlləri sürətlə işlətməyin qiyməti.

Orta pillə ədalətli dinlənilməyə layiqdir. AutoRound sadəlövh yuvarlaqlaşdırma deyil: Intel-in metodu (arXiv:2309.05516) təxminən 200 addım ərzində işarəli qradiyent enişindən istifadə edərək hər çəki qrupu üçün yuvarlaqlaşdırma qərarlarını və kəsmə diapazonunu tənzimləyir; əksər şəraitdə 4 bitdə itkisizə yaxın olduğu, sınanan konfiqurasiyaların çoxunda GPTQ, AWQ, HQQ və OmniQuant-ı üstələdiyi bildirilir. W4A16-AUTOROUND modeli həqiqətən yaxşı 4-bitlik modeldir. Amma o, yenə də 4-bitlik modeldir.

088-bitlik pilləni kim seçməli — və kim seçməməli

MiMo-V2.5-Pro · W8A16 bütün kataloqun döşəmə qiymətindədir — milyon token üçün $0.50 giriş / $2.00 çıxış, giriş pilləsindəki 4-bitlik modellərlə eyni zolaq və verdiyimiz ən bahalı modelin giriş qiymətinin təxminən dörddə biri. Siz dəqiqliyə görə premium ödəmirsiniz; eyni büdcənin başqa oxunu seçirsiniz.

Bunu seçin, əgər

• İş çıxışın uzunluğudursa. Uzun formatlı texniki yazı, fəsil həcmində bədii mətn, tam sənədləşdirmə keçidləri — yaradılan hər token sıxılma küyünün toplandığı bir tokendir.
• Səs və ardıcıllıq önəmlidirsə. Personaj işi, brend tonu, uzun sessiya boyunca saxlanan registr. Üslub quyruqda yaşayır, kobud kvantlamanın ilk yediyi də quyruqdur.
• Strukturlaşdırılmış çıxış ilk cəhddən doğrulanmalıdırsa. Model json_schema və response_format dəstəkləyir; sxemə riayət dəqiqlik xüsusiyyətidir və qarşısı alınan hər təkrar cəhd pul və gecikmə qənaətidir.
• Konteksti doldurursunuzsa. 200,000-ci tokendə təlimata riayət 2,000-ci tokendəkindən çətindir və çəki dəqiqliyi ilə birlikdə pisləşir — xətaların eyni cür toplandığı uzun düşünmə izi kimi.
• İş öz təbiətinə görə senzurasızdırsa. Təhlükəsizlik tədqiqatı, qırmızı komanda işi, filtrsiz bədii ədəbiyyat, həssas tibbi və ya hüquqi təhlil — ehtiyatlı cavabın heç cavabdan pis olduğu yerlər.

Başqasını seçin, əgər

• Sizə görmə lazımdırsa. Bu model yalnız mətnlə işləyir; onun qardaşı MiMo-V2.5 · W8A16 eyni qiymətdə və eyni pillədə görmə qabiliyyətlidir.
• Qısa sorğularda ən geniş dünya bilikləri lazımdırsa. Bu, xeyli böyük 3-bitlik təməlin əlavə parametrlərinin qazandığı və kvantlama zərərinin demək olar ki, görünmədiyi rejimdir.
• İş yükünüz yüksək həcmli qısa təsnifatdırsa. Orada kvantlama zərəri az qala görünməzdir — ən sürətli olanı alın.

09Senzurasız MiMo API-ni çağırmaq

Kodunuz OpenAI SDK-nı hədəfləyirsə, baza URL-i və model id-sini dəyişmək bütün köçürmə deməkdir:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages və /v1/responses eyni id və qabiliyyətləri qəbul edir. Parametr arayışı, alət çağırışı sxemləri, strukturlaşdırılmış çıxış nümunələri və canlı sınaq meydançası Shannon AI API sənədlərindədir.

Qabiliyyət	MiMo-V2.5-Pro · W8A16
Kontekst pəncərəsi	262,144 token
Sorğu başına maks. çıxış	16,384 token
Axın	Bəli — hər üç dialektdə
Alət çağırışı	Bəli
Düşünmə / reasoning_effort	Bəli
json_schema strukturlaşdırılmış çıxış	Bəli
response_format	Bəli
Görmə / şəkil girişi	Yox — MiMo-V2.5 işlədin
İmtina qatı / çıxış filtri	Yoxdur
1M token üçün qiymət	$0.50 giriş / $2.00 çıxış

10Tez-tez verilən suallar

---

Mənbələr: MiMo texniki hesabatı, arXiv:2505.07608 · MiMo-V2.5-Pro model bələdçisi (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bit nəticə çıxarma miqyas qanunları, arXiv:2212.09720 · Scaling Laws for Precision, Kumar və b., ICLR 2025. Bütün benchmark rəqəmləri müəllifləri tərəfindən bildirildiyi kimidir. Shannon AI, Shannon Lab LLC (Nyu-Meksiko, ABŞ) məhsuludur.