8 Bit Sadakatte Sansürsüz MiMo API'si

Çoğu katalog size parametre sayısı satar. Alışverişi bu sayı üzerinden yapmak yanlıştır, çünkü gerçekten karşılayabileceğiniz her büyük açık ağırlıklı model bir yere sığmak için sıkıştırılmıştır. Dürüst soru "sıkılmadan önce ne kadar büyüktü?" değil, "bunun ne kadarı hâlâ burada?" sorusudur. Bu yazı o soruyla ve dizilimimizde yanıtın neredeyse tamamı olduğu modelle ilgili.

01Sansürsüz MiMo API'si size tam olarak ne veriyor

Sansürsüz MiMo API'si tek bir model kimliğidir, MiMo-V2.5-Pro-W8A16; kendi GPU kümemizdeki aynı ağırlıklara seslenen üç lehçe üzerinden erişilir: /v1/chat/completions, /v1/messages ve /v1/responses. Üçü de akıtır, araç çağırmayı ve akıl yürütmeyi destekler.

Sansürsüz burada dar bir anlam taşır: modelin önünde reddetme katmanı yok, çıktısında filtre yok. Araya girmiyor, sınıflandırmıyor, yeniden yazmıyoruz. Temelin kendi davranışını alırsınız — araştırma sınıfı açık ağırlıklı bir model için bu, güvenlik araştırmasıyla, yetişkin ya da şiddet içeren kurguyla, tıbbi ve hukuki akıl yürütmeyle ve barındırılan ticari uç noktaların refleksle geri çevirdiği isteklerle ilgilenmesi demektir. Bu, kuralların yokluğu değil, Sorumlu Kullanım Politikamız altındaki profesyonel bir araçtır.

02MiMo soyu: Xiaomi'nin akıl yürütme öncelikli ön eğitim bahsi

MiMo, adı değiştirilmiş bir Llama türevi değil; Xiaomi'nin MiMo ekibinden gelen ayrı bir soydur ve kurucu fikri, modeli değerlendirmeden önce önem taşır. Soy, MiMo-7B ile açılır (30 Nisan 2025, MIT lisanslı); teknik raporu, çoğu laboratuvarın akıl yürütmeyi RL ile sonradan takılacak bir eğitim sonrası problemi gibi ele aldığını ve bunun tersten bir yaklaşım olduğunu savunur. Xiaomi bunun yerine ön eğitimi akıl yürütme etrafında yeniden kurdu: 25 trilyon token boyunca üç aşamalı bir karışım; ikinci aşama kabaca %70 matematik ve kod, üçüncü aşama bağlamı 8K'dan 32K'ya çıkarırken sentetik akıl yürütme izlerini katıyor — artı, spekülatif kod çözme başlığı olarak da iş gören bir Çok Tokenlı Öngörü hedefi.

Sonuç, çok daha büyük bir şey gibi davranan 7B'lik bir temel modeldi. MiMo-7B-Base, AIME 2024'te 32,9 aldı; Qwen2.5-7B 10,1, Gemma-2-9B 0,0 ve Llama-3.1-8B 0,3 alırken. Eğitim sonrasında ise 130.000 doğrulanabilir matematik ve kod problemi üzerinde, test zorluğuyla sürülen bir kod ödülüyle RL koşuldu; böylece kod RL'ini dengesizleştiren seyrek ödül tuzağından kaçıldı. Sonuç o1-mini'nin önüne yerleşti:

AIME 2025, MiMo teknik raporundan (arXiv:2505.07608) Xiaomi'nin bildirdiği rakamlar. MiMo-7B-RL ayrıca MATH-500'de 95,8 ve LiveCodeBench v5'te 57,8 bildirdi.

Aile savrulmak yerine genişledi: MiMo-VL-7B (Haziran 2025) aynı omurgaya bir Qwen2.5-ViT kodlayıcısı ekledi; Aralık 2025 ise MiMo-Audio-7B'yi ve ilk MoE üyesi MiMo-V2-Flash'ı getirdi (309B toplam / 15B etkin, 27T token, FP8 karışık hassasiyet). MiMo-V2-Pro, OpenRouter'da haftalarca "Hunter Alpha" olarak dolaştıktan sonra Mart 2026'da kabaca 1T / 42B etkin ve 1M bağlamla geldi. MiMo-V2.5 ile MiMo-V2.5-Pro 22 Nisan 2026'da birlikte, ikisi de MIT lisansıyla yayımlandı.

03MiMo-V2.5-Pro'nun içi: temel neye benziyor

Xiaomi'nin yayımladığı model kartına göre MiMo-V2.5-Pro, 70 katman boyunca — biri yoğun, 69'u MoE — 1,02 trilyon toplam parametre ve token başına 42 milyar etkin parametre taşıyan seyrek bir Uzmanlar Karışımı modelidir; 384 yönlendirilen uzman, token başına 8 tanesi etkin. Gizli boyut 6144, MoE ara boyutu ise dar bir 2048.

Kullanımdaki hissini iki tercih biçimlendiriyor. Dikkat yığını melez: 10 tam dikkat katmanı ve 128'lik pencereyle 60 kayan pencere katmanı, artı öğrenilebilir bir dikkat-kuyusu yanlılığı. Xiaomi, bunun uzun bağlam kalitesini korurken KV önbellek depolamasını tamamı global dikkate kıyasla 7 kata yakın kestiğini bildiriyor — nominal olarak uzun bir pencereyle doldurmayı göze alabileceğiniz bir pencere arasındaki fark. Ayrıca üç Çok Tokenlı Öngörü katmanı geliyor ve kod çözücüye spekülatif bir başlık kazandırıyor.

Eğitim, doğal 32K dizi uzunluğunda 27 trilyon token üzerinde FP8 (E4M3) karışık hassasiyetle yapıldı; ardından gözetimli ince ayar, büyük ölçekli ajansal RL ve çok öğretmenli politika içi damıtma geldi. Şu FP8 ayrıntısını aklınızda tutun; bu temeli 8 bitte sunmak için en güçlü tek argüman odur.

Xiaomi modeli SWE-bench Pro'da %57,2, araç kullanımı için τ3-Bench'te 72,9 ve Humanity's Last Exam'de %48,0 olarak bildiriyor — sıkıştırılmamış model üzerinde satıcının kendi rakamları, öyle olduğu belirtilerek aktarılıyor.

Biz temelin tam 1M'i yerine 262.144 tokenlık bir pencere sunuyoruz — yük altında bozulan bir manşet sayısı değil, hızda garanti edebildiğimiz bir bağlam.

04W8A16 tam olarak ne demek

Bu katalogdaki her model, bir pazarlama katmanını değil gerçek ve ölçülebilir bir dönüşümü betimleyen bir niceleme son eki taşır. Bizimkiler 3BIT-REAP, W4A16-AUTOROUND-REAP ve W8A16. MiMo-V2.5-Pro üçüncüsüdür.

Gösterim ikiye ayrılır. W8 ağırlık hassasiyetidir: her parametre 16 bitlik bir kayan sayı yerine 8 bitlik bir tam sayı olarak saklanır; her küçük grup için paylaşılan bir ölçekleme çarpanıyla, böylece grubun yerel dinamik aralığı korunur. A16 aktivasyon hassasiyetidir: çıkarım sırasında katmanlar arasında akan değerler 16 bitte kalır. Ağırlıklar sıkıştırılır; aritmetik sıkıştırılmaz.

O ikinci yarı sessiz ama önemli bir iş görür. Aktivasyonları nicelemek ağırlıkları nicelemekten çok daha zordur: içlerinde uç aykırı kanallar vardır — büyüklükleri diğer her şeyi cüce bırakan ve modelin davranışının orantısız bir payını taşıyan birkaç boyut. Onları düşük hassasiyete itersiniz ve tam da ihtiyaç duyduğunuz sinyali kırpmış olursunuz. Yalnızca ağırlığı niceleyen şemalar aktivasyon yolunu rahat bırakarak sorunu atlar; ciddi niceleme çalışmalarının bunlarda birleşmesinin nedeni de budur.

Böylece pratik soru tek bir şeye daralır: bir ağırlık en az kaç bite dayanabilir?

05W8A16'ya karşı W4A16 ve 3 bit: kayıp aslında nereye gidiyor

Bu konudaki en büyük yayımlanmış çalışma Neural Magic ve Red Hat'in "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization makalesidir — Llama-3.1 ailesinde 8B, 70B ve 405B üzerinde 500.000'den fazla değerlendirme. Kendi rakamlarıyla manşet sonuçları:

Biçim	Ne sıkıştırılıyor	BF16'ya kıyasla bildirilen geri kazanım
W8A8-FP (8 bit)	Ağırlıklar + aktivasyonlar, kayan nokta	~%99,75 ort. — "esasen kayıpsız"
W8A8-INT (8 bit)	Ağırlıklar + aktivasyonlar, tam sayı	8B/70B'de %99–100; 405B'de %98,2–99,3
W4A16-INT (4 bit)	Yalnızca ağırlıklar	%98–99,4 (8B); %98,6–99,8 (70B)

Rakamlar Neural Magic / Red Hat tarafından (arXiv:2411.02355) Llama-3.1 modellerinde bildirilmiştir — takasın biçimini gösterir, bu modelin puanını değil.

Dürüstçe okunduğunda bu, umursamamak lehine bir argüman gibi görünüyor: 4 bit %98–99 geri kazanıyorsa neden dikkat edelim? Çünkü bunlar akademik çoktan seçmeli kıyaslamalar ve niceleme hasarını saptamak için elimizdeki en kötü araca yakınlar. Bir kıyaslama sorusunun bir ya da iki tokenda ulaşılabilen tek bir doğru yanıtı vardır; niceleme hatası ise her logit üzerinde küçük, kabaca sıfır ortalamalı bir gürültüdür — geniş bir marjı olan kısa bir soruda o gürültü soğurulur.

Şimdi teknik bir belgenin 4.000 tokenını yazın, 40.000 tokenlık bir hikâyede tek bir ses tutun ya da ilk denemede doğrulanması gereken JSON üretin. Aynı gürültü art arda binlerce kez örneklenir ve her örnek bir sonrakini koşullar. Başarısızlık kipi yanlış bir yanıt değildir — savrulmadır: birinci turdaki yönergeye tutunmanın gevşemesi, 3.000. token civarında kendisi gibi konuşmayı bırakan bir karakter, hiç gelmeyen bir kapanış süslü parantezi.

Bitler aslında nereye gidiyor

Niceleme hatası bir modelin yetenekleri arasında eşit dağılmaz; kuyrukta yoğunlaşır. Yüksek kütleli davranışlar — dilbilgisel İngilizce, bir Python fonksiyonunun biçimi, dünya hakkındaki ilk bin olgu — pek çok ağırlığa artıklı olarak kodlanmıştır ve hemen her şeyden sağ çıkar. Ağırlık dağılımının ince ayarlı, küçük büyüklüklü köşeleri ise nadir olanı barındırır: kuytu bir API'nin tam imzası, belirli bir yazarın ritmi, birbirine komşu iki CVE arasındaki fark. Kaba bir ızgaranın birbirine yuvarladığı değerler bunlardır.

4 bitten 3 bite geçiş, bunun bir vergi olmaktan çıkıp uçuruma dönüştüğü yerdir. Dettmers ve Zettlemoyer'in k bitlik çıkarım ölçekleme yasaları, 4 biti model belleğinin biti başına sıfır atış doğruluğunu en üst düzeye çıkaran nokta olarak buldu; altında bozulma baskın hâle geliyor. Dört bit grup başına 16 düzey verir; üç bit 8. Zaten kaba olan bir ızgaranın çözünürlüğünü yarıya indiriyorsunuz ve ağırlık başına yuvarlama hatası kabaca ikiye katlanıyor.

Kararı veren aritmetik

Yapmaya değer karşılaştırma bir kıyaslama değil, aritmetiktir. Sıkıştırmadan sağ çıkan şey yaklaşık olarak parametre × parametre başına bit'tir — ağırlık dosyasının bilgi taşıyan hacmi. Parametre başına eşit kalitede iki varsayımsal temel alalım:

• Temel A: 3 bitte 400B parametre → kabaca 150 GB korunmuş ağırlık.
• Temel B: 8 bitte 160B parametre → kabaca 160 GB korunmuş ağırlık.

Ham parametre sayısıyla A iki buçuğa bir kazanır — model kartının manşete taşıdığı sayı budur. Korunan bilgi bakımından ise denktirler ve B'nin üstelik yapısal bir avantajı vardır: ağırlıkları, kuyruk davranışı bozulmayacak kadar ince bir ızgarada oturur; A'nın kuyruğu ise gövdenin içine nicelenmiştir. A daha çok şey bilir; B bildiğini daha keskin bilir. Uzun üretim, tam biçimlendirme, biçemsel denetim ve uzun bağlama sadık bağlılık için B'yi alın.

Açıklayıcı bir aritmetik, kıyaslama değil: "daha büyük temel" ile "daha iyi sunulan model"in neden farklı iddialar olduğunu gösteriyor.

0627 trilyon eğitim tokeni agresif nicelemeyi neden kötüleştiriyor

Daha az sezgisel ikinci bir sonuç bu temeli doğrudan ilgilendiriyor. Kumar ve arkadaşlarının ICLR 2025 makalesi Scaling Laws for Precision, bir model ne kadar çok veri üzerinde eğitildiyse eğitim sonrası nicelemenin ona o kadar çok zarar verdiğini buluyor. Düşük hassasiyet modelin etkin parametre sayısını azaltır ve bu bozulma, soğurulan ön eğitim verisiyle birlikte büyür — agresif nicelemeye niyetliyseniz fazladan ön eğitim verisinin net olarak zararlı olabileceği kadar ileri gider, çünkü ızgaranın sileceği ince yapıyı döşemiş olursunuz.

5T token üzerinde eğitilmiş bir modelin ağırlık yapısı kaba ve artıklıdır, bolca payı vardır. 27T token üzerinde eğitilmiş bir model — MiMo-V2.5-Pro'nun bütçesi — o fazladan veriyi daha ince ayrımları daha hassas ağırlık değerlerine yazmak için harcamıştır; ki bu tam olarak 3 bitlik bir ızgaranın temsil edemeyeceği şeydir.

Bir de 03. bölümdeki FP8 olgusu var; bu yazının en temiz argümanı. MiMo-V2.5-Pro, FP8 karışık hassasiyette ön eğitilmiştir. Ağırlıkları en baştan kabaca sekiz bitlik hassasiyette çalışan bir optimize ediciyle biçimlendi. Dolayısıyla onu 8 bit ağırlıklarla sunmak, 16 bitlik bir modele dayatılan kayıplı bir sonradan akıl değildir — ağırlıkları öğrenildikleri sayısal rejime geri döndürmeye yakındır. Sekizinci bitin altında yitirilecek pek ince yapı yoktur. Aynı şey üç bite indirilmiş o ağırlıklar için söylenemez.

07REAP: uzman budaması neden yuvarlamadan farklı türde bir kayıp

Üç katmandan ikisi bir REAP son eki taşır — nicelemeden kategorik olarak farklı bir işlem. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026), seyrek MoE modelleri için tek atışlık sıkıştırmadır: her uzmanı yönlendiricinin geçit değerleri ve uzmanın aktivasyon normu üzerinden puanlar, sonra en düşük puanlıları siler. Cerebras, uzmanların %50'si budandığında bile kod üretimi ve araç çağırmada kayıpsıza yakın sonuçlar bildiriyor.

REAP'i var oluş nedeni için kullanıyoruz: en büyük temellerde onları sunulabilir kılan şey odur. Ama türdeki farka dikkat edin. Niceleme her ağırlığı biraz bulanıklaştırır; budama uzmanları tümüyle çıkarır. İş yükünüz, nadiren seçilen bir uzmanda yaşayan bir yeteneğe yoğun biçimde yönleniyorsa — küçük bir programlama dili, uzmanlaşmış bir sözdağarı — o yetenek bozulmuş olmaz. Yok olmuştur ve hiçbir istem onu geri getirmez. Ortalamalar mükemmel kalır; sizin kuyruk durumunuz kalmayabilir.

MiMo-V2.5-Pro · W8A16 hiçbir REAP son eki taşımaz. 384 uzmanın tamamı yerindedir ve yönlendirici, temelin eğitildiği kümenin tümünden seçer.

Katman	Ağırlık biti	Uzmanlar	Neyi takas ediyorsunuz
W8A16	8	Tamamı yerinde	Yapısal hiçbir şey. Sadakat katmanı.
W4A16-AUTOROUND-REAP	4	Budanmış	Aynı fiyat bandında çok daha büyük bir temel karşılığında ince ağırlık ayrıntısı ve düşük trafikli uzmanlar.
3BIT-REAP	3	Budanmış	Hatırı sayılır ağırlık çözünürlüğü ve düşük trafikli uzmanlar — en büyük temelleri hızda koşturmanın bedeli.

Ortadaki katman adil bir duruşmayı hak ediyor. AutoRound naif yuvarlama değildir: Intel'in yöntemi (arXiv:2309.05516) yuvarlama kararlarını ve ağırlık grubu başına kırpma aralığını ayarlamak için kabaca 200 adım boyunca işaretli gradyan inişi kullanır ve çoğu ayarda 4 bitte kayıpsıza yakın olduğu, test edilen konfigürasyonların çoğunda GPTQ, AWQ, HQQ ve OmniQuant'ı geçtiği bildirilir. W4A16-AUTOROUND modeli gerçekten iyi bir 4 bit modelidir. Yine de bir 4 bit modelidir.

088 bit katmanını kim seçmeli — kim seçmemeli

MiMo-V2.5-Pro · W8A16, tüm kataloğun taban fiyatında duruyor — milyon token başına 0,50 $ giriş / 2,00 $ çıkış; giriş katmanındaki 4 bit modellerle aynı bantta ve sunduğumuz en pahalı modelin giriş fiyatının kabaca dörtte biri. Sadakat için prim ödemiyorsunuz; aynı bütçenin farklı bir eksenini seçiyorsunuz.

Şu durumlarda seçin

• İşin kendisi çıktı uzunluğuysa. Uzun teknik yazım, bölüm uzunluğunda kurgu, baştan sona belgelendirme geçişleri — üretilen her token, sıkıştırma gürültüsünün biriktiği bir yerdir.
• Ses ve tutarlılık önemliyse. Karakter çalışması, marka tonu, uzun bir oturum boyunca korunan bir üslup. Biçem kuyrukta yaşar ve kaba nicelemenin önce yediği şey kuyruktur.
• Yapılandırılmış çıktı ilk denemede doğrulanmak zorundaysa. Model json_schema ve response_format destekler; şemaya bağlılık bir hassasiyet özelliğidir ve önlenen her yeniden deneme para ve gecikme tasarrufudur.
• Bağlamı dolduruyorsanız. 200.000. tokenda yönergeye bağlılık 2.000. tokendakinden zordur ve ağırlık hassasiyetiyle birlikte bozulur — uzun bir akıl yürütme izi de aynı şekilde, hataların aynı biçimde biriktiği yerde.
• İş doğası gereği sansürsüzse. Güvenlik araştırması, kırmızı takım çalışması, filtresiz kurgu, hassas tıbbi ya da hukuki çözümleme — çekingen bir yanıtın hiç yanıttan kötü olduğu yerler.

Şu durumlarda başka bir şey seçin

• Görüye ihtiyacınız varsa. Bu model yalnızca metindir; kardeşi MiMo-V2.5 · W8A16 aynı fiyat ve katmanda görü yeteneklidir.
• Kısa sorgularda en geniş dünya bilgisi gerekiyorsa. Çok daha büyük 3 bitlik bir temelin fazladan parametrelerinin kazandığı ve niceleme hasarının pek belli olmadığı rejim budur.
• İş yükünüz yüksek hacimli kısa sınıflandırmaysa. Orada niceleme hasarı neredeyse görünmezdir — en hızlısı hangisiyse onu alın.

09Sansürsüz MiMo API'sini çağırmak

Kodunuz OpenAI SDK'sını hedefliyorsa, taban URL'yi ve model kimliğini değiştirmek göçün tamamıdır:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages ve /v1/responses aynı kimliği ve yetenekleri kabul eder. Parametre başvurusu, araç çağırma şemaları, yapılandırılmış çıktı örnekleri ve canlı bir oyun alanı Shannon AI API belgelerinde.

Yetenek	MiMo-V2.5-Pro · W8A16
Bağlam penceresi	262.144 token
İstek başına en fazla çıkış	16.384 token
Akıtma	Evet — üç lehçenin hepsinde
Araç çağırma	Evet
Akıl yürütme / reasoning_effort	Evet
json_schema yapılandırılmış çıktı	Evet
response_format	Evet
Görü / görsel girdi	Hayır — MiMo-V2.5 kullanın
Reddetme katmanı / çıktı filtresi	Yok
1M token başına fiyat	0,50 $ giriş / 2,00 $ çıkış

10Sıkça sorulan sorular

---

Kaynaklar: MiMo teknik raporu, arXiv:2505.07608 · MiMo-V2.5-Pro model kartı (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k bitlik çıkarım ölçekleme yasaları, arXiv:2212.09720 · Scaling Laws for Precision, Kumar ve ark., ICLR 2025. Tüm kıyaslama rakamları yazarlarının bildirdiği gibidir. Shannon AI, Shannon Lab LLC'nin (New Mexico, ABD) bir ürünüdür.