API MiMo Tanpa Sensor di Kesetiaan 8-Bit

Kebanyakan katalog menjual jumlah parameter kepada Anda. Itu angka yang salah untuk dijadikan patokan belanja, karena setiap model berbobot terbuka besar yang benar-benar terjangkau sudah dikompresi supaya muat di suatu tempat. Pertanyaan jujurnya bukan "seberapa besar ini sebelum diperas?" melainkan "berapa banyak yang masih tersisa?" Artikel ini tentang pertanyaan itu, dan tentang model di jajaran kami yang jawabannya adalah hampir semuanya.

01Apa yang sebenarnya Anda dapat dari API MiMo tanpa sensor

API MiMo tanpa sensor adalah satu id model, MiMo-V2.5-Pro-W8A16, yang bisa dijangkau lewat tiga dialek yang menuju bobot yang sama di klaster GPU kami sendiri: /v1/chat/completions, /v1/messages dan /v1/responses. Ketiganya bisa streaming serta mendukung tool calling dan penalaran.

Tanpa sensor punya arti yang sempit di sini: tidak ada lapisan penolakan di depan model, tidak ada filter pada keluarannya. Kami tidak mencegat, mengklasifikasikan, atau menulis ulang. Anda mendapatkan perilaku asli fondasinya — yang untuk model berbobot terbuka kelas riset berarti ia mau menangani riset keamanan, fiksi dewasa atau penuh kekerasan, penalaran medis dan hukum, serta permintaan yang ditolak endpoint komersial secara refleks. Ini alat profesional di bawah Kebijakan Penggunaan Bertanggung Jawab kami, bukan ketiadaan aturan.

02Silsilah MiMo: taruhan Xiaomi pada pralatihan yang mengutamakan penalaran

MiMo bukan turunan Llama yang diberi nama baru; ia silsilah tersendiri dari tim MiMo di Xiaomi, dan gagasan pendirinya penting dipahami sebelum Anda menilai modelnya. Ia dibuka dengan MiMo-7B (30 April 2025, berlisensi MIT), yang laporan teknisnya berargumen bahwa kebanyakan lab memperlakukan penalaran sebagai masalah pasca-pelatihan yang ditempelkan lewat RL, dan bahwa itu terbalik. Xiaomi justru menata ulang pralatihan di sekitarnya: campuran tiga tahap sepanjang 25 triliun token, tahap dua menjalankan kira-kira 70% matematika dan kode, tahap tiga memasukkan jejak penalaran sintetis sambil memperpanjang konteks dari 8K ke 32K — ditambah tujuan Multi-Token Prediction yang sekaligus berfungsi sebagai kepala dekode spekulatif.

Hasilnya adalah model dasar 7B yang berperilaku seperti sesuatu yang jauh lebih besar. MiMo-7B-Base mencetak 32,9 pada AIME 2024 di saat Qwen2.5-7B mencetak 10,1, Gemma-2-9B 0,0 dan Llama-3.1-8B 0,3. Pasca-pelatihan lalu menjalankan RL atas 130.000 soal matematika dan kode yang bisa diverifikasi dengan imbalan kode yang digerakkan tingkat kesulitan tes, lolos dari jebakan imbalan jarang yang menggoyahkan RL untuk kode. Hasilnya mendarat di depan o1-mini:

AIME 2025, angka yang dilaporkan Xiaomi dari laporan teknis MiMo (arXiv:2505.07608). MiMo-7B-RL juga dilaporkan mencetak 95,8 pada MATH-500 dan 57,8 pada LiveCodeBench v5.

Keluarganya melebar alih-alih melenceng: MiMo-VL-7B (Juni 2025) memasang encoder Qwen2.5-ViT di tulang punggung yang sama, dan Desember 2025 membawa MiMo-Audio-7B ditambah entri MoE pertama, MiMo-V2-Flash (309B total / 15B aktif, 27T token, presisi campuran FP8). MiMo-V2-Pro menyusul pada Maret 2026 dengan kira-kira 1T / 42B aktif dan konteks 1J, setelah berminggu-minggu di OpenRouter dengan nama "Hunter Alpha". MiMo-V2.5 dan MiMo-V2.5-Pro dikirim bersama pada 22 April 2026, keduanya berlisensi MIT.

03Di dalam MiMo-V2.5-Pro: seperti apa fondasinya

Menurut kartu model yang dipublikasikan Xiaomi, MiMo-V2.5-Pro adalah model Mixture-of-Experts jarang dengan 1,02 triliun parameter total dan 42 miliar aktif per token di sepanjang 70 lapisan — satu padat, 69 MoE — dan 384 expert terutekan, 8 per token. Ukuran tersembunyinya 6144, dengan ukuran antara MoE yang sempit yaitu 2048.

Dua pilihan membentuk bagaimana ia terasa saat dipakai. Tumpukan attention-nya hibrida: 10 lapisan attention penuh dan 60 lapisan sliding-window dengan jendela 128, ditambah bias attention-sink yang bisa dipelajari. Xiaomi melaporkan ini memangkas penyimpanan KV-cache mendekati 7x dibanding attention global sepenuhnya sambil menjaga kualitas konteks panjang — itulah beda antara jendela yang panjang secara nominal dan jendela yang sanggup Anda isi. Ia juga mengirim tiga lapisan Multi-Token Prediction, memberi dekoder sebuah kepala spekulatif.

Pelatihannya 27 triliun token pada panjang urutan native 32K dengan presisi campuran FP8 (E4M3), lalu penyetelan halus terawasi, RL agentik berskala besar dan distilasi on-policy multi-guru. Ingat baik-baik detail FP8 itu; itu argumen tunggal terkuat untuk melayani fondasi ini pada 8 bit.

Xiaomi melaporkan model ini pada 57,2% di SWE-bench Pro, 72,9 di τ3-Bench untuk penggunaan alat dan 48,0% di Humanity's Last Exam — angka vendor sendiri untuk model yang belum dikompresi, dikutip sebagaimana adanya.

Kami melayani jendela 262.144 token, bukan 1J penuh milik fondasinya — konteks yang bisa kami jamin pada kecepatan penuh, alih-alih angka utama yang merosot saat beban tinggi.

04Apa arti W8A16, persisnya

Setiap model di katalog ini membawa akhiran kuantisasi yang menggambarkan transformasi yang nyata dan terukur, bukan tingkatan pemasaran. Milik kami adalah 3BIT-REAP, W4A16-AUTOROUND-REAP dan W8A16. MiMo-V2.5-Pro adalah yang ketiga.

Notasinya terbelah dua. W8 adalah presisi bobot: setiap parameter disimpan sebagai integer 8-bit alih-alih float 16-bit, dengan faktor skala bersama per kelompok kecil sehingga rentang dinamis lokal tiap kelompok tetap bertahan. A16 adalah presisi aktivasi: nilai yang mengalir antar lapisan saat inferensi tetap pada 16 bit. Bobot dikompresi; aritmetikanya tidak.

Paruh kedua itu mengerjakan hal penting secara diam-diam. Aktivasi jauh lebih sulit dikuantisasi daripada bobot: ia berisi kanal pencilan ekstrem — beberapa dimensi yang magnitudonya mengerdilkan segalanya dan yang membawa porsi perilaku model secara tidak proporsional. Dorong itu ke presisi rendah dan Anda memotong persis sinyal yang Anda butuhkan. Skema khusus-bobot mengelak dari masalah itu dengan membiarkan jalur aktivasi apa adanya, dan itulah sebabnya kerja kuantisasi yang serius bertemu di sana.

Jadi pertanyaan praktisnya mengerucut jadi satu hal: seberapa sedikit bit yang bisa ditoleransi sebuah bobot?

05W8A16 vs W4A16 vs 3-bit: ke mana kerugiannya sebenarnya pergi

Studi terpublikasi terbesar soal ini adalah karya Neural Magic dan Red Hat, "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — lebih dari 500.000 evaluasi di seluruh keluarga Llama-3.1 pada 8B, 70B dan 405B. Hasil utamanya, dalam angka mereka:

Format	Apa yang dikompresi	Pemulihan yang dilaporkan vs BF16
W8A8-FP (8-bit)	Bobot + aktivasi, float	rata-rata ~99,75% — "praktis tanpa kehilangan"
W8A8-INT (8-bit)	Bobot + aktivasi, integer	99–100% pada 8B/70B; 98,2–99,3% pada 405B
W4A16-INT (4-bit)	Hanya bobot	98–99,4% (8B); 98,6–99,8% (70B)

Angka yang dilaporkan Neural Magic / Red Hat (arXiv:2411.02355) pada model Llama-3.1 — bentuk pertukarannya, bukan skor model ini.

Dibaca dengan jujur, itu tampak seperti argumen menentang kepedulian: 4-bit memulihkan 98–99%, jadi buat apa peduli? Karena itu benchmark pilihan ganda akademis, nyaris instrumen terburuk yang tersedia untuk mendeteksi kerusakan kuantisasi. Satu soal benchmark punya satu jawaban benar yang bisa dicapai dalam satu atau dua token, dan galat kuantisasi itu kecil, kira-kira derau bermean nol pada tiap logit; pada soal pendek dengan selisih lebar, derau itu terserap.

Sekarang tulis 4.000 token sebuah dokumen teknis, jaga suara sepanjang cerita 40.000 token, atau pancarkan JSON yang harus lolos validasi di percobaan pertama. Derau yang sama disampel ribuan kali secara berurutan, tiap sampel mengondisikan sampel berikutnya. Mode kegagalannya bukan jawaban yang salah — melainkan penyimpangan: cengkeraman pada instruksi dari giliran pertama yang mengendur, karakter yang berhenti terdengar seperti dirinya sekitar token ke-3.000, kurung tutup yang tak pernah datang.

Ke mana bit-bitnya sebenarnya pergi

Galat kuantisasi tidak tersebar merata di seluruh kemampuan model; ia terkonsentrasi di ekor. Perilaku bermassa tinggi — tata bahasa Inggris, bentuk sebuah fungsi Python, seribu fakta teratas tentang dunia — dikodekan secara berlebih di banyak bobot dan bertahan dari hampir apa pun. Sudut-sudut distribusi bobot yang disetel presisi dan bermagnitudo kecil menyimpan hal-hal langka: tanda tangan persis sebuah API yang jarang dipakai, irama seorang penulis tertentu, beda antara dua CVE yang bersebelahan. Nilai-nilai itulah yang dibulatkan menjadi satu oleh kisi yang kasar.

Langkah dari 4 bit ke 3 adalah tempat ini berhenti jadi pajak dan berubah jadi jurang. Hukum skala inferensi k-bit dari Dettmers dan Zettlemoyer menemukan 4-bit sebagai titik yang memaksimalkan akurasi zero-shot per bit memori model, dengan degradasi mendominasi di bawahnya. Empat bit memberi 16 level per kelompok; tiga memberi 8. Anda memotong separuh resolusi kisi yang sudah kasar, dan galat pembulatan per bobot kira-kira menjadi dua kali lipat.

Aritmetika yang menentukannya

Perbandingan yang layak dibuat adalah aritmetika, bukan benchmark. Yang bertahan dari kompresi kira-kira adalah parameter × bit per parameter — volume pembawa informasi dari berkas bobotnya. Ambil dua fondasi hipotetis dengan kualitas per parameter yang setara:

• Fondasi A: 400B parameter pada 3 bit → kira-kira 150 GB bobot yang tersisa.
• Fondasi B: 160B parameter pada 8 bit → kira-kira 160 GB bobot yang tersisa.

Berdasarkan jumlah parameter mentah, A menang dua setengah banding satu — angka yang dipajang di depan kartu modelnya. Berdasarkan informasi yang tersisa keduanya setara, dan B punya keunggulan struktural tambahan: bobotnya duduk di kisi yang cukup halus sehingga perilaku ekornya utuh, sedangkan ekor A sudah dikuantisasi masuk ke badannya. A tahu lebih banyak hal; B tahu apa yang ia tahu dengan lebih tajam. Untuk generasi panjang, format yang persis, kendali gaya, dan kepatuhan konteks panjang yang setia, ambil B.

Aritmetika ilustratif, bukan benchmark: ia menunjukkan kenapa "fondasi lebih besar" dan "model yang dilayani lebih baik" adalah dua klaim yang berbeda.

06Kenapa 27 triliun token pelatihan membuat kuantisasi agresif makin buruk

Hasil kedua yang kurang intuitif berkaitan langsung dengan fondasi ini. Makalah ICLR 2025 dari Kumar dkk., Scaling Laws for Precision, menemukan bahwa makin banyak data yang dipakai melatih sebuah model, makin besar kerusakan yang ditimbulkan kuantisasi pasca-pelatihan padanya. Presisi rendah menurunkan jumlah parameter efektif sebuah model, dan degradasi itu tumbuh seiring data pralatihan yang diserap — cukup jauh sampai tambahan data pralatihan bisa merugikan secara neto kalau Anda berniat mengkuantisasi secara agresif, karena Anda menorehkan struktur halus yang akan dihapus oleh kisinya.

Model yang dilatih pada 5T token punya struktur bobot yang kasar dan berlebih serta kelonggaran yang berlimpah. Model yang dilatih pada 27T token — anggaran MiMo-V2.5-Pro — memakai data ekstra itu untuk menuliskan pembedaan yang lebih halus ke nilai-nilai bobot yang lebih presisi, dan itu persis yang tidak bisa direpresentasikan kisi 3-bit.

Lalu ada fakta FP8 dari bagian 03, argumen paling bersih di artikel ini. MiMo-V2.5-Pro dipralatih dalam presisi campuran FP8. Bobotnya dibentuk sejak awal oleh optimizer yang bekerja pada presisi kira-kira delapan bit. Melayaninya pada bobot 8-bit karena itu bukan renungan belakangan yang penuh kehilangan yang dipaksakan pada model 16-bit — melainkan nyaris mengembalikan bobotnya ke rezim numerik tempat ia dipelajari. Tidak banyak struktur halus di bawah bit kedelapan yang bisa hilang. Hal yang sama tidak bisa dikatakan tentang bobot yang sama kalau ditekan sampai tiga.

07REAP: kenapa pemangkasan expert adalah jenis kerugian yang berbeda dari pembulatan

Dua dari tiga tier membawa akhiran REAP — operasi yang secara kategoris berbeda dari kuantisasi. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) adalah kompresi sekali jalan untuk model MoE jarang: ia menilai tiap expert berdasarkan nilai gerbang router dan norma aktivasi expert, lalu menghapus yang skornya paling rendah. Cerebras melaporkan hasil yang nyaris tanpa kehilangan pada generasi kode dan tool calling bahkan pada 50% expert dipangkas.

Kami memakai REAP untuk alasan keberadaannya: pada fondasi terbesar, itulah yang membuat mereka bisa dilayani. Tapi perhatikan perbedaan jenisnya. Kuantisasi mengaburkan tiap bobot sedikit; pemangkasan menghapus expert sepenuhnya. Kalau beban kerja Anda banyak dirutekan ke kemampuan yang tinggal di expert yang jarang dipilih — bahasa pemrograman minor, kosakata terspesialisasi — kemampuan itu bukan merosot. Ia hilang, dan tidak ada prompt yang bisa mengembalikannya. Rata-ratanya tetap sangat bagus; kasus ekor Anda mungkin tidak.

MiMo-V2.5-Pro · W8A16 tidak membawa akhiran REAP. Seluruh 384 expert hadir, dan router memilih dari himpunan penuh yang dipakai saat fondasi itu dilatih.

Tier	Bit bobot	Expert	Apa yang Anda tukar
W8A16	8	Hadir semua	Tidak ada yang struktural. Tier kesetiaan.
W4A16-AUTOROUND-REAP	4	Dipangkas	Detail bobot yang halus ditambah expert bertrafik rendah, ditukar dengan fondasi yang jauh lebih besar di pita harga yang sama.
3BIT-REAP	3	Dipangkas	Resolusi bobot yang cukup banyak ditambah expert bertrafik rendah — harga untuk menjalankan fondasi paling besar pada kecepatan penuh.

Tier tengah layak didengar secara adil. AutoRound bukan pembulatan naif: metode Intel (arXiv:2309.05516) memakai signed gradient descent selama kira-kira 200 langkah untuk menyetel keputusan pembulatan dan rentang pemotongan per kelompok bobot, dan dilaporkan nyaris tanpa kehilangan pada 4 bit di sebagian besar setelan, mengalahkan GPTQ, AWQ, HQQ dan OmniQuant di sebagian besar konfigurasi yang diuji. Model W4A16-AUTOROUND adalah model 4-bit yang sungguh bagus. Ia tetap model 4-bit.

08Siapa yang sebaiknya memilih tier 8-bit — dan siapa yang tidak

MiMo-V2.5-Pro · W8A16 duduk di harga lantai seluruh katalog — $0.50 masuk / $2.00 keluar per satu juta token, pita yang sama dengan model 4-bit tier awal dan kira-kira seperempat harga masukan dari model termahal yang kami layani. Anda tidak membayar premi untuk kesetiaan; Anda memilih sumbu yang berbeda dari anggaran yang sama.

Pilih ia ketika

• Panjang keluaran adalah pekerjaannya. Penulisan teknis bentuk panjang, fiksi sepanjang bab, penyusunan dokumentasi penuh — tiap token yang dihasilkan adalah tempat derau kompresi berlipat.
• Suara dan konsistensi penting. Kerja karakter, nada merek, register yang dijaga sepanjang sesi panjang. Gaya tinggal di ekor, dan ekor itulah yang pertama dimakan kuantisasi kasar.
• Output terstruktur harus lolos validasi di percobaan pertama. Model ini mendukung json_schema dan response_format; kepatuhan schema adalah sifat presisi, dan tiap pengulangan yang dihindari adalah uang dan latensi yang dihemat.
• Anda mengisi konteksnya. Kepatuhan instruksi di token ke-200.000 lebih sulit daripada di token ke-2.000, dan ia merosot seiring presisi bobot — begitu pula jejak penalaran panjang, di mana galat berlipat dengan cara yang sama.
• Pekerjaannya memang tanpa sensor secara alamiah. Riset keamanan, red-teaming, fiksi tanpa filter, analisis medis atau hukum yang sensitif — di mana jawaban yang mengambang lebih buruk daripada tidak ada jawaban.

Pilih yang lain ketika

• Anda butuh visi. Model ini khusus teks; saudaranya MiMo-V2.5 · W8A16 berkemampuan visi di harga dan tier yang sama.
• Anda butuh pengetahuan dunia terluas untuk kueri pendek. Itulah rezim di mana parameter ekstra fondasi 3-bit yang jauh lebih besar menang dan kerusakan kuantisasinya nyaris tak terlihat.
• Beban kerja Anda adalah klasifikasi pendek bervolume tinggi. Kerusakan kuantisasi nyaris tak kasat mata di sana — beli saja yang paling cepat.

09Memanggil API MiMo tanpa sensor

Kalau kode Anda menargetkan SDK OpenAI, mengubah base URL dan id model sudah seluruh migrasinya:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages dan /v1/responses menerima id dan kapabilitas yang sama. Referensi parameter, schema tool calling, contoh output terstruktur dan playground langsung ada di dokumentasi API Shannon AI.

Kapabilitas	MiMo-V2.5-Pro · W8A16
Jendela konteks	262.144 token
Keluaran maks per permintaan	16.384 token
Streaming	Ya — ketiga dialek
Tool calling	Ya
Penalaran / reasoning_effort	Ya
Output terstruktur json_schema	Ya
response_format	Ya
Visi / masukan gambar	Tidak — pakai MiMo-V2.5
Lapisan penolakan / filter keluaran	Tidak ada
Harga per 1J token	$0.50 masuk / $2.00 keluar

10Pertanyaan yang sering diajukan

---

Sumber: Laporan teknis MiMo, arXiv:2505.07608 · Kartu model MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Hukum skala inferensi k-bit, arXiv:2212.09720 · Scaling Laws for Precision, Kumar dkk., ICLR 2025. Semua angka benchmark adalah sebagaimana dilaporkan penulisnya. Shannon AI adalah produk dari Shannon Lab LLC, New Mexico, USA.