API MiMo Tanpa Tapisan pada Kesetiaan 8-Bit

Kebanyakan katalog menjual anda kiraan parameter. Itu angka yang salah untuk membeli-belah, kerana setiap model pemberat terbuka besar yang anda benar-benar mampu telah dimampatkan supaya muat di suatu tempat. Soalan yang jujur bukan "berapa besar ini sebelum ia diramas?" tetapi "berapa banyak daripadanya yang masih ada di sini?" Artikel ini tentang soalan itu, dan tentang model dalam barisan kami yang jawapannya ialah hampir kesemuanya.

01Apa sebenarnya yang API MiMo tanpa tapisan beri anda

API MiMo tanpa tapisan ialah satu id model, MiMo-V2.5-Pro-W8A16, boleh dicapai melalui tiga dialek yang menuju pemberat yang sama pada kluster GPU kami sendiri: /v1/chat/completions, /v1/messages dan /v1/responses. Ketiga-tiganya menstrim dan menyokong panggilan alat serta penaakulan.

Tanpa tapisan mempunyai makna yang sempit di sini: tiada lapisan penolakan di hadapan model, tiada penapis pada outputnya. Kami tidak memintas, mengelas atau menulis semula. Anda mendapat kelakuan asas itu sendiri — dan bagi model pemberat terbuka bergred penyelidikan itu bermakna ia melibatkan diri dengan penyelidikan keselamatan, fiksyen dewasa atau ganas, penaakulan perubatan dan undang-undang, serta permintaan yang titik akhir komersial berhos tolak secara refleks. Ia alat profesional di bawah Dasar Penggunaan Bertanggungjawab kami, bukan ketiadaan peraturan.

02Keturunan MiMo: pertaruhan Xiaomi pada pralatihan yang mengutamakan penaakulan

MiMo bukan terbitan Llama dengan nama baharu; ia keturunan tersendiri daripada pasukan MiMo Xiaomi, dan idea asasnya penting sebelum anda menilai modelnya. Ia bermula dengan MiMo-7B (30 April 2025, berlesen MIT), yang laporan teknikalnya menghujahkan bahawa kebanyakan makmal melayan penaakulan sebagai masalah pasca latihan yang perlu dicantum dengan RL, dan bahawa itu terbalik. Xiaomi sebaliknya menyusun semula pralatihan di sekelilingnya: campuran tiga peringkat merentasi 25 trilion token, peringkat dua menjalankan lebih kurang 70% matematik dan kod, peringkat tiga melipat masuk jejak penaakulan sintetik sambil melanjutkan konteks daripada 8K kepada 32K — berserta objektif Ramalan Berbilang Token yang turut berperanan sebagai kepala penyahkodan spekulatif.

Hasilnya ialah model asas 7B yang berkelakuan seperti sesuatu yang jauh lebih besar. MiMo-7B-Base menskor 32.9 pada AIME 2024 di mana Qwen2.5-7B menskor 10.1, Gemma-2-9B 0.0 dan Llama-3.1-8B 0.3. Pasca latihan kemudian menjalankan RL ke atas 130,000 masalah matematik dan kod yang boleh disahkan dengan ganjaran kod dipacu kesukaran ujian, melepaskan diri daripada perangkap ganjaran jarang yang menggoyahkan RL kod. Hasilnya mendarat di hadapan o1-mini:

AIME 2025, angka yang dilaporkan Xiaomi daripada laporan teknikal MiMo (arXiv:2505.07608). MiMo-7B-RL juga melaporkan 95.8 pada MATH-500 dan 57.8 pada LiveCodeBench v5.

Keluarga itu meluas dan bukan hanyut: MiMo-VL-7B (Jun 2025) meletakkan pengekod Qwen2.5-ViT pada tulang belakang yang sama, dan Disember 2025 membawa MiMo-Audio-7B berserta kemasukan MoE pertama, MiMo-V2-Flash (309B jumlah / 15B aktif, 27T token, ketepatan campuran FP8). MiMo-V2-Pro menyusul pada Mac 2026 pada lebih kurang 1T / 42B aktif dengan konteks 1J, selepas berminggu-minggu di OpenRouter sebagai "Hunter Alpha". MiMo-V2.5 dan MiMo-V2.5-Pro dihantar bersama pada 22 April 2026, kedua-duanya MIT.

03Dalam MiMo-V2.5-Pro: rupa asasnya

Menurut kad model yang diterbitkan Xiaomi, MiMo-V2.5-Pro ialah model Campuran Pakar jarang dengan 1.02 trilion jumlah parameter dan 42 bilion aktif setiap token merentasi 70 lapisan — satu padat, 69 MoE — dan 384 pakar dihalakan, 8 setiap token. Saiz tersembunyi ialah 6144, dengan saiz perantaraan MoE yang sempit iaitu 2048.

Dua pilihan membentuk rasanya semasa digunakan. Tindanan perhatiannya bersifat hibrid: 10 lapisan perhatian penuh dan 60 lapisan tetingkap gelongsor dengan tetingkap 128, berserta bias sinki perhatian yang boleh dipelajari. Xiaomi melaporkan ini memotong storan cache KV hampir 7x berbanding perhatian global sepenuhnya sambil mengekalkan kualiti konteks panjang — beza antara tetingkap yang panjang secara nominal dan yang anda mampu isi. Ia juga menghantar tiga lapisan Ramalan Berbilang Token, memberi penyahkod itu kepala spekulatif.

Latihan ialah 27 trilion token pada panjang jujukan asli 32K dalam ketepatan campuran FP8 (E4M3), kemudian penalaan halus terselia, RL agentik berskala besar dan penyulingan atas-dasar berbilang guru. Pegang perincian FP8 itu; ia hujah tunggal paling kuat untuk menyajikan asas ini pada 8 bit.

Xiaomi melaporkan model itu pada 57.2% pada SWE-bench Pro, 72.9 pada τ3-Bench untuk penggunaan alat dan 48.0% pada Humanity's Last Exam — angka pembekal itu sendiri pada model tanpa mampatan, dipetik sebagai begitu.

Kami menyajikan tetingkap 262,144 token, bukan 1J penuh asas itu — konteks yang boleh kami jamin pada kelajuan, dan bukan angka utama yang merosot di bawah beban.

04Apa maksud W8A16, dengan tepat

Setiap model dalam katalog ini membawa akhiran kuantuman yang menerangkan penjelmaan yang sebenar dan boleh diukur dan bukan tingkat pemasaran. Milik kami ialah 3BIT-REAP, W4A16-AUTOROUND-REAP dan W8A16. MiMo-V2.5-Pro ialah yang ketiga.

Tatatandanya terbelah dua. W8 ialah ketepatan pemberat: setiap parameter disimpan sebagai integer 8-bit dan bukan apungan 16-bit, dengan faktor penskalaan dikongsi bagi setiap kumpulan kecil supaya julat dinamik setempat setiap kumpulan terselamat. A16 ialah ketepatan pengaktifan: nilai yang mengalir antara lapisan pada masa inferens kekal pada 16 bit. Pemberat dimampatkan; aritmetiknya tidak.

Separuh kedua itu melakukan kerja yang senyap dan penting. Pengaktifan jauh lebih sukar dikuantum berbanding pemberat: ia mengandungi saluran terpencil yang melampau — beberapa dimensi yang magnitudnya mengecilkan segala yang lain dan yang membawa bahagian tidak seimbang daripada kelakuan model. Tolak yang itu kepada ketepatan rendah dan anda mengapit tepat isyarat yang anda perlukan. Skema pemberat-sahaja mengelak masalah itu dengan membiarkan laluan pengaktifan, dan itulah sebab kerja kuantuman yang serius bertumpu padanya.

Jadi soalan praktikalnya menyempit kepada satu perkara: berapa sedikit bit yang boleh ditanggung sesuatu pemberat?

05W8A16 lawan W4A16 lawan 3-bit: ke mana kerugian itu sebenarnya pergi

Kajian terbesar yang diterbitkan tentang ini ialah "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization daripada Neural Magic dan Red Hat — lebih 500,000 penilaian merentasi keluarga Llama-3.1 pada 8B, 70B dan 405B. Hasil utama mereka, dalam angka mereka:

Format	Apa yang dimampatkan	Pemulihan dilaporkan lawan BF16
W8A8-FP (8-bit)	Pemberat + pengaktifan, apungan	~99.75% purata — "pada dasarnya tanpa kerugian"
W8A8-INT (8-bit)	Pemberat + pengaktifan, integer	99–100% pada 8B/70B; 98.2–99.3% pada 405B
W4A16-INT (4-bit)	Pemberat sahaja	98–99.4% (8B); 98.6–99.8% (70B)

Angka yang dilaporkan Neural Magic / Red Hat (arXiv:2411.02355) pada model Llama-3.1 — bentuk pertukarannya, bukan skor model ini.

Dibaca dengan jujur, itu kelihatan seperti hujah menentang mengambil berat: 4-bit memulihkan 98–99%, jadi mengapa perlu diendahkan? Kerana itu penanda aras aneka pilihan akademik, hampir kepada instrumen paling teruk yang ada untuk mengesan kerosakan kuantuman. Soalan penanda aras ada satu jawapan betul yang boleh dicapai dalam satu atau dua token, dan ralat kuantuman itu kecil, lebih kurang hingar bermin sifar pada setiap logit; pada soalan pendek dengan margin lebar, hingar itu diserap.

Sekarang tulis 4,000 token dokumen teknikal, kekalkan satu suara merentasi cerita 40,000 token, atau keluarkan JSON yang mesti sah pada percubaan pertama. Hingar yang sama disampel beribu kali berturut-turut, setiap sampel mensyaratkan yang seterusnya. Mod kegagalannya bukan jawapan yang salah — ia hanyutan: cengkaman yang mengendur pada arahan dari giliran pertama, watak yang berhenti berbunyi seperti dirinya sekitar token 3,000, kurungan penutup yang tidak pernah tiba.

Ke mana bit itu sebenarnya pergi

Ralat kuantuman tidak tersebar sekata merentasi keupayaan model; ia tertumpu pada ekor. Kelakuan berjisim tinggi — bahasa Inggeris yang bertatabahasa, bentuk fungsi Python, seribu fakta teratas tentang dunia — dikodkan secara berlebihan merentasi banyak pemberat dan terselamat daripada hampir apa sahaja. Sudut yang ditala tepat dan bermagnitud kecil dalam taburan pemberat menyimpan benda yang jarang: tandatangan tepat sesuatu API yang kabur, irama seseorang penulis tertentu, beza antara dua CVE yang bersebelahan. Itulah nilai yang grid kasar bundarkan menjadi satu sama lain.

Langkah daripada 4 bit ke 3 ialah tempat ini berhenti menjadi cukai dan menjadi tebing. Hukum penskalaan inferens k-bit oleh Dettmers dan Zettlemoyer mendapati 4-bit ialah titik yang memaksimumkan ketepatan sifar-tembakan setiap bit memori model, dengan kemerosotan menguasai di bawahnya. Empat bit memberi 16 aras setiap kumpulan; tiga memberi 8. Anda memotong separuh resolusi grid yang sudah pun kasar, dan ralat pembundaran setiap pemberat lebih kurang berganda.

Aritmetik yang memutuskannya

Perbandingan yang berbaloi dibuat ialah aritmetik, bukan penanda aras. Apa yang terselamat daripada pemampatan lebih kurang ialah parameter × bit setiap parameter — isi padu pembawa maklumat dalam fail pemberat. Ambil dua asas hipotetikal yang sama kualitinya setiap parameter:

• Asas A: 400B parameter pada 3 bit → lebih kurang 150 GB pemberat yang dikekalkan.
• Asas B: 160B parameter pada 8 bit → lebih kurang 160 GB pemberat yang dikekalkan.

Mengikut kiraan parameter mentah, A menang dua setengah berbanding satu — angka yang kad model utamakan. Mengikut maklumat yang dikekalkan, kedua-duanya setara, dan B ada kelebihan struktur lagi: pemberatnya duduk pada grid yang cukup halus sehingga kelakuan ekornya utuh, sedangkan ekor A telah dikuantum masuk ke dalam pukalnya. A tahu lebih banyak perkara; B tahu apa yang diketahuinya dengan lebih tajam. Untuk penjanaan panjang, pemformatan tepat, kawalan gaya dan kepatuhan konteks panjang yang setia, ambil B.

Aritmetik ilustratif, bukan penanda aras: ia menunjukkan mengapa "asas yang lebih besar" dan "model tersaji yang lebih baik" ialah dakwaan yang berbeza.

06Mengapa 27 trilion token latihan menjadikan kuantuman agresif lebih teruk

Hasil kedua yang kurang intuitif berkait terus dengan asas ini. Kertas ICLR 2025 oleh Kumar et al., Scaling Laws for Precision, mendapati bahawa lebih banyak data yang model dilatih padanya, lebih besar kerosakan yang kuantuman pasca latihan lakukan padanya. Ketepatan rendah mengurangkan kiraan parameter berkesan sesuatu model, dan kemerosotan itu bertambah dengan data pralatihan yang diserap — cukup jauh sehingga data pralatihan tambahan boleh memudaratkan secara bersih jika anda berniat mengkuantum secara agresif, kerana anda sedang membaringkan struktur halus yang grid itu akan padamkan.

Model yang dilatih pada 5T token ada struktur pemberat yang kasar dan berlebihan serta kelonggaran yang berbaki. Model yang dilatih pada 27T token — belanjawan MiMo-V2.5-Pro — membelanjakan data tambahan itu untuk menulis perbezaan yang lebih halus ke dalam nilai pemberat yang lebih tepat, dan itulah tepatnya yang grid 3-bit tidak boleh wakili.

Kemudian ada fakta FP8 daripada seksyen 03, hujah paling bersih dalam artikel ini. MiMo-V2.5-Pro dipralatih dalam ketepatan campuran FP8. Pemberatnya dibentuk dari awal oleh pengoptimum yang bekerja pada lebih kurang lapan bit ketepatan. Menyajikannya pada pemberat 8-bit oleh itu bukan renungan lompong yang dikenakan pada model 16-bit — ia hampir kepada memulangkan pemberat itu ke rejim berangka tempat ia dipelajari. Sedikit sahaja struktur halus wujud di bawah bit kelapan untuk hilang. Perkara sama tidak boleh dikatakan tentang pemberat yang dipaksa turun kepada tiga.

07REAP: mengapa pemangkasan pakar ialah kerugian jenis lain berbanding pembundaran

Dua daripada tiga tingkat membawa akhiran REAP — operasi yang berbeza secara kategori daripada kuantuman. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) ialah pemampatan satu tembakan untuk model MoE jarang: ia menskorkan setiap pakar mengikut nilai get penghala dan norma pengaktifan pakar itu, kemudian memadamkan yang paling rendah skornya. Cerebras melaporkan hasil hampir tanpa kerugian pada penjanaan kod dan panggilan alat walaupun pada 50% pakar dipangkas.

Kami menggunakan REAP atas sebab ia wujud: pada asas yang paling besar, itulah yang menjadikannya boleh disajikan. Tetapi perhatikan beza jenisnya. Kuantuman mengaburkan setiap pemberat sedikit; pemangkasan membuang pakar sepenuhnya. Jika beban kerja anda banyak dihalakan kepada keupayaan yang tinggal dalam pakar yang jarang dipilih — bahasa pengaturcaraan kecil, perbendaharaan kata khusus — ia bukan merosot. Ia hilang, dan tiada gesaan boleh memulihkannya. Puratanya kekal cemerlang; kes ekor anda mungkin tidak.

MiMo-V2.5-Pro · W8A16 tidak membawa akhiran REAP. Kesemua 384 pakar hadir, dan penghala memilih daripada set penuh yang asas itu dilatih dengannya.

Tingkat	Bit pemberat	Pakar	Apa yang anda tukar
W8A16	8	Semua hadir	Tiada apa yang berstruktur. Tingkat kesetiaan.
W4A16-AUTOROUND-REAP	4	Dipangkas	Perincian pemberat yang halus berserta pakar bertrafik rendah, sebagai tukaran untuk asas yang jauh lebih besar dalam jalur harga yang sama.
3BIT-REAP	3	Dipangkas	Resolusi pemberat yang banyak berserta pakar bertrafik rendah — harga untuk menjalankan asas yang paling besar sekali pada kelajuan.

Tingkat tengah itu berhak didengar dengan adil. AutoRound bukan pembundaran naif: kaedah Intel (arXiv:2309.05516) menggunakan turunan kecerunan bertanda sepanjang lebih kurang 200 langkah untuk menala keputusan pembundaran dan julat pengapitan bagi setiap kumpulan pemberat, dan dilaporkan hampir tanpa kerugian pada 4 bit dalam kebanyakan tetapan, mengalahkan GPTQ, AWQ, HQQ dan OmniQuant merentasi kebanyakan konfigurasi yang diuji. Model W4A16-AUTOROUND ialah model 4-bit yang benar-benar bagus. Ia masih model 4-bit.

08Siapa patut memilih tingkat 8-bit — dan siapa yang tidak

MiMo-V2.5-Pro · W8A16 duduk pada harga lantai keseluruhan katalog — $0.50 masuk / $2.00 keluar setiap juta token, jalur yang sama dengan model 4-bit tingkat kemasukan dan lebih kurang satu perempat harga input model termahal yang kami sajikan. Anda bukan membayar premium untuk kesetiaan; anda memilih paksi yang berbeza bagi belanjawan yang sama.

Pilihnya apabila

• Panjang output ialah kerjanya. Penulisan teknikal bentuk panjang, fiksyen sepanjang bab, laluan dokumentasi penuh — setiap token yang dijana ialah tempat hingar pemampatan bertokok.
• Suara dan ketekalan penting. Kerja watak, nada jenama, daftar yang dikekalkan merentasi sesi yang panjang. Gaya hidup dalam ekor, dan ekor itulah yang kuantuman kasar makan dahulu.
• Output berstruktur mesti sah pada percubaan pertama. Model ini menyokong json_schema dan response_format; kepatuhan skema ialah sifat ketepatan, dan setiap cubaan semula yang dielak ialah wang dan latensi yang dijimatkan.
• Anda sedang mengisi konteks. Kepatuhan arahan pada token 200,000 lebih sukar daripada pada token 2,000, dan ia merosot dengan ketepatan pemberat — begitu juga jejak penaakulan yang panjang, yang ralatnya bertokok dengan cara sama.
• Kerjanya tanpa tapisan secara semula jadi. Penyelidikan keselamatan, pasukan merah, fiksyen tanpa tapis, analisis perubatan atau undang-undang yang sensitif — di mana jawapan yang berselindung lebih buruk daripada tiada jawapan.

Pilih yang lain apabila

• Anda perlukan visi. Model ini teks sahaja; adik-beradiknya MiMo-V2.5 · W8A16 berkemampuan visi pada harga dan tingkat yang sama.
• Anda perlukan pengetahuan dunia terluas pada pertanyaan pendek. Itulah rejim di mana parameter tambahan asas 3-bit yang jauh lebih besar itu menang dan kerosakan kuantumannya hampir tidak kelihatan.
• Beban kerja anda ialah pengelasan pendek bervolum tinggi. Kerosakan kuantuman hampir tidak kelihatan di situ — belilah apa jua yang paling pantas.

09Memanggil API MiMo tanpa tapisan

Jika kod anda menyasarkan SDK OpenAI, menukar URL asas dan id model ialah keseluruhan migrasinya:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages dan /v1/responses menerima id dan keupayaan yang sama. Rujukan parameter, skema panggilan alat, contoh output berstruktur dan taman permainan langsung ada dalam dokumentasi API Shannon AI.

Keupayaan	MiMo-V2.5-Pro · W8A16
Tetingkap konteks	262,144 token
Output maks setiap permintaan	16,384 token
Penstriman	Ya — ketiga-tiga dialek
Panggilan alat	Ya
Penaakulan / reasoning_effort	Ya
Output berstruktur json_schema	Ya
response_format	Ya
Visi / input imej	Tidak — gunakan MiMo-V2.5
Lapisan penolakan / penapis output	Tiada
Harga setiap 1J token	$0.50 masuk / $2.00 keluar

10Soalan lazim

---

Sumber: Laporan teknikal MiMo, arXiv:2505.07608 · Kad model MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Hukum penskalaan inferens k-bit, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Semua angka penanda aras adalah seperti yang dilaporkan penulisnya. Shannon AI ialah produk Shannon Lab LLC, New Mexico, USA.