API ya MiMo a Bê Sansûr bi Wefadariya 8-Bit

Piraniya katalogan hejmara parametreyan bi te difiroşin. Ew jimara xelet e ku tu li ser wê kirînê bikî, ji ber ku her modeleke mezin a bi giraniyên vekirî ku tu bi rastî dikarî bikirî hatiye pêçandin da ku li cihekî cih bigire. Pirsa dilsoz ne «ev berî ku were pêçiqandin çiqas mezin bû?» ye lê «çiqas ji wê hîn jî li vir e?» ye. Ev gotar li ser wê pirsê ye, û li ser wê modela di rêza me de ku bersiv jê re hema hema hemû ye.

01API ya MiMo a bê sansûr bi rastî ji te re çi digire

API ya MiMo a bê sansûr yek nasnameya modelê ye, MiMo-V2.5-Pro-W8A16, ku bi rêya sê zaravayan tê gihîştin ku heman giraniyan li ser koma GPU ya me bi xwe digirin: /v1/chat/completions, /v1/messages û /v1/responses. Her sê stream dikin û piştgiriya bangkirina amûran û ramînê dikin.

Bê sansûr li vir wateyeke teng heye: li ber modelê tu tebeqeya redkirinê tune, li ser derketina wê tu fîltre tune. Em napçirînin, klasîfîye nakin an ji nû ve nanivîsin. Tu tevgera bingehê bi xwe werdigirî — ku ji bo modeleke bi giraniyên vekirî ya asta lêkolînê tê wateya ku ew bi lêkolîna ewlehiyê, çîroka mezinan an tundûtûj, ramîna bijîşkî û hiqûqî, û wan daxwazan re mijûl dibe ku endpointên bazirganî yên hosting-kirî bi refleksê red dikin. Ew amûrekî profesyonel e di bin Polîtîkaya Bikaranîna Berpirsiyar a me de, ne nebûna qaîdeyan.

02Rêza MiMo: bahîsa Xiaomi li ser pêş-perwerdehiya ku pêşî ramanê digire

MiMo ne derxistineke Llama ye bi navekî nû; ew rêzeke cuda ye ji tîma MiMo ya Xiaomi, û fikra wê ya damezrîner berî ku tu modelê binirxînî girîng e. Ew bi MiMo-7B (30ê Nîsana 2025, bi lîsansa MIT) dest pê dike, ku rapora wê ya teknîkî îdia dike ku piraniya laboratûwaran ramînê wek pirsgirêkeke piştî-perwerdehiyê dihesibînin ku bi RLê ve were zeliqandin, û ku ev berevajî ye. Xiaomi li şûna wê pêş-perwerdehiyê li dora wê ji nû ve avakir: tevlihevkirineke sê-qonaxî li seranserê 25 trîlyon tokenan, qonaxa duyem bi qasî 70% matematîk û kod dimeşe, qonaxa sêyem şopên ramanê yên sentetîk tevlî dike dema ku contextê ji 8K bo 32K dirêj dike — plus armanceke Pêşbîniya Pir-Tokenî ku wek serekî speculative decoding jî kar dike.

Encam modeleke bingehîn a 7B bû ku wek tiştekî pir mezintir tevdigeriya. MiMo-7B-Base 32.9 li ser AIME 2024 girt li cihê ku Qwen2.5-7B 10.1, Gemma-2-9B 0.0 û Llama-3.1-8B 0.3 girtin. Piştî-perwerdehiyê paşê RL li ser 130,000 pirsgirêkên matematîk û kodê yên verîfîkirbar meşand bi xelateke kodê ya ku li ser bingehê dijwariya testê ye, û ji wê xefika xelata seyrek reviya ku RLya kodê bêîstiqrar dike. Encam li pêşiya o1-mini danî:

AIME 2025, jimarên ji aliyê Xiaomi ve hatine ragihandin ji rapora teknîkî ya MiMo (arXiv:2505.07608). MiMo-7B-RL herwiha 95.8 li ser MATH-500 û 57.8 li ser LiveCodeBench v5 ragihand.

Malbat li şûna ku bişemite fireh bû: MiMo-VL-7B (Hezîrana 2025) kodkerekî Qwen2.5-ViT danî ser heman stûnê, û Kanûna 2025 MiMo-Audio-7B plus têketina MoE ya yekem, MiMo-V2-Flash (309B giştî / 15B aktîv, 27T token, rasttiya tevlihev a FP8) anî. MiMo-V2-Pro di Adara 2026 de li pey wê hat bi qasî 1T / 42B aktîv bi contexteke 1M, piştî hefteyan li ser OpenRouter wek «Hunter Alpha». MiMo-V2.5 û MiMo-V2.5-Pro di 22ê Nîsana 2026 de bi hev re hatin şandin, her du bi MIT.

03Di nav MiMo-V2.5-Pro de: bingeh çawa xuya dike

Li gorî karta modelê ya weşandî ya Xiaomi, MiMo-V2.5-Pro modeleke Mixture-of-Experts a seyrek e bi 1.02 trîlyon parametreyên giştî û 42 mîlyar aktîv ji bo her tokenekê li seranserê 70 tebeqeyan — yek dagirtî, 69 MoE — û 384 pisporên rêkirî, 8 ji bo her tokenekê. Mezinahiya veşartî 6144 e, bi mezinahiyeke navber a MoE ya teng a 2048.

Du bijartin şeklê wê didin ka ew di bikaranînê de çawa tê hîskirin. Stûna balê hîbrîd e: 10 tebeqeyên bala tam û 60 tebeqeyên bi pencereya şemitok bi pencereyeke 128, plus alîgiriyeke bîrkeşa balê ya fêrbar. Xiaomi ragihîne ku ev hilanîna cachea KV nêzî 7 caran li hember bala giştî ya tevayî dibirre dema ku kalîteya contexta dirêj tê parastin — cudahiya di navbera pencereyeke ku bi navê xwe dirêj e û yeke ku tu dikarî wê tijî bikî. Ew herwiha sê tebeqeyên Pêşbîniya Pir-Tokenî dişîne, ku ji dekoderê re serekî speculative dide.

Perwerdehî 27 trîlyon token bû li dirêjahiya rêzê ya niştecih a 32K di rasttiya tevlihev a FP8 (E4M3) de, paşê fine-tunekirina bi çavdêrî, RLya ajanî ya bi pîvana mezin û distîlasyona on-policy ya pir-mamosteyî. Wê hûrgila FP8 bigire; ew argumana herî bihêz a yekane ye ji bo xizmetkirina vî bingehî li 8 bitan.

Xiaomi modelê li 57.2% li ser SWE-bench Pro, 72.9 li ser τ3-Bench ji bo bikaranîna amûran û 48.0% li ser Humanity's Last Exam ragihîne — jimarên firoşkarî bi xwe li ser modela nepêçandî, ku wek wisa tên binavkirin.

Em pencereyeke 262,144-tokenî xizmet dikin, ne 1M ya tam a bingehê — contexteke ku em dikarin wê bi lezê garantî bikin, ne jimareke sernavê ku di bin barî de xerab dibe.

04W8A16 bi rastî çi tê wateyê

Her modeleke di vê katalogê de paşgireke quantizasyonê hildigire ku veguhastineke rastîn û pîvandbar şirove dike ne asteke reklamê. Yên me 3BIT-REAP, W4A16-AUTOROUND-REAP û W8A16 ne. MiMo-V2.5-Pro ya sêyem e.

Nîşandanî li du beşan dabeş dibe. W8 rasttiya giraniyan e: her parametreyek wek hejmareke tam a 8-bit tê hilanîn li şûna floateke 16-bit, bi faktorekî pîvankirinê yê parvekirî ji bo her komeke biçûk da ku rêza dînamîk a herêmî ya her komekê xwe bigire. A16 rasttiya aktîvasyonan e: nirxên ku di dema inferansê de di navbera tebeqeyan de diherikin li 16 bitan dimînin. Giranî tên pêçandin; aritmetîk nayê pêçandin.

Ew nîvê duyem karekî bêdeng û girîng dike. Quantizekirina aktîvasyonan ji ya giraniyan pir dijwartir e: ew kanalên derveyî yên tund di xwe de digirin — çend dimensiyonên ku mezinahiyên wan her tiştê din biçûk dikin û beşeke ne li gorî pîvanê ya tevgera modelê hildigirin. Wan bo rasttiya nizm bişîne û tu tam wê sînyalê dibirrî ku te hewce dikir. Şemayên tenê-giraniyan pirsgirêkê derbas dikin bi hiştina riya aktîvasyonê wek xwe, ku ev e sedema ku karê quantizasyonê yê cidî li ser wan kom bûye.

Loma pirsa pratîk bo yek tiştî teng dibe: giraniyek çend bitan bi kêmî dikare tehemûl bike?

05W8A16 li hember W4A16 li hember 3-bit: windahî bi rastî li ku diçe

Lêkolîna weşandî ya herî mezin li ser vê ya Neural Magic û Red Hat e, «Give Me BF16 or Give Me Death»? Accuracy-Performance Trade-Offs in LLM Quantization — zêdetirî 500,000 nirxandin li seranserê malbata Llama-3.1 li 8B, 70B û 405B. Encama wan a sernavê, bi jimarên wan:

Format	Çi tê pêçandin	Vegerandina ragihandî li hember BF16
W8A8-FP (8-bit)	Giranî + aktîvasyon, float	~99.75% navînî — «bi bingehî bêwindahî»
W8A8-INT (8-bit)	Giranî + aktîvasyon, hejmara tam	99–100% li 8B/70B; 98.2–99.3% li 405B
W4A16-INT (4-bit)	Tenê giranî	98–99.4% (8B); 98.6–99.8% (70B)

Jimar ji aliyê Neural Magic / Red Hat ve (arXiv:2411.02355) li ser modelên Llama-3.1 hatine ragihandin — şeklê bazarê, ne nirxa vê modelê.

Bi dilsozî hatiye xwendin, ev wek argumanekê dijî girîngdayînê xuya dike: 4-bit 98–99% vedigerîne, loma çima bala xwe bidî? Ji ber ku ew benchmarkên akademîk ên pir-bijarkî ne, nêzî amûra herî xerab a berdest ji bo tespîtkirina zirara quantizasyonê. Pirseke benchmarkê yek bersiveke rast heye ku di yek an du tokenan de tê gihîştin, û çewtiya quantizasyonê deng e ku biçûk û bi qasî sifir-navînî ye li ser her logitekê; li ser pirseke kurt bi marjîneke fireh, ew deng tê hilkişandin.

Niha 4,000 tokenên belgeyeke teknîkî binivîse, dengekî li seranserê çîrokeke 40,000-tokenî bigire, an JSONê derxîne ku divê cara yekem verîfîye bibe. Heman deng bi hezaran caran li pey hev tê nimûnekirin, her nimûneyek ya pêş şert dike. Awayê têkçûnê ne bersiveke xelet e — ew şemitîn e: destgirtineke sistbûyî li ser rênimaya ji dora yekem ve, karakterekî ku li dora tokenê 3,000 dev ji dengê xwe berdide, kevaneke girtinê ku tu carî nayê.

Bit bi rastî li ku diçin

Çewtiya quantizasyonê li seranserê kapasîteyên modelê bi awayekî wekhev belav nabe; ew li dûvikê kom dibe. Tevgerên bi girseya bilind — Îngilîziya rêzimanî, şeklê fonksiyoneke Pythonê, hezar rastiyên herî jorîn ên li ser cîhanê — li seranserê gelek giraniyan bi awayekî dubare hatine kodkirin û hema hema li hember her tiştî xwe digirin. Ew quncikên bi rastî eyarkirî û bi mezinahiya biçûk ên belavbûna giraniyan tiştên kêm digirin: îmzeya rast a API yeke nenas, awazê nivîskarekî taybet, cudahiya di navbera du CVEyên li tenişt hev de. Ev ew nirx in ku tora tembel wan li hev gilor dike.

Gava ji 4 bitan bo 3an ew cih e ku ev êdî ne bacek e û dibe zinar. Qanûnên pîvankirina inferansê yên k-bit ên Dettmers û Zettlemoyer dîtin ku 4-bit ew xal e ku rasttiya sifir-gavî ji bo her bitekî bîra modelê herî zêde dike, bi xerabûna ku li jêrî wê serdest dibe. Çar bit 16 astan ji bo her komekê dide; sê 8an dide. Tu rezolusyona toreke ku jixwe tembel e nîv dikî, û çewtiya gilorkirinê ya her giraniyekê bi qasî du caran dibe.

Ew aritmetîka ku biryarê dide

Berawirdkirina hêjayî kirinê aritmetîk e, ne benchmarkek. Tiştê ku ji pêçandinê xelas dibe bi qasî parametre × bit ji bo her parametreyekê ye — hecma agahî-hilgir a fîleya giraniyan. Du bingehên hîpotetîk ên bi kalîteya wekhev ji bo her parametreyekê bigire:

• Bingehê A: 400B parametre li 3 bitan → bi qasî 150 GB giraniya parastî.
• Bingehê B: 160B parametre li 8 bitan → bi qasî 160 GB giraniya parastî.

Li gorî hejmara parametreyan a xav A du û nîv bi yekê dibe — ew jimara ku karta modelê pê dest pê dike. Li gorî agahiya parastî ew wekhev in, û ji bilî wê B avantajeke strukturî heye: giraniyên wê li ser toreke têra xwe hûr rûdinin ku tevgera wê ya dûvikê sax e, dema ku dûvikê A di nav girseyê de hatiye quantize kirin. A tiştên zêdetir dizane; B tiştê ku dizane tûjtir dizane. Ji bo çêkirina dirêj, formatkirina rast, kontrola şêwazî û şopandina dilsoz a contexta dirêj, B bigire.

Aritmetîkeke nimûneyî, ne benchmarkek: ew nîşan dide çima «bingehê mezintir» û «modela xizmetkirî ya çêtir» îdiayên cuda ne.

06Çima 27 trîlyon tokenên perwerdehiyê quantizasyona tund xerabtir dikin

Encameke duyem û kêmtir sezgîyî rasterast li ser vî bingehî tê. Gotara ICLR 2025 ya Kumar û hevalan, Scaling Laws for Precision, dibîne ku çiqas model li ser daneyên zêdetir hatibe perwerdekirin, quantizasyona piştî-perwerdehiyê ewqas zêdetir zirarê dide wê. Rasttiya nizm hejmara parametreyan a bibandor a modelekê kêm dike, û ew xerabûn bi daneyên pêş-perwerdehiyê yên hilkişandî re mezin dibe — têra xwe dûr ku daneyên pêş-perwerdehiyê yên zêde dikarin bi giştî zirardar bin heke tu bixwazî bi tundî quantize bikî, ji ber ku tu strukturên hûr datînî ku tor wê wan jê bibe.

Modeleke ku li ser 5T tokenan hatiye perwerdekirin strukturên giraniyan ên tembel û dubare hene û valahiya wê heye. Modeleke ku li ser 27T tokenan hatiye perwerdekirin — budceya MiMo-V2.5-Pro — wan daneyên zêde xerc kirin da ku cudahiyên hûrtir di nav nirxên giraniyan ên rasttir de binivîsin, ku ev tam tişt e ku toreke 3-bit nikare nûnertiya wê bike.

Paşê rastiya FP8 ya ji beşa 03 heye, argumana herî paqij a di vê gotarê de. MiMo-V2.5-Pro di rasttiya tevlihev a FP8 de hat pêş-perwerdekirin. Giraniyên wê ji destpêkê ve ji aliyê optîmîzerekî ku bi qasî heşt bitan rasttiyê dixebitî ve hatin şeklkirin. Loma xizmetkirina wê bi giraniyên 8-bit ne fikreke paşerojê ya bi windahî ye ku li ser modeleke 16-bit tê ferzkirin — ew nêzî vegerandina giraniyan bo wê rejîma hejmarî ye ku tê de hatine fêrbûn. Li jêrî bitê heştem strukturên hûr ên kêm hene ku bên windakirin. Heman tişt ji bo wan giraniyan nayê gotin ku bo sêyan hatine daxistin.

07REAP: çima birrîna pisporan cureyeke windahiyê ya cuda ye ji gilorkirinê

Du ji sê astan paşgira REAP hildigirin — operasyoneke bi kategorî cuda ji quantizasyonê. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) pêçandineke yek-gavî ye ji bo modelên MoE yên seyrek: ew her pisporekî bi nirxên dergehê routerê û norma aktîvasyona pisporî dinirxîne, paşê yên bi nirxa herî nizm jê dibe. Cerebras encamên nêzî bêwindahî li ser çêkirina kodê û bangkirina amûran ragihîne heta li 50% ya pisporan a birrandî.

Em REAPê ji bo wê sedemê bikar tînin ku ew jê re heye: li ser bingehên herî mezin ew tişt e ku wan xizmetkirbar dike. Lê bala xwe bide cudahiya cureyê. Quantizasyon her giraniyekê hinekî tar dike; birrîn pisporan bi tevahî radike. Heke karê te bi giranî bo kapasîteyekê tê rêkirin ku di pisporekî kêm-hilbijartî de dijiya — zimanekî bernamesaziyê yê biçûk, ferhengokeke pispor — ew ne xerabkirî ye. Ew çûye, û tu prompt wê venagerîne. Navînî hêja dimînin; dozên te yên dûvikê dibe ku nemînin.

MiMo-V2.5-Pro · W8A16 tu paşgira REAP hilnagire. Hemû 384 pispor hene, û router ji wê koma tam hildibijêre ku bingeh pê hatiye perwerdekirin.

Ast	Bitên giraniyan	Pispor	Tu çi didî
W8A16	8	Hemû hene	Tu tiştekî strukturî. Asta wefadariyê.
W4A16-AUTOROUND-REAP	4	Birrandî	Hûrgilên giraniyan plus pisporên bi trafîka nizm, li hember bingehekê pir mezintir di heman bendê bihayê de.
3BIT-REAP	3	Birrandî	Rezolusyoneke giraniyan a berbiçav plus pisporên bi trafîka nizm — bihayê meşandina bingehên herî mezin bi lezê.

Asta navîn hêjayî guhdariyeke dadmend e. AutoRound ne gilorkirineke sade ye: rêbaza Intelê (arXiv:2309.05516) daketina gradyana bi îmze li ser bi qasî 200 gavan bikar tîne da ku biryarên gilorkirinê û rêza birrînê ji bo her komeke giraniyan eyar bike, û di piraniya mîhengan de nêzî bêwindahî li 4 bitan hatiye ragihandin, ku li seranserê piraniya konfigurasyonên testkirî ji GPTQ, AWQ, HQQ û OmniQuant çêtir e. Modeleke W4A16-AUTOROUND bi rastî modeleke 4-bit a baş e. Ew hîn jî modeleke 4-bit e.

08Divê kî asta 8-bit hilbijêre — û kî nebijêre

MiMo-V2.5-Pro · W8A16 li bihayê erdê yê tevahiya katalogê rûdine — $0.50 têketin / $2.00 derketin ji bo her mîlyon tokenan, heman benda modelên 4-bit ên asta destpêkê û bi qasî çaryeka bihayê têketinê yê modela herî biha ya ku em xizmet dikin. Tu ji bo wefadariyê premiumekê nadî; tu tewangeke cuda ya heman budceyê hildibijêrî.

Wê hilbijêre gava

• Dirêjahiya derketinê kar e. Nivîsandina teknîkî ya dirêj, çîroka bi dirêjahiya beşan, derbasên belgekirinê yên tam — her tokenekî çêkirî yek e ku tê de dengê pêçandinê kom dibe.
• Deng û hevgirtin girîng in. Karê karakteran, awazê markeyê, awazekî ku li seranserê danişîneke dirêj tê girtin. Şêwaz di dûvikê de dijî, û dûvik ew tişt e ku quantizasyona tembel pêşî dixwe.
• Divê derketina strukturkirî cara yekem verîfîye bibe. Model piştgiriya json_schema û response_format dike; şopandina şemayê taybetmendiyeke rasttiyê ye, û her dubarekirineke ku nayê kirin pere û derengmayîn xilas dike.
• Tu contextê tijî dikî. Şopandina rênimayan li tokenê 200,000 ji ya li tokenê 2,000 dijwartir e, û ew bi rasttiya giraniyan re xerab dibe — wek şopeke ramanê ya dirêj jî, ku tê de çewtî bi heman awayî kom dibin.
• Kar bi xwezaya xwe bê sansûr e. Lêkolîna ewlehiyê, red-teaming, çîroka bêfîltre, analîza bijîşkî an hiqûqî ya hesas — li cihê ku bersiveke bi çeper ji tunebûnê xerabtir e.

Tiştekî din hilbijêre gava

• Tu dîtinê hewce dikî. Ev model tenê nivîs e; xwişka wê MiMo-V2.5 · W8A16 li heman biha û astê bi kapasîteya dîtinê ye.
• Tu zanîna cîhanê ya herî fireh li ser pirsên kurt hewce dikî. Ew rejîm e ku tê de parametreyên zêde yên bingehekê 3-bit a pir mezintir dibin û zirara wê ya quantizasyonê bi zorê xuya dibe.
• Karê te klasîfîkasyona kurt a bi hejmara mezin e. Zirara quantizasyonê li wir hema hema nayê dîtin — kîjan herî bilez e wê bikire.

09Bangkirina API ya MiMo a bê sansûr

Heke koda te SDKya OpenAI hedef digire, guhertina URLa bingehîn û nasnameya modelê temamê koçberiyê ye:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages û /v1/responses heman nasname û kapasîteyan qebûl dikin. Referansa parametreyan, şemayên bangkirina amûran, nimûneyên derketina strukturkirî û playgroundeke zindî di belgekirina API ya Shannon AI de ne.

Kapasîte	MiMo-V2.5-Pro · W8A16
Pencereya contextê	262,144 token
Derketina herî zêde ji bo her daxwazekê	16,384 token
Streaming	Erê — her sê zarava
Bangkirina amûran	Erê
Ramîn / reasoning_effort	Erê
Derketina strukturkirî ya json_schema	Erê
response_format	Erê
Dîtin / têketina wêneyan	Na — MiMo-V2.5 bikar bîne
Tebeqeya redkirinê / fîltreya derketinê	Tune
Biha ji bo her 1M tokenan	$0.50 têketin / $2.00 derketin

10Pirsên ku pir tên kirin

---

Çavkanî: Rapora teknîkî ya MiMo, arXiv:2505.07608 · Karta modelê ya MiMo-V2.5-Pro (Xiaomi) · «Give Me BF16 or Give Me Death»?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Qanûnên pîvankirina inferansê yên k-bit, arXiv:2212.09720 · Scaling Laws for Precision, Kumar û heval, ICLR 2025. Hemû jimarên benchmarkê wek ku ji aliyê nivîskarên wan ve hatine ragihandin in. Shannon AI berhemeke Shannon Lab LLC, New Mexico, DYA ye.