8-બિટ ફિડેલિટી પર અનસેન્સર્ડ MiMo API

મોટાભાગના કેટલોગ તમને પેરામીટર ગણતરી વેચે છે. તે ખરીદી માટે ખોટો આંકડો છે, કારણ કે તમે ખરેખર પોસાય એવું દરેક મોટું ઓપન-વેઇટ્સ મોડેલ ક્યાંક ફિટ થવા કમ્પ્રેસ થયેલું છે. પ્રામાણિક પ્રશ્ન "તે સંકોચાયું એ પહેલાં કેટલું મોટું હતું?" નથી પણ "તેમાંથી કેટલું હજુ અહીં છે?" છે. આ લેખ એ પ્રશ્ન વિશે છે, અને અમારી યાદીમાંના મોડેલ વિશે જ્યાં જવાબ છે લગભગ બધું.

01અનસેન્સર્ડ MiMo API ખરેખર તમને શું આપે છે

અનસેન્સર્ડ MiMo API એક મોડેલ id છે, MiMo-V2.5-Pro-W8A16, ત્રણ ડાયલેક્ટ દ્વારા પહોંચી શકાય એવું જે અમારા પોતાના GPU ક્લસ્ટર પર એ જ વેઇટ્સને સંબોધે છે: /v1/chat/completions, /v1/messages અને /v1/responses. ત્રણેય stream કરે છે અને ટૂલ કૉલિંગ અને રિઝનિંગને સમર્થન આપે છે.

અનસેન્સર્ડ નો અહીં સાંકડો અર્થ છે: મોડેલની આગળ કોઈ ઇનકાર સ્તર નહીં, તેના આઉટપુટ પર કોઈ ફિલ્ટર નહીં. અમે intercept, વર્ગીકૃત, કે ફરીથી લખતા નથી. તમને ફાઉન્ડેશનનું પોતાનું વર્તન મળે છે — જે research-grade ઓપન-વેઇટ્સ મોડેલ માટે એટલે તે સિક્યુરિટી રિસર્ચ, પુખ્ત કે હિંસક ફિક્શન, મેડિકલ અને કાનૂની રિઝનિંગ, અને hosted commercial એન્ડપોઇન્ટ reflex પર નકારે છે એવી વિનંતીઓ સાથે engage કરે છે. તે અમારી જવાબદાર ઉપયોગ નીતિ હેઠળ વ્યાવસાયિક ટૂલ છે, નિયમોની ગેરહાજરી નહીં.

02MiMo વંશ: Xiaomi નો રિઝનિંગ-ફર્સ્ટ પ્રી-ટ્રેઇનિંગ પર દાવ

MiMo નવા નામવાળું Llama derivative નથી; તે Xiaomi ની MiMo ટીમનો અલગ વંશ છે, અને તેનો સ્થાપક વિચાર મોડેલનું મૂલ્યાંકન કરો એ પહેલાં મહત્વનો છે. તે MiMo-7B (30 એપ્રિલ, 2025, MIT-લાઇસન્સ) સાથે ખૂલે છે, જેનો ટેકનિકલ રિપોર્ટ દલીલ કરે છે કે મોટાભાગની લેબ રિઝનિંગને પોસ્ટ-ટ્રેઇનિંગ સમસ્યા તરીકે ટ્રીટ કરે છે જેને RL વડે બોલ્ટ કરવાનું છે, અને આ ઊંધું છે. Xiaomi એ તેના બદલે પ્રી-ટ્રેઇનિંગ ને તેની આસપાસ ફરીથી structure કર્યું: 25 ટ્રિલિયન ટોકન પર ત્રણ-તબક્કાનું મિશ્રણ, બીજો તબક્કો લગભગ 70% ગણિત અને કોડ ચલાવે છે, ત્રીજો તબક્કો કોન્ટેક્સ્ટને 8K થી 32K સુધી લંબાવતી વખતે સિન્થેટિક રિઝનિંગ ટ્રેસ ફોલ્ડ કરે છે — વત્તા Multi-Token Prediction ઉદ્દેશ જે speculative-decoding હેડ તરીકે પણ કામ કરે છે.

પરિણામ 7B બેઝ મોડેલ હતું જે ઘણું મોટું કંઈક જેવું વર્તતું હતું. MiMo-7B-Base એ AIME 2024 પર 32.9 સ્કોર કર્યો જ્યાં Qwen2.5-7B એ 10.1, Gemma-2-9B એ 0.0 અને Llama-3.1-8B એ 0.3 સ્કોર કર્યો. પોસ્ટ-ટ્રેઇનિંગ પછી 130,000 ચકાસી શકાય એવા ગણિત અને કોડ સમસ્યાઓ પર test-difficulty-driven કોડ રિવોર્ડ સાથે RL ચલાવ્યું, code RL ને અસ્થિર કરતી sparse-reward જાળમાંથી બચીને. પરિણામ o1-mini ની આગળ ઊતર્યું:

AIME 2025, MiMo ટેકનિકલ રિપોર્ટ (arXiv:2505.07608) માંથી Xiaomi-જણાવેલા આંકડા. MiMo-7B-RL એ MATH-500 પર 95.8 અને LiveCodeBench v5 પર 57.8 પણ જણાવ્યું.

પરિવાર drift થવાને બદલે પહોળો થયો: MiMo-VL-7B (જૂન 2025) એ એ જ બેકબોન પર Qwen2.5-ViT એન્કોડર મૂક્યું, અને ડિસેમ્બર 2025 MiMo-Audio-7B વત્તા પહેલી MoE એન્ટ્રી, MiMo-V2-Flash (309B કુલ / 15B એક્ટિવ, 27T ટોકન, FP8 મિક્સ્ડ પ્રિસિઝન) લાવ્યું. MiMo-V2-Pro એ માર્ચ 2026 માં 1T / 42B એક્ટિવની આસપાસ 1M કોન્ટેક્સ્ટ સાથે અનુસર્યું, OpenRouter પર "Hunter Alpha" તરીકે અઠવાડિયા પછી. MiMo-V2.5 અને MiMo-V2.5-Pro 22 એપ્રિલ, 2026 ના રોજ સાથે મોકલાયા, બંને MIT.

03MiMo-V2.5-Pro ની અંદર: ફાઉન્ડેશન કેવું દેખાય છે

Xiaomi ના પ્રકાશિત મોડેલ કાર્ડ પ્રમાણે, MiMo-V2.5-Pro એ 1.02 ટ્રિલિયન કુલ પેરામીટર અને ટોકન દીઠ 42 બિલિયન એક્ટિવ ધરાવતું sparse મિક્સ્ચર-ઓફ-એક્સપર્ટ્સ મોડેલ છે, 70 લેયર પર — એક dense, 69 MoE — અને 384 રાઉટેડ એક્સપર્ટ, ટોકન દીઠ 8. Hidden size 6144 છે, 2048 ના સાંકડા MoE intermediate size સાથે.

બે પસંદગીઓ તેને વાપરવામાં કેવું લાગે છે એ ઘડે છે. એટેન્શન સ્ટેક હાઇબ્રિડ છે: 10 ફુલ-એટેન્શન લેયર અને 128 ના વિન્ડો સાથે 60 sliding-window લેયર, વત્તા learnable attention-sink bias. Xiaomi જણાવે છે કે આ all-global એટેન્શન સામે KV-કેશ સ્ટોરેજને લગભગ 7x સુધી કાપે છે જ્યારે લોંગ-કોન્ટેક્સ્ટ ગુણવત્તા જાળવે છે — nominally લાંબી વિન્ડો અને તમે પોસાય એવી રીતે ભરી શકો એવી વિન્ડો વચ્ચેનો ફરક. તે ત્રણ Multi-Token Prediction લેયર પણ મોકલે છે, ડિકોડરને speculative હેડ આપીને.

તાલીમ FP8 (E4M3) મિક્સ્ડ પ્રિસિઝન માં નેટિવ 32K સિક્વન્સ લંબાઈ પર 27 ટ્રિલિયન ટોકનની હતી, પછી supervised ફાઇન-ટ્યુનિંગ, મોટા-સ્કેલનું એજન્ટિક RL અને multi-teacher on-policy distillation. એ FP8 વિગત યાદ રાખો; આ ફાઉન્ડેશનને 8 બિટ પર સર્વ કરવા માટે એ સૌથી મજબૂત એક દલીલ છે.

Xiaomi મોડેલને SWE-bench Pro પર 57.2%, ટૂલ યુઝ માટે τ3-Bench પર 72.9 અને Humanity's Last Exam પર 48.0% જણાવે છે — અનક્વોન્ટાઇઝ્ડ મોડેલ પર વેન્ડરના પોતાના આંકડા, એ રીતે ટાંકેલા.

અમે 262,144-ટોકન વિન્ડો સર્વ કરીએ છીએ, ફાઉન્ડેશનનું પૂરું 1M નહીં — એવો કોન્ટેક્સ્ટ જેની અમે ઝડપે ગેરંટી આપી શકીએ, લોડ હેઠળ ડિગ્રેડ થતા હેડલાઇન આંકડાને બદલે.

04W8A16 નો ચોક્કસપણે શું અર્થ થાય છે

આ કેટલોગમાં દરેક મોડેલ ક્વોન્ટાઇઝેશન પ્રત્યય ધરાવે છે જે marketing ટાયરને બદલે ખરું, માપી શકાય એવું ટ્રાન્સફોર્મેશન વર્ણવે છે. અમારા 3BIT-REAP, W4A16-AUTOROUND-REAP અને W8A16 છે. MiMo-V2.5-Pro ત્રીજું છે.

Notation બેમાં વિભાજિત થાય છે. W8 વેઇટ ચોકસાઈ છે: દરેક પેરામીટર 16-બિટ float ને બદલે 8-બિટ integer તરીકે સ્ટોર થાય છે, નાના ગ્રુપ દીઠ શેર્ડ scaling factor સાથે જેથી દરેક ગ્રુપની local dynamic range ટકે. A16 એક્ટિવેશન ચોકસાઈ છે: ઇન્ફરન્સ સમયે લેયર વચ્ચે વહેતા મૂલ્યો 16 બિટ પર રહે છે. વેઇટ્સ કમ્પ્રેસ થાય છે; ગણિત નહીં.

એ બીજો ભાગ શાંત, મહત્વનું કામ કરે છે. એક્ટિવેશન વેઇટ્સ કરતાં ક્વોન્ટાઇઝ કરવા ઘણા અઘરા છે: તેમાં આત્યંતિક outlier ચેનલ હોય છે — થોડા dimension જેમની magnitude બાકીની બધી વસ્તુને વામણી બનાવે છે અને જે મોડેલના વર્તનનો અપ્રમાણસર હિસ્સો ધરાવે છે. તેમને નીચી ચોકસાઈ પર ધકેલો અને તમે બરાબર એ સિગ્નલ clip કરો છો જેની તમને જરૂર હતી. Weight-only યોજનાઓ એક્ટિવેશન પાથને એકલો છોડીને સમસ્યાને ટાળે છે, જે કારણ છે કે ગંભીર ક્વોન્ટાઇઝેશન કામ તેમના પર converge થયું છે.

એટલે વ્યવહારુ પ્રશ્ન એક વસ્તુ સુધી સંકોચાય છે: વેઇટ કેટલા ઓછા બિટ સહન કરી શકે છે?

05W8A16 vs W4A16 vs 3-bit: નુકસાન ખરેખર ક્યાં જાય છે

આના પર સૌથી મોટો પ્રકાશિત અભ્યાસ Neural Magic અને Red Hat નો "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization છે — 8B, 70B અને 405B પર Llama-3.1 પરિવારમાં 500,000 થી વધુ મૂલ્યાંકન. તેમનું હેડલાઇન પરિણામ, તેમના આંકડામાં:

ફોર્મેટ	શું કમ્પ્રેસ થાય છે	BF16 સામે જણાવેલી પુનઃપ્રાપ્તિ
W8A8-FP (8-bit)	વેઇટ્સ + એક્ટિવેશન, float	~99.75% સરેરાશ — "લગભગ lossless"
W8A8-INT (8-bit)	વેઇટ્સ + એક્ટિવેશન, integer	8B/70B પર 99-100%; 405B પર 98.2-99.3%
W4A16-INT (4-bit)	ફક્ત વેઇટ્સ	98-99.4% (8B); 98.6-99.8% (70B)

Llama-3.1 મોડેલો પર Neural Magic / Red Hat (arXiv:2411.02355) દ્વારા જણાવેલા આંકડા — ટ્રેડઓફનો આકાર, આ મોડેલનો સ્કોર નહીં.

પ્રામાણિકપણે વાંચતા, તે ધ્યાન ન આપવાની વિરુદ્ધ દલીલ જેવું લાગે છે: 4-બિટ 98-99% પાછું લાવે છે, તો કેમ ધ્યાન આપવું? કારણ કે એ એકેડેમિક multiple-choice બેન્ચમાર્ક છે, ક્વોન્ટાઇઝેશન નુકસાન શોધવા માટે ઉપલબ્ધ સૌથી ખરાબ સાધનની નજીક. બેન્ચમાર્ક પ્રશ્નનો એક કે બે ટોકનમાં પહોંચી શકાય એવો એક જ સાચો જવાબ હોય છે, અને ક્વોન્ટાઇઝેશન ભૂલ દરેક logit પર નાનો, લગભગ zero-mean noise છે; પહોળા margin ધરાવતા ટૂંકા પ્રશ્ન પર, એ noise શોષાય જાય છે.

હવે ટેકનિકલ ડોક્યુમેન્ટના 4,000 ટોકન લખો, 40,000-ટોકનની વાર્તામાં voice ધારણ કરો, કે JSON ઉત્પન્ન કરો જે પહેલી વારે જ validate થવું જોઈએ. એ જ noise ક્રમમાં હજારો વાર sample થાય છે, દરેક sample આગલાને condition કરે છે. નિષ્ફળતાનો મોડ ખોટો જવાબ નથી — તે drift છે: ટર્ન એકથી સૂચનાની ઢીલી પકડ, character જે ટોકન 3,000 ની આસપાસ પોતાના જેવો સંભળાવાનું બંધ કરે છે, ક્યારેય ન આવતો closing brace.

બિટ ખરેખર ક્યાં જાય છે

ક્વોન્ટાઇઝેશન ભૂલ મોડેલની ક્ષમતાઓમાં સમાનરૂપે ફેલાયેલી નથી; તે tail માં કેન્દ્રિત થાય છે. ઊંચી-mass ધરાવતું વર્તન — વ્યાકરણશુદ્ધ અંગ્રેજી, Python function નો આકાર, દુનિયા વિશેની ટોચની હજાર હકીકતો — ઘણા વેઇટ્સમાં redundantly એન્કોડ થયેલું છે અને લગભગ બધું ટકાવે છે. વેઇટ ડિસ્ટ્રિબ્યુશનના ચોકસાઈથી ટ્યુન કરેલા, નાની-magnitude ના ખૂણા દુર્લભ વસ્તુ ધરાવે છે: obscure API ની ચોક્કસ signature, ચોક્કસ લેખકનો cadence, બે અડીને આવેલા CVE વચ્ચેનો ફરક. એ મૂલ્યો છે જેને coarse grid એકબીજામાં રાઉન્ડ કરે છે.

4 બિટથી 3 સુધીનું પગલું એ છે જ્યાં આ ટેક્સ બનવાનું બંધ કરે છે અને cliff બને છે. Dettmers અને Zettlemoyer ના k-bit inference scaling laws એ શોધ્યું કે 4-બિટ એ bit-per-model-memory દીઠ zero-shot ચોકસાઈને મહત્તમ કરતું બિંદુ છે, જેની નીચે અધોગતિ પ્રભુત્વ ધરાવે છે. ચાર બિટ ગ્રુપ દીઠ 16 સ્તર આપે છે; ત્રણ આપે છે 8. તમે પહેલેથી coarse ગ્રિડનું resolution અડધું કરી રહ્યા છો, અને વેઇટ દીઠ round-off ભૂલ લગભગ બમણી થાય છે.

ગણિત જે તેને નક્કી કરે છે

કરવા યોગ્ય સરખામણી ગણિત છે, બેન્ચમાર્ક નહીં. કમ્પ્રેશન પછી શું ટકે છે એ લગભગ પેરામીટર × પેરામીટર દીઠ બિટ છે — વેઇટ ફાઇલનું માહિતી-ધારક volume. પેરામીટર દીઠ સમાન ગુણવત્તા ધરાવતા બે કાલ્પનિક ફાઉન્ડેશન લો:

• ફાઉન્ડેશન A: 3 બિટ પર 400B પેરામીટર → લગભગ 150 GB બચેલા વેઇટ.
• ફાઉન્ડેશન B: 8 બિટ પર 160B પેરામીટર → લગભગ 160 GB બચેલા વેઇટ.

raw પેરામીટર ગણતરી પ્રમાણે A અઢી થી એક જીતે છે — મોડેલ કાર્ડ જે આંકડાથી શરૂ થાય છે. બચેલી માહિતી પ્રમાણે તેઓ સમકક્ષ છે, અને B પાસે structural ફાયદો પણ છે: તેના વેઇટ્સ એટલા ઝીણા ગ્રિડ પર બેસે છે કે તેનું tail વર્તન અકબંધ છે, જ્યારે A નું tail bulk માં ક્વોન્ટાઇઝ થઈ ગયું છે. A વધુ વસ્તુઓ જાણે છે; B જે જાણે છે તે વધુ તીક્ષ્ણ રીતે જાણે છે. લાંબા જનરેશન, ચોક્કસ ફોર્મેટિંગ, stylistic કંટ્રોલ, અને વફાદાર long-context પાલન માટે, B લો.

દૃષ્ટાંતરૂપ ગણિત, બેન્ચમાર્ક નહીં: તે બતાવે છે કે "મોટું ફાઉન્ડેશન" અને "વધુ સારી રીતે સર્વ થયેલું મોડેલ" અલગ દાવા કેમ છે.

0627 ટ્રિલિયન તાલીમ ટોકન આક્રમક ક્વોન્ટાઇઝેશનને કેમ ખરાબ બનાવે છે

બીજું, ઓછું સાહજિક પરિણામ સીધું આ ફાઉન્ડેશન પર લાગુ પડે છે. Kumar et al. નું ICLR 2025 પેપર Scaling Laws for Precision શોધે છે કે મોડેલ જેટલા વધુ ડેટા પર તાલીમ પામ્યું, post-training ક્વોન્ટાઇઝેશન તેને એટલું વધુ નુકસાન કરે છે. નીચી ચોકસાઈ મોડેલની effective પેરામીટર ગણતરી ઘટાડે છે, અને એ અધોગતિ શોષાયેલા પ્રી-ટ્રેઇનિંગ ડેટા સાથે વધે છે — એટલું કે જો તમે આક્રમક રીતે ક્વોન્ટાઇઝ કરવાનો ઇરાદો ધરાવો છો તો વધારાનો પ્રી-ટ્રેઇનિંગ ડેટા ચોખ્ખો નુકસાનકારક બની શકે છે, કારણ કે તમે ઝીણી structure નાખી રહ્યા છો જેને ગ્રિડ ભૂંસી નાખશે.

5T ટોકન પર તાલીમ પામેલા મોડેલમાં coarse, redundant વેઇટ structure અને વધારાની slack હોય છે. 27T ટોકન પર તાલીમ પામેલું મોડેલ — MiMo-V2.5-Pro નું બજેટ — એ વધારાનો ડેટા વધુ ચોક્કસ વેઇટ મૂલ્યોમાં ઝીણા ફરક લખવામાં ખર્ચ્યો, જે બરાબર એ છે જે 3-બિટ ગ્રિડ રજૂ કરી શકતું નથી.

પછી સેક્શન 03 નું FP8 તથ્ય છે, આ લેખમાં સૌથી સ્વચ્છ દલીલ. MiMo-V2.5-Pro FP8 મિક્સ્ડ પ્રિસિઝનમાં પ્રી-ટ્રેઇન થયું હતું. તેના વેઇટ્સ શરૂઆતથી લગભગ આઠ બિટ ચોકસાઈ પર કામ કરતા ઓપ્ટિમાઇઝર દ્વારા ઘડાયેલા હતા. તેને 8-બિટ વેઇટ્સ પર સર્વ કરવું એટલે 16-બિટ મોડેલ પર લાદેલો lossy afterthought નથી — તે વેઇટ્સને એ numeric regime પર પાછા લાવવાની નજીક છે જેમાં તેઓ શીખાયા હતા. આઠમા બિટની નીચે ગુમાવવા યોગ્ય ઝીણી structure બહુ ઓછી અસ્તિત્વ ધરાવે છે. એ વેઇટ્સ વિશે એમ કહી શકાય નહીં જેમને ત્રણ સુધી ધકેલવામાં આવ્યા.

07REAP: એક્સપર્ટ પ્રુનિંગ રાઉન્ડિંગ કરતાં અલગ પ્રકારનું નુકસાન કેમ છે

ત્રણ ટાયરમાંથી બે REAP પ્રત્યય ધરાવે છે — ક્વોન્ટાઇઝેશનથી categorically અલગ ઓપરેશન. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) sparse MoE મોડેલો માટે એક-શોટ કમ્પ્રેશન છે: તે દરેક એક્સપર્ટને રાઉટરના gate value અને એક્સપર્ટના activation norm પર સ્કોર કરે છે, પછી સૌથી નીચા સ્કોરરને કાઢી નાખે છે. Cerebras 50% એક્સપર્ટ પ્રુન કરાયા હોય ત્યારે પણ કોડ જનરેશન અને ટૂલ કૉલિંગ પર લગભગ-lossless પરિણામ જણાવે છે.

અમે REAP વાપરીએ છીએ એ કારણસર જેના માટે તે અસ્તિત્વ ધરાવે છે: સૌથી મોટા ફાઉન્ડેશન પર તે એ છે જે તેમને સર્વ કરવા યોગ્ય બનાવે છે. પણ પ્રકારનો ફરક નોંધો. ક્વોન્ટાઇઝેશન દરેક વેઇટને થોડું blur કરે છે; પ્રુનિંગ એક્સપર્ટને સંપૂર્ણપણે દૂર કરે છે. જો તમારો વર્કલોડ ભાગ્યે જ-પસંદ થતા એક્સપર્ટમાં રહેતી ક્ષમતા તરફ ભારે રાઉટ થાય છે — નાની પ્રોગ્રામિંગ ભાષા, વિશિષ્ટ શબ્દભંડોળ — તે ડિગ્રેડ થયું નથી. તે ગયું છે, અને કોઈ prompting તેને પુનઃપ્રાપ્ત કરતું નથી. સરેરાશ ઉત્તમ રહે છે; તમારો tail કેસ કદાચ નહીં.

MiMo-V2.5-Pro · W8A16 કોઈ REAP પ્રત્યય ધરાવતું નથી. બધા 384 એક્સપર્ટ હાજર છે, અને રાઉટર ફાઉન્ડેશન જેની સાથે તાલીમ પામ્યું એ પૂરા સેટમાંથી પસંદ કરે છે.

ટાયર	વેઇટ બિટ	એક્સપર્ટ	તમે શું ટ્રેડ કરો છો
W8A16	8	બધા હાજર	Structural કંઈ નહીં. ફિડેલિટી ટાયર.
W4A16-AUTOROUND-REAP	4	પ્રુન્ડ	ઝીણી વેઇટ વિગત વત્તા ઓછા-ટ્રાફિકના એક્સપર્ટ, એ જ કિંમત band માં ઘણા મોટા ફાઉન્ડેશનના બદલામાં.
3BIT-REAP	3	પ્રુન્ડ	નોંધપાત્ર વેઇટ resolution વત્તા ઓછા-ટ્રાફિકના એક્સપર્ટ — સૌથી મોટા ફાઉન્ડેશનને ઝડપે ચલાવવાની કિંમત.

મધ્યમ ટાયર વાજબી સુનાવણીને લાયક છે. AutoRound નાઇવ રાઉન્ડિંગ નથી: Intel ની પદ્ધતિ (arXiv:2309.05516) દરેક વેઇટ ગ્રુપ માટે રાઉન્ડિંગ નિર્ણયો અને clipping range ટ્યુન કરવા લગભગ 200 પગલાં પર signed gradient descent વાપરે છે, અને મોટાભાગની સેટિંગમાં 4 બિટ પર લગભગ-lossless જણાવવામાં આવે છે, મોટાભાગના ટેસ્ટ કરેલા configuration પર GPTQ, AWQ, HQQ અને OmniQuant ને હરાવીને. W4A16-AUTOROUND મોડેલ ખરેખર સારું 4-બિટ મોડેલ છે. તે હજુ 4-બિટ મોડેલ છે.

088-બિટ ટાયર કોણે પસંદ કરવું જોઈએ — અને કોણે નહીં

MiMo-V2.5-Pro · W8A16 આખા કેટલોગની તળિયાની કિંમતે બેસે છે — 1 મિલિયન ટોકન દીઠ $0.50 ઇન / $2.00 આઉટ, entry-tier 4-બિટ મોડેલો જેવો જ band અને અમે સર્વ કરીએ છીએ એ સૌથી મોંઘા મોડેલની ઇનપુટ કિંમતના લગભગ ચોથા ભાગનું. તમે ફિડેલિટી માટે પ્રીમિયમ ચૂકવી રહ્યા નથી; તમે એ જ બજેટની અલગ ધરી પસંદ કરી રહ્યા છો.

તેને પસંદ કરો જ્યારે

• આઉટપુટ લંબાઈ જ જોબ છે. લોંગ-ફોર્મ ટેકનિકલ લેખન, ચેપ્ટર-લેંગ્થ ફિક્શન, પૂરા ડોક્યુમેન્ટેશન પાસ — દરેક જનરેટ થયેલો ટોકન એવો છે જ્યાં કમ્પ્રેશન noise ભેગું થાય છે.
• Voice અને સુસંગતતા મહત્વની છે. Character કામ, brand tone, લાંબા સેશનમાં ધારણ કરેલો register. Style tail માં રહે છે, અને tail એ છે જે coarse ક્વોન્ટાઇઝેશન પહેલા ખાય છે.
• સ્ટ્રક્ચર્ડ આઉટપુટ પહેલી વારે જ validate થવું જોઈએ. મોડેલ json_schema અને response_format ને સમર્થન આપે છે; સ્કીમા પાલન ચોકસાઈનો ગુણધર્મ છે, અને ટાળેલો દરેક retry બચાવેલા પૈસા અને latency છે.
• તમે કોન્ટેક્સ્ટ ભરી રહ્યા છો. ટોકન 200,000 પર સૂચના પાલન ટોકન 2,000 કરતાં અઘરું છે, અને તે વેઇટ ચોકસાઈ સાથે ડિગ્રેડ થાય છે — લાંબા રિઝનિંગ ટ્રેસની જેમ, જ્યાં ભૂલો એ જ રીતે ભેગી થાય છે.
• કામ સ્વભાવે અનસેન્સર્ડ છે. સિક્યુરિટી રિસર્ચ, red-teaming, અનફિલ્ટર્ડ ફિક્શન, સંવેદનશીલ મેડિકલ કે કાનૂની વિશ્લેષણ — જ્યાં hedged જવાબ કોઈ જવાબ કરતાં ખરાબ છે.

બીજું કંઈક પસંદ કરો જ્યારે

• તમને વિઝન જોઈએ. આ મોડેલ ફક્ત-ટેક્સ્ટ છે; તેનું સાથી MiMo-V2.5 · W8A16 એ જ કિંમત અને ટાયર પર વિઝન-સક્ષમ છે.
• તમને ટૂંકા query પર સૌથી પહોળું world knowledge જોઈએ. એ regime છે જ્યાં ઘણું મોટું 3-બિટ ફાઉન્ડેશનના વધારાના પેરામીટર જીતે છે અને તેનું ક્વોન્ટાઇઝેશન નુકસાન ભાગ્યે જ દેખાય છે.
• તમારો વર્કલોડ ઊંચા-વોલ્યુમનું ટૂંકું વર્ગીકરણ છે. ત્યાં ક્વોન્ટાઇઝેશન નુકસાન લગભગ અદૃશ્ય છે — જે સૌથી ઝડપી હોય એ ખરીદો.

09અનસેન્સર્ડ MiMo API ને કૉલ કરવું

જો તમારો કોડ OpenAI SDK ને લક્ષ્ય બનાવે છે, તો base URL અને મોડેલ id બદલવું આખું migration છે:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages અને /v1/responses એ જ id અને ક્ષમતાઓ સ્વીકારે છે. પેરામીટર સંદર્ભ, ટૂલ-કૉલિંગ સ્કીમા, સ્ટ્રક્ચર્ડ-આઉટપુટ ઉદાહરણો, અને લાઇવ પ્લેગ્રાઉન્ડ Shannon AI API ડોક્યુમેન્ટેશન માં છે.

ક્ષમતા	MiMo-V2.5-Pro · W8A16
કોન્ટેક્સ્ટ વિન્ડો	262,144 ટોકન
વિનંતી દીઠ મહત્તમ આઉટપુટ	16,384 ટોકન
સ્ટ્રીમિંગ	હા — ત્રણેય ડાયલેક્ટ
ટૂલ કૉલિંગ	હા
રિઝનિંગ / reasoning_effort	હા
json_schema સ્ટ્રક્ચર્ડ આઉટપુટ	હા
response_format	હા
વિઝન / ઇમેજ ઇનપુટ	ના — MiMo-V2.5 વાપરો
ઇનકાર સ્તર / આઉટપુટ ફિલ્ટર	કોઈ નહીં
1M ટોકન દીઠ કિંમત	$0.50 ઇન / $2.00 આઉટ

10વારંવાર પુછાતા પ્રશ્નો

---

સોર્સ: MiMo ટેકનિકલ રિપોર્ટ, arXiv:2505.07608 · MiMo-V2.5-Pro મોડેલ કાર્ડ (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bit inference scaling laws, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. બધા બેન્ચમાર્ક આંકડા તેમના લેખકો દ્વારા જણાવ્યા પ્રમાણે છે. Shannon AI, Shannon Lab LLC, ન્યૂ મેક્સિકો, USA નું પ્રોડક્ટ છે.