8-बिट फ़िडेलिटी पर अनसेंसर्ड MiMo API

ज़्यादातर कैटलॉग आपको पैरामीटर संख्या बेचते हैं। खरीदारी के लिए वह ग़लत नंबर है, क्योंकि हर बड़ा ओपन-वेट्स मॉडल जिसे आप सचमुच वहन कर सकते हैं, कहीं न कहीं समाने के लिए कंप्रेस किया गया है। ईमानदार सवाल यह नहीं है कि "निचोड़े जाने से पहले यह कितना बड़ा था?" बल्कि यह है कि "इसमें से अब भी कितना बचा है?" यह लेख उसी सवाल के बारे में है, और हमारी लाइनअप के उस मॉडल के बारे में जहाँ जवाब है लगभग सब कुछ।

01अनसेंसर्ड MiMo API असल में आपको क्या देता है

अनसेंसर्ड MiMo API एक मॉडल आईडी है, MiMo-V2.5-Pro-W8A16, जो तीन डायलेक्ट के ज़रिए पहुँच में है और वे तीनों हमारे अपने GPU क्लस्टर पर एक ही वेट्स को संबोधित करते हैं: /v1/chat/completions, /v1/messages और /v1/responses। तीनों स्ट्रीम करते हैं और टूल कॉलिंग तथा रीज़निंग सपोर्ट करते हैं।

अनसेंसर्ड का यहाँ एक संकरा मतलब है: मॉडल के आगे कोई रिफ्यूज़ल लेयर नहीं, उसके आउटपुट पर कोई फ़िल्टर नहीं। हम न रोकते हैं, न वर्गीकृत करते हैं, न दोबारा लिखते हैं। आपको फ़ाउंडेशन का अपना व्यवहार मिलता है — जिसका शोध-स्तर के ओपन-वेट्स मॉडल के लिए मतलब है कि वह सुरक्षा शोध, वयस्क या हिंसक कथा-साहित्य, चिकित्सकीय और क़ानूनी तर्क, तथा उन अनुरोधों से जुड़ता है जिन्हें होस्टेड कमर्शियल एंडपॉइंट आदतन ठुकरा देते हैं। यह हमारी ज़िम्मेदार उपयोग नीति के तहत एक पेशेवर औज़ार है, नियमों की अनुपस्थिति नहीं।

02MiMo वंश: रीज़निंग-प्रथम प्रीट्रेनिंग पर Xiaomi का दाँव

MiMo नए नाम वाला कोई Llama व्युत्पन्न नहीं है; यह Xiaomi की MiMo टीम का एक अलग वंश है, और मॉडल का मूल्यांकन करने से पहले इसका संस्थापक विचार मायने रखता है। इसकी शुरुआत MiMo-7B (30 अप्रैल 2025, MIT लाइसेंस) से होती है, जिसकी तकनीकी रिपोर्ट तर्क देती है कि ज़्यादातर लैब रीज़निंग को पोस्ट-ट्रेनिंग की समस्या मानते हैं जिसे RL से बाद में जोड़ दिया जाए, और यह उल्टा तरीका है। Xiaomi ने इसके बजाय प्रीट्रेनिंग को ही उसके इर्द-गिर्द पुनर्गठित किया: 25 ट्रिलियन टोकन पर तीन-चरणीय मिश्रण, जिसमें दूसरा चरण करीब 70% गणित और कोड चलाता है, तीसरा चरण सिंथेटिक रीज़निंग ट्रेस जोड़ते हुए कॉन्टेक्स्ट 8K से 32K तक बढ़ाता है — साथ में एक Multi-Token Prediction उद्देश्य, जो स्पेकुलेटिव-डिकोडिंग हेड का भी काम करता है।

नतीजा एक 7B बेस मॉडल था जो कहीं बड़े मॉडल जैसा बर्ताव करता था। MiMo-7B-Base ने AIME 2024 पर 32.9 स्कोर किया, जहाँ Qwen2.5-7B ने 10.1, Gemma-2-9B ने 0.0 और Llama-3.1-8B ने 0.3 पाया। फिर पोस्ट-ट्रेनिंग ने 1,30,000 सत्यापन-योग्य गणित और कोड समस्याओं पर RL चलाया, एक टेस्ट-कठिनाई-चालित कोड रिवॉर्ड के साथ, जिससे वह विरल-रिवॉर्ड जाल टल गया जो कोड RL को अस्थिर करता है। नतीजा o1-mini से आगे निकला:

AIME 2025, MiMo तकनीकी रिपोर्ट (arXiv:2505.07608) से Xiaomi द्वारा रिपोर्ट किए आँकड़े। MiMo-7B-RL ने MATH-500 पर 95.8 और LiveCodeBench v5 पर 57.8 भी रिपोर्ट किया।

परिवार भटका नहीं, चौड़ा हुआ: MiMo-VL-7B (जून 2025) ने उसी बैकबोन पर Qwen2.5-ViT एनकोडर लगाया, और दिसंबर 2025 में MiMo-Audio-7B तथा पहली MoE प्रविष्टि MiMo-V2-Flash (309B कुल / 15B सक्रिय, 27T टोकन, FP8 मिक्स्ड प्रिसीज़न) आए। MiMo-V2-Pro मार्च 2026 में आया, करीब 1T / 42B सक्रिय पर 1M कॉन्टेक्स्ट के साथ, OpenRouter पर हफ़्तों "Hunter Alpha" के नाम से रहने के बाद। MiMo-V2.5 और MiMo-V2.5-Pro 22 अप्रैल 2026 को साथ आए, दोनों MIT के तहत।

03MiMo-V2.5-Pro के भीतर: फ़ाउंडेशन दिखता कैसा है

Xiaomi के प्रकाशित मॉडल कार्ड के अनुसार, MiMo-V2.5-Pro एक स्पार्स Mixture-of-Experts मॉडल है जिसमें 70 लेयर में कुल 1.02 ट्रिलियन पैरामीटर और प्रति टोकन 42 अरब सक्रिय हैं — एक डेंस, 69 MoE — और 384 राउटेड एक्सपर्ट, प्रति टोकन 8। हिडन साइज़ 6144 है, MoE इंटरमीडिएट साइज़ संकरा 2048।

दो चुनाव तय करते हैं कि इस्तेमाल में यह कैसा लगता है। अटेंशन स्टैक हाइब्रिड है: 10 फ़ुल-अटेंशन लेयर और 128 की विंडो वाली 60 स्लाइडिंग-विंडो लेयर, साथ में एक सीखने योग्य अटेंशन-सिंक बायस। Xiaomi बताता है कि इससे KV-कैश स्टोरेज पूरी तरह ग्लोबल अटेंशन के मुक़ाबले करीब 7x घट जाता है, और लंबे कॉन्टेक्स्ट की गुणवत्ता बनी रहती है — यही फ़र्क़ है नाममात्र की लंबी विंडो और उस विंडो में जिसे भरना आप वहन कर सकते हैं। इसमें तीन Multi-Token Prediction लेयर भी आती हैं, जो डिकोडर को एक स्पेकुलेटिव हेड देती हैं।

ट्रेनिंग 27 ट्रिलियन टोकन पर, मूल 32K सीक्वेंस लंबाई पर, FP8 (E4M3) मिक्स्ड प्रिसीज़न में हुई, फिर सुपरवाइज़्ड फ़ाइन-ट्यूनिंग, बड़े पैमाने की एजेंटिक RL और मल्टी-टीचर ऑन-पॉलिसी डिस्टिलेशन। उस FP8 वाली बात को याद रखिए; इस फ़ाउंडेशन को 8 बिट पर परोसने का सबसे मज़बूत अकेला तर्क वही है।

Xiaomi मॉडल को SWE-bench Pro पर 57.2%, टूल इस्तेमाल के लिए τ3-Bench पर 72.9 और Humanity's Last Exam पर 48.0% बताता है — बिना कंप्रेस किए मॉडल पर विक्रेता के अपने आँकड़े, और उन्हें वैसा ही उद्धृत किया गया है।

हम 262,144-टोकन विंडो परोसते हैं, फ़ाउंडेशन की पूरी 1M नहीं — एक ऐसा कॉन्टेक्स्ट जिसकी गति की गारंटी हम दे सकें, न कि कोई सुर्खियों वाला नंबर जो लोड में बिगड़ जाए।

04W8A16 का सटीक मतलब क्या है

इस कैटलॉग का हर मॉडल एक क्वांटाइज़ेशन सफ़िक्स ढोता है जो किसी मार्केटिंग टियर के बजाय एक असल, मापने योग्य रूपांतरण बताता है। हमारे हैं 3BIT-REAP, W4A16-AUTOROUND-REAP और W8A16। MiMo-V2.5-Pro तीसरा है।

यह संकेतन दो हिस्सों में बँटता है। W8 वेट प्रिसीज़न है: हर पैरामीटर 16-बिट फ़्लोट के बजाय 8-बिट इंटीजर के रूप में संग्रहीत होता है, हर छोटे समूह के लिए एक साझा स्केलिंग फ़ैक्टर के साथ, ताकि उस समूह का स्थानीय डायनैमिक रेंज बचा रहे। A16 एक्टिवेशन प्रिसीज़न है: इनफ़रेंस के समय लेयरों के बीच बहने वाले मान 16 बिट पर ही रहते हैं। वेट्स कंप्रेस होते हैं; गणित नहीं।

वह दूसरा आधा चुपचाप एक ज़रूरी काम करता है। एक्टिवेशन को क्वांटाइज़ करना वेट्स के मुक़ाबले कहीं मुश्किल है: उनमें अत्यधिक आउटलायर चैनल होते हैं — कुछ ही आयाम जिनके परिमाण बाकी सबको बौना कर देते हैं और जो मॉडल के व्यवहार का असमान रूप से बड़ा हिस्सा ढोते हैं। उन्हें कम प्रिसीज़न पर धकेलिए तो आप ठीक वही संकेत काट देते हैं जिसकी ज़रूरत थी। वेट-ओनली स्कीम एक्टिवेशन पाथ को छुए बिना इस समस्या से बच निकलती हैं, यही वजह है कि गंभीर क्वांटाइज़ेशन काम उन्हीं पर आ ठहरा है।

तो व्यावहारिक सवाल सिमटकर एक रह जाता है: एक वेट कितने कम बिट झेल सकता है?

05W8A16 बनाम W4A16 बनाम 3-बिट: नुकसान असल में कहाँ जाता है

इस पर सबसे बड़ा प्रकाशित अध्ययन Neural Magic और Red Hat का "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization है — 8B, 70B और 405B पर Llama-3.1 परिवार में 5,00,000 से ज़्यादा मूल्यांकन। उनका मुख्य नतीजा, उन्हीं के आँकड़ों में:

फ़ॉर्मैट	क्या कंप्रेस होता है	BF16 के मुक़ाबले रिपोर्ट की गई रिकवरी
W8A8-FP (8-बिट)	वेट्स + एक्टिवेशन, फ़्लोट	~99.75% औसत — "मूलतः बिना नुकसान"
W8A8-INT (8-बिट)	वेट्स + एक्टिवेशन, इंटीजर	8B/70B पर 99–100%; 405B पर 98.2–99.3%
W4A16-INT (4-बिट)	सिर्फ़ वेट्स	98–99.4% (8B); 98.6–99.8% (70B)

Llama-3.1 मॉडलों पर Neural Magic / Red Hat (arXiv:2411.02355) द्वारा रिपोर्ट किए आँकड़े — यह सौदे का आकार बताते हैं, इस मॉडल का स्कोर नहीं।

ईमानदारी से पढ़ें तो यह इसकी परवाह करने के ख़िलाफ़ तर्क लगता है: 4-बिट 98–99% वापस ले आता है, तो ध्यान क्यों दें? क्योंकि ये अकादमिक बहुविकल्पीय बेंचमार्क हैं, जो क्वांटाइज़ेशन की क्षति पकड़ने के लिए उपलब्ध सबसे ख़राब औज़ारों में से हैं। बेंचमार्क सवाल का एक सही जवाब होता है जो एक-दो टोकन में मिल जाता है, और क्वांटाइज़ेशन त्रुटि हर लॉजिट पर छोटा, मोटे तौर पर शून्य-माध्य वाला शोर है; चौड़े अंतर वाले छोटे सवाल पर वह शोर सोख लिया जाता है।

अब किसी तकनीकी दस्तावेज़ के 4,000 टोकन लिखिए, 40,000-टोकन लंबी कहानी में एक ही स्वर बनाए रखिए, या ऐसा JSON निकालिए जो पहली बार में वैलिड हो। वही शोर क्रम में हज़ारों बार सैंपल होता है, और हर सैंपल अगले को शर्तबद्ध करता है। विफलता का तरीका ग़लत जवाब नहीं है — वह है बहाव: पहले टर्न से निर्देश पर ढीली होती पकड़, एक पात्र जो टोकन 3,000 के आसपास अपने जैसा सुनाई देना बंद कर देता है, एक बंद होने वाला ब्रेस जो कभी आता ही नहीं।

बिट असल में कहाँ जाते हैं

क्वांटाइज़ेशन त्रुटि मॉडल की क्षमताओं में एक-सी नहीं फैलती; वह टेल में केंद्रित हो जाती है। ज़्यादा द्रव्यमान वाले व्यवहार — व्याकरणिक अंग्रेज़ी, किसी Python फ़ंक्शन का आकार, दुनिया के बारे में सबसे ऊपर के हज़ार तथ्य — कई वेट्स में अतिरेक के साथ एनकोड होते हैं और लगभग कुछ भी झेल जाते हैं। वेट वितरण के बारीकी से ट्यून किए, छोटे परिमाण वाले कोने दुर्लभ चीज़ें रखते हैं: किसी अस्पष्ट API का सटीक हस्ताक्षर, किसी ख़ास लेखक की लय, दो पड़ोसी CVE के बीच का फ़र्क़। ये वही मान हैं जिन्हें एक मोटा ग्रिड एक-दूसरे में राउंड कर देता है।

4 बिट से 3 बिट का कदम वह जगह है जहाँ यह कर नहीं, खाई बन जाती है। Dettmers और Zettlemoyer के k-बिट इनफ़रेंस स्केलिंग नियमों ने पाया कि 4-बिट वह बिंदु है जो मॉडल मेमोरी के प्रति बिट ज़ीरो-शॉट सटीकता अधिकतम करता है, और उससे नीचे ह्रास हावी हो जाता है। चार बिट प्रति समूह 16 स्तर देते हैं; तीन बिट 8। आप पहले से ही मोटे ग्रिड का रिज़ॉल्यूशन आधा कर रहे हैं, और प्रति वेट राउंड-ऑफ़ त्रुटि करीब दोगुनी हो जाती है।

वह गणित जो फ़ैसला करता है

करने लायक तुलना गणितीय है, कोई बेंचमार्क नहीं। कंप्रेशन के बाद जो बचता है वह लगभग पैरामीटर × प्रति पैरामीटर बिट है — यानी वेट फ़ाइल का सूचना-वाहक आयतन। प्रति पैरामीटर समान गुणवत्ता वाले दो काल्पनिक फ़ाउंडेशन लीजिए:

• फ़ाउंडेशन A: 3 बिट पर 400B पैरामीटर → करीब 150 GB बचा हुआ वेट।
• फ़ाउंडेशन B: 8 बिट पर 160B पैरामीटर → करीब 160 GB बचा हुआ वेट।

कच्ची पैरामीटर संख्या के हिसाब से A ढाई गुना जीतता है — वही नंबर जिससे मॉडल कार्ड शुरू होता है। बची हुई सूचना के हिसाब से दोनों बराबर हैं, और B के पास इसके अलावा एक संरचनात्मक बढ़त भी है: उसके वेट्स इतने बारीक ग्रिड पर बैठे हैं कि उसका टेल व्यवहार सलामत है, जबकि A का टेल क्वांटाइज़ होकर मुख्य द्रव्यमान में मिल गया है। A ज़्यादा चीज़ें जानता है; B जो जानता है उसे ज़्यादा तीखेपन से जानता है। लंबे जनरेशन, सटीक फ़ॉर्मैटिंग, शैली-नियंत्रण और लंबे कॉन्टेक्स्ट के निष्ठापूर्वक पालन के लिए B लीजिए।

यह उदाहरण भर का गणित है, बेंचमार्क नहीं: यह दिखाता है कि "बड़ा फ़ाउंडेशन" और "बेहतर परोसा गया मॉडल" अलग-अलग दावे हैं।

0627 ट्रिलियन ट्रेनिंग टोकन आक्रामक क्वांटाइज़ेशन को और बुरा क्यों बनाते हैं

एक दूसरा, कम सहज नतीजा सीधे इस फ़ाउंडेशन पर लागू होता है। Kumar और साथियों का ICLR 2025 पेपर Scaling Laws for Precision पाता है कि मॉडल जितने ज़्यादा डेटा पर प्रशिक्षित हुआ हो, पोस्ट-ट्रेनिंग क्वांटाइज़ेशन उसे उतना ही ज़्यादा नुकसान पहुँचाता है। कम प्रिसीज़न मॉडल की प्रभावी पैरामीटर संख्या घटा देती है, और यह ह्रास सोखे गए प्रीट्रेनिंग डेटा के साथ बढ़ता है — इतना कि अगर आप आक्रामक क्वांटाइज़ेशन का इरादा रखते हैं तो अतिरिक्त प्रीट्रेनिंग डेटा शुद्ध रूप से नुकसानदेह हो सकता है, क्योंकि आप वही बारीक संरचना बिछा रहे हैं जिसे ग्रिड मिटा देगा।

5T टोकन पर प्रशिक्षित मॉडल की वेट संरचना मोटी और अतिरेकपूर्ण होती है, और उसमें गुंजाइश बची रहती है। 27T टोकन पर प्रशिक्षित मॉडल — MiMo-V2.5-Pro का बजट — ने वह अतिरिक्त डेटा ज़्यादा सटीक वेट मानों में महीन भेद लिखने में खर्च किया, और यही वह चीज़ है जिसे 3-बिट ग्रिड दर्शा ही नहीं सकता।

फिर खंड 03 वाला FP8 तथ्य है, इस लेख का सबसे साफ़ तर्क। MiMo-V2.5-Pro को FP8 मिक्स्ड प्रिसीज़न में प्रीट्रेन किया गया था। इसके वेट्स शुरू से ही करीब आठ बिट प्रिसीज़न पर काम करते एक ऑप्टिमाइज़र ने गढ़े। इसलिए इसे 8-बिट वेट्स पर परोसना किसी 16-बिट मॉडल पर बाद में थोपा गया लॉसी उपाय नहीं है — यह वेट्स को करीब-करीब उसी संख्यात्मक क्षेत्र में लौटाना है जिसमें वे सीखे गए थे। आठवें बिट से नीचे खोने लायक बारीक संरचना बहुत कम है। तीन बिट तक धकेले गए उन्हीं वेट्स के बारे में यह नहीं कहा जा सकता।

07REAP: एक्सपर्ट प्रूनिंग राउंडिंग से अलग किस्म का नुकसान क्यों है

तीन में से दो टियर REAP सफ़िक्स ढोते हैं — क्वांटाइज़ेशन से श्रेणीगत रूप से अलग एक क्रिया। REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) स्पार्स MoE मॉडलों के लिए एक-शॉट कंप्रेशन है: यह हर एक्सपर्ट को राउटर की गेट वैल्यू और एक्सपर्ट के एक्टिवेशन नॉर्म से स्कोर करता है, फिर सबसे कम स्कोर वालों को मिटा देता है। Cerebras बताता है कि 50% एक्सपर्ट प्रून करने पर भी कोड जनरेशन और टूल कॉलिंग पर नतीजे लगभग बिना नुकसान के रहते हैं।

हम REAP उसी वजह से इस्तेमाल करते हैं जिसके लिए वह बना है: सबसे बड़े फ़ाउंडेशनों पर वही उन्हें परोसने लायक बनाता है। पर क़िस्म का फ़र्क़ ध्यान में रखिए। क्वांटाइज़ेशन हर वेट को थोड़ा-थोड़ा धुँधला करती है; प्रूनिंग एक्सपर्ट को पूरी तरह हटा देती है। अगर आपका वर्कलोड ऐसी क्षमता की ओर भारी राउटिंग करता है जो किसी कम चुने जाने वाले एक्सपर्ट में बसी थी — कोई छोटी प्रोग्रामिंग भाषा, कोई विशेष शब्दावली — तो वह घटी नहीं है। वह गई है, और कोई प्रॉम्प्टिंग उसे वापस नहीं ला सकती। औसत शानदार बने रहते हैं; आपका टेल मामला शायद नहीं।

MiMo-V2.5-Pro · W8A16 पर कोई REAP सफ़िक्स नहीं है। सभी 384 एक्सपर्ट मौजूद हैं, और राउटर उसी पूरे समुच्चय में से चुनता है जिसके साथ फ़ाउंडेशन प्रशिक्षित हुआ था।

टियर	वेट बिट	एक्सपर्ट	आप क्या सौदा करते हैं
W8A16	8	सभी मौजूद	संरचनात्मक रूप से कुछ नहीं। यही फ़िडेलिटी टियर है।
W4A16-AUTOROUND-REAP	4	प्रून किए गए	बारीक वेट विवरण और कम-ट्रैफ़िक एक्सपर्ट, बदले में उसी कीमत बैंड में कहीं बड़ा फ़ाउंडेशन।
3BIT-REAP	3	प्रून किए गए	काफ़ी वेट रिज़ॉल्यूशन और कम-ट्रैफ़िक एक्सपर्ट — सबसे बड़े फ़ाउंडेशनों को तेज़ी से चलाने की यही कीमत है।

बीच वाले टियर को निष्पक्ष सुनवाई मिलनी चाहिए। AutoRound कोई सीधी-सादी राउंडिंग नहीं है: Intel की यह विधि (arXiv:2309.05516) करीब 200 स्टेप में साइन्ड ग्रेडिएंट डिसेंट से हर वेट समूह के लिए राउंडिंग के फ़ैसले और क्लिपिंग रेंज ट्यून करती है, और ज़्यादातर सेटिंग्स में 4 बिट पर लगभग बिना नुकसान के बताई जाती है, परखे गए ज़्यादातर कॉन्फ़िगरेशन में GPTQ, AWQ, HQQ और OmniQuant को मात देते हुए। W4A16-AUTOROUND मॉडल सचमुच एक अच्छा 4-बिट मॉडल है। फिर भी वह 4-बिट मॉडल ही है।

088-बिट टियर किसे चुनना चाहिए — और किसे नहीं

MiMo-V2.5-Pro · W8A16 पूरे कैटलॉग की न्यूनतम कीमत पर बैठता है — $0.50 इन / $2.00 आउट प्रति दस लाख टोकन, वही बैंड जो एंट्री-टियर 4-बिट मॉडलों का है और हमारे सबसे महँगे मॉडल की इनपुट कीमत का करीब एक-चौथाई। आप फ़िडेलिटी के लिए प्रीमियम नहीं चुका रहे; आप उसी बजट का एक अलग अक्ष चुन रहे हैं।

इसे तब चुनिए जब

• काम ही आउटपुट की लंबाई हो। लंबी तकनीकी लेखनी, अध्याय-लंबाई का कथा-साहित्य, पूरे दस्तावेज़ीकरण के दौर — हर जनरेट किया टोकन वह जगह है जहाँ कंप्रेशन का शोर जुड़ता जाता है।
• स्वर और संगति मायने रखते हों। पात्र-लेखन, ब्रांड टोन, लंबे सेशन में बना रहने वाला रजिस्टर। शैली टेल में बसती है, और मोटी क्वांटाइज़ेशन सबसे पहले टेल को ही खाती है।
• स्ट्रक्चर्ड आउटपुट पहली ही बार वैलिड होना चाहिए। मॉडल json_schema और response_format सपोर्ट करता है; स्कीमा का पालन एक प्रिसीज़न गुण है, और हर टली हुई रिट्राई पैसे और लेटेंसी दोनों की बचत है।
• आप कॉन्टेक्स्ट भर रहे हों। टोकन 2,00,000 पर निर्देश का पालन टोकन 2,000 के मुक़ाबले कठिन है, और वह वेट प्रिसीज़न के साथ बिगड़ता है — जैसे लंबा रीज़निंग ट्रेस भी, जहाँ त्रुटियाँ उसी तरह जुड़ती जाती हैं।
• काम स्वभाव से ही अनसेंसर्ड हो। सुरक्षा शोध, रेड-टीमिंग, बिना फ़िल्टर वाला कथा-साहित्य, संवेदनशील चिकित्सकीय या क़ानूनी विश्लेषण — जहाँ लीपापोती वाला जवाब कोई जवाब न होने से भी बुरा है।

कुछ और तब चुनिए जब

• आपको विज़न चाहिए। यह मॉडल सिर्फ़ टेक्स्ट वाला है; इसका सहोदर MiMo-V2.5 · W8A16 उसी कीमत और उसी टियर पर विज़न-सक्षम है।
• आपको छोटे प्रश्नों पर सबसे व्यापक विश्व-ज्ञान चाहिए। यही वह क्षेत्र है जहाँ कहीं बड़े 3-बिट फ़ाउंडेशन के अतिरिक्त पैरामीटर जीतते हैं और उसकी क्वांटाइज़ेशन क्षति मुश्किल से दिखती है।
• आपका वर्कलोड बड़ी मात्रा में छोटा वर्गीकरण है। वहाँ क्वांटाइज़ेशन की क्षति लगभग अदृश्य है — जो सबसे तेज़ हो वही खरीदिए।

09अनसेंसर्ड MiMo API को कॉल करना

अगर आपका कोड OpenAI SDK को लक्ष्य करता है, तो बेस URL और मॉडल आईडी बदलना ही पूरा माइग्रेशन है:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages और /v1/responses वही आईडी और वही क्षमताएँ स्वीकार करते हैं। पैरामीटर संदर्भ, टूल-कॉलिंग स्कीमा, स्ट्रक्चर्ड-आउटपुट उदाहरण और एक लाइव प्लेग्राउंड Shannon AI API दस्तावेज़ीकरण में हैं।

क्षमता	MiMo-V2.5-Pro · W8A16
कॉन्टेक्स्ट विंडो	262,144 टोकन
प्रति रिक्वेस्ट अधिकतम आउटपुट	16,384 टोकन
स्ट्रीमिंग	हाँ — तीनों डायलेक्ट
टूल कॉलिंग	हाँ
रीज़निंग / reasoning_effort	हाँ
json_schema स्ट्रक्चर्ड आउटपुट	हाँ
response_format	हाँ
विज़न / इमेज इनपुट	नहीं — MiMo-V2.5 इस्तेमाल कीजिए
रिफ्यूज़ल लेयर / आउटपुट फ़िल्टर	कोई नहीं
प्रति 1M टोकन कीमत	$0.50 इन / $2.00 आउट

10अक्सर पूछे जाने वाले सवाल

---

स्रोत: MiMo तकनीकी रिपोर्ट, arXiv:2505.07608 · MiMo-V2.5-Pro मॉडल कार्ड (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-बिट इनफ़रेंस स्केलिंग नियम, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025। सभी बेंचमार्क आँकड़े उनके लेखकों द्वारा रिपोर्ट किए गए हैं। Shannon AI, Shannon Lab LLC, न्यू मेक्सिको, USA का उत्पाद है।