8-बिट विश्वासार्हतेवर असेन्सॉर्ड MiMo API

बहुतेक कॅटलॉग तुम्हाला पॅरामीटर संख्या विकतात. खरेदी करताना पाहायचा तो आकडा नाही, कारण तुम्हाला प्रत्यक्षात परवडणारे प्रत्येक मोठे ओपन-वेट्स मॉडेल कुठेतरी बसवण्यासाठी संकुचित केलेले असते. प्रामाणिक प्रश्न “पिळण्याआधी हे किती मोठे होते?” असा नसून “त्यातले किती अजूनही शिल्लक आहे?” असा आहे. हा लेख त्या प्रश्नाबद्दल आहे, आणि आमच्या यादीतल्या ज्या मॉडेलसाठी उत्तर जवळजवळ सगळेच आहे त्याच्याबद्दल आहे.

01असेन्सॉर्ड MiMo API तुम्हाला प्रत्यक्षात काय देते

असेन्सॉर्ड MiMo API म्हणजे एकच मॉडेल आयडी, MiMo-V2.5-Pro-W8A16, जो आमच्या स्वतःच्या GPU क्लस्टरवरच्या त्याच वेट्सला संबोधणाऱ्या तीन बोलींमधून उपलब्ध आहे: /v1/chat/completions, /v1/messages आणि /v1/responses. तिन्ही स्ट्रीम करतात आणि टूल कॉलिंग व रिझनिंगला पाठिंबा देतात.

असेन्सॉर्ड चा इथे अरुंद अर्थ आहे: मॉडेलसमोर नकार स्तर नाही, त्याच्या आउटपुटवर फिल्टर नाही. आम्ही मध्ये अडवत नाही, वर्गीकरण करत नाही, पुनर्लेखन करत नाही. तुम्हाला आधाराचे स्वतःचे वर्तन मिळते — आणि संशोधन-दर्जाच्या ओपन-वेट्स मॉडेलसाठी याचा अर्थ ते सुरक्षा संशोधन, प्रौढ किंवा हिंसक कथासाहित्य, वैद्यकीय व कायदेशीर तर्क, आणि होस्टेड व्यावसायिक एंडपॉइंट प्रतिक्षिप्तपणे नाकारतात त्या विनंत्या हाताळते. हे आमच्या जबाबदार वापर धोरणाखालचे व्यावसायिक साधन आहे, नियमांचा अभाव नव्हे.

02MiMo ची वंशावळ: रिझनिंग-प्रथम पूर्व-प्रशिक्षणावरचा Xiaomi चा डाव

MiMo हे नवे नाव लावलेले Llama व्युत्पन्न नाही; ती Xiaomi च्या MiMo संघाकडून आलेली स्वतंत्र वंशावळ आहे, आणि मॉडेलचे मूल्यमापन करण्याआधी तिची पायाभूत कल्पना महत्त्वाची आहे. तिची सुरुवात MiMo-7B ने होते (30 एप्रिल 2025, MIT परवाना), आणि त्याचा तांत्रिक अहवाल असा युक्तिवाद करतो की बहुतेक प्रयोगशाळा रिझनिंगला पोस्ट-ट्रेनिंगमध्ये RL ने वरून ठोकायची समस्या मानतात, आणि हे उलटे आहे. Xiaomi ने त्याऐवजी पूर्व-प्रशिक्षणच त्याभोवती नव्याने रचले: 25 ट्रिलियन टोकनवर तीन टप्प्यांचे मिश्रण, ज्यात दुसऱ्या टप्प्यात साधारण 70% गणित व कोड चालले आणि तिसऱ्या टप्प्यात संदर्भ 8K वरून 32K पर्यंत वाढवत सिंथेटिक रिझनिंग ट्रेस मिसळले गेले — अधिक Multi-Token Prediction उद्दिष्ट, जे सट्टेबाज-डिकोडिंग हेड म्हणूनही काम करते.

परिणाम असा 7B आधार मॉडेल झाला जे कितीतरी मोठ्या मॉडेलसारखे वागत होते. MiMo-7B-Base ने AIME 2024 वर 32.9 गुण मिळवले, तिथे Qwen2.5-7B ला 10.1, Gemma-2-9B ला 0.0 आणि Llama-3.1-8B ला 0.3 मिळाले. मग पोस्ट-ट्रेनिंगमध्ये 1,30,000 पडताळण्याजोग्या गणित व कोड प्रश्नांवर, चाचणी-अवघडपणावर आधारित कोड बक्षिसासह RL चालले, आणि कोड RL अस्थिर करणाऱ्या विरळ-बक्षिसाच्या सापळ्यातून सुटका झाली. निकाल o1-mini च्या पुढे गेला:

AIME 2025, MiMo तांत्रिक अहवालातले (arXiv:2505.07608) Xiaomi-नोंदित आकडे. MiMo-7B-RL ने MATH-500 वर 95.8 आणि LiveCodeBench v5 वर 57.8 सुद्धा नोंदवले.

हे कुटुंब भरकटले नाही, तर रुंदावले: MiMo-VL-7B (जून 2025) ने त्याच खोडावर Qwen2.5-ViT एन्कोडर बसवला, आणि डिसेंबर 2025 मध्ये MiMo-Audio-7B अधिक पहिली MoE नोंद, MiMo-V2-Flash (एकूण 309B / 15B सक्रिय, 27T टोकन, FP8 मिश्र अचूकता) आली. MiMo-V2-Pro मार्च 2026 मध्ये आले, साधारण 1T / 42B सक्रिय आणि 1M संदर्भासह, आणि त्याआधी काही आठवडे ते OpenRouter वर “Hunter Alpha” म्हणून होते. MiMo-V2.5 आणि MiMo-V2.5-Pro 22 एप्रिल 2026 रोजी एकत्र आली, दोन्ही MIT परवान्याखाली.

03MiMo-V2.5-Pro च्या आत: आधार कसा दिसतो

Xiaomi च्या प्रकाशित मॉडेल कार्डनुसार, MiMo-V2.5-Pro हे विरळ Mixture-of-Experts मॉडेल असून त्यात 70 स्तरांवर — एक घन, 69 MoE — एकूण 1.02 ट्रिलियन पॅरामीटर आणि प्रति टोकन 42 अब्ज सक्रिय आहेत, आणि 384 राउटेड एक्सपर्ट, प्रति टोकन 8 आहेत. छुपा आकार 6144 आहे, आणि MoE चा अरुंद मध्यवर्ती आकार 2048.

वापरात ते कसे वाटते हे दोन निर्णय ठरवतात. अटेन्शनचा रचनाक्रम हायब्रिड आहे: 10 पूर्ण-अटेन्शन स्तर आणि 128 च्या विंडोसह 60 सरकत्या-खिडकीचे स्तर, अधिक शिकण्याजोगा अटेन्शन-सिंक पूर्वग्रह. यामुळे संपूर्ण-सार्वत्रिक अटेन्शनच्या तुलनेत KV-कॅशे साठवण जवळजवळ 7x घटते आणि दीर्घ-संदर्भाची गुणवत्ता टिकते असे Xiaomi नोंदवते — नावापुरती लांब विंडो आणि तुम्हाला भरणे परवडणारी विंडो यातला हाच फरक. सोबत तीन Multi-Token Prediction स्तर ही येतात, जे डिकोडरला सट्टेबाज हेड देतात.

प्रशिक्षण मूळच्या 32K क्रम-लांबीवर 27 ट्रिलियन टोकनवर FP8 (E4M3) मिश्र अचूकतेत झाले, त्यानंतर सुपरवाइज्ड फाइन-ट्यूनिंग, मोठ्या प्रमाणावरचे एजंटिक RL आणि बहु-शिक्षक ऑन-पॉलिसी डिस्टिलेशन. तो FP8 तपशील लक्षात ठेवा; हा आधार 8 बिटवर सर्व्ह करण्यासाठीचा तोच सर्वात बळकट एकमेव युक्तिवाद आहे.

Xiaomi हे मॉडेल SWE-bench Pro वर 57.2%, टूल वापरासाठी τ3-Bench वर 72.9 आणि Humanity's Last Exam वर 48.0% नोंदवते — अनकॉम्प्रेस्ड मॉडेलवरचे विक्रेत्याचे स्वतःचे आकडे, तसेच उद्धृत केलेले.

आम्ही आधाराची पूर्ण 1M नव्हे तर 262,144-टोकन विंडो सर्व्ह करतो — भारावर खालावणारा मथळ्याचा आकडा नव्हे, तर वेगात हमी देता येईल असा संदर्भ.

04W8A16 म्हणजे नेमके काय

या कॅटलॉगमधले प्रत्येक मॉडेल असा क्वांटायझेशन प्रत्यय वागवते जो विपणनाचा स्तर नव्हे तर प्रत्यक्ष, मोजण्याजोग्या रूपांतराचे वर्णन करतो. आमचे प्रत्यय आहेत 3BIT-REAP, W4A16-AUTOROUND-REAP आणि W8A16. MiMo-V2.5-Pro हे तिसरे आहे.

ही संज्ञा दोन भागांत मोडते. W8 ही वेट अचूकता आहे: प्रत्येक पॅरामीटर 16-bit फ्लोटऐवजी 8-bit पूर्णांक म्हणून साठवला जातो, आणि प्रत्येक लहान गटासाठी सामायिक मापन-गुणक ठेवला जातो, जेणेकरून त्या गटाची स्थानिक गतिशील व्याप्ती टिकेल. A16 ही ॲक्टिव्हेशन अचूकता आहे: इन्फरन्सच्या वेळी स्तरांमधून वाहणारी मूल्ये 16 बिटवरच राहतात. वेट्स संकुचित होतात; गणित नाही.

तो दुसरा अर्धा भाग मुकाट पण महत्त्वाचे काम करतो. ॲक्टिव्हेशन क्वांटाइझ करणे वेट्सपेक्षा कितीतरी कठीण असते: त्यांच्यात टोकाच्या बाह्य वाहिन्या असतात — काही मोजके आयाम ज्यांची परिमाणे इतर सर्वांना खुजे करतात आणि जे मॉडेलच्या वर्तनाचा विषम मोठा वाटा वागवतात. ते कमी अचूकतेवर ढकला आणि नेमका तोच संकेत कापला जातो जो तुम्हाला हवा होता. फक्त-वेट योजना ॲक्टिव्हेशनचा मार्ग तसाच सोडून ही अडचण टाळतात, आणि म्हणूनच गंभीर क्वांटायझेशन काम त्यांच्यावर येऊन स्थिरावले आहे.

त्यामुळे व्यावहारिक प्रश्न एकाच गोष्टीवर आकुंचित होतो: वेट किती कमी बिट सहन करू शकते?

05W8A16 विरुद्ध W4A16 विरुद्ध 3-bit: तोटा प्रत्यक्षात कुठे जातो

यावरचा सर्वात मोठा प्रकाशित अभ्यास Neural Magic आणि Red Hat चा “Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization हा आहे — 8B, 70B आणि 405B वरच्या Llama-3.1 कुटुंबावरची 5,00,000 पेक्षा जास्त मूल्यमापने. त्यांचा मथळ्याचा निकाल, त्यांच्याच आकड्यांत:

स्वरूप	काय संकुचित होते	BF16 च्या तुलनेत नोंदवलेली पुनर्प्राप्ती
W8A8-FP (8-bit)	वेट्स + ॲक्टिव्हेशन, फ्लोट	सरासरी ~99.75% — “मूलतः तोट्याविना”
W8A8-INT (8-bit)	वेट्स + ॲक्टिव्हेशन, पूर्णांक	8B/70B वर 99–100%; 405B वर 98.2–99.3%
W4A16-INT (4-bit)	फक्त वेट्स	98–99.4% (8B); 98.6–99.8% (70B)

Llama-3.1 मॉडेलवर Neural Magic / Red Hat ने (arXiv:2411.02355) नोंदवलेले आकडे — या मॉडेलचे गुण नव्हे, तर अदलाबदलीचा आकार.

प्रामाणिकपणे वाचल्यास हा याची पर्वा न करण्याच्या बाजूचाच युक्तिवाद वाटतो: 4-bit 98–99% परत मिळवते, मग लक्ष का द्यायचे? कारण ती शैक्षणिक बहुपर्यायी बेंचमार्क आहेत, आणि क्वांटायझेशनची हानी शोधण्यासाठी उपलब्ध साधनांमधले जवळजवळ सर्वात वाईट. बेंचमार्क प्रश्नाला एकच बरोबर उत्तर असते आणि ते एक-दोन टोकनमध्ये गाठता येते, तर क्वांटायझेशनची चूक ही प्रत्येक लॉजिटवरची लहान, साधारण शून्य-मध्यमानाची गोंगाट असते; रुंद फरक असलेल्या लहान प्रश्नावर ती गोंगाट शोषली जाते.

आता तांत्रिक दस्तऐवजाचे 4,000 टोकन लिहा, 40,000-टोकनच्या कथेभर एक आवाज टिकवा, किंवा पहिल्याच प्रयत्नात पडताळून जाणारे JSON बाहेर टाका. तीच गोंगाट क्रमाने हजारो वेळा नमुनाबद्ध होते, आणि प्रत्येक नमुना पुढच्याला अट घालतो. इथले अपयश-रूप चुकीचे उत्तर नाही — ते भरकटणे आहे: पहिल्या फेरीपासून सूचनेवरची सैलावणारी पकड, टोकन 3,000 च्या आसपास स्वतःसारखा ऐकू न येणारा पात्र, आणि कधीच न येणारा बंद कंस.

बिट प्रत्यक्षात कुठे जातात

क्वांटायझेशनची चूक मॉडेलच्या क्षमतांवर समानपणे पसरत नाही; ती शेपटीत एकवटते. जास्त वस्तुमान असलेली वर्तने — व्याकरणशुद्ध इंग्रजी, Python फंक्शनचा आकार, जगाबद्दलची पहिली हजार तथ्ये — अनेक वेट्समध्ये पुन्हा पुन्हा एन्कोड केलेली असतात आणि जवळजवळ काहीही सहन करून टिकतात. वेट वितरणाचे नेमके जुळवलेले, लहान परिमाणाचे कोपरे दुर्मीळ गोष्टी धरून ठेवतात: एखाद्या अनवट API ची नेमकी सही, विशिष्ट लेखकाचा लय, दोन शेजारच्या CVE मधला फरक. खरखरीत जाळी नेमकी हीच मूल्ये एकमेकांत पूर्णांकित करून टाकते.

4 बिटवरून 3 वर जाणे इथेच कर उरत नाही आणि कडा बनते. Dettmers आणि Zettlemoyer यांच्या k-bit इन्फरन्स स्केलिंग नियमांना असे आढळले की मॉडेल स्मृतीच्या प्रति बिट शून्य-शॉट अचूकता 4 बिटवरच सर्वाधिक होते, आणि त्याखाली झीज वरचढ ठरते. चार बिट प्रति गट 16 पातळ्या देतात; तीन देतात 8. तुम्ही आधीच खरखरीत असलेल्या जाळीचे रिझोल्यूशन निम्मे करत आहात, आणि प्रति वेट पूर्णांकनाची चूक साधारण दुप्पट होते.

निर्णय घडवणारे गणित

करण्याजोगी तुलना बेंचमार्कची नव्हे तर गणिताची आहे. कॉम्प्रेशननंतर जे टिकते ते साधारण पॅरामीटर × प्रति पॅरामीटर बिट असते — म्हणजे वेट फाइलचे माहिती वागवणारे घनफळ. प्रति पॅरामीटर समान गुणवत्ता असलेले दोन काल्पनिक आधार घ्या:

• आधार A: 3 बिटवर 400B पॅरामीटर → साधारण 150 GB टिकलेली वेट्स.
• आधार B: 8 बिटवर 160B पॅरामीटर → साधारण 160 GB टिकलेली वेट्स.

कच्च्या पॅरामीटर संख्येनुसार A अडीच पटींनी जिंकते — आणि मॉडेल कार्ड तोच आकडा पुढे करते. टिकलेल्या माहितीनुसार ते समकक्ष आहेत, आणि वर B ला एक रचनात्मक फायदाही आहे: त्याची वेट्स इतक्या बारीक जाळीवर बसतात की त्याचे शेपटीतले वर्तन शाबूत राहते, तर A ची शेपूट मुख्य गोळ्यात क्वांटाइझ होऊन गेली आहे. A ला अधिक गोष्टी माहीत आहेत; B ला जे माहीत आहे ते अधिक धारदारपणे माहीत आहे. लांब निर्मिती, नेमके स्वरूप, शैलीवरचे नियंत्रण आणि दीर्घ संदर्भाचे इमानदार पालन यासाठी B घ्या.

हे उदाहरणादाखलचे गणित आहे, बेंचमार्क नाही: “मोठा आधार” आणि “अधिक चांगले सर्व्ह केलेले मॉडेल” हे दोन वेगळे दावे का आहेत ते ते दाखवते.

0627 ट्रिलियन प्रशिक्षण टोकनमुळे आक्रमक क्वांटायझेशन अधिक वाईट का ठरते

दुसरा, कमी सहजी सुचणारा निष्कर्ष या आधाराला थेट लागू होतो. Kumar आणि सहलेखकांचा ICLR 2025 चा शोधनिबंध Scaling Laws for Precision असे दाखवतो की मॉडेलला जितक्या अधिक डेटावर प्रशिक्षण मिळाले, तितकी पोस्ट-ट्रेनिंग क्वांटायझेशनची हानी अधिक. कमी अचूकता मॉडेलची प्रभावी पॅरामीटर संख्या घटवते, आणि शोषलेल्या पूर्व-प्रशिक्षण डेटाबरोबर ती झीज वाढते — इतकी की तुम्ही आक्रमकपणे क्वांटाइझ करणार असाल तर जास्तीचा पूर्व-प्रशिक्षण डेटा निव्वळ हानिकारकही ठरू शकतो, कारण जाळी पुसून टाकणारीच सूक्ष्म रचना तुम्ही घालत बसता.

5T टोकनवर प्रशिक्षित मॉडेलची वेट-रचना खरखरीत, पुनरावृत्तीयुक्त असते आणि तिच्यात भरपूर सैलपणा असतो. 27T टोकनवर — म्हणजे MiMo-V2.5-Pro च्या अंदाजपत्रकावर — प्रशिक्षित मॉडेलने तो जास्तीचा डेटा अधिक नेमक्या वेट-मूल्यांत सूक्ष्म भेद लिहिण्यात खर्च केला, आणि नेमके तेच 3-bit जाळी दाखवू शकत नाही.

आणि मग विभाग 03 मधले ते FP8 तथ्य आहे, या लेखातला सर्वात स्वच्छ युक्तिवाद. MiMo-V2.5-Pro चे पूर्व-प्रशिक्षण FP8 मिश्र अचूकतेत झाले. त्याची वेट्स सुरुवातीपासूनच साधारण आठ बिट अचूकतेवर काम करणाऱ्या ऑप्टिमायझरने घडवली. त्यामुळे ते 8-bit वेट्सवर सर्व्ह करणे म्हणजे 16-bit मॉडेलवर लादलेला तोट्याचा उपाय नव्हे — ती वेट्स ज्या संख्यात्मक अवस्थेत शिकली त्याच अवस्थेत परत आणण्याजवळचे ते आहे. आठव्या बिटाखाली गमावण्याजोगी सूक्ष्म रचना फारशी नाहीच. तीच वेट्स तीन बिटवर ढकलल्यास असे म्हणता येणार नाही.

07REAP: एक्सपर्ट छाटणी हा पूर्णांकनापेक्षा वेगळ्या प्रकारचा तोटा का आहे

तीनपैकी दोन स्तर REAP प्रत्यय वागवतात — आणि ती क्वांटायझेशनपेक्षा वर्गानेच वेगळी क्रिया आहे. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) ही विरळ MoE मॉडेलसाठीची एकवेळची कॉम्प्रेशन आहे: ती प्रत्येक एक्सपर्टला राउटरची गेट मूल्ये आणि एक्सपर्टचे ॲक्टिव्हेशन नॉर्म यांवरून गुण देते, आणि सर्वात कमी गुणांचे काढून टाकते. 50% एक्सपर्ट छाटूनही कोड निर्मिती व टूल कॉलिंगवर जवळजवळ तोट्याविना निकाल मिळाल्याचे Cerebras नोंदवते.

REAP ज्या कारणासाठी अस्तित्वात आहे त्याच कारणासाठी आम्ही ती वापरतो: सर्वात मोठ्या आधारांवर तीच त्यांना सर्व्ह करण्याजोगे बनवते. पण प्रकारातला फरक लक्षात घ्या. क्वांटायझेशन प्रत्येक वेट थोडे धूसर करते; छाटणी एक्सपर्ट पूर्णपणे काढून टाकते. तुमचे काम क्वचित निवडल्या जाणाऱ्या एक्सपर्टमध्ये राहणाऱ्या एखाद्या क्षमतेकडे भरपूर राउट होत असेल — एखादी दुय्यम प्रोग्रामिंग भाषा, एखादी विशेष शब्दसंपदा — तर ती खालावलेली नसते. ती नाहीशी झालेली असते, आणि कोणत्याही प्रॉम्प्टिंगने ती परत येत नाही. सरासरी उत्तम राहते; तुमचे शेपटीतले प्रकरण कदाचित नाही.

MiMo-V2.5-Pro · W8A16 कोणताही REAP प्रत्यय वागवत नाही. सर्व 384 एक्सपर्ट उपस्थित आहेत, आणि आधाराचे प्रशिक्षण ज्यांच्यासह झाले त्या संपूर्ण संचातून राउटर निवड करतो.

स्तर	वेट बिट	एक्सपर्ट	तुम्ही काय अदलाबदल करता
W8A16	8	सर्व उपस्थित	रचनात्मक काहीच नाही. हा विश्वासार्हतेचा स्तर.
W4A16-AUTOROUND-REAP	4	छाटलेले	त्याच किंमत-पट्ट्यात कितीतरी मोठा आधार मिळण्याच्या बदल्यात सूक्ष्म वेट तपशील अधिक कमी रहदारीचे एक्सपर्ट.
3BIT-REAP	3	छाटलेले	लक्षणीय वेट रिझोल्यूशन अधिक कमी रहदारीचे एक्सपर्ट — अतिशय मोठे आधार वेगात चालवण्याची किंमत.

मधल्या स्तराला न्याय द्यायला हवा. AutoRound हे भाबडे पूर्णांकन नाही: Intel ची पद्धत (arXiv:2309.05516) साधारण 200 टप्प्यांवर सचिन्ह ग्रेडियंट डिसेंट वापरून प्रति वेट-गट राउंडिंगचे निर्णय आणि क्लिपिंग मर्यादा जुळवते, आणि बहुतेक सेटिंगमध्ये 4 बिटवर जवळजवळ तोट्याविना असल्याचे नोंदवले जाते, तसेच तपासलेल्या बहुतेक मांडणींमध्ये GPTQ, AWQ, HQQ आणि OmniQuant ला हरवते. W4A16-AUTOROUND मॉडेल हे खरोखर चांगले 4-bit मॉडेल असते. तरीही ते 4-bit मॉडेलच असते.

088-बिट स्तर कुणी निवडावा — आणि कुणी नाही

MiMo-V2.5-Pro · W8A16 संपूर्ण कॅटलॉगच्या तळाच्या किमतीवर बसते — प्रति दशलक्ष टोकन $0.50 इन / $2.00 आउट, म्हणजे प्रवेश-स्तरीय 4-bit मॉडेलचाच पट्टा आणि आम्ही सर्व्ह करत असलेल्या सर्वात महाग मॉडेलच्या इनपुट किमतीच्या साधारण एक-चतुर्थांश. विश्वासार्हतेसाठी तुम्ही जास्तीचे पैसे देत नाही; तुम्ही त्याच अंदाजपत्रकाचा वेगळा अक्ष निवडत आहात.

ते तेव्हा निवडा जेव्हा

• आउटपुटची लांबीच काम आहे. लांबलचक तांत्रिक लेखन, प्रकरणाच्या लांबीचे कथासाहित्य, संपूर्ण दस्तऐवजीकरणाचे पास — निर्माण होणारा प्रत्येक टोकन म्हणजे कॉम्प्रेशनची गोंगाट चक्रवाढ होणारा एक टोकन.
• आवाज आणि सुसंगती महत्त्वाची आहे. व्यक्तिरेखा-लेखन, ब्रँडचा सूर, लांब सत्रभर टिकवलेला एक बाज. शैली शेपटीत राहते, आणि खरखरीत क्वांटायझेशन सर्वात आधी शेपूटच खाते.
• संरचित आउटपुट पहिल्याच प्रयत्नात पडताळून जायला हवे. हे मॉडेल json_schema आणि response_format ला पाठिंबा देते; स्कीमा-पालन हा अचूकतेचा गुणधर्म आहे, आणि टळलेला प्रत्येक पुनःप्रयत्न म्हणजे वाचलेला पैसा व विलंब.
• तुम्ही संदर्भ भरत आहात. टोकन 2,000 वरच्यापेक्षा टोकन 2,00,000 वर सूचनापालन अवघड असते, आणि वेट अचूकतेबरोबर ते खालावते — तसेच लांब रिझनिंग ट्रेसचेही, जिथे चुका त्याच पद्धतीने चक्रवाढ होतात.
• काम स्वभावतःच असेन्सॉर्ड आहे. सुरक्षा संशोधन, रेड-टीमिंग, फिल्टरविरहित कथासाहित्य, संवेदनशील वैद्यकीय किंवा कायदेशीर विश्लेषण — जिथे सावध शब्दांतले उत्तर उत्तर नसण्यापेक्षा वाईट ठरते.

दुसरे काहीतरी तेव्हा निवडा जेव्हा

• तुम्हाला व्हिजन हवे आहे. हे मॉडेल फक्त मजकुराचे आहे; त्याचे भावंड MiMo-V2.5 · W8A16 त्याच किमतीत आणि त्याच स्तरावर व्हिजन-सक्षम आहे.
• लहान प्रश्नांवर तुम्हाला जगाचे सर्वात व्यापक ज्ञान हवे आहे. नेमक्या त्याच परिस्थितीत कितीतरी मोठ्या 3-bit आधाराचे जास्तीचे पॅरामीटर जिंकतात आणि त्याची क्वांटायझेशन-हानी जेमतेमच दिसते.
• तुमचे काम मोठ्या प्रमाणावरचे लहान वर्गीकरण आहे. तिथे क्वांटायझेशनची हानी जवळजवळ अदृश्य असते — जे सर्वात वेगवान असेल ते घ्या.

09असेन्सॉर्ड MiMo API कॉल करणे

तुमचा कोड OpenAI SDK ला लक्ष्य करत असेल, तर बेस URL आणि मॉडेल आयडी बदलणे हेच संपूर्ण स्थलांतर आहे:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages आणि /v1/responses तोच आयडी आणि त्याच क्षमता स्वीकारतात. पॅरामीटर संदर्भ, टूल-कॉलिंग स्कीमा, संरचित-आउटपुटची उदाहरणे आणि थेट प्लेग्राउंड Shannon AI API दस्तऐवजांमध्ये आहेत.

क्षमता	MiMo-V2.5-Pro · W8A16
संदर्भ विंडो	262,144 टोकन
प्रति विनंती कमाल आउटपुट	16,384 टोकन
स्ट्रीमिंग	होय — तिन्ही बोलींवर
टूल कॉलिंग	होय
रिझनिंग / reasoning_effort	होय
json_schema संरचित आउटपुट	होय
response_format	होय
व्हिजन / इमेज इनपुट	नाही — MiMo-V2.5 वापरा
नकार स्तर / आउटपुट फिल्टर	नाही
प्रति 1M टोकन किंमत	$0.50 इन / $2.00 आउट

10वारंवार विचारले जाणारे प्रश्न

---

स्रोत: MiMo तांत्रिक अहवाल, arXiv:2505.07608 · MiMo-V2.5-Pro मॉडेल कार्ड (Xiaomi) · “Give Me BF16 or Give Me Death”?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bit इन्फरन्स स्केलिंग नियम, arXiv:2212.09720 · Scaling Laws for Precision, Kumar आदी, ICLR 2025. सर्व बेंचमार्क आकडे त्यांच्या लेखकांनी नोंदवल्याप्रमाणे आहेत. Shannon AI हे Shannon Lab LLC, न्यू मेक्सिको, अमेरिका यांचे उत्पादन आहे.