8-बिट निष्ठा मा सेन्सर नगरिएको MiMo API
Xiaomi को तर्क-प्रथम MiMo आधार, कुनै अस्वीकृति तहविना W8A16 मा सेवा दिइएको — हामीले चलाउने सर्वोच्च निष्ठाको क्वान्टाइजेसन तह — क्याटलगकै भुइँतल मूल्यमा।
संक्षेपमा
MiMo-V2.5-Pro · W8A16 भनेको Xiaomi को खुला-वेट MiMo-V2.5-Pro हो, जुन Shannon को आफ्नै GPU क्लस्टरमा 8-बिट वेट / 16-बिट एक्टिभेसन मा सेवा दिइएको छ — हाम्रो बाह्र-मोडेलको क्याटलगमा सबैभन्दा कम सङ्कुचित तह। 262,144-टोकन को सन्दर्भ, प्रति अनुरोध 16,384 आउटपुट टोकन, टुल कलिङ, तर्क, JSON-स्किमा संरचित आउटपुट, तीन API बोलीमा स्ट्रिमिङ, र कुनै अस्वीकृति तह वा आउटपुट फिल्टर छैन, प्रति दस लाख टोकन $0.50 इन / $2.00 आउट मा — क्याटलगको भुइँतल। पाठ-मात्र; तस्बिरका लागि MiMo-V2.5 · W8A16 प्रयोग गर्नुहोस्।
अधिकांश क्याटलगले तपाईंलाई प्यारामिटर सङ्ख्या बेच्छन्। किनमेल गर्न त्यो गलत सङ्ख्या हो, किनभने तपाईंले साँच्चै किन्न सक्ने हरेक ठूलो खुला-वेट मोडेल कतै अट्न सङ्कुचित गरिएको छ। इमानदार प्रश्न "खाँदिनुअघि यो कति ठूलो थियो?" होइन, "यसमध्ये अझै कति बाँकी छ?" भन्ने हो। यो लेख त्यही प्रश्नबारे हो, र हाम्रो सूचीको त्यस मोडेलबारे हो जहाँ जवाफ झन्डै सबै हो।
01सेन्सर नगरिएको MiMo API ले वास्तवमा के दिन्छ
सेन्सर नगरिएको MiMo API एउटै मोडेल id हो, MiMo-V2.5-Pro-W8A16, जुन हाम्रो आफ्नै GPU क्लस्टरमा उही वेट सम्बोधन गर्ने तीन बोलीमार्फत पुग्न सकिन्छ: /v1/chat/completions, /v1/messages र /v1/responses। तीनै स्ट्रिम हुन्छन् र टुल कलिङ तथा तर्क समर्थन गर्छन्।
सेन्सर नगरिएको को यहाँ साँघुरो अर्थ छ: मोडेलअगाडि कुनै अस्वीकृति तह छैन, त्यसको आउटपुटमा कुनै फिल्टर छैन। हामी रोक्दैनौं, वर्गीकरण गर्दैनौं, पुन:लेख्दैनौं। तपाईंले आधारकै आफ्नै व्यवहार पाउनुहुन्छ — र अनुसन्धान-स्तरको खुला-वेट मोडेलका लागि यसको अर्थ यसले सुरक्षा अनुसन्धान, वयस्क वा हिंसात्मक कथासाहित्य, चिकित्सकीय र कानुनी तर्क, तथा होस्ट गरिएका व्यावसायिक एन्डपोइन्टले स्वचालित रूपमा अस्वीकार गर्ने अनुरोधसँग जुध्छ भन्ने हो। यो हाम्रो जिम्मेवार प्रयोग नीति अन्तर्गतको पेशेवर उपकरण हो, नियमको अभाव होइन।
02MiMo को वंश: तर्क-प्रथम प्रि-ट्रेनिङमा Xiaomi को दाउ
MiMo नयाँ नाम राखिएको Llama व्युत्पन्न होइन; यो Xiaomi को MiMo टोलीबाट आएको छुट्टै वंश हो, र मोडेलको मूल्याङ्कन गर्नुअघि यसको संस्थापक विचार महत्त्वपूर्ण छ। यो MiMo-7B (अप्रिल 30, 2025, MIT लाइसेन्स) बाट सुरु हुन्छ, जसको प्राविधिक प्रतिवेदनले तर्क गर्छ कि अधिकांश प्रयोगशालाले तर्कलाई RL ले पछि जोड्ने पोस्ट-ट्रेनिङ समस्या ठान्छन्, र त्यो उल्टो हो। Xiaomi ले बरु प्रि-ट्रेनिङ लाई नै त्यसवरिपरि पुन:संरचित गर्यो: 25 ट्रिलियन टोकनभरि तीन-चरणको मिश्रण, दोस्रो चरण करिब 70% गणित र कोडमा चल्ने, तेस्रो चरणले सिंथेटिक तर्क ट्रेस मिसाउँदै सन्दर्भ 8K बाट 32K पुर्याउने — थपमा Multi-Token Prediction उद्देश्य जसले अनुमानित-डिकोडिङ हेडका रूपमा पनि काम गर्छ।
नतिजा 7B को आधार मोडेल थियो जुन धेरै ठूलोजस्तै व्यवहार गर्थ्यो। MiMo-7B-Base ले AIME 2024 मा 32.9 अङ्क पायो जहाँ Qwen2.5-7B ले 10.1, Gemma-2-9B ले 0.0 र Llama-3.1-8B ले 0.3 पाएका थिए। त्यसपछि पोस्ट-ट्रेनिङले 130,000 प्रमाणित गर्न सकिने गणित र कोड समस्यामाथि RL चलायो, परीक्षण-कठिनाइ-चालित कोड पुरस्कारसहित, र कोड RL लाई अस्थिर बनाउने विरल-पुरस्कारको पासोबाट उम्कियो। नतिजा o1-mini भन्दा अगाडि पुग्यो:
AIME 2025, MiMo प्राविधिक प्रतिवेदन (arXiv:2505.07608) बाट Xiaomi ले रिपोर्ट गरेका आँकडा। MiMo-7B-RL ले MATH-500 मा 95.8 र LiveCodeBench v5 मा 57.8 पनि रिपोर्ट गर्यो।
परिवार बरालिनुको सट्टा फराकिलो भयो: MiMo-VL-7B (जुन 2025) ले उही ब्याकबोनमा Qwen2.5-ViT एन्कोडर राख्यो, र डिसेम्बर 2025 ले MiMo-Audio-7B तथा पहिलो MoE प्रविष्टि MiMo-V2-Flash (कुल 309B / 15B सक्रिय, 27T टोकन, FP8 मिश्रित परिशुद्धता) ल्यायो। MiMo-V2-Pro मार्च 2026 मा करिब 1T / 42B सक्रिय र 1M सन्दर्भसहित आयो, OpenRouter मा "Hunter Alpha" का रूपमा केही हप्ता बिताएपछि। MiMo-V2.5 र MiMo-V2.5-Pro अप्रिल 22, 2026 मा सँगै आए, दुवै MIT।
03MiMo-V2.5-Pro भित्र: आधार कस्तो देखिन्छ
Xiaomi को प्रकाशित मोडेल कार्डअनुसार, MiMo-V2.5-Pro विरल Mixture-of-Experts मोडेल हो जसमा 70 तहभरि कुल 1.02 ट्रिलियन प्यारामिटर र प्रति टोकन 42 अर्ब सक्रिय छन् — एउटा घना, 69 MoE — र 384 राउट हुने विशेषज्ञ, प्रति टोकन 8। हिडेन साइज 6144 छ, MoE को साँघुरो मध्यवर्ती आकार 2048 सहित।
दुई छनौटले यो प्रयोगमा कस्तो लाग्छ भन्ने आकार दिन्छन्। अटेन्सन स्ट्याक हाइब्रिड छ: 10 पूर्ण-अटेन्सन तह र 128 को विन्डो भएका 60 स्लाइडिङ-विन्डो तह, थपमा सिक्न मिल्ने अटेन्सन-सिङ्क बायस। Xiaomi रिपोर्ट गर्छ कि यसले लामो-सन्दर्भको गुणस्तर कायम राख्दै सम्पूर्ण-ग्लोबल अटेन्सनको तुलनामा KV-क्यास भण्डारण करिब 7 गुणा घटाउँछ — नाममात्र लामो विन्डो र तपाईंले भर्न सक्ने विन्डोबीचको फरक यही हो। यसले तीन Multi-Token Prediction तह पनि पठाउँछ, जसले डिकोडरलाई अनुमानित हेड दिन्छ।
तालिम FP8 (E4M3) मिश्रित परिशुद्धता मा नेटिभ 32K अनुक्रम लम्बाइमा 27 ट्रिलियन टोकनमा भयो, अनि पर्यवेक्षित फाइन-ट्युनिङ, ठूलो-स्केलको एजेन्टिक RL र बहु-शिक्षक अन-पोलिसी डिस्टिलेसन। त्यो FP8 विवरण समातिराख्नुहोस्; यो आधारलाई 8 बिटमा सेवा दिनुको सबैभन्दा बलियो एकल तर्क त्यही हो।
Xiaomi ले मोडेललाई SWE-bench Pro मा 57.2%, टुल प्रयोगका लागि τ3-Bench मा 72.9 र Humanity's Last Exam मा 48.0% रिपोर्ट गर्छ — सङ्कुचित नगरिएको मोडेलमा विक्रेताकै सङ्ख्या, त्यसै रूपमा उद्धृत।
हामी आधारको पूरै 1M होइन, 262,144-टोकन को विन्डो सेवा दिन्छौं — भारमा ह्रास हुने आकर्षक सङ्ख्या होइन, गतिसहित ग्यारेन्टी गर्न सक्ने सन्दर्भ।
04W8A16 को ठ्याक्कै अर्थ
यस क्याटलगका हरेक मोडेलले मार्केटिङ तह होइन, वास्तविक र नाप्न सकिने रूपान्तरण वर्णन गर्ने क्वान्टाइजेसन प्रत्यय बोक्छन्। हाम्रा प्रत्यय 3BIT-REAP, W4A16-AUTOROUND-REAP र W8A16 हुन्। MiMo-V2.5-Pro तेस्रो हो।
सङ्केत दुई भागमा बाँडिन्छ। W8 वेट परिशुद्धता हो: हरेक प्यारामिटर 16-बिट फ्लोटको सट्टा 8-बिट पूर्णाङ्कका रूपमा भण्डारण हुन्छ, प्रति सानो समूह साझा स्केलिङ कारकसहित ताकि हरेक समूहको स्थानीय गतिशील दायरा बाँचिरहोस्। A16 एक्टिभेसन परिशुद्धता हो: इन्फरेन्सको समयमा तहबीच बग्ने मान 16 बिटमै रहन्छन्। वेट सङ्कुचित हुन्छन्; गणित हुँदैन।
त्यो दोस्रो आधाले मौन तर महत्त्वपूर्ण काम गर्छ। एक्टिभेसन वेटभन्दा क्वान्टाइज गर्न धेरै गाह्रो हुन्छन्: तिनमा चरम आउटलायर च्यानल हुन्छन् — केही आयाम जसका परिमाणले अरू सबैलाई बौना बनाइदिन्छन् र जसले मोडेलको व्यवहारको असमानुपातिक अंश बोक्छन्। तिनलाई कम परिशुद्धतामा धकेल्नुहोस् र तपाईंले ठ्याक्कै चाहिने सङ्केत नै काटिन्छ। वेट-मात्रका योजनाले एक्टिभेसन बाटो नछोएर यो समस्या पन्छाउँछन्, र त्यसैले गम्भीर क्वान्टाइजेसन काम तिनैमा केन्द्रित भएको छ।
त्यसैले व्यावहारिक प्रश्न एउटैमा साँघुरिन्छ: वेटले कति थोरै बिट सहन सक्छ?
05W8A16 विरुद्ध W4A16 विरुद्ध 3-बिट: क्षति वास्तवमा कहाँ जान्छ
यसमा सबैभन्दा ठूलो प्रकाशित अध्ययन Neural Magic र Red Hat को "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization हो — Llama-3.1 परिवारका 8B, 70B र 405B भरि 5 लाखभन्दा बढी मूल्याङ्कन। तिनका सङ्ख्यामा तिनको मुख्य नतिजा:
| ढाँचा | के सङ्कुचित हुन्छ | BF16 विरुद्ध रिपोर्ट गरिएको पुन:प्राप्ति |
|---|---|---|
| W8A8-FP (8-बिट) | वेट + एक्टिभेसन, फ्लोट | ~99.75% औसत — "मूलत: हानिरहित" |
| W8A8-INT (8-बिट) | वेट + एक्टिभेसन, पूर्णाङ्क | 8B/70B मा 99–100%; 405B मा 98.2–99.3% |
| W4A16-INT (4-बिट) | वेट मात्र | 98–99.4% (8B); 98.6–99.8% (70B) |
Llama-3.1 मोडेलमा Neural Magic / Red Hat (arXiv:2411.02355) ले रिपोर्ट गरेका आँकडा — यो साटफेरको आकार हो, यस मोडेलको अङ्क होइन।
इमानदारीपूर्वक पढ्दा त्यो ध्यान नदिने तर्कजस्तै देखिन्छ: 4-बिटले 98–99% फिर्ता ल्याउँछ, त्यसैले किन वास्ता गर्ने? किनभने ती प्राज्ञिक बहुविकल्पीय बेन्चमार्क हुन्, र क्वान्टाइजेसनको क्षति पत्ता लगाउन उपलब्ध सबैभन्दा खराब उपकरणहरूमध्ये पर्छन्। बेन्चमार्क प्रश्नको एउटै सही जवाफ हुन्छ जुन एक-दुई टोकनमै पुग्न सकिन्छ, र क्वान्टाइजेसन त्रुटि हरेक लजिटमा सानो, झन्डै शून्य-औसतको हल्ला हो; फराकिलो अन्तर भएको छोटो प्रश्नमा त्यो हल्ला सोसिइन्छ।
अब 4,000 टोकनको प्राविधिक कागजात लेख्नुहोस्, 40,000-टोकनको कथाभरि स्वर कायम राख्नुहोस्, वा पहिलो प्रयासमै प्रमाणित हुनुपर्ने JSON निकाल्नुहोस्। उही हल्ला क्रमैसँग हजारौं पटक स्याम्पल हुन्छ, र हरेक स्याम्पलले अर्कोलाई सर्त तोक्छ। असफलताको रूप गलत जवाफ होइन — बरालिनु हो: पहिलो टर्नको निर्देशनमाथिको पकड खुकुलिनु, 3,000 टोकनतिर पात्र आफूजस्तो सुनिन छाड्नु, बन्द हुने कोष्ठक कहिल्यै नआउनु।
बिट वास्तवमा कहाँ जान्छन्
क्वान्टाइजेसन त्रुटि मोडेलका क्षमताभरि समान रूपमा छरिँदैन; यो पुच्छर मा केन्द्रित हुन्छ। उच्च-भारका व्यवहार — व्याकरणसम्मत अङ्ग्रेजी, Python फङ्सनको आकार, संसारका शीर्ष हजार तथ्य — धेरै वेटभरि दोहोर्याएर इन्कोड हुन्छन् र झन्डै जेसुकैबाट पनि बाँच्छन्। वेट वितरणका सूक्ष्म रूपमा ट्युन गरिएका, सानो-परिमाणका कुनाहरूले दुर्लभ कुरा बोक्छन्: अस्पष्ट API को ठ्याक्कै हस्ताक्षर, कुनै लेखकको विशिष्ट लय, छेउछाउका दुई CVE बीचको फरक। भुत्ते ग्रिडले एकआपसमा राउन्ड गरिदिने मान ती नै हुन्।
4 बिटबाट 3 मा जाने पाइला नै यो कर हुन छाडेर भीर बन्ने ठाउँ हो। Dettmers र Zettlemoyer को k-बिट इन्फरेन्स स्केलिङ नियमले 4-बिटलाई प्रति बिट मोडेल मेमोरीमा शून्य-शट शुद्धता अधिकतम बनाउने बिन्दु पायो, र त्यसभन्दा तल ह्रासले हावी हुन्छ। चार बिटले प्रति समूह 16 तह दिन्छ; तीनले 8। तपाईं पहिल्यै भुत्ते ग्रिडको रिजोल्युसन आधा गर्दै हुनुहुन्छ, र प्रति वेट राउन्ड-अफ त्रुटि झन्डै दोब्बर हुन्छ।
निर्णय गर्ने गणित
गर्न लायक तुलना बेन्चमार्क होइन, गणित हो। सङ्कुचनबाट बाँच्ने कुरा झन्डै प्यारामिटर × प्रति प्यारामिटर बिट हो — वेट फाइलको सूचना बोक्ने आयतन। प्रति प्यारामिटर बराबर गुणस्तरका दुई काल्पनिक आधार लिनुहोस्:
- आधार A: 3 बिटमा 400B प्यारामिटर → करिब 150 GB कायम रहेको वेट।
- आधार B: 8 बिटमा 160B प्यारामिटर → करिब 160 GB कायम रहेको वेट।
कच्चा प्यारामिटर सङ्ख्याले A अढाइ गुणाले जित्छ — मोडेल कार्डले अगाडि राख्ने सङ्ख्या त्यही हो। कायम रहेको सूचनाले तिनीहरू बराबर छन्, र B सँग थपमा संरचनात्मक लाभ छ: यसका वेट यति महीन ग्रिडमा बस्छन् कि यसको पुच्छरको व्यवहार अक्षुण्ण रहन्छ, जबकि A को पुच्छर मूल भागमै क्वान्टाइज भइसकेको छ। A ले बढी कुरा जान्दछ; B ले जे जान्दछ त्यो अझ तीखो गरी जान्दछ। लामो जेनेरेसन, ठ्याक्कै ढाँचा, शैलीगत नियन्त्रण र लामो-सन्दर्भमा विश्वासिलो पालनाका लागि B लिनुहोस्।
यो उदाहरणका लागि गरिएको गणित हो, बेन्चमार्क होइन: "ठूलो आधार" र "राम्रो सेवा दिइएको मोडेल" फरक दाबी किन हुन् भन्ने यसले देखाउँछ।
0627 ट्रिलियन तालिम टोकनले आक्रामक क्वान्टाइजेसन किन झन् नराम्रो बनाउँछ
दोस्रो, कम सहज नतिजा यस आधारमा सिधै लागू हुन्छ। Kumar र सहलेखकको ICLR 2025 पेपर Scaling Laws for Precision ले पाउँछ कि मोडेललाई जति बढी डेटामा तालिम दिइएको छ, पोस्ट-ट्रेनिङ क्वान्टाइजेसनले त्यसलाई त्यति नै बढी क्षति गर्छ। कम परिशुद्धताले मोडेलको प्रभावकारी प्यारामिटर सङ्ख्या घटाउँछ, र त्यो ह्रास सोसिएको प्रि-ट्रेनिङ डेटासँगै बढ्छ — यति टाढासम्म कि तपाईं आक्रामक रूपमा क्वान्टाइज गर्ने विचारमा हुनुहुन्छ भने थप प्रि-ट्रेनिङ डेटा शुद्ध रूपमा हानिकारक हुन सक्छ, किनभने तपाईं ग्रिडले मेटाइदिने सूक्ष्म संरचना बिछ्याउँदै हुनुहुन्छ।
5T टोकनमा तालिम पाएको मोडेलको वेट संरचना भुत्ते, दोहोरिने र फुर्सदिलो हुन्छ। 27T टोकन — MiMo-V2.5-Pro को बजेट — मा तालिम पाएको मोडेलले त्यो अतिरिक्त डेटा अझ सूक्ष्म भिन्नतालाई अझ सटीक वेट मानमा लेख्न खर्च गर्यो, र 3-बिट ग्रिडले प्रतिनिधित्व गर्नै नसक्ने ठ्याक्कै त्यही हो।
अनि खण्ड 03 को FP8 तथ्य छ, जुन यस लेखको सबैभन्दा सफा तर्क हो। MiMo-V2.5-Pro लाई FP8 मिश्रित परिशुद्धतामा प्रि-ट्रेन गरिएको थियो। यसका वेट सुरुदेखि नै करिब आठ बिट परिशुद्धतामा काम गर्ने अप्टिमाइजरले आकार दिएका हुन्। त्यसैले यसलाई 8-बिट वेटमा सेवा दिनु 16-बिट मोडेलमाथि थोपरिएको ह्रासयुक्त पछिल्लो विचार होइन — यो वेटलाई तिनी सिकिएकै सङ्ख्यात्मक परिवेशमा फर्काउनु नजिकको हो। आठौं बिटभन्दा तल गुमाउने सूक्ष्म संरचना थोरै छ। ती वेटलाई तीनमा खाँदिँदा त्यही कुरा भन्न सकिँदैन।
07REAP: विशेषज्ञ प्रुनिङ राउन्डिङभन्दा फरक प्रकारको क्षति किन हो
तीनमध्ये दुई तहले REAP प्रत्यय बोक्छन् — जुन क्वान्टाइजेसनभन्दा वर्गमै फरक सञ्चालन हो। REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) विरल MoE मोडेलका लागि एक-पटके सङ्कुचन हो: यसले प्रत्येक विशेषज्ञलाई राउटरका गेट मान र विशेषज्ञको एक्टिभेसन नर्मले अङ्क दिन्छ, अनि सबैभन्दा कम अङ्क पाउनेलाई मेटाइदिन्छ। Cerebras ले 50% विशेषज्ञ प्रुन गर्दा पनि कोड जेनेरेसन र टुल कलिङमा झन्डै हानिरहित नतिजा रिपोर्ट गर्छ।
हामी REAP लाई त्यही कारणले प्रयोग गर्छौं जसका लागि यो अस्तित्वमा छ: सबैभन्दा ठूला आधारमा तिनलाई सेवा दिन योग्य बनाउने कुरा यही हो। तर प्रकारको फरक ध्यान दिनुहोस्। क्वान्टाइजेसनले हरेक वेटलाई अलिकति धमिलो पार्छ; प्रुनिङले विशेषज्ञलाई पूरै हटाउँछ। तपाईंको कार्यभार बिरलै छानिने विशेषज्ञमा बसेको क्षमतातर्फ बाक्लो रूपमा राउट हुन्छ भने — कुनै सानो प्रोग्रामिङ भाषा, कुनै विशिष्ट शब्दावली — त्यो ह्रास भएको हुँदैन। त्यो हराइसकेको हुन्छ, र कुनै प्रम्प्टिङले फिर्ता ल्याउँदैन। औसत उत्कृष्टै रहन्छन्; तपाईंको पुच्छर केस नरहन सक्छ।
MiMo-V2.5-Pro · W8A16 ले कुनै REAP प्रत्यय बोक्दैन। सबै 384 विशेषज्ञ उपस्थित छन्, र राउटरले आधारलाई तालिम दिइएको पूरै सेटबाट छान्छ।
| तह | वेट बिट | विशेषज्ञ | तपाईं के साट्नुहुन्छ |
|---|---|---|---|
| W8A16 | 8 | सबै उपस्थित | संरचनात्मक रूपमा केही पनि होइन। निष्ठाको तह। |
| W4A16-AUTOROUND-REAP | 4 | प्रुन गरिएको | सूक्ष्म वेट विवरण र कम-ट्राफिकका विशेषज्ञ, बदलामा उही मूल्य पट्टीमा धेरै ठूलो आधार। |
| 3BIT-REAP | 3 | प्रुन गरिएको | उल्लेख्य वेट रिजोल्युसन र कम-ट्राफिकका विशेषज्ञ — सबैभन्दा ठूला आधार गतिसहित चलाउनुको मूल्य। |
मध्यम तहले न्यायोचित सुनुवाइ पाउनुपर्छ। AutoRound साधारण राउन्डिङ होइन: Intel को विधि (arXiv:2309.05516) ले प्रति वेट समूह राउन्डिङ निर्णय र क्लिपिङ दायरा ट्युन गर्न करिब 200 चरणमा चिह्नित ग्रेडिएन्ट अवरोहण प्रयोग गर्छ, र अधिकांश सेटिङमा 4 बिटमा झन्डै हानिरहित रिपोर्ट भएको छ, अनि परीक्षण गरिएका अधिकांश कन्फिगरेसनभरि GPTQ, AWQ, HQQ र OmniQuant लाई उछिन्छ। W4A16-AUTOROUND मोडेल साँच्चै राम्रो 4-बिट मोडेल हो। तर पनि यो 4-बिट मोडेल नै हो।
088-बिट तह कसले छान्नुपर्छ — र कसले छान्नु हुँदैन
MiMo-V2.5-Pro · W8A16 पूरै क्याटलगको भुइँतल मूल्य मा बस्छ — प्रति दस लाख टोकन $0.50 इन / $2.00 आउट, प्रवेश-तहका 4-बिट मोडेलकै पट्टी, र हामीले सेवा दिने सबैभन्दा महँगो मोडेलको इनपुट मूल्यको करिब चौथाइ। तपाईं निष्ठाका लागि प्रिमियम तिर्दै हुनुहुन्न; तपाईं उही बजेटको फरक अक्ष छान्दै हुनुहुन्छ।
छान्नुहोस् जब
- आउटपुटको लम्बाइ नै काम हो। लामो-रूपको प्राविधिक लेखन, अध्याय-लम्बाइको कथासाहित्य, पूर्ण कागजात पास — उत्पादित हरेक टोकन त्यस्तो ठाउँ हो जहाँ सङ्कुचनको हल्ला जम्मा हुन्छ।
- स्वर र निरन्तरता महत्त्वपूर्ण छन्। चरित्रको काम, ब्रान्डको स्वर, लामो सत्रभरि कायम राखिने शैली। शैली पुच्छरमा बस्छ, र भुत्ते क्वान्टाइजेसनले सबैभन्दा पहिले खाने पुच्छर नै हो।
- संरचित आउटपुट पहिलो प्रयासमै प्रमाणित हुनुपर्छ। मोडेलले
json_schemaरresponse_formatसमर्थन गर्छ; स्किमा पालना परिशुद्धताको गुण हो, र जोगिएको हरेक पुन:प्रयासले पैसा र लेटेन्सी बचाउँछ। - तपाईं सन्दर्भ भरिरहनुभएको छ। 200,000 औं टोकनमा निर्देशन पालना 2,000 औं टोकनमा भन्दा गाह्रो हुन्छ, र यो वेट परिशुद्धतासँगै ह्रास हुन्छ — लामो तर्क ट्रेस पनि त्यसै गरी, जहाँ त्रुटि उसै गरी जम्मा हुन्छन्।
- काम स्वभावतः सेन्सर नगरिएको हुनुपर्छ। सुरक्षा अनुसन्धान, रेड-टिमिङ, फिल्टर नगरिएको कथासाहित्य, संवेदनशील चिकित्सकीय वा कानुनी विश्लेषण — जहाँ घुमाउरो जवाफ जवाफै नहुनुभन्दा खराब हुन्छ।
अरू केही छान्नुहोस् जब
- तपाईंलाई भिजन चाहिन्छ। यो मोडेल पाठ-मात्र हो; यसको सहोदर MiMo-V2.5 · W8A16 उही मूल्य र उही तहमा भिजन-सक्षम छ।
- तपाईंलाई छोटा क्वेरीमा सबैभन्दा फराकिलो संसार-ज्ञान चाहिन्छ। धेरै ठूलो 3-बिट आधारका थप प्यारामिटर जित्ने र त्यसको क्वान्टाइजेसन क्षति झन्डै नदेखिने परिवेश त्यही हो।
- तपाईंको कार्यभार उच्च-मात्राको छोटो वर्गीकरण हो। त्यहाँ क्वान्टाइजेसनको क्षति झन्डै अदृश्य हुन्छ — जुन छिटो छ त्यही किन्नुहोस्।
09सेन्सर नगरिएको MiMo API बोलाउने तरिका
तपाईंको कोड OpenAI SDK लक्ष्य गर्छ भने, बेस URL र मोडेल id बदल्नु नै पूरै माइग्रेसन हो:
curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer $SHANNON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MiMo-V2.5-Pro-W8A16",
"messages": [
{"role": "user", "content": "Draft the threat model section."}
],
"reasoning_effort": "high",
"max_tokens": 16384,
"stream": true
}'/v1/messages र /v1/responses ले उही id र क्षमता स्वीकार गर्छन्। प्यारामिटर सन्दर्भ, टुल-कलिङ स्किमा, संरचित-आउटपुटका उदाहरण र प्रत्यक्ष प्लेग्राउन्ड Shannon AI API कागजात मा छन्।
| क्षमता | MiMo-V2.5-Pro · W8A16 |
|---|---|
| सन्दर्भ विन्डो | 262,144 टोकन |
| प्रति अनुरोध अधिकतम आउटपुट | 16,384 टोकन |
| स्ट्रिमिङ | छ — तीनै बोली |
| टुल कलिङ | छ |
तर्क / reasoning_effort | छ |
json_schema संरचित आउटपुट | छ |
response_format | छ |
| भिजन / तस्बिर इनपुट | छैन — MiMo-V2.5 प्रयोग गर्नुहोस् |
| अस्वीकृति तह / आउटपुट फिल्टर | छैन |
| प्रति 1M टोकन मूल्य | $0.50 इन / $2.00 आउट |
यहाँका हरेक बाह्य आँकडा हामीबाहेक अरू कसैले प्रकाशित गरेका हुन् र पाठमै श्रेय दिइएको छ। क्वान्टाइजेसन पुन:प्राप्तिका नतिजा Llama-परिवारका अध्ययनबाट आएका हुन्: तिनले साटफेरको आकार वर्णन गर्छन्, यस मोडेलका अङ्क होइनन्।
10बारम्बार सोधिने प्रश्न
सेन्सर नगरिएको MiMo API भनेको के हो?
Xiaomi को खुला-वेट Mixture-of-Experts मोडेल MiMo-V2.5-Pro का लागि Shannon AI को एन्डपोइन्ट, जुन हाम्रो आफ्नै GPU क्लस्टरमा कुनै अस्वीकृति तह र आउटपुट फिल्टरविना सेवा दिइएको छ। यसमा 262,144-टोकनको सन्दर्भ र प्रति अनुरोध 16,384 आउटपुट टोकनसहित /v1/chat/completions, /v1/messages र /v1/responses मार्फत पुग्न सकिन्छ।
W8A16 को अर्थ के हो, र यो किन महत्त्वपूर्ण छ?
W8A16 को अर्थ वेट प्रत्येक 8 बिटमा भण्डारण हुन्छन् जबकि एक्टिभेसन 16 बिटमा गणना हुन्छन् भन्ने हो। यो हाम्रो क्याटलगमा सर्वोच्च निष्ठाको क्वान्टाइजेसन तह हो। प्रकाशित अध्ययनहरूले 8-बिट वेट-मात्रका ढाँचाले मूल मोडेलको मूलत: सबै शुद्धता फिर्ता ल्याउने पाउँछन्, जबकि 4-बिटले मेमोरीका लागि थोरै निष्ठा र 3-बिटले उल्लेख्य निष्ठा साट्छ।
के 8-बिटको सानो मोडेलले 3-बिटको ठूलो मोडेललाई उछिन्न सक्छ?
प्राय: सक्छ। सङ्कुचनबाट बाँच्ने कुरा झन्डै प्यारामिटर सङ्ख्यालाई प्रति प्यारामिटर बिटले गुणन गरेको हुन्छ, र क्वान्टाइजेसन त्रुटि दुर्लभ, पुच्छरको व्यवहारमा केन्द्रित हुन्छ। 8 बिटमा राखिएको मोडेलले आफ्नो लामो-रूपको सुसंगति, ठ्याक्कै ढाँचा र पुच्छरको ज्ञान कायम राख्छ; 3 बिटमा खाँदिएको ठूलो मोडेलले आफ्ना फराकिला बेन्चमार्क अङ्क राख्छ तर ती गुण गुमाउँछ।
के MiMo-V2.5-Pro ले भिजन वा तस्बिर इनपुट समर्थन गर्छ?
गर्दैन। Shannon AI मा MiMo-V2.5-Pro पाठ-मात्र हो। यसले टुल कलिङ, reasoning_effort सहितको तर्क, JSON-स्किमा संरचित आउटपुट र response_format भने समर्थन गर्छ। तपाईंलाई तस्बिर इनपुट चाहिन्छ भने सहोदर मोडेल MiMo-V2.5 W8A16 प्रयोग गर्नुहोस्, जुन उही मूल्यमा भिजन-सक्षम छ।
सेन्सर नगरिएको MiMo API को लागत कति पर्छ?
प्रति दस लाख इनपुट टोकन $0.50 र प्रति दस लाख आउटपुट टोकन $2.00। त्यो Shannon AI क्याटलगको भुइँतल मूल्य हो, र त्यसैले यस गेटवेमा 8-बिट निष्ठा किन्ने सबैभन्दा सस्तो बाटो MiMo-V2.5-Pro बन्छ।
सेन्सर नगरिएको MiMo API चलाएर हेर्नुहोस्
आठ-बिट निष्ठा, 262K सन्दर्भ, कुनै अस्वीकृति तह छैन — क्याटलगकै भुइँतल मूल्यमा।
API कागजात पढ्नुहोस् सबै मोडेल हेर्नुहोस्Shannon AI जिम्मेवार प्रयोग नीति अन्तर्गत सञ्चालित
स्रोत: MiMo प्राविधिक प्रतिवेदन, arXiv:2505.07608 · MiMo-V2.5-Pro मोडेल कार्ड (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-बिट इन्फरेन्स स्केलिङ नियम, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025। सबै बेन्चमार्क आँकडा तिनका लेखकहरूले रिपोर्ट गरेअनुसार छन्। Shannon AI, Shannon Lab LLC, New Mexico, USA को उत्पादन हो।