ሳንሱር-አልባው የMiMo API በ8-ቢት ታማኝነት

አብዛኞቹ ካታሎጎች የመለኪያ ብዛትን ይሸጣሉ። ያ ተሳስቶ የምትገዙበት ቁጥር ነው፣ ምክንያቱም በእውነት ልትገዙት የምትችሉት እያንዳንዱ ትልቅ ክፍት-ክብደት ሞዴል የተጨመቀው የሆነ ቦታ ላይ ለመግጠም ስለሆነ። ታማኙ ጥያቄ "ከመጨመቁ በፊት ምን ያህል ትልቅ ነበር?" ሳይሆን "ምን ያህሉ አሁንም እዚህ አለ?" ነው። ይህ ጽሑፍ ስለዚያ ጥያቄ ነው፣ እና በዝርዝራችን ውስጥ መልሱ ማለት ይቻላል ሁሉም ስለሚሆንበት ሞዴል ነው።

01ሳንሱር-አልባው የMiMo API በእውነት የሚሰጣችሁ ነገር

ሳንሱር-አልባው የMiMo API አንድ የሞዴል መለያ ነው፣ MiMo-V2.5-Pro-W8A16፣ በራሳችን GPU ክላስተር ላይ ወደ ተመሳሳዮቹ ክብደቶች የሚደርሱ ሦስት ዘይቤዎች ያሉት፦ /v1/chat/completions, /v1/messages እና /v1/responses። ሦስቱም ስትሪም ያደርጋሉ፣ መሣሪያ መጥራትንና ማመዛዘንንም ይደግፋሉ።

ሳንሱር-አልባ እዚህ ጠባብ ትርጉም አለው፦ ከሞዴሉ ፊት የእምቢታ ንብርብር የለም፣ በውጤቱ ላይም ማጣሪያ የለም። አንጠልፍም፣ አንመድብም፣ ወይም አንደግምም። የመሠረቱን ራሱ ባህርይ ታገኛላችሁ — ለምርምር-ደረጃ ክፍት-ክብደት ሞዴል ማለት ከደህንነት ምርምር፣ ከጎልማሶች ወይም ከጥቃት ልቦለድ፣ ከሕክምናና ከሕግ ማመዛዘን ጋር ይሳተፋል፣ እንዲሁም የተስተናገዱ የንግድ የመዳረሻ ነጥቦች በራስ-ገዝ የሚከለክሏቸውን ጥያቄዎች ይመልሳል ማለት ነው። በResponsible Use Policyያችን ስር ያለ ሙያዊ መሣሪያ ነው እንጂ ደንብ-አልባነት አይደለም።

02የMiMo ዘር ሐረግ፦ የXiaomi ማመዛዘን-መጀመሪያ ቅድመ-ሥልጠና ውርርድ

MiMo በአዲስ ስም የተለጠፈ የLlama ተዋጽኦ አይደለም፤ ከXiaomi የMiMo ቡድን የመጣ የተለየ ዘር ሐረግ ነው፣ የመሥራች ሐሳቡም ሞዴሉን ከመገምገማችሁ በፊት ይጠቅማል። በMiMo-7B (ሚያዝያ 30, 2025፣ MIT-ፍቃድ ያለው) ይጀምራል፣ ቴክኒካዊ ሪፖርቱም አብዛኞቹ ላብራቶሪዎች ማመዛዘንን በRL የሚለጠፍበት የድህረ-ሥልጠና ችግር አድርገው እንደሚይዙት፣ ይህም ወደኋላ የተገለበጠ እንደሆነ ይከራከራል። Xiaomi ይልቁን ቅድመ-ሥልጠናውን በዙሪያው መልሶ ገነባ፦ በ25 ትሪሊዮን ቶክኖች ላይ ባለ ሦስት-ደረጃ ቅልቅል፣ ሁለተኛው ደረጃ በግምት 70% ሒሳብና ኮድ የሚያሮጥ፣ ሦስተኛው ደረጃ synthetic የማመዛዘን ዱካዎችን እያጠፈ ዐውዱን ከ8K ወደ 32K እያሰፋ — ከዚያም speculative-decoding ራስ ሆኖ የሚያገለግል Multi-Token Prediction ዓላማ ጨምሮ።

ውጤቱ ከዚያ በጣም የበለጠ ትልቅ እንደሆነ ነገር የሚሠራ 7B መሠረት ሞዴል ነበር። MiMo-7B-Base Qwen2.5-7B 10.1 ባገኘበት፣ Gemma-2-9B 0.0 ባገኘበት እና Llama-3.1-8B 0.3 ባገኘበት 32.9 በAIME 2024 አገኘ። ድህረ-ሥልጠናው ከዚያ በ130,000 ማረጋገጫ-ሊደረግላቸው በሚችሉ የሒሳብና የኮድ ችግሮች ላይ በፈተና-ችግር-የተነዳ የኮድ ሽልማት ይዞ RLን አሮጠ፣ የኮድ RLን ከሚያፈርሰው ብርቅዬ-ሽልማት ወጥመድ አምልጦ። ውጤቱም ከo1-mini ቀድሞ ደረሰ፦

AIME 2025፣ ከMiMo ቴክኒካዊ ሪፖርት (arXiv:2505.07608) የXiaomi-ሪፖርት ቁጥሮች። MiMo-7B-RL በMATH-500 ላይ 95.8ንና በLiveCodeBench v5 ላይ 57.8ንም ዘግቧል።

ቤተሰቡ ከመንሸራተት ይልቅ ሰፋ፦ MiMo-VL-7B (ሰኔ 2025) Qwen2.5-ViT ኢንኮደርን በተመሳዩ ጀርባ አጥንት ላይ አስቀመጠ፣ ታኅሣሥ 2025 ደግሞ MiMo-Audio-7Bን እና የመጀመሪያውን MoE ግቤት MiMo-V2-Flashን (309B ጠቅላላ / 15B ንቁ፣ 27T ቶክኖች፣ FP8 ድብልቅ ትክክለኛነት) አመጣ። MiMo-V2-Pro በመጋቢት 2026 በግምት 1T / 42B ንቁ ላይ በ1M ዐውድ ተከተለ፣ በOpenRouter ላይ ለሳምንታት እንደ "Hunter Alpha" ከቆየ በኋላ። MiMo-V2.5 እና MiMo-V2.5-Pro በሚያዝያ 22, 2026 አብረው ወጡ፣ ሁለቱም MIT።

03በMiMo-V2.5-Pro ውስጥ፦ መሠረቱ ምን እንደሚመስል

እንደXiaomi የታተመ የሞዴል ካርድ፣ MiMo-V2.5-Pro በ70 ንብርብሮች ላይ — አንድ ጥቅጥቅ ያለ፣ 69 MoE — 1.02 ትሪሊዮን ጠቅላላ መለኪያዎችና በአንድ ቶክን 42 ቢሊዮን ንቁ ያለው ሳሳ የኤክስፐርቶች ድብልቅ ሞዴል ነው፣ 384 የተመሩ ኤክስፐርቶች፣ 8 በአንድ ቶክን። ድብቅ መጠኑ 6144 ነው፣ ጠባብ የMoE መካከለኛ መጠንም 2048 ነው።

ሁለት ምርጫዎች በአጠቃቀም ውስጥ የሚሰማውን ይቀርጻሉ። የትኩረት ቁልሉ ድብልቅ ነው፦ 10 ሙሉ-ትኩረት ንብርብሮችና 60 sliding-window ንብርብሮች በ128 መስኮት፣ ከመማር-የሚችል attention-sink bias ጋር። Xiaomi ይህ ከሁሉም-ዓለም-አቀፍ ትኩረት ጋር ሲነጻጸር የKV-cache ማከማቻን ወደ 7 እጥፍ ገደማ እንደሚቀንስ ይዘግባል ረጅም-ዐውድ ጥራትን እየጠበቀ — ይህም በስም ብቻ ረጅም ከሆነ መስኮት እና ልትሞሉት ከምትችሉት መስኮት መካከል ያለው ልዩነት ነው። እንዲሁም ሦስት Multi-Token Prediction ንብርብሮች ይዞ ይመጣል፣ ለdecoderው speculative ራስ ይሰጣል።

ሥልጠናው በFP8 (E4M3) ድብልቅ ትክክለኛነት በተፈጥሮ 32K ቅደም ተከተል ርዝመት 27 ትሪሊዮን ቶክኖች ነበር፣ ከዚያም የተቆጣጠረ ማስተካከያ፣ ትልቅ-ደረጃ የወኪልነት RL እና ብዙ-አስተማሪ on-policy distillation። ያንን የFP8 ዝርዝር ያዙት፤ ይህን መሠረት በ8 ቢት ለማገልገል እጅግ ጠንካራው ነጠላ ክርክር ነው።

Xiaomi ሞዴሉን 57.2% በSWE-bench Pro፣ 72.9 በτ3-Bench ለመሣሪያ አጠቃቀምና 48.0% በHumanity's Last Exam ብሎ ይዘግባል — ኳንታይዝ ባልተደረገው ሞዴል ላይ የአቅራቢው ራሱ ቁጥሮች ናቸው፣ እንደዚያም ተጠቅሰዋል።

የምናገለግለው 262,144-ቶክን መስኮት ነው፣ የመሠረቱን ሙሉ 1M አይደለም — በፍጥነት ልናረጋግጠው የምንችለው ዐውድ ነው፣ በጫና ሥር የሚያሽቆለቁል ራስጌ ቁጥር ሳይሆን።

04W8A16 በትክክል ማለት ምን ማለት ነው

በዚህ ካታሎግ ውስጥ ያለ እያንዳንዱ ሞዴል የግብይት ደረጃ ሳይሆን እውነተኛ፣ ሊለካ የሚችል ለውጥን የሚገልጽ የኳንታይዜሽን ቅጥያ ይይዛል። የእኛዎቹ 3BIT-REAP, W4A16-AUTOROUND-REAP እና W8A16 ናቸው። MiMo-V2.5-Pro ሦስተኛው ነው።

ማስታወሻው በሁለት ይከፈላል። W8 የክብደት ትክክለኛነት ነው፦ እያንዳንዱ መለኪያ ከ16-ቢት ተንሳፋፊ ይልቅ እንደ 8-ቢት integer ይቀመጣል፣ በአንድ ትንሽ ቡድን የተጋራ scaling factorም አለው ስለዚህ የእያንዳንዱ ቡድን አካባቢያዊ ተለዋዋጭ ክልል ይተርፋል። A16 የአክቲቬሽን ትክክለኛነት ነው፦ በደረሰኝ ጊዜ በንብርብሮች መካከል የሚፈሱ እሴቶች በ16 ቢት ይቀራሉ። ክብደቶች ይጨመቃሉ፤ ስሌቱ ግን አይለወጥም።

ያ ሁለተኛ ግማሽ ጸጥ ያለ፣ አስፈላጊ ሥራ ይሠራል። አክቲቬሽኖችን ኳንታይዝ ማድረግ ከክብደቶች ይልቅ በጣም ይከብዳል፦ ጽንፈኛ outlier ቻናሎችን ይይዛሉ — መጠናቸው ሌላውን ሁሉ የሚያጠፋና ያልተመጣጠነ የሞዴሉን ባህርይ ድርሻ የሚሸከሙ ጥቂት ልኬቶች። እነዚያን ወደ ዝቅተኛ ትክክለኛነት ግፉ፣ በትክክል ያስፈለጋችሁን ምልክት ትቆርጣላችሁ። Weight-only ስልቶች የአክቲቬሽን መንገዱን ብቻቸውን በመተው ችግሩን ያልፋሉ፣ ከባድ የኳንታይዜሽን ሥራ ወደ እነሱ የተሰበሰበውም ለዚህ ነው።

ስለዚህ ተግባራዊው ጥያቄ ወደ አንድ ነገር ይጠባል፦ አንድ ክብደት ምን ያህል ትንሽ ቢት ይታገሣል?

05W8A16 ከW4A16 ከ3-ቢት ጋር፦ ኪሳራው በእውነት የት ይሄዳል

በዚህ ላይ ትልቁ የታተመ ጥናት Neural Magic እና Red Hat's "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization ነው — በLlama-3.1 ቤተሰብ ላይ በ8B, 70B እና 405B ላይ ከ500,000 ግምገማዎች በላይ። ራስጌ ውጤታቸው፣ በራሳቸው ቁጥሮች፦

ቅርጽ	የተጨመቀው ምንድን ነው	ተዘግቦ ካለው BF16 ጋር ያለ መልስ
W8A8-FP (8-ቢት)	ክብደቶች + አክቲቬሽኖች፣ float	~99.75% አማካይ — "ማለት ይቻላል ኪሳራ-አልባ"
W8A8-INT (8-ቢት)	ክብደቶች + አክቲቬሽኖች፣ integer	99–100% በ8B/70B; 98.2–99.3% በ405B
W4A16-INT (4-ቢት)	ክብደቶች ብቻ	98–99.4% (8B); 98.6–99.8% (70B)

በNeural Magic / Red Hat (arXiv:2411.02355) በLlama-3.1 ሞዴሎች ላይ የተዘገቡ ቁጥሮች — የልውውጡ ቅርጽ ነው፣ የዚህ ሞዴል ውጤት አይደለም።

በታማኝነት ተነብቦ፣ ያ ላለመጨነቅ የሚደግፍ ክርክር ይመስላል፦ 4-ቢት 98–99% ይመልሳል፣ ታዲያ ለምን ትኩረት ትሰጣላችሁ? ምክንያቱም እነዚያ ትምህርታዊ ብዙ-ምርጫ መለኪያዎች ናቸው፣ የኳንታይዜሽን ጉዳትን ለማግኘት ካሉት መሣሪያዎች መካከል ወደ ከፋው ቅርብ። የመለኪያ ጥያቄ በአንድ ወይም ሁለት ቶክኖች ውስጥ ሊደረስበት የሚችል አንድ ትክክለኛ መልስ አለው፣ የኳንታይዜሽን ስህተትም በእያንዳንዱ logit ላይ ትንሽ፣ ማለት ይቻላል ዜሮ-አማካይ ጫጫታ ነው፤ ሰፊ ልዩነት ባለው አጭር ጥያቄ ላይ፣ ያ ጫጫታ ይዋጣል።

አሁን የ4,000 ቶክኖች ቴክኒካዊ ሰነድ ጻፉ፣ በ40,000-ቶክን ታሪክ ውስጥ ድምጽ ያዙ፣ ወይም በመጀመሪያ ሙከራ መረጋገጥ ያለበት JSON አውጡ። ተመሳሳዩ ጫጫታ በቅደም ተከተል በሺዎች ጊዜ ይናሳል፣ እያንዳንዱ ናሙናም ቀጣዩን ያስተካክላል። የውድቀት ዘዴው የተሳሳተ መልስ አይደለም — መንሸራተት ነው፦ ከመጀመሪያው ተራ ጀምሮ ከመመሪያው የሚላላ ይዞታ፣ በ3,000 ቶክን ገደማ እንደ ራሱ መስማት የሚያቆም ገጸ-ባህርይ፣ ፈጽሞ የማይደርስ የመዝጊያ ቅንፍ።

ቢቶቹ በእውነት የት ይሄዳሉ

የኳንታይዜሽን ስህተት በሞዴሉ ችሎታዎች ላይ በእኩል አልተሰራጨም፤ በጅራት ላይ ይከማቻል። ከፍተኛ-ብዛት ያላቸው ባህርያት — ሰዋስዋዊ እንግሊዝኛ፣ የPython ተግባር ቅርጽ፣ ስለዓለም ካሉት ከፍተኛ ሺህ እውነታዎች — በብዙ ክብደቶች ላይ ተደጋግመው ይኮዳሉ፣ ማንኛውንም ነገር ማለት ይቻላል ይተርፋሉ። በክብደት ስርጭት ውስጥ በጥንቃቄ-የተስተካከሉ፣ ትንሽ-መጠን ያላቸው ማዕዘኖች ብርቅዬውን ነገር ይይዛሉ፦ የማይታወቅ APIን ትክክለኛ signature፣ የተለየ ደራሲ ዘይቤ፣ በሁለት ተጎራባች CVEዎች መካከል ያለው ልዩነት። እነዚያ ጥቅጥቅ ያለ ፍርግርግ አንድ ላይ የሚያጠጋግጋቸው እሴቶች ናቸው።

ከ4 ቢት ወደ 3 የሚደረገው እርምጃ ይህ ግብር መሆኑ የሚያቆምበትና ገደል መሆን የሚጀምርበት ነው። የDettmersና Zettlemoyer k-bit inference scaling laws 4-ቢት በአንድ ቢት የሞዴል ማህደረ ትውስታ zero-shot ትክክለኛነትን የሚያሳድገው ነጥብ ሆኖ አገኙት፣ ከዚያ በታችም ማሽቆልቆል ይቆጣጠራል። አራት ቢት በአንድ ቡድን 16 ደረጃዎችን ይሰጣል፤ ሦስት ደግሞ 8ን ይሰጣል። ቀድሞውኑ ጥቅጥቅ ያለ ፍርግርግን ጥራት ግማሽ ታደርጋላችሁ፣ በአንድ ክብደት ያለው round-off ስህተትም በግምት ይደገፋል።

የሚወስነው ስሌት

ማድረግ የሚገባው ንጽጽር ስሌት ነው እንጂ መለኪያ አይደለም። ከመጨመቅ በኋላ የሚተርፈው በግምት መለኪያዎች × በአንድ መለኪያ ቢቶች ነው — የክብደት ፋይሉ መረጃ-ተሸካሚ መጠን። ተመሳሳይ ጥራት በአንድ መለኪያ ያላቸው ሁለት መላምታዊ መሠረቶችን ውሰዱ፦

• መሠረት A፦ 400B መለኪያዎች በ3 ቢት → በግምት 150 GB የተረፈ ክብደት።
• መሠረት B፦ 160B መለኪያዎች በ8 ቢት → በግምት 160 GB የተረፈ ክብደት።

በጥሬ የመለኪያ ብዛት A በሁለት-ተኩል-ለ-አንድ ያሸንፋል — የሞዴል ካርዱ የሚጀምረው በዚያ ቁጥር ነው። በተረፈ መረጃ ግን እኩል ናቸው፣ B ደግሞ ተጨማሪ መዋቅራዊ ጠቀሜታ አለው፦ ክብደቶቹ የጅራት ባህርዩ ንክኪ-አልባ በሚሆንበት ደረጃ ጥሩ በሆነ ፍርግርግ ላይ ተቀምጠዋል፣ የA ጅራት ግን ወደ ጅምላው ውስጥ ኳንታይዝ ተደርጓል። A ብዙ ነገሮች ያውቃል፤ B የሚያውቀውን በበለጠ ጥርት ብሎ ያውቃል። ለረጅም ማመንጨት፣ ትክክለኛ ቅርጸት፣ የቅጥ ቁጥጥርና ታማኝ ረጅም-ዐውድ ተገዢነት፣ Bን ውሰዱ።

ገላጭ ስሌት ነው፣ መለኪያ አይደለም፦ "ትልቅ መሠረት" እና "የተሻለ የቀረበ ሞዴል" የተለያዩ ይገባኛል ጥያቄዎች ለምን እንደሆኑ ያሳያል።

0627 ትሪሊዮን የሥልጠና ቶክኖች ኃይለኛ ኳንታይዜሽንን ለምን የከፋ ያደርገዋል

ሁለተኛ፣ ባነሰ ግልጽ የሆነ ውጤት በዚህ መሠረት ላይ በቀጥታ ይነካካል። የKumar et al. ICLR 2025 ወረቀት Scaling Laws for Precision ሞዴል በበዛ መጠን በተሠለጠነበት፣ post-training ኳንታይዜሽን በእሱ ላይ የበለጠ ጉዳት እንደሚያደርስ አገኘ። ዝቅተኛ ትክክለኛነት የሞዴሉን ውጤታማ የመለኪያ ብዛት ይቀንሳል፣ ያ ማሽቆልቆልም ከተውጣው ቅድመ-ሥልጠና ውሂብ ጋር ይጨምራል — ኃይለኛ ኳንታይዝ ለማድረግ ካሰባችሁ ተጨማሪ ቅድመ-ሥልጠና ውሂብ ጥርት ብሎ ሊጎዳ በሚችልበት ደረጃ ድረስ፣ ፍርግርጉ የሚያጠፋውን ጥቃቅን መዋቅር ስለምትጥሉ ነው።

በ5T ቶክኖች የሠለጠነ ሞዴል ጥቅጥቅ ያለ፣ ተደጋጋሚ የክብደት መዋቅርና ትርፍ ገፍታ አለው። በ27T ቶክኖች የሠለጠነ ሞዴል — የMiMo-V2.5-Pro በጀት — ያንን ተጨማሪ ውሂብ በበለጠ ትክክለኛ የክብደት እሴቶች ውስጥ ጥቃቅን ልዩነቶችን በመጻፍ አሳልፎታል፣ ይህም በትክክል 3-ቢት ፍርግርግ ሊወክለው የማይችለው ነው።

ከዚያ ከክፍል 03 ያለው የFP8 እውነታ አለ፣ በዚህ ጽሑፍ ውስጥ ያለው ንጹህ ክርክር። MiMo-V2.5-Pro በFP8 ድብልቅ ትክክለኛነት ቅድመ-ሥልጠና ተደርጓል። ክብደቶቹ ከመጀመሪያው በግምት በስምንት ቢት ትክክለኛነት በሚሠራ optimizer ተቀርጸዋል። ስለዚህ በ8-ቢት ክብደቶች ማገልገሉ በ16-ቢት ሞዴል ላይ የተጫነ ኪሳራ-ያለው ድህረ-ሐሳብ አይደለም — ክብደቶቹ ወደተማሩበት የቁጥር ስርዓት መመለስ ጋር ቅርብ ነው። ከስምንተኛው ቢት በታች ለመጥፋት ብዙ ጥቃቅን መዋቅር የለም። ወደ ሦስት ስለተገደዱት ስለዚያ ክብደቶች ግን ተመሳሳዩን ማለት አይቻልም።

07REAP፦ የኤክስፐርት መከርከም ከማጠጋጋት የተለየ ዓይነት ኪሳራ የሆነው ለምን

ከሦስቱ ደረጃዎች ሁለቱ REAP ቅጥያ ይይዛሉ — ከኳንታይዜሽን በምድብ የተለየ ክንውን። REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) ለሳሳ MoE ሞዴሎች one-shot መጨመቅ ነው፦ እያንዳንዱን ኤክስፐርት በመሪው በር እሴቶችና በኤክስፐርቱ አክቲቬሽን ኖርም ያስመዘግባል፣ ከዚያም ዝቅተኛውን ውጤት ያገኙትን ይሰርዛል። Cerebras 50% ኤክስፐርቶች ተከርክመው እንኳ በኮድ ማመንጨትና በመሣሪያ መጥራት ላይ ማለት ይቻላል-ኪሳራ-አልባ ውጤት ይዘግባል።

REAPን የምንጠቀመው ለሚኖርበት ምክንያት ነው፦ በትልልቁ መሠረቶች ላይ ሊያገለግሉ የሚያደርጋቸው እሱ ነው። ነገር ግን በዓይነት ያለውን ልዩነት ልብ በሉ። ኳንታይዜሽን እያንዳንዱን ክብደት ትንሽ ያደበዝዘዋል፤ መከርከም ግን ኤክስፐርቶችን ሙሉ ለሙሉ ያጠፋል። የሥራ ጫናችሁ እምብዛም-በማይመረጥ ኤክስፐርት ውስጥ ወደ ኖረ ችሎታ በጣም የሚያመራ ከሆነ — ትንሽ የፕሮግራም ቋንቋ፣ ልዩ ቃላት — አልቀነሰም። ጠፍቷል፣ ምንም ጥያቄ አይመልሰውም። አማካዮቹ እጅግ ጥሩ ናቸው፤ የጅራት ጉዳያችሁ ግን ላይሆን ይችላል።

MiMo-V2.5-Pro · W8A16 ምንም REAP ቅጥያ የለውም። ሁሉም 384 ኤክስፐርቶች ተገኝተዋል፣ መሪውም መሠረቱ ከተሠለጠነበት ሙሉ ስብስብ ይመርጣል።

ደረጃ	የክብደት ቢቶች	ኤክስፐርቶች	የምትለውጡት
W8A16	8	ሁሉም ተገኝተዋል	ምንም መዋቅራዊ ነገር የለም። የታማኝነት ደረጃ።
W4A16-AUTOROUND-REAP	4	የተከረከሙ	ጥቃቅን የክብደት ዝርዝርና ዝቅተኛ-ትራፊክ ያላቸው ኤክስፐርቶች፣ በተመሳሳዩ ዋጋ ደረጃ ላይ ላለ በጣም ትልቅ መሠረት ተለውጦ።
3BIT-REAP	3	የተከረከሙ	ከፍተኛ የክብደት ልኬትና ዝቅተኛ-ትራፊክ ያላቸው ኤክስፐርቶች — እጅግ ትልቁን መሠረት በፍጥነት ለማሮጥ የሚያስከፍለው ዋጋ።

መካከለኛው ደረጃ ፍትሐዊ ማዳመጥ ይገባዋል። AutoRound ዋህ ማጠጋጋት አይደለም፦ የIntel ዘዴ (arXiv:2309.05516) በአንድ የክብደት ቡድን የማጠጋጋትና የመቁረጫ ውሳኔዎችን ለማስተካከል በግምት 200 ደረጃዎች ላይ signed gradient descent ይጠቀማል፣ በአብዛኞቹ ቅንብሮች ላይ GPTQ, AWQ, HQQ እና OmniQuantን በልጦ በ4 ቢት ማለት ይቻላል-ኪሳራ-አልባ እንደሆነ ተዘግቧል። W4A16-AUTOROUND ሞዴል በእውነት ጥሩ 4-ቢት ሞዴል ነው። አሁንም 4-ቢት ሞዴል ነው።

088-ቢት ደረጃውን መምረጥ ያለበት ማን ነው — እና የሌለበትስ ማን

MiMo-V2.5-Pro · W8A16 የመላውን ካታሎግ ወለል ዋጋ ላይ ይቀመጣል — በሚሊዮን ቶክን $0.50 ግብዓት / $2.00 ውጤት፣ ከመግቢያ-ደረጃ 4-ቢት ሞዴሎች ጋር ተመሳሳይ ደረጃ፣ ከምናገለግለው እጅግ ውድ ሞዴል የግብዓት ዋጋም በግምት አንድ-አራተኛ። ለታማኝነት ተጨማሪ ዋጋ አትከፍሉም፤ የተመሳሳዩን በጀት የተለየ ዘንግ እየመረጣችሁ ነው።

ይህን ምረጡ መቼ

• የውጤት ርዝመት ሥራው ነው። ረጅም-ቅርጽ ቴክኒካዊ ጽሑፍ፣ ምዕራፍ-ርዝመት ልቦለድ፣ ሙሉ የሰነድ ማለፊያዎች — እያንዳንዱ የተመነጨ ቶክን የመጨመቅ ጫጫታ የሚደገፍበት ነው።
• ድምጽና ወጥነት ይቆጠራሉ። ገጸ-ባህርይ ሥራ፣ የምርት ስም ድምጽ፣ በረጅም ክፍለ ጊዜ ውስጥ የተያዘ ምዝገባ። ቅጥ በጅራት ውስጥ ይኖራል፣ ጅራቱም ጥቅጥቅ ያለ ኳንታይዜሽን መጀመሪያ የሚበላው ነው።
• የተዋቀረ ውጤት በመጀመሪያ ሙከራ መረጋገጥ አለበት። ሞዴሉ json_schemaንና response_formatን ይደግፋል፤ schemaን መገዛት የትክክለኛነት ባህርይ ነው፣ የተወገደ እያንዳንዱ ድጋሚ-ሙከራም የተቆጠበ ገንዘብና ጊዜ ነው።
• ዐውዱን እየሞላችሁ ናችሁ። በቶክን 200,000 ላይ የመመሪያ ተገዢነት ከቶክን 2,000 ላይ ይልቅ ይከብዳል፣ ከክብደት ትክክለኛነት ጋርም ያሽቆለቁላል — ስህተቶች በተመሳሳዩ መንገድ እንደሚደገፉ ረጅም የማመዛዘን ዱካም እንደዚያው ነው።
• ሥራው በተፈጥሮው ሳንሱር-አልባ ነው። የደህንነት ምርምር፣ red-teaming፣ ያልተጣራ ልቦለድ፣ ስሱ የሕክምና ወይም የሕግ ትንተና — ግማሽ-ልብ የያዘ መልስ ከምንም መልስ የከፋ በሆነበት ቦታ።

ሌላ ነገር ምረጡ መቼ

• እይታ ያስፈልጋችኋል። ይህ ሞዴል ጽሑፍ-ብቻ ነው፤ ወንድሙ MiMo-V2.5 · W8A16 በተመሳዩ ዋጋና ደረጃ የእይታ-ችሎታ አለው።
• በአጭር ጥያቄዎች ላይ እጅግ ሰፊውን የዓለም እውቀት ያስፈልጋችኋል። ያ የበለጠ ትልቅ 3-ቢት መሠረት ተጨማሪ መለኪያዎቹ የሚያሸንፉበትና የኳንታይዜሽን ጉዳቱ ገና በትንሹ የሚታይበት ስርዓት ነው።
• የሥራ ጫናችሁ ከፍተኛ-መጠን ያለው አጭር ምድብ ማድረግ ነው። የኳንታይዜሽን ጉዳት እዚያ ማለት ይቻላል የማይታይ ነው — እጅግ ፈጣኑን ግዙ።

09ሳንሱር-አልባውን የMiMo APIን መጥራት

ኮዳችሁ የOpenAI SDKን የሚያነጣጥር ከሆነ፣ base URLንና የሞዴል መለያውን መቀየር ፍልሰቱ ሁሉ ነው፦

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages እና /v1/responses ተመሳሳዩን መለያና ችሎታዎች ይቀበላሉ። Parameter ማጣቀሻ፣ የመሣሪያ-መጥራት schemas፣ የተዋቀረ-ውጤት ምሳሌዎችና ቀጥታ playground በShannon AI API ሰነዶች ውስጥ ናቸው።

ችሎታ	MiMo-V2.5-Pro · W8A16
የዐውድ መስኮት	262,144 ቶክኖች
ከፍተኛ ውጤት በአንድ ጥያቄ	16,384 ቶክኖች
ስትሪሚንግ	አለ — ሁሉም ሦስት ዘይቤዎች
መሣሪያ መጥራት	አለ
ማመዛዘን / reasoning_effort	አለ
json_schema የተዋቀረ ውጤት	አለ
response_format	አለ
እይታ / የምስል ግብዓት	የለም — MiMo-V2.5ን ተጠቀሙ
የእምቢታ ንብርብር / የውጤት ማጣሪያ	የለም
ዋጋ በ1M ቶክን	$0.50 ግብዓት / $2.00 ውጤት

10በተደጋጋሚ የሚጠየቁ ጥያቄዎች

---

ምንጮች፦ MiMo technical report, arXiv:2505.07608 · MiMo-V2.5-Pro model card (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bit inference scaling laws, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025። ሁሉም የመለኪያ ቁጥሮች እንደየራሳቸው ደራሲዎች የተዘገቡ ናቸው። Shannon AI የShannon Lab LLC ምርት ነው፣ ኒው ሜክሲኮ፣ አሜሪካ።