ဆင်ဆာမဲ့ MiMo API 8-Bit Fidelity ၌

ကက်တလောက်အများစုသည် parameter အရေအတွက်ကို ရောင်းချသည်။ ၎င်းသည် ဈေးဝယ်ရန် မှားနေသော ကိန်းဂဏန်း ဖြစ်သည် — အဘယ်ကြောင့်ဆိုသော် သင် တကယ် ဝယ်ယူနိုင်သော open-weights မော်ဒယ်ကြီး တစ်ခုစီသည် တစ်နေရာရာတွင် ဝင်ကျအောင် compress လုပ်ထားသောကြောင့်ဖြစ်သည်။ ရိုးသားသော မေးခွန်းမှာ "ညှစ်ချမီ ဘယ်လောက် ကြီးခဲ့သလဲ" မဟုတ်ဘဲ "ဘယ်လောက် ကျန်ရှိသေးသလဲ" ဖြစ်သည်။ ဤဆောင်းပါးသည် ထိုမေးခွန်းအကြောင်းနှင့် ကျွန်ုပ်တို့ စာရင်းရှိ အဖြေမှာ နီးပါးအားလုံး ကျန်ရှိသေးသည် ဟု ဆိုနိုင်သော မော်ဒယ်တစ်ခုအကြောင်း ဖြစ်သည်။

01ဆင်ဆာမဲ့ MiMo API က အမှန်တကယ် ဘာရရှိစေသလဲ

ဆင်ဆာမဲ့ MiMo API သည် model id တစ်ခုဖြစ်သော MiMo-V2.5-Pro-W8A16 ဖြစ်ပြီး ကျွန်ုပ်တို့ ကိုယ်ပိုင် GPU ကလပ်စတာပေါ်ရှိ weight တူတူကို ချိတ်ဆက်သော dialect သုံးမျိုးမှတဆင့် ချိတ်ဆက်နိုင်သည် — /v1/chat/completions, /v1/messages နှင့် /v1/responses။ သုံးမျိုးလုံးသည် stream လုပ်နိုင်ပြီး tool calling နှင့် reasoning ကို ထောက်ပံ့သည်။

ဆင်ဆာမဲ့ ဆိုသည်မှာ ဤနေရာတွင် ကျဉ်းသော အဓိပ္ပာယ် ရှိသည် — မော်ဒယ်၏ ရှေ့တွင် ငြင်းပယ်မှု အလွှာ မရှိ၊ ၎င်း၏ output ပေါ်တွင် filter မရှိ။ ကျွန်ုပ်တို့ ကြားဖြတ်ခြင်း၊ classify လုပ်ခြင်း သို့မဟုတ် ပြန်ရေးခြင်း မလုပ်ပါ။ foundation ကိုယ်တိုင်၏ အပြုအမူကို သင် ရရှိမည် ဖြစ်သည် — research-grade open-weights မော်ဒယ်တစ်ခုအတွက် ၎င်းသည် လုံခြုံရေး သုတေသန, အရွယ်ရောက်ပြီးသူ သို့မဟုတ် အကြမ်းဖက်ဝတ္ထု, ဆေးဘက်နှင့် တရားရေးဆိုင်ရာ reasoning နှင့် hosted commercial endpoint များက ပရိတ္တိကတ် ငြင်းပယ်လေ့ရှိသော တောင်းဆိုချက်များကို ကိုင်တွယ်ဆောင်ရွက်ပေးသည် ဟု ဆိုလိုသည်။ ၎င်းသည် ကျွန်ုပ်တို့ Responsible Use Policy အောက်ရှိ ပရော်ဖက်ရှင်နယ် tool တစ်ခု ဖြစ်ပြီး စည်းမျဉ်းများ လုံးဝ ကင်းမဲ့ခြင်း မဟုတ်ပါ။

02MiMo မျိုးရိုး — reasoning-first pretraining ပေါ်ရှိ Xiaomi ၏ လောင်းကစား

MiMo သည် အမည်အသစ်တပ်ထားသော Llama derivative တစ်ခု မဟုတ်ပါ; ၎င်းသည် Xiaomi ၏ MiMo team မှ ကွဲပြားသော မျိုးရိုးတစ်ခုဖြစ်ပြီး မော်ဒယ်ကို အကဲဖြတ်မီ ၎င်း၏ တည်ထောင်သည့် အယူအဆက အရေးကြီးသည်။ ၎င်းသည် MiMo-7B (2025 ခုနှစ် ဧပြီ 30, MIT license) ဖြင့် စတင်ခဲ့ပြီး ၎င်း၏ technical report က laboratory အများစုသည် reasoning ကို RL ဖြင့် ဆက်တွဲထည့်ရမည့် post-training ပြဿနာအဖြစ် ဆက်ဆံကြောင်း၊ ၎င်းသည် ပြောင်းပြန် ဖြစ်ကြောင်း ငြင်းခုံထားသည်။ Xiaomi ကမူ pretraining ကို ၎င်းအပေါ် အခြေခံ၍ ပြန်လည် တည်ဆောက်ခဲ့သည် — token 25 trillion တစ်လျှောက် သုံးဆင့် mixture တစ်ခု၊ ဒုတိယဆင့်သည် သင်္ချာနှင့် code ခန့်မှန်း 70% လည်ပတ်ကာ၊ တတိယဆင့်တွင် context ကို 8K မှ 32K သို့ တိုးချဲ့စဉ် synthetic reasoning trace များ ပါဝင်ခဲ့သည် — ထို့အပြင် speculative-decoding head တစ်ခုအဖြစ်လည်း တစ်ပြိုင်နက် ဆောင်ရွက်ပေးသော Multi-Token Prediction objective တစ်ခုပါ ပါဝင်သည်။

ရလဒ်မှာ ပိုကြီးသောအရာတစ်ခုကဲ့သို့ အပြုအမူရှိသော 7B base မော်ဒယ်တစ်ခု ဖြစ်ခဲ့သည်။ Qwen2.5-7B က 10.1၊ Gemma-2-9B က 0.0 နှင့် Llama-3.1-8B က 0.3 ရရှိရာတွင် MiMo-7B-Base သည် AIME 2024 တွင် 32.9 ရရှိခဲ့သည်။ Post-training သည် test-difficulty-driven code reward ဖြင့် အတည်ပြုနိုင်သော သင်္ချာနှင့် code ပြဿနာ 130,000 ပေါ်တွင် RL ကို လည်ပတ်ခဲ့ပြီး code RL ကို ငြိမ်မသက်စေတတ်သော sparse-reward ထောင်ချောက်မှ လွတ်မြောက်ခဲ့သည်။ ရလဒ်သည် o1-mini ကို ကျော်လွန်ခဲ့သည် —

AIME 2025, MiMo technical report (arXiv:2505.07608) မှ Xiaomi ဖော်ပြချက်များ။ MiMo-7B-RL သည် MATH-500 တွင် 95.8 နှင့် LiveCodeBench v5 တွင် 57.8 ကိုလည်း ဖော်ပြခဲ့သည်။

မိသားစုသည် လွှဲမသွားဘဲ ကျယ်ပြန့်လာခဲ့သည် — MiMo-VL-7B (2025 ခုနှစ် ဇွန်လ) သည် backbone တူတူပေါ်တွင် Qwen2.5-ViT encoder တစ်ခု တင်ခဲ့ပြီး၊ 2025 ခုနှစ် ဒီဇင်ဘာလက MiMo-Audio-7B ထပ် MoE ဝင်ရောက်မှု ပထမဆုံးဖြစ်သော MiMo-V2-Flash (309B စုစုပေါင်း / 15B active, token 27T, FP8 mixed precision) ကို ယူဆောင်လာခဲ့သည်။ MiMo-V2-Pro သည် OpenRouter ပေါ်တွင် "Hunter Alpha" အဖြစ် ရက်သတ္တပတ်များစွာ ရှိနေပြီးနောက် 2026 ခုနှစ် မတ်လတွင် parameter ~1T / active 42B ဖြင့် context 1M ရှိသော ဗားရှင်းအဖြစ် ဆက်လာခဲ့သည်။ MiMo-V2.5 နှင့် MiMo-V2.5-Pro တို့သည် 2026 ခုနှစ် ဧပြီ 22 တွင် အတူတကွ ထုတ်ပြန်ခဲ့ပြီး နှစ်ခုစလုံး MIT license ဖြစ်သည်။

03MiMo-V2.5-Pro ၏ အတွင်းပိုင်း — foundation ဘယ်လိုပုံစံ ဖြစ်သလဲ

Xiaomi ၏ ထုတ်ဝေထားသော model card အရ MiMo-V2.5-Pro သည် layer 70 တစ်လျှောက် — dense တစ်ခု၊ MoE 69 ခု — parameter စုစုပေါင်း 1.02 trillion နှင့် token တစ်ခုလျှင် active 42 billion ရှိသော routed expert 384 ခု၊ token တစ်ခုလျှင် 8 ခု ပါဝင်သော sparse Mixture-of-Experts မော်ဒယ် ဖြစ်သည်။ Hidden size မှာ 6144 ဖြစ်ပြီး MoE intermediate size 2048 ကျဉ်းသည်။

ဆုံးဖြတ်ချက် နှစ်ခုက အသုံးပြုချိန် ခံစားရပုံကို ပုံသွင်းသည်။ Attention stack သည် hybrid ဖြစ်သည် — full-attention layer 10 ခုနှင့် window 128 ရှိသော sliding-window layer 60 ခု၊ ထပ်ပေါင်း learnable attention-sink bias တစ်ခု။ Xiaomi က ၎င်းသည် global attention အားလုံးထက် KV-cache သိုလှောင်မှုကို 7 ဆ နီးပါး ဖြတ်တောက်ပေးလျက် context ရှည်ချိန်တွင် အရည်အသွေးကို ထိန်းထားနိုင်ကြောင်း ဖော်ပြထားသည် — နာမည်တွင်ရုံသာ ရှည်လျားသော window တစ်ခုနှင့် သင် ဖြည့်စွမ်းနိုင်လောက်သော window တစ်ခုကြား ကွာဟချက် ဖြစ်သည်။ ၎င်းသည် decoder အား speculative head တစ်ခု ပေးသော Multi-Token Prediction layer သုံးခု ကိုလည်း ထုတ်ဝေထားသည်။

Training သည် FP8 (E4M3) mixed precision ၌ native sequence length 32K ဖြင့် token 27 trillion ဖြစ်ခဲ့ပြီး ထို့နောက် supervised fine-tuning, scale ကြီးသော agentic RL နှင့် multi-teacher on-policy distillation ဆက်လက် လုပ်ဆောင်ခဲ့သည်။ ထို FP8 အသေးစိတ်ကို မှတ်ထားပါ; ၎င်းသည် ဤ foundation ကို 8 bit ၌ ဝန်ဆောင်မှုပေးရန် အားအကောင်းဆုံး argument တစ်ခု ဖြစ်သည်။

Xiaomi က မော်ဒယ်ကို SWE-bench Pro တွင် 57.2%, tool use အတွက် τ3-Bench တွင် 72.9 နှင့် Humanity's Last Exam တွင် 48.0% ဟု ဖော်ပြထားသည် — compress မလုပ်ရသေးသော မော်ဒယ်ပေါ်ရှိ ထုတ်ဝေသူ ကိုယ်ပိုင် ကိန်းများ ဖြစ်ကြောင်း ဖော်ပြထားသည်။

ကျွန်ုပ်တို့သည် foundation ၏ 1M အပြည့်မဟုတ်ဘဲ 262,144-token window တစ်ခုကို ဝန်ဆောင်မှုပေးထားသည် — load အောက်တွင် ကျဆင်းသွားနိုင်သော headline ကိန်းတစ်ခုအစား အမြန်နှုန်းနှင့်အတူ အာမခံနိုင်သော context တစ်ခု ဖြစ်သည်။

04W8A16 ဆိုသည်မှာ တိကျစွာ ဘာကို ဆိုလိုသလဲ

ဤကက်တလောက်ရှိ မော်ဒယ်တိုင်းသည် marketing tier တစ်ခုအစား တကယ့်၊ တိုင်းတာနိုင်သော ပြောင်းလဲမှုတစ်ခုကို ဖော်ပြသော quantization နောက်ဆက်တွဲ တစ်ခု ရှိသည်။ ကျွန်ုပ်တို့ရဲ့တွေက 3BIT-REAP, W4A16-AUTOROUND-REAP နှင့် W8A16 ဖြစ်သည်။ MiMo-V2.5-Pro သည် တတိယမှာ ဖြစ်သည်။

Notation ကို နှစ်ပိုင်း ခွဲနိုင်သည်။ W8 သည် weight precision ဖြစ်သည် — parameter တစ်ခုစီကို 16-bit float အစား 8-bit integer တစ်ခုအဖြစ် အုပ်စုငယ်တစ်ခုစီအတွက် ဝေမျှသော scaling factor တစ်ခုနှင့်အတူ သိမ်းဆည်းကာ အုပ်စု၏ local dynamic range ကို ဆက်ရှိစေသည်။ A16 သည် activation precision ဖြစ်သည် — inference အချိန်တွင် layer များကြား စီးဆင်းသော တန်ဖိုးများသည် 16 bit ၌ ဆက်ရှိသည်။ Weight များကို compress လုပ်သော်လည်း arithmetic ကို compress မလုပ်ပါ။

ထို ဒုတိယအပိုင်းသည် တိတ်ဆိတ်သော်လည်း အရေးကြီးသော အလုပ်ကို လုပ်ဆောင်သည်။ Activation များကို quantize လုပ်ရန် weight များထက် ပိုခက်ခဲသည် — ၎င်းတို့သည် extreme outlier channel များပါဝင်သည် — dimension အနည်းငယ်၏ magnitude သည် ကျန်အားလုံးထက် အလွန်ကြီးမားပြီး မော်ဒယ်၏ အပြုအမူ၏ အချိုးမညီအောင် များစွာ ပါဝင်ကြသည်။ ထိုအရာများကို precision နိမ့်စွာသို့ တွန်းလိုက်လျှင် သင် လိုအပ်ခဲ့သော signal ကို အတိအကျ ဖြတ်ချလိုက်ခြင်း ဖြစ်သည်။ Weight-only scheme များသည် activation path ကို မထိမခိုက်ဘဲ ထားသည့်အားဖြင့် ဤပြဿနာကို ရှောင်ရှားထားပြီး ၎င်းသည် လေးနက်သော quantization အလုပ်သည် ၎င်းတို့ဆီသို့ ဦးတည်နေသော အကြောင်းရင်း ဖြစ်သည်။

ထို့ကြောင့် လက်တွေ့ဆိုင်ရာ မေးခွန်းသည် အရာတစ်ခုတည်းသို့ ကျဉ်းသွားသည် — weight တစ်ခုသည် bit မည်မျှ နည်းပါးမှု ခံနိုင်ရည်ရှိသနည်း။

05W8A16 vs W4A16 vs 3-bit — ဆုံးရှုံးမှုသည် အမှန်တကယ် ဘယ်ဆီသို့ ရောက်သွားသလဲ

ဤအပေါ် ထုတ်ဝေထားသော အကြီးမားဆုံးလေ့လာမှုမှာ Neural Magic နှင့် Red Hat ၏ "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization ဖြစ်ပြီး Llama-3.1 မိသားစု 8B, 70B နှင့် 405B တစ်လျှောက် evaluation 500,000 ကျော် ပါဝင်သည်။ ၎င်းတို့၏ headline ရလဒ်၊ ၎င်းတို့ ကိန်းများအရ —

Format	ဘာကို compress လုပ်သလဲ	BF16 နှင့် ယှဉ်လျှင် ဖော်ပြထားသော recovery
W8A8-FP (8-bit)	Weight + activation, float	~99.75% ပျမ်းမျှ — "essentially lossless"
W8A8-INT (8-bit)	Weight + activation, integer	8B/70B ၌ 99–100%; 405B ၌ 98.2–99.3%
W4A16-INT (4-bit)	Weight သာ	98–99.4% (8B); 98.6–99.8% (70B)

Llama-3.1 မော်ဒယ်များပေါ်ရှိ Neural Magic / Red Hat (arXiv:2411.02355) ဖော်ပြထားသော ကိန်းများ — trade-off ၏ ပုံသဏ္ဌာန်သာ ဖြစ်ပြီး ဤမော်ဒယ်၏ အမှတ် မဟုတ်ပါ။

ရိုးသားစွာ ဖတ်ရလျှင် ၎င်းသည် ဂရုမစိုက်ရန် argument တစ်ခုကဲ့သို့ ဖြစ်သည် — 4-bit သည် 98–99% ပြန်ရရှိသောကြောင့် ဘာကို သတိထားရမည်နည်း။ အဘယ်ကြောင့်ဆိုသော် ၎င်းတို့သည် academic multiple-choice benchmark များ ဖြစ်ပြီး quantization ဒဏ်ရာကို ရှာဖွေရန် ရရှိနိုင်သော instrument များထဲမှ အညံ့ဆုံးများနှင့် နီးစပ်သောကြောင့်ဖြစ်သည်။ Benchmark မေးခွန်းတစ်ခုသည် token တစ်ခု သို့မဟုတ် နှစ်ခုအတွင်း ရောက်နိုင်သော အဖြေမှန် တစ်ခုတည်းသာ ရှိပြီး quantization error သည် logit တိုင်းပေါ်ရှိ သေးငယ်သော၊ zero-mean noise ခန့် ဖြစ်သည်; margin ကျယ်သော မေးခွန်းတိုတစ်ခုပေါ်တွင် ထို noise ကို စုပ်ယူပစ်လိုက်သည်။

ယခု နည်းပညာဆိုင်ရာ document တစ်ခု၏ token 4,000 ရေးကြည့်ပါ၊ token 40,000 ရှိသော ဇာတ်လမ်းတစ်ခုတစ်လျှောက် voice တစ်ခုကို ကိုင်ထားကြည့်ပါ၊ သို့မဟုတ် ပထမကြိမ်တွင်ပင် validate ဖြစ်ရမည့် JSON ကို ထုတ်လုပ်ကြည့်ပါ။ noise တူတူသည် ဆက်တိုက် ထောင်ချီ sample ခံရပြီး sample တိုင်းသည် နောက်တစ်ခုကို ချိန်ညှိပေးသည်။ Failure mode မှာ အဖြေမှားခြင်း မဟုတ်ဘဲ — လွှဲသွားခြင်း ဖြစ်သည်: turn တစ်ခုမှစ၍ ညွှန်ကြားချက်ကို ဆုပ်ကိုင်မှု ပြေလျော့လာခြင်း၊ token 3,000 ခန့်တွင် ကိုယ်တိုင်ကဲ့သို့ အသံမတူတော့သော character တစ်ခု၊ ဘယ်တော့မှ မရောက်လာသော ပိတ် brace တစ်ခု။

Bit များ အမှန်တကယ် ဘယ်ဆီသို့ ရောက်သွားသလဲ

Quantization error သည် မော်ဒယ်၏ စွမ်းရည်များတစ်လျှောက် တညီတညွတ်တည်း ပျံ့နှံ့ခြင်း မဟုတ်ဘဲ tail ၌ စုစည်းသည်။ mass ကြီးသော အပြုအမူများ — သဒ္ဒါမှန်ကန်သော အင်္ဂလိပ်စာ, Python function တစ်ခု၏ ပုံသဏ္ဌာန်, ကမ္ဘာအကြောင်း အထင်ရှားဆုံး အချက်အလက်ထောင်ချီ — သည် weight များစွာတစ်လျှောက် ထပ်ခါထပ်ခါ encode ဖြစ်ထားကာ မည်သည့်အရာမျှ ခံနိုင်သည်။ အတိကျ ချိန်ညှိထားသော၊ magnitude သေးငယ်သော weight distribution ၏ ထောင့်စွန်းများသည် ရှားပါးသောအရာများ — API ရှားရှားပါးပါး တစ်ခု၏ တိကျသော signature, ရေးသားသူ တစ်ဦး တိတိကျကျ၏ cadence, CVE ကပ်ကပ်လျက်ရှိ နှစ်ခုကြား ကွဲပြားချက် — ကို ကိုင်ထားသည်။ ၎င်းတို့သည် coarse grid တစ်ခုက အတူတူဖြစ်အောင် round ချလိုက်သော တန်ဖိုးများ ဖြစ်သည်။

4 bit မှ 3 bit သို့ ခြေလှမ်းသည် ၎င်းသည် အခွန်တစ်ခုမှ ချိုင့်ကမ်းပါးတစ်ခုအဖြစ် ရပ်တန့်သွားသည့်နေရာ ဖြစ်သည်။ Dettmers နှင့် Zettlemoyer ၏ k-bit inference scaling law များသည် 4-bit ကို မော်ဒယ် memory ၏ bit တစ်ခုလျှင် zero-shot accuracy ကို အများဆုံး ဖြစ်စေသော နေရာအဖြစ် တွေ့ရှိခဲ့ပြီး ၎င်းအောက်တွင် ကျဆင်းမှု လွှမ်းမိုးလာသည်။ Bit လေးခုသည် အုပ်စုတစ်ခုလျှင် level 16 ခု ပေးသည်; သုံးခုကမူ 8 ခု ပေးသည်။ ရှိပြီးသား coarse grid တစ်ခု၏ resolution ကို တစ်ဝက်ချသည်နှင့် weight တစ်ခုလျှင် round-off error သည် ခန့်မှန်း နှစ်ဆ တိုးလာသည်။

ဆုံးဖြတ်ပေးသော ဂဏန်းသင်္ချာ

ပြုလုပ်ထိုက်သော နှိုင်းယှဉ်ချက်မှာ benchmark တစ်ခု မဟုတ်ဘဲ ဂဏန်းသင်္ချာ ဖြစ်သည်။ Compression ဖြင့် ကျန်ရှိသည့်အရာသည် parameter × parameter တစ်ခုလျှင် bit — weight file ၏ အချက်အလက်ကို ကိုယ်စားပြုသော ပမာဏ — နှင့် ခန့်မှန်း ညီမျှသည်။ parameter တစ်ခုလျှင် အရည်အသွေးတူညီသော ယူဆချက်ပါ foundation နှစ်ခုကို ယူကြည့်ပါ —

• Foundation A: parameter 400B ကို 3 bit ၌ → ခန့်မှန်း 150 GB ထိန်းသိမ်းထားသော weight။
• Foundation B: parameter 160B ကို 8 bit ၌ → ခန့်မှန်း 160 GB ထိန်းသိမ်းထားသော weight။

raw parameter အရေအတွက်ဖြင့် A သည် နှစ်ခွဲသို့တစ် နိုင်သည် — model card က ဦးဆောင်ထားသော ကိန်း။ ထိန်းသိမ်းထားသော အချက်အလက်ဖြင့်ကမူ ၎င်းတို့သည် ညီမျှပြီး B တွင် ဗိသုကာလက်ရာဆိုင်ရာ အားသာချက်တစ်ခု ထပ်ရှိသေးသည် — ၎င်း၏ weight များသည် ၎င်း၏ tail အပြုအမူ မပျက်စီးအောင် ခိုင်လုံလောက်သော grid ပေါ်တွင် ရှိသော်လည်း A ၏ tail ကို bulk ထဲသို့ quantize ချလိုက်ခြင်း ခံခဲ့ရသည်။ A သည် အရာများစွာ သိသည်; B သည် သိသည့်အရာကို ပိုတိကျစွာ သိသည်။ generation ရှည်လျား, formatting အတိအကျ, style ထိန်းချုပ်မှုနှင့် context ရှည်လျားတစ်ခုတစ်လျှောက် သစ္စာရှိစွာ လိုက်နာမှု တို့အတွက် B ကို ယူပါ။

ဥပမာပြ ဂဏန်းသင်္ချာသာ ဖြစ်ပြီး benchmark တစ်ခု မဟုတ်ပါ — "foundation ပိုကြီးသည်" နှင့် "ပိုကောင်းစွာ ဝန်ဆောင်မှုပေးသော မော်ဒယ်" သည် claim ကွဲပြားနေကြောင်း ပြသသည်။

06Training token 27 trillion သည် ပြင်းထန်သော quantization ကို ဘာကြောင့် ပိုဆိုးစေသလဲ

ဤ foundation နှင့် တိုက်ရိုက် သက်ဆိုင်သော ဒုတိယ ရလဒ်တစ်ခု ရှိသည် — instinct နှင့် ပို ဆန့်ကျင်သည်။ Kumar et al. ၏ ICLR 2025 paper Scaling Laws for Precision သည် မော်ဒယ်တစ်ခု လေ့ကျင့်ခဲ့သော data ပိုများလေ post-training quantization က ၎င်းကို ပိုဒဏ်ရာဖြစ်စေလေ ဖြစ်ကြောင်း တွေ့ရှိခဲ့သည်။ Precision နိမ့်ခြင်းသည် မော်ဒယ်၏ effective parameter count ကို လျှော့ချသည်၊ ထို ကျဆင်းမှုသည် စုပ်ယူထားသော pretraining data ဖြင့် တိုးလာသည် — ပြင်းထန်စွာ quantize လုပ်ရန် ရည်ရွယ်လျှင် pretraining data ထပ်ဆောင်းသည် အကျိုးသက်ရောက်မှု ပို ဆိုးနိုင်လောက်အောင်ပင် — အဘယ်ကြောင့်ဆိုသော် grid က ဖျက်ချမည့် အသေးစားဖွဲ့စည်းပုံကို ထည့်သွင်းနေခြင်း ဖြစ်သောကြောင့်ဖြစ်သည်။

token 5T ဖြင့် လေ့ကျင့်ထားသော မော်ဒယ်တစ်ခုသည် coarse, redundant weight ဖွဲ့စည်းပုံနှင့် ကျန်ရှိနေသေးသော လွတ်လပ်ရာ ရှိသည်။ MiMo-V2.5-Pro ၏ budget ဖြစ်သော token 27T ဖြင့် လေ့ကျင့်ထားသော မော်ဒယ်တစ်ခုသည် ထပ်ဆောင်း data ကို weight value ပို တိကျသောထဲသို့ အသေးစား ကွဲပြားချက်များ ရေးထည့်ရန် အသုံးချခဲ့ပြီး — ၎င်းသည် 3-bit grid တစ်ခုက ကိုယ်စားမပြုနိုင်သော အချက်ပင် ဖြစ်သည်။

ထို့နောက် section 03 ရှိ FP8 အချက်ရှိသည် — ဤဆောင်းပါးရှိ ရှင်းလင်းဆုံး argument ဖြစ်သည်။ MiMo-V2.5-Pro ကို FP8 mixed precision ၌ pretrain လုပ်ခဲ့သည်။ ၎င်း၏ weight များကို bit ခန့်မှန်း ရှစ်ခုတွင် အလုပ်လုပ်သော optimizer တစ်ခုက အစမှစ၍ ပုံသွင်းခဲ့သည်။ ၎င်းကို 8-bit weight ၌ ဝန်ဆောင်မှုပေးခြင်းသည် ထို့ကြောင့် 16-bit မော်ဒယ်တစ်ခုပေါ်တွင် စွန့်ခွာထားသော ဆုံးရှုံးမှုတစ်ခု မဟုတ်ဘဲ — weight များကို ၎င်းတို့ လေ့လာခဲ့သည့် ကိန်းဂဏန်းဆိုင်ရာ regime သို့ ပြန်ပို့ခြင်းနှင့် နီးစပ်သည်။ bit ရှစ်ခုအောက်တွင် ဆုံးရှုံးမည့် အသေးစား ဖွဲ့စည်းပုံ အနည်းငယ်သာ ရှိသည်။ bit သုံးခုသို့ တွန်းချထားသော weight များအတွက်မူ ထိုသို့ မဆိုနိုင်ပါ။

07REAP — expert pruning သည် rounding ထက် ကွဲပြားသော ဆုံးရှုံးမှု အမျိုးအစား ဖြစ်ကြောင်း

Tier သုံးခုအနက် နှစ်ခုသည် REAP နောက်ဆက်တွဲကို ဆောင်ကြသည် — quantization မှ အမျိုးအစား လုံးဝ ကွဲပြားသော လုပ်ဆောင်ချက် တစ်ခု ဖြစ်သည်။ REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) သည် sparse MoE မော်ဒယ်များအတွက် one-shot compression တစ်ခု ဖြစ်သည် — router ၏ gate value များနှင့် expert ၏ activation norm ဖြင့် expert တစ်ခုစီကို အမှတ်ပေးပြီး အနိမ့်ဆုံး အမှတ်ရသူများကို ဖျက်ချသည်။ expert 50% pruning ၌ပင် code ထုတ်လုပ်ခြင်းနှင့် tool calling တွင် ရှုံးနိမ့်မှု နီးပါးမရှိသော ရလဒ်များကို Cerebras က ဖော်ပြထားသည်။

ကျွန်ုပ်တို့ REAP ကို ၎င်းရှိရသည့် အကြောင်းရင်းအတွက်ပင် သုံးသည် — foundation အကြီးမားဆုံးများတွင် ၎င်းသည် ၎င်းတို့ကို ဝန်ဆောင်မှုပေးနိုင်စေသော အရာ ဖြစ်သည်။ သို့သော် အမျိုးအစားဆိုင်ရာ ကွာဟချက်ကို သတိပြုပါ။ Quantization သည် weight တိုင်းကို အနည်းငယ် ဝါးမြိုသည်; pruning ကမူ expert များကို လုံးဝ ဖယ်ရှားသည်။ သင့် workload သည် ရှားရှားပါးပါးသာ ရွေးချယ်ခံရသော expert တစ်ခုထဲရှိ စွမ်းရည်တစ်ခုသို့ များစွာ route လုပ်ခဲ့လျှင် — programming language သေးငယ်တစ်ခု, အထူးသဖြင့် ဝေါဟာရတစ်ခု — ၎င်းသည် ဆုတ်ယုတ်ခြင်း မဟုတ်ပါ။ ၎င်းသည် ပျောက်သွားခြင်း ဖြစ်ပြီး prompting မည်သို့မှ ၎င်းကို ပြန်ရ မည် မဟုတ်ပါ။ ပျမ်းမျှသည် ကောင်းမွန်နေဆဲ ဖြစ်သော်လည်း သင့် tail case မှာ ကောင်းချင်မှ ကောင်းမည်။

MiMo-V2.5-Pro · W8A16 တွင် REAP နောက်ဆက်တွဲ မရှိပါ။ Expert 384 ခုလုံး ရှိနေပြီး router သည် foundation ကို လေ့ကျင့်ခဲ့သည့် အစုံအလင်မှသာ ရွေးချယ်သည်။

Tier	Weight bit	Expert	ဘာကို ဖလှယ်ရသလဲ
W8A16	8	အားလုံး ရှိသည်	ဖွဲ့စည်းပုံဆိုင်ရာ ဘာမှ မရှိ။ Fidelity tier။
W4A16-AUTOROUND-REAP	4	Prune ခံရသည်	အသေးစား weight အသေးစိတ်ထပ် traffic နည်းသော expert များ၊ ဈေးနှုန်းအကွက်တူတူတွင် foundation ကြီးများစွာအတွက် ဖလှယ်ခံရသည်။
3BIT-REAP	3	Prune ခံရသည်	weight resolution အများအပြားထပ် traffic နည်းသော expert များ — foundation အကြီးမားဆုံးများကို အမြန်နှုန်းဖြင့် လည်ပတ်ရန် ကုန်ကျစရိတ်။

အလယ် tier ကို တရားမျှတစွာ နားထောင်ရန် ထိုက်တန်သည်။ AutoRound သည် naive rounding မဟုတ်ပါ — Intel ၏ method (arXiv:2309.05516) သည် step ခန့်မှန်း 200 ပေါ်တွင် weight group တစ်ခုစီအတွက် rounding ဆုံးဖြတ်ချက်နှင့် clipping range ကို ချိန်ညှိရန် signed gradient descent ကို အသုံးပြုပြီး setting များစွာတွင် 4 bit ၌ nearly-lossless ဟု ဖော်ပြခံရကာ GPTQ, AWQ, HQQ နှင့် OmniQuant ကို configuration စမ်းသပ်မှု အများစုတွင် အနိုင်ယူသည်။ W4A16-AUTOROUND မော်ဒယ်တစ်ခုသည် တကယ့် ကောင်းမွန်သော 4-bit မော်ဒယ်တစ်ခု ဖြစ်သည်။ ၎င်းသည် ဆက်လက် 4-bit မော်ဒယ်တစ်ခုပင် ဖြစ်နေသည်။

08ဘယ်သူက 8-bit tier ကို ရွေးချယ်သင့်သလဲ — ဘယ်သူက မသင့်လဲ

MiMo-V2.5-Pro · W8A16 သည် 1M token လျှင် $0.50 in / $2.00 out — ကက်တလောက်တစ်ခုလုံး၏ အနိမ့်ဆုံးနှုန်း — ၌ ရှိသည်၊ entry-tier 4-bit မော်ဒယ်များနှင့် band တူတူဖြစ်ပြီး ကျွန်ုပ်တို့ ဝန်ဆောင်မှုပေးသည့် အဖိုးအခြေ ကြီးဆုံးမော်ဒယ်၏ input ဈေးနှုန်း ခန့်မှန်း လေးပုံတစ်ပုံ ဖြစ်သည်။ Fidelity အတွက် premium ငွေပေးနေခြင်း မဟုတ်ပါ; budget တူတူ၏ axis ကွဲပြားတစ်ခုကို ရွေးချယ်ခြင်း ဖြစ်သည်။

ဤအချိန် ရွေးချယ်ပါ

• Output ရှည်လျားခြင်းသည် အလုပ် ဖြစ်လျှင်။ Technical writing ရှည်လျား, chapter-length ဝတ္ထု, document ပြည့်စုံစွာ ရေးသားခြင်း — ထုတ်လုပ်သော token တိုင်းသည် compression noise ကို ပေါင်းစည်းစေသည့်နေရာ ဖြစ်သည်။
• Voice နှင့် တသမတ်တည်းရှိမှု အရေးကြီးလျှင်။ Character အလုပ်, brand tone, session ရှည်တစ်ခုတစ်လျှောက် ထိန်းထားသော register။ Style သည် tail ၌ ရှိပြီး coarse quantization က ပထမဆုံး စားလိုက်သည်မှာ tail ဖြစ်သည်။
• Structured output သည် ပထမကြိမ်တွင် validate ဖြစ်ရမည်ဆိုလျှင်။ မော်ဒယ်သည် json_schema နှင့် response_format ကို ထောက်ပံ့သည်; schema လိုက်နာမှုသည် precision ဂုဏ်သတ္တိတစ်ခု ဖြစ်ပြီး ရှောင်နိုင်သော retry တိုင်းသည် ငွေနှင့် latency ချွေတာမှု ဖြစ်သည်။
• Context ကို ဖြည့်နေလျှင်။ token 200,000 တွင် ညွှန်ကြားချက် လိုက်နာမှုသည် token 2,000 တွင်ထက် ပိုခက်ခဲပြီး weight precision နှင့်အတူ ကျဆင်းလာသည် — reasoning trace ရှည်တစ်ခုကလည်း ထိုနည်းတူ error များ ပေါင်းစည်းလာသည်။
• အလုပ်သည် သဘာဝအားဖြင့် ဆင်ဆာမဲ့ ဖြစ်လျှင်။ လုံခြုံရေး သုတေသန, red-teaming, filter မပါသော ဝတ္ထု, သိမ်မွေ့သော ဆေးဘက်ဆိုင်ရာ သို့မဟုတ် တရားရေးဆိုင်ရာ ခွဲခြမ်းစိတ်ဖြာမှု — hedged အဖြေတစ်ခုသည် အဖြေမရှိခြင်းထက် ဆိုးသည့်နေရာများ။

ဤအချိန် အခြားတစ်ခုကို ရွေးချယ်ပါ

• Vision လိုအပ်လျှင်။ ဤမော်ဒယ်သည် စာသားသာ ဖြစ်သည်; ၎င်း၏ ညီအစ်ကို MiMo-V2.5 · W8A16 သည် ဈေးနှုန်းနှင့် tier တူတူ၌ vision ရနိုင်သည်။
• Query တိုတောင်းများပေါ်တွင် ကျယ်ပြန့်ဆုံး ကမ္ဘာ့အသိပညာ လိုအပ်လျှင်။ ၎င်းသည် foundation ကြီးများသော 3-bit တစ်ခု၏ parameter ထပ်ဆောင်းက အနိုင်ရပြီး ၎င်း၏ quantization ဒဏ်ရာက မသိသာသော regime ဖြစ်သည်။
• သင့် workload သည် volume များသော classification တိုတောင်း ဖြစ်လျှင်။ Quantization ဒဏ်ရာသည် ထိုနေရာတွင် နီးပါး မမြင်ရပါ — အမြန်ဆုံးအရာကို ဝယ်ပါ။

09ဆင်ဆာမဲ့ MiMo API ကို ခေါ်ဆိုခြင်း

သင့် code သည် OpenAI SDK ကို ဦးတည်လျှင် base URL နှင့် model id ကို ပြောင်းလိုက်ရုံသည် migration တစ်ခုလုံး ဖြစ်သည် —

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages နှင့် /v1/responses တို့သည် id တူတူနှင့် capability တူတူကို လက်ခံသည်။ Parameter အညွှန်း, tool-calling schema, structured-output ဥပမာများနှင့် တိုက်ရိုက် playground တစ်ခုကို Shannon AI API documentation တွင် ကြည့်ရှုနိုင်သည်။

Capability	MiMo-V2.5-Pro · W8A16
Context window	262,144 token
Request တစ်ခုလျှင် Max output	16,384 token
Streaming	ရှိသည် — dialect သုံးမျိုးလုံး
Tool calling	ရှိသည်
Reasoning / reasoning_effort	ရှိသည်
json_schema structured output	ရှိသည်
response_format	ရှိသည်
Vision / ရုပ်ပုံ input	မရှိပါ — MiMo-V2.5 ကို သုံးပါ
ငြင်းပယ်မှု အလွှာ / output filter	မရှိပါ
1M token လျှင် ဈေးနှုန်း	$0.50 in / $2.00 out

10မေးလေ့ရှိသော မေးခွန်းများ

---

Sources: MiMo technical report, arXiv:2505.07608 · MiMo-V2.5-Pro model card (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bit inference scaling laws, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025။ Benchmark ကိန်းဂဏန်းအားလုံးသည် ၎င်းတို့ ရေးသားသူများ ဖော်ပြထားသည့်အတိုင်း ဖြစ်သည်။ Shannon AI သည် Shannon Lab LLC, New Mexico, USA ၏ ထုတ်ကုန်တစ်ခု ဖြစ်သည်။