8-ബിറ്റ് കൃത്യതയിൽ സെൻസർ ചെയ്യാത്ത MiMo API

മിക്ക കാറ്റലോഗുകളും നിങ്ങൾക്ക് പാരാമീറ്റർ എണ്ണം വിൽക്കുന്നു. ഷോപ്പ് ചെയ്യാൻ അതൊരു തെറ്റായ സംഖ്യയാണ്, കാരണം നിങ്ങൾക്ക് യഥാർത്ഥത്തിൽ താങ്ങാൻ കഴിയുന്ന ഓരോ വലിയ ഓപ്പൺ-വെയ്റ്റ്സ് മോഡലും എവിടെയെങ്കിലും ഒതുങ്ങാൻ കംപ്രസ് ചെയ്യപ്പെട്ടതാണ്. "ഞെരുക്കുന്നതിന് മുമ്പ് ഇത് എത്ര വലുതായിരുന്നു?" എന്നതല്ല സത്യസന്ധമായ ചോദ്യം, "അതിൽ എത്രത്തോളം ഇപ്പോഴും ഇവിടെയുണ്ട്?" എന്നതാണ്. ആ ചോദ്യത്തെക്കുറിച്ചാണ് ഈ ലേഖനം, ഉത്തരം ഏകദേശം അതെല്ലാം ആയ ഞങ്ങളുടെ നിരയിലെ മോഡലിനെക്കുറിച്ചും.

01സെൻസർ ചെയ്യാത്ത MiMo API യഥാർത്ഥത്തിൽ എന്താണ് നൽകുന്നത്

ഒരു മോഡൽ ഐഡിയാണ് സെൻസർ ചെയ്യാത്ത MiMo API, MiMo-V2.5-Pro-W8A16, ഞങ്ങളുടെ സ്വന്തം GPU ക്ലസ്റ്ററിലെ അതേ വെയ്റ്റുകളെ അഭിസംബോധന ചെയ്യുന്ന മൂന്ന് ഭാഷാഭേദങ്ങളിലൂടെ എത്തിച്ചേരാം: /v1/chat/completions, /v1/messages, /v1/responses. മൂന്നും സ്ട്രീം ചെയ്യുന്നു, ടൂൾ കോളിംഗും യുക്തിചിന്തയും പിന്തുണയ്ക്കുന്നു.

ഇവിടെ സെൻസർ ചെയ്യാത്തതിന് ഇടുങ്ങിയ ഒരു അർത്ഥമുണ്ട്: മോഡലിന് മുന്നിൽ ഒരു നിരസന പാളിയില്ല, അതിന്റെ ഔട്ട്പുട്ടിന് ഒരു ഫിൽട്ടറുമില്ല. ഞങ്ങൾ തടസ്സപ്പെടുത്തുകയോ വർഗ്ഗീകരിക്കുകയോ വീണ്ടും എഴുതുകയോ ചെയ്യുന്നില്ല. അടിത്തറയുടെ സ്വന്തം സ്വഭാവം നിങ്ങൾക്ക് ലഭിക്കുന്നു — ഗവേഷണ-ഗ്രേഡ് ഓപ്പൺ-വെയ്റ്റ്സ് മോഡലിന്, അതിനർത്ഥം സുരക്ഷാ ഗവേഷണം, മുതിർന്നവർക്കുള്ള അല്ലെങ്കിൽ അക്രമാസക്തമായ ഫിക്ഷൻ, മെഡിക്കൽ, നിയമ യുക്തിചിന്ത, ഹോസ്റ്റഡ് വാണിജ്യ എൻഡ്‌പോയിന്റുകൾ റിഫ്ലെക്സ് ആയി നിരസിക്കുന്ന അഭ്യർത്ഥനകൾ എന്നിവയിലുള്ള ഇടപെടലാണ്. ഞങ്ങളുടെ ഉത്തരവാദിത്ത ഉപയോഗ നയത്തിന് കീഴിലുള്ള ഒരു പ്രൊഫഷണൽ ഉപകരണമാണ് ഇത്, നിയമങ്ങളുടെ അഭാവമല്ല.

02MiMo പരമ്പര: യുക്തിചിന്ത-ആദ്യ പ്രീട്രെയിനിംഗിൽ Xiaomi-യുടെ പന്തയം

MiMo ഒരു പുതിയ പേരുള്ള Llama ഡെറിവേറ്റീവല്ല; Xiaomi-യുടെ MiMo ടീമിൽ നിന്നുള്ള ഒരു വ്യതിരിക്ത പരമ്പരയാണ്, മോഡൽ വിലയിരുത്തുന്നതിന് മുമ്പ് അതിന്റെ സ്ഥാപക ആശയം പ്രധാനമാണ്. RL ഉപയോഗിച്ച് ഒട്ടിച്ചുവയ്ക്കേണ്ട ഒരു പോസ്റ്റ്-ട്രെയിനിംഗ് പ്രശ്നമായി മിക്ക ലാബുകളും യുക്തിചിന്തയെ കാണുന്നു, ഇത് പിന്നോട്ടാണ് എന്ന് വാദിക്കുന്ന അതിന്റെ സാങ്കേതിക റിപ്പോർട്ടോടെ MiMo-7B-യിലാണ് (2025 ഏപ്രിൽ 30, MIT-ലൈസൻസ്) ഇത് തുറക്കുന്നത്. പകരം Xiaomi പ്രീട്രെയിനിംഗ് അതിനുചുറ്റും പുനഃസംഘടിപ്പിച്ചു: 25 ട്രില്യൺ ടോക്കണുകളിലുടനീളമുള്ള ഒരു മൂന്ന്-ഘട്ട മിശ്രിതം, ഘട്ടം രണ്ട് ഏകദേശം 70% ഗണിതവും കോഡും പ്രവർത്തിപ്പിക്കുന്നു, ഘട്ടം മൂന്ന് 8K-ൽ നിന്ന് 32K-ലേക്ക് സന്ദർഭം വിപുലീകരിക്കുന്നതോടെ സിന്തറ്റിക് യുക്തിചിന്താ ട്രെയ്സുകൾ ഉൾപ്പെടുത്തുന്നു — പുറമേ ഒരു സ്പെക്യുലേറ്റീവ്-ഡീകോഡിംഗ് ഹെഡ് ആയും പ്രവർത്തിക്കുന്ന Multi-Token Prediction ലക്ഷ്യവും.

ഫലം വളരെ വലിയ എന്തോ ഒന്നിനെപ്പോലെ പെരുമാറിയ ഒരു 7B ബേസ് മോഡലായിരുന്നു. Qwen2.5-7B 10.1-ഉം Gemma-2-9B 0.0-ഉം Llama-3.1-8B 0.3-ഉം സ്കോർ ചെയ്തിടത്ത് MiMo-7B-Base AIME 2024-ൽ 32.9 സ്കോർ ചെയ്തു. പിന്നീട് പോസ്റ്റ്-ട്രെയിനിംഗ്, സ്പാഴ്സ്-റിവാർഡ് കെണിയിൽ നിന്ന് രക്ഷപ്പെട്ട്, ടെസ്റ്റ്-കടുപ്പം-നയിക്കുന്ന ഒരു കോഡ് റിവാർഡോടെ 130,000 പരിശോധിക്കാവുന്ന ഗണിത, കോഡ് പ്രശ്നങ്ങളിൽ RL പ്രവർത്തിപ്പിച്ചു. ഫലം o1-mini-ക്ക് മുന്നിലെത്തി:

AIME 2025, MiMo സാങ്കേതിക റിപ്പോർട്ടിൽ (arXiv:2505.07608) നിന്നുള്ള Xiaomi-റിപ്പോർട്ട് ചെയ്ത കണക്കുകൾ. MiMo-7B-RL MATH-500-ൽ 95.8-ഉം LiveCodeBench v5-ൽ 57.8-ഉം കൂടി റിപ്പോർട്ട് ചെയ്തു.

കുടുംബം വ്യതിചലിക്കുന്നതിന് പകരം വിശാലമായി: MiMo-VL-7B (2025 ജൂൺ) അതേ ബാക്ക്‌ബോണിൽ ഒരു Qwen2.5-ViT എൻകോഡർ വച്ചു, 2025 ഡിസംബർ MiMo-Audio-7B-യും ആദ്യത്തെ MoE എൻട്രിയായ MiMo-V2-Flash-യും (309B ആകെ / 15B സജീവം, 27T ടോക്കൺ, FP8 മിക്സഡ് പ്രിസിഷൻ) കൊണ്ടുവന്നു. "Hunter Alpha" ആയി OpenRouter-ൽ ആഴ്ചകൾ ചെലവഴിച്ച ശേഷം MiMo-V2-Pro 2026 മാർച്ചിൽ ഏകദേശം 1T / 42B സജീവം, 1M സന്ദർഭത്തോടെ പിന്തുടർന്നു. MiMo-V2.5-ഉം MiMo-V2.5-Pro-ഉം 2026 ഏപ്രിൽ 22-ന് ഒരുമിച്ച് അയച്ചു, രണ്ടും MIT.

03MiMo-V2.5-Pro-യുടെ ഉള്ളിൽ: അടിത്തറ എങ്ങനെയിരിക്കുന്നു

Xiaomi-യുടെ പ്രസിദ്ധീകരിച്ച മോഡൽ കാർഡ് അനുസരിച്ച്, 70 ലെയറുകളിലുടനീളം 1.02 ട്രില്യൺ ആകെ പാരാമീറ്ററും ടോക്കണിന് 42 ബില്യൺ സജീവവുമുള്ള ഒരു സ്പാഴ്സ് Mixture-of-Experts മോഡലാണ് MiMo-V2.5-Pro — ഒന്ന് ഡെൻസ്, 69 MoE — 384 റൂട്ട് ചെയ്ത എക്സ്പെർട്ടുകൾ, ടോക്കണിന് 8. ഹിഡൻ വലുപ്പം 6144 ആണ്, MoE ഇന്റർമീഡിയറ്റ് വലുപ്പം 2048 എന്ന ഇടുങ്ങിയ വലുപ്പത്തിൽ.

ഉപയോഗത്തിൽ അത് അനുഭവപ്പെടുന്നത് എങ്ങനെയെന്ന് രണ്ട് തിരഞ്ഞെടുപ്പുകൾ രൂപപ്പെടുത്തുന്നു. അറ്റൻഷൻ സ്റ്റാക്ക് ഹൈബ്രിഡ് ആണ്: 10 ഫുൾ-അറ്റൻഷൻ ലെയറുകളും 128 ജാലകമുള്ള 60 സ്ലൈഡിംഗ്-വിൻഡോ ലെയറുകളും, പുറമേ പഠിക്കാവുന്ന ഒരു അറ്റൻഷൻ-സിങ്ക് ബയാസും. ദീർഘ-സന്ദർഭ ഗുണനിലവാരം നിലനിർത്തിക്കൊണ്ട് എല്ലാ-ഗ്ലോബൽ അറ്റൻഷനെതിരെ ഏകദേശം 7 മടങ്ങ് ഇത് KV-കാഷ് സംഭരണം വെട്ടിക്കുറയ്ക്കുന്നു എന്ന് Xiaomi റിപ്പോർട്ട് ചെയ്യുന്നു — നാമമാത്രമായി നീണ്ട ഒരു ജാലകവും നിറയ്ക്കാൻ നിങ്ങൾക്ക് താങ്ങാൻ കഴിയുന്ന ഒന്നും തമ്മിലുള്ള വ്യത്യാസം. ഡീകോഡറിന് ഒരു സ്പെക്യുലേറ്റീവ് ഹെഡ് നൽകുന്ന മൂന്ന് Multi-Token Prediction ലെയറുകളും ഇത് അയയ്ക്കുന്നു.

നേറ്റീവ് 32K സീക്വൻസ് നീളത്തിൽ FP8 (E4M3) മിക്സഡ് പ്രിസിഷനിൽ 27 ട്രില്യൺ ടോക്കണിലായിരുന്നു പരിശീലനം, പിന്നീട് സൂപ്പർവൈസ്ഡ് ഫൈൻ-ട്യൂണിംഗ്, വലിയ തോതിലുള്ള ഏജന്റിക് RL, ബഹു-അധ്യാപക ഓൺ-പോളിസി ഡിസ്റ്റിലേഷൻ. ആ FP8 വിശദാംശം മനസ്സിൽ വയ്ക്കുക; ഈ അടിത്തറ 8 ബിറ്റിൽ നൽകുന്നതിനുള്ള ഏറ്റവും ശക്തമായ ഒരൊറ്റ വാദമാണ് അത്.

ടൂൾ ഉപയോഗത്തിന് SWE-bench Pro-യിൽ 57.2%-ഉം τ3-Bench-ൽ 72.9-ഉം Humanity's Last Exam-ൽ 48.0%-ഉം മോഡലിനെ Xiaomi റിപ്പോർട്ട് ചെയ്യുന്നു — ക്വാണ്ടൈസ് ചെയ്യാത്ത മോഡലിലെ വെണ്ടറിന്റെ സ്വന്തം സംഖ്യകൾ, അതായി ഉദ്ധരിച്ചത്.

അടിത്തറയുടെ പൂർണ്ണ 1M-ന് പകരം 262,144-ടോക്കൺ ജാലകയാണ് ഞങ്ങൾ നൽകുന്നത് — ലോഡിന് കീഴിൽ അപചയിക്കുന്ന ഒരു ഹെഡ്‌ലൈൻ സംഖ്യയ്ക്ക് പകരം, ഞങ്ങൾക്ക് വേഗതയോടെ ഗ്യാരണ്ടി നൽകാൻ കഴിയുന്ന ഒരു സന്ദർഭം.

04W8A16 എന്നാൽ കൃത്യമായി എന്താണ്

ഈ കാറ്റലോഗിലെ ഓരോ മോഡലും ഒരു മാർക്കറ്റിംഗ് തട്ടിനെക്കാൾ ഒരു യഥാർത്ഥ, അളക്കാവുന്ന പരിവർത്തനത്തെ വിവരിക്കുന്ന ഒരു ക്വാണ്ടൈസേഷൻ ഉപസർഗ്ഗം വഹിക്കുന്നു. ഞങ്ങളുടേത് 3BIT-REAP, W4A16-AUTOROUND-REAP, W8A16 എന്നിവയാണ്. മൂന്നാമത്തേതാണ് MiMo-V2.5-Pro.

നൊട്ടേഷൻ രണ്ടായി വിഭജിക്കുന്നു. W8 വെയ്റ്റ് കൃത്യതയാണ്: ഓരോ പാരാമീറ്ററും 16-ബിറ്റ് ഫ്ലോട്ടിന് പകരം ഒരു 8-ബിറ്റ് ഇന്റിജറായി സൂക്ഷിക്കുന്നു, ഓരോ ചെറിയ ഗ്രൂപ്പിനും ഒരു പങ്കിട്ട സ്കെയിലിംഗ് ഘടകത്തോടെ, അതിനാൽ ഓരോ ഗ്രൂപ്പിന്റെയും പ്രാദേശിക ഡൈനാമിക് ശ്രേണി അതിജീവിക്കുന്നു. A16 ആക്ടിവേഷൻ കൃത്യതയാണ്: അനുമാന സമയത്ത് ലെയറുകൾക്കിടയിൽ ഒഴുകുന്ന മൂല്യങ്ങൾ 16 ബിറ്റിൽ തുടരുന്നു. വെയ്റ്റുകൾ കംപ്രസ് ചെയ്യപ്പെടുന്നു; ഗണിതം ചെയ്യപ്പെടുന്നില്ല.

ആ രണ്ടാം പകുതി നിശ്ശബ്ദവും പ്രധാനവുമായ ജോലി ചെയ്യുന്നു. ആക്ടിവേഷനുകൾ വെയ്റ്റുകളെക്കാൾ ക്വാണ്ടൈസ് ചെയ്യാൻ വളരെ കടുപ്പമാണ്: അവയിൽ അതിരൂക്ഷമായ ഔട്ട്‌ലയർ ചാനലുകൾ അടങ്ങിയിരിക്കുന്നു — മറ്റെല്ലാറ്റിനെക്കാളും വ്യാപ്തി കൂടിയ, മോഡലിന്റെ സ്വഭാവത്തിന്റെ ഒരു അസമമായ പങ്ക് വഹിക്കുന്ന ഏതാനും ഡൈമൻഷനുകൾ. അവയെ കുറഞ്ഞ കൃത്യതയിലേക്ക് തള്ളിവിടുക, നിങ്ങൾക്ക് വേണ്ട സിഗ്നൽ കൃത്യമായി നിങ്ങൾ ക്ലിപ്പ് ചെയ്യും. ആക്ടിവേഷൻ പാത തൊടാതെ വിടുന്നതിലൂടെ വെയ്റ്റ്-മാത്രം സ്കീമുകൾ ആ പ്രശ്നത്തെ ഒഴിവാക്കുന്നു, ഗൗരവമുള്ള ക്വാണ്ടൈസേഷൻ ജോലി അവയിലേക്ക് ഒത്തുചേർന്നത് അതുകൊണ്ടാണ്.

അതിനാൽ പ്രായോഗിക ചോദ്യം ഒരു കാര്യത്തിലേക്ക് ചുരുങ്ങുന്നു: ഒരു വെയ്റ്റിന് എത്ര കുറച്ച് ബിറ്റ് സഹിക്കാൻ കഴിയും?

05W8A16 vs W4A16 vs 3-ബിറ്റ്: നഷ്ടം യഥാർത്ഥത്തിൽ എവിടേക്ക് പോകുന്നു

ഇതിനെക്കുറിച്ചുള്ള ഏറ്റവും വലിയ പ്രസിദ്ധീകരിച്ച പഠനം Neural Magic-ഉം Red Hat-ഉം ചേർന്നുള്ള "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization ആണ് — 8B, 70B, 405B-ൽ Llama-3.1 കുടുംബത്തിലുടനീളം 500,000-ത്തിലധികം മൂല്യനിർണ്ണയങ്ങൾ. അവരുടെ ഹെഡ്‌ലൈൻ ഫലം, അവരുടെ കണക്കുകളിൽ:

ഫോർമാറ്റ്	എന്ത് കംപ്രസ് ചെയ്യപ്പെടുന്നു	BF16-ക്കെതിരെ റിപ്പോർട്ട് ചെയ്ത വീണ്ടെടുക്കൽ
W8A8-FP (8-ബിറ്റ്)	വെയ്റ്റുകളും ആക്ടിവേഷനുകളും, ഫ്ലോട്ട്	~99.75% ശരാശരി — "ഏറെക്കുറെ ലോസ്‌ലെസ്"
W8A8-INT (8-ബിറ്റ്)	വെയ്റ്റുകളും ആക്ടിവേഷനുകളും, ഇന്റിജർ	8B/70B-ൽ 99–100%; 405B-ൽ 98.2–99.3%
W4A16-INT (4-ബിറ്റ്)	വെയ്റ്റുകൾ മാത്രം	98–99.4% (8B); 98.6–99.8% (70B)

Llama-3.1 മോഡലുകളിൽ Neural Magic / Red Hat (arXiv:2411.02355) റിപ്പോർട്ട് ചെയ്ത കണക്കുകൾ — ഈ മോഡലിന്റെ സ്കോറല്ല, വ്യാപാരത്തിന്റെ രൂപം.

സത്യസന്ധമായി വായിച്ചാൽ, അത് ശ്രദ്ധിക്കുന്നതിനെതിരെയുള്ള ഒരു വാദം പോലെ തോന്നും: 4-ബിറ്റ് 98–99% വീണ്ടെടുക്കുന്നു, പിന്നെ എന്തിന് ശ്രദ്ധിക്കണം? കാരണം അവ ക്വാണ്ടൈസേഷൻ കേട് കണ്ടെത്താൻ ലഭ്യമായതിൽ ഏറ്റവും മോശം ഉപകരണങ്ങളോട് അടുത്ത അക്കാദമിക് മൾട്ടിപ്പിൾ-ചോയ്സ് ബെഞ്ച്മാർക്കുകളാണ്. ഒരു ബെഞ്ച്മാർക്ക് ചോദ്യത്തിന് ഒന്നോ രണ്ടോ ടോക്കണിൽ എത്തിച്ചേരാവുന്ന ഒരൊറ്റ ശരിയായ ഉത്തരമുണ്ട്, ക്വാണ്ടൈസേഷൻ പിശക് ഓരോ ലോജിറ്റിലും ചെറുതും ഏകദേശം പൂജ്യം-ശരാശരി ശബ്ദവുമാണ്; വിശാലമായ മാർജിനുള്ള ഒരു ഹ്രസ്വ ചോദ്യത്തിൽ, ആ ശബ്ദം ആഗിരണം ചെയ്യപ്പെടുന്നു.

ഇപ്പോൾ ഒരു സാങ്കേതിക ഡോക്യുമെന്റിന്റെ 4,000 ടോക്കൺ എഴുതുക, 40,000-ടോക്കൺ കഥയിലുടനീളം ഒരു ശബ്ദം പിടിക്കുക, അല്ലെങ്കിൽ ആദ്യ ശ്രമത്തിൽ സാധുവാകേണ്ട JSON പുറപ്പെടുവിക്കുക. അതേ ശബ്ദം ആയിരക്കണക്കിന് തവണ ക്രമത്തിൽ സാംപിൾ ചെയ്യപ്പെടുന്നു, ഓരോ സാംപിളും അടുത്തതിനെ കണ്ടീഷൻ ചെയ്യുന്നു. പരാജയ രീതി ഒരു തെറ്റായ ഉത്തരമല്ല — അത് വ്യതിയാനമാണ്: ആദ്യ ടേൺ മുതൽ നിർദ്ദേശത്തിന്റെ ഒരു അയഞ്ഞ പിടി, ടോക്കൺ 3,000-ന് അടുത്ത് സ്വയം കേൾക്കുന്നത് നിർത്തുന്ന ഒരു കഥാപാത്രം, ഒരിക്കലും വരാത്ത ഒരു ക്ലോസിംഗ് ബ്രേസ്.

ബിറ്റുകൾ യഥാർത്ഥത്തിൽ എവിടേക്ക് പോകുന്നു

ക്വാണ്ടൈസേഷൻ പിശക് ഒരു മോഡലിന്റെ ശേഷികളിലുടനീളം തുല്യമായി വ്യാപിക്കുന്നില്ല; അത് വാൽഭാഗത്ത് കേന്ദ്രീകരിക്കുന്നു. ഉയർന്ന-വ്യാപ്തിയുള്ള സ്വഭാവങ്ങൾ — വ്യാകരണപരമായ ഇംഗ്ലീഷ്, ഒരു Python ഫംഗ്ഷന്റെ രൂപം, ലോകത്തെക്കുറിച്ചുള്ള ആദ്യ ആയിരം വസ്തുതകൾ — പല വെയ്റ്റുകളിലുടനീളം ആവർത്തിച്ച് എൻകോഡ് ചെയ്യപ്പെടുകയും ഏതാണ്ട് എന്തിനെയും അതിജീവിക്കുകയും ചെയ്യുന്നു. കൃത്യമായി ട്യൂൺ ചെയ്ത, ചെറിയ-വ്യാപ്തിയുള്ള വെയ്റ്റ് വിതരണത്തിന്റെ കോണുകൾ അപൂർവ്വമായ കാര്യങ്ങൾ വഹിക്കുന്നു: ഒരു അവ്യക്ത API-യുടെ കൃത്യമായ സിഗ്നേച്ചർ, ഒരു നിശ്ചിത രചയിതാവിന്റെ താളം, തൊട്ടടുത്ത രണ്ട് CVE-കൾ തമ്മിലുള്ള വ്യത്യാസം. ഒരു കൂടിയ ഗ്രിഡ് പരസ്പരം റൗണ്ട് ചെയ്യുന്ന മൂല്യങ്ങളാണ് അവ.

4 ബിറ്റിൽ നിന്ന് 3-ലേക്കുള്ള ചുവടാണ് ഇത് ഒരു നികുതിയായി നിർത്തി ഒരു കൊക്കയാകുന്നത്. Dettmers-ഉം Zettlemoyer-ഉം ചേർന്നുള്ള k-bit അനുമാന സ്കെയിലിംഗ് നിയമങ്ങൾ, മോഡൽ മെമ്മറിയുടെ ബിറ്റിന് zero-shot കൃത്യത പരമാവധിയാക്കുന്ന പോയിന്റ് 4-ബിറ്റ് ആണെന്ന് കണ്ടെത്തി, അതിനു താഴെ അപചയം ആധിപത്യം സ്ഥാപിക്കുന്നു. നാല് ബിറ്റ് ഗ്രൂപ്പിന് 16 ലെവലുകൾ നൽകുന്നു; മൂന്ന് 8 നൽകുന്നു. നിങ്ങൾ ഇതിനകം കൂടിയ ഒരു ഗ്രിഡിന്റെ റെസലൂഷൻ പകുതിയാക്കുകയാണ്, വെയ്റ്റിന് റൗണ്ട്-ഓഫ് പിശക് ഏകദേശം ഇരട്ടിയാകുന്നു.

അത് തീരുമാനിക്കുന്ന ഗണിതം

ചെയ്യേണ്ട താരതമ്യം ഗണിതമാണ്, ഒരു ബെഞ്ച്മാർക്കല്ല. കംപ്രഷനെ അതിജീവിക്കുന്നത് ഏകദേശം പാരാമീറ്ററുകൾ × പാരാമീറ്ററിന് ബിറ്റ് ആണ് — വെയ്റ്റ് ഫയലിന്റെ വിവര-വഹിക്കുന്ന വ്യാപ്തം. തുല്യ ഗുണനിലവാരമുള്ള രണ്ട് സാങ്കൽപ്പിക അടിത്തറകൾ എടുക്കുക:

• അടിത്തറ A: 3 ബിറ്റിൽ 400B പാരാമീറ്റർ → ഏകദേശം 150 GB നിലനിർത്തിയ വെയ്റ്റ്.
• അടിത്തറ B: 8 ബിറ്റിൽ 160B പാരാമീറ്റർ → ഏകദേശം 160 GB നിലനിർത്തിയ വെയ്റ്റ്.

പച്ച പാരാമീറ്റർ എണ്ണം കൊണ്ട് A രണ്ടര ഒന്നിന് ജയിക്കുന്നു — മോഡൽ കാർഡ് നയിക്കുന്ന സംഖ്യ. നിലനിർത്തിയ വിവരം കൊണ്ട് അവ തുല്യമാണ്, B-ക്ക് ഘടനാപരമായ ഒരു നേട്ടം കൂടിയുണ്ട്: അതിന്റെ വെയ്റ്റുകൾ അതിന്റെ വാൽഭാഗ സ്വഭാവം കേടില്ലാതെ നിലനിൽക്കുന്നത്ര സൂക്ഷ്മമായ ഒരു ഗ്രിഡിലാണ്, A-യുടെ വാൽഭാഗം ബൾക്കിലേക്ക് ക്വാണ്ടൈസ് ചെയ്യപ്പെട്ടപ്പോൾ. A കൂടുതൽ കാര്യങ്ങൾ അറിയുന്നു; B അറിയുന്നത് കൂടുതൽ മൂർച്ചയോടെ അറിയുന്നു. നീണ്ട ജനറേഷൻ, കൃത്യമായ ഫോർമാറ്റിംഗ്, ശൈലീപരമായ നിയന്ത്രണം, വിശ്വസ്ത ദീർഘ-സന്ദർഭ പാലനം എന്നിവയ്ക്ക്, B എടുക്കുക.

ദൃഷ്ടാന്തപരമായ ഗണിതം, ഒരു ബെഞ്ച്മാർക്കല്ല: "വലിയ അടിത്തറ", "മെച്ചമായി നൽകുന്ന മോഡൽ" എന്നിവ വ്യത്യസ്ത അവകാശവാദങ്ങളായത് എന്തുകൊണ്ടെന്ന് ഇത് കാണിക്കുന്നു.

0627 ട്രില്യൺ പരിശീലന ടോക്കണുകൾ ആക്രമണോത്സുകമായ ക്വാണ്ടൈസേഷനെ കൂടുതൽ മോശമാക്കുന്നത് എന്തുകൊണ്ട്

ഈ അടിത്തറയെ നേരിട്ട് ബാധിക്കുന്ന, കുറച്ചുകൂടി അവബോധജന്യമല്ലാത്ത രണ്ടാമത്തെ ഫലം. Kumar et al.-ന്റെ ICLR 2025 പേപ്പറായ Scaling Laws for Precision, ഒരു മോഡൽ എത്ര കൂടുതൽ ഡാറ്റയിൽ പരിശീലിപ്പിച്ചുവോ, പോസ്റ്റ്-ട്രെയിനിംഗ് ക്വാണ്ടൈസേഷൻ അതിന് അത്രത്തോളം കൂടുതൽ കേട് വരുത്തുന്നു എന്ന് കണ്ടെത്തുന്നു. കുറഞ്ഞ കൃത്യത ഒരു മോഡലിന്റെ ഫലപ്രദമായ പാരാമീറ്റർ എണ്ണം കുറയ്ക്കുന്നു, ആ അപചയം ആഗിരണം ചെയ്ത പ്രീട്രെയിനിംഗ് ഡാറ്റയോടെ വളരുന്നു — നിങ്ങൾ ആക്രമണോത്സുകമായി ക്വാണ്ടൈസ് ചെയ്യാൻ ഉദ്ദേശിക്കുന്നുവെങ്കിൽ അധിക പ്രീട്രെയിനിംഗ് ഡാറ്റ മൊത്തത്തിൽ ദോഷകരമാകാൻ കഴിയുന്നത്ര ദൂരം, കാരണം ഗ്രിഡ് മായ്ക്കാൻ പോകുന്ന സൂക്ഷ്മ ഘടനയാണ് നിങ്ങൾ എഴുതിവയ്ക്കുന്നത്.

5T ടോക്കണിൽ പരിശീലിപ്പിച്ച ഒരു മോഡലിന് കൂടിയതും ആവർത്തനപരവുമായ വെയ്റ്റ് ഘടനയും ബാക്കിവരുന്ന അയവുമുണ്ട്. 27T ടോക്കൺ — MiMo-V2.5-Pro-യുടെ ബജറ്റ് — ൽ പരിശീലിപ്പിച്ച ഒരു മോഡൽ ആ അധിക ഡാറ്റ കൂടുതൽ കൃത്യമായ വെയ്റ്റ് മൂല്യങ്ങളിലേക്ക് സൂക്ഷ്മ വ്യത്യാസങ്ങൾ എഴുതാൻ ചെലവഴിച്ചു, ഒരു 3-ബിറ്റ് ഗ്രിഡിന് പ്രതിനിധാനം ചെയ്യാൻ കഴിയാത്തതു തന്നെയാണ് അത്.

പിന്നെ 03-ാം വിഭാഗത്തിലെ FP8 വസ്തുതയുണ്ട്, ഈ ലേഖനത്തിലെ ഏറ്റവും വൃത്തിയുള്ള വാദം. MiMo-V2.5-Pro FP8 മിക്സഡ് പ്രിസിഷനിലാണ് പ്രീട്രെയിൻ ചെയ്തത്. ഏകദേശം എട്ട് ബിറ്റ് കൃത്യതയിൽ പ്രവർത്തിക്കുന്ന ഒരു ഒപ്റ്റിമൈസർ അതിന്റെ വെയ്റ്റുകൾ തുടക്കം മുതൽ രൂപപ്പെടുത്തി. അതിനാൽ 8-ബിറ്റ് വെയ്റ്റുകളിൽ ഇത് നൽകുന്നത് 16-ബിറ്റ് മോഡലിന്മേൽ അടിച്ചേൽപ്പിച്ച ഒരു ലോസി പിന്നീട്-ചിന്തയല്ല — അത് പഠിച്ച സംഖ്യാ വ്യവസ്ഥയിലേക്ക് വെയ്റ്റുകൾ തിരികെ കൊണ്ടുവരുന്നതിന് അടുത്താണ്. എട്ടാം ബിറ്റിന് താഴെ നഷ്ടപ്പെടാൻ കുറച്ച് സൂക്ഷ്മ ഘടന മാത്രമേ നിലനിൽക്കുന്നുള്ളൂ. മൂന്നിലേക്ക് നിർബന്ധിതമായ ആ വെയ്റ്റുകൾക്ക് അതേ കാര്യം പറയാൻ കഴിയില്ല.

07REAP: എക്സ്പെർട്ട് പ്രൂണിംഗ് റൗണ്ടിംഗിൽ നിന്ന് വ്യത്യസ്ത തരം നഷ്ടമായത് എന്തുകൊണ്ട്

മൂന്ന് തട്ടുകളിൽ രണ്ടെണ്ണം REAP ഉപസർഗ്ഗം വഹിക്കുന്നു — ക്വാണ്ടൈസേഷനിൽ നിന്ന് വർഗ്ഗപരമായി വ്യത്യസ്തമായ ഒരു പ്രവർത്തനം. സ്പാഴ്സ് MoE മോഡലുകൾക്കുള്ള ഒറ്റത്തവണ കംപ്രഷനാണ് REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026): റൂട്ടറിന്റെ ഗേറ്റ് മൂല്യങ്ങളും എക്സ്പെർട്ടിന്റെ ആക്ടിവേഷൻ നോമും ഉപയോഗിച്ച് ഇത് ഓരോ എക്സ്പെർട്ടിനെയും സ്കോർ ചെയ്യുന്നു, പിന്നെ ഏറ്റവും കുറഞ്ഞ സ്കോർ ചെയ്യുന്നവയെ ഇല്ലാതാക്കുന്നു. 50% എക്സ്പെർട്ടുകൾ പ്രൂൺ ചെയ്ത അവസ്ഥയിൽ പോലും കോഡ് ജനറേഷനിലും ടൂൾ കോളിംഗിലും ഏറെക്കുറെ ലോസ്‌ലെസ് ഫലങ്ങൾ Cerebras റിപ്പോർട്ട് ചെയ്യുന്നു.

REAP നിലനിൽക്കുന്ന കാരണത്തിനായി ഞങ്ങൾ അത് ഉപയോഗിക്കുന്നു: ഏറ്റവും വലിയ അടിത്തറകളിൽ, അവയെ നൽകാൻ കഴിയുന്നതാക്കുന്നത് അതാണ്. പക്ഷേ തരത്തിലുള്ള വ്യത്യാസം ശ്രദ്ധിക്കുക. ക്വാണ്ടൈസേഷൻ ഓരോ വെയ്റ്റിനെയും അല്പം മങ്ങിക്കുന്നു; പ്രൂണിംഗ് എക്സ്പെർട്ടുകളെ പൂർണ്ണമായി നീക്കുന്നു. അപൂർവ്വമായി തിരഞ്ഞെടുക്കപ്പെട്ട ഒരു എക്സ്പെർട്ടിൽ ജീവിച്ചിരുന്ന ഒരു ശേഷിയിലേക്ക് നിങ്ങളുടെ ജോലിഭാരം കനത്തതായി റൂട്ട് ചെയ്യുന്നുവെങ്കിൽ — ഒരു ചെറിയ പ്രോഗ്രാമിംഗ് ഭാഷ, ഒരു സ്പെഷ്യലൈസ്ഡ് പദാവലി — അത് അപചയിക്കപ്പെട്ടിട്ടില്ല. അത് ഇല്ലാതായി, ഒരു പ്രോംപ്റ്റിംഗും അത് വീണ്ടെടുക്കില്ല. ശരാശരികൾ മികച്ചതായി തുടരുന്നു; നിങ്ങളുടെ വാൽഭാഗ കേസ് ആയിരിക്കില്ല.

MiMo-V2.5-Pro · W8A16 ഒരു REAP ഉപസർഗ്ഗവും വഹിക്കുന്നില്ല. എല്ലാ 384 എക്സ്പെർട്ടുകളും ഹാജരാണ്, അടിത്തറ പരിശീലിപ്പിക്കപ്പെട്ട പൂർണ്ണ സെറ്റിൽ നിന്നാണ് റൂട്ടർ തിരഞ്ഞെടുക്കുന്നത്.

തട്ട്	വെയ്റ്റ് ബിറ്റ്	എക്സ്പെർട്ടുകൾ	നിങ്ങൾ വ്യാപാരം ചെയ്യുന്നത്
W8A16	8	എല്ലാം ഹാജർ	ഘടനാപരമായി ഒന്നുമില്ല. കൃത്യതാ തട്ട്.
W4A16-AUTOROUND-REAP	4	പ്രൂൺ ചെയ്തത്	അതേ വില ബാൻഡിൽ വളരെ വലിയ ഒരു അടിത്തറയ്ക്ക് പകരമായി, സൂക്ഷ്മ വെയ്റ്റ് വിശദാംശവും കുറഞ്ഞ-ട്രാഫിക് എക്സ്പെർട്ടുകളും.
3BIT-REAP	3	പ്രൂൺ ചെയ്തത്	വേഗതയോടെ ഏറ്റവും വലിയ അടിത്തറകൾ പ്രവർത്തിപ്പിക്കുന്നതിന്റെ വില — ഗണ്യമായ വെയ്റ്റ് റെസലൂഷനും കുറഞ്ഞ-ട്രാഫിക് എക്സ്പെർട്ടുകളും.

നടുവിലെ തട്ട് ന്യായമായ ഒരു കേൾവി അർഹിക്കുന്നു. AutoRound നിഷ്കളങ്കമായ റൗണ്ടിംഗല്ല: Intel-ന്റെ രീതി (arXiv:2309.05516) ഓരോ വെയ്റ്റ് ഗ്രൂപ്പിനുമുള്ള റൗണ്ടിംഗ് തീരുമാനങ്ങളും ക്ലിപ്പിംഗ് പരിധിയും ട്യൂൺ ചെയ്യാൻ ഏകദേശം 200 സ്റ്റെപ്പുകളിലുടനീളം സൈൻഡ് ഗ്രേഡിയന്റ് ഡിസെന്റ് ഉപയോഗിക്കുന്നു, മിക്ക ക്രമീകരണങ്ങളിലും 4 ബിറ്റിൽ ഏറെക്കുറെ ലോസ്‌ലെസ് ആയി റിപ്പോർട്ട് ചെയ്യപ്പെടുന്നു, മിക്ക പരീക്ഷിച്ച കോൺഫിഗറേഷനുകളിലും GPTQ, AWQ, HQQ, OmniQuant എന്നിവയെ മറികടക്കുന്നു. ഒരു W4A16-AUTOROUND മോഡൽ യഥാർത്ഥത്തിൽ നല്ല ഒരു 4-ബിറ്റ് മോഡലാണ്. ഇപ്പോഴും അതൊരു 4-ബിറ്റ് മോഡലാണ്.

088-ബിറ്റ് തട്ട് ആരാണ് തിരഞ്ഞെടുക്കേണ്ടത് — ആരാണ് വേണ്ട

MiMo-V2.5-Pro · W8A16 മുഴുവൻ കാറ്റലോഗിന്റെയും തറനിരക്കിലാണ് — ദശലക്ഷം ടോക്കണിന് $0.50 ഇൻ / $2.00 ഔട്ട്, എൻട്രി-തട്ട് 4-ബിറ്റ് മോഡലുകളുടെ അതേ ബാൻഡ്, ഞങ്ങൾ നൽകുന്ന ഏറ്റവും ചെലവേറിയ മോഡലിന്റെ ഇൻപുട്ട് വിലയുടെ ഏകദേശം കാൽ ഭാഗം. കൃത്യതയ്ക്ക് നിങ്ങൾ ഒരു പ്രീമിയം നൽകുന്നില്ല; അതേ ബജറ്റിന്റെ വ്യത്യസ്തമായ ഒരു അക്ഷം നിങ്ങൾ തിരഞ്ഞെടുക്കുകയാണ്.

ഇത് തിരഞ്ഞെടുക്കുക, ഇവിടെ

• ഔട്ട്പുട്ട് നീളമാണ് ജോലി. നീണ്ട-രൂപ സാങ്കേതിക എഴുത്ത്, അധ്യായ-നീളമുള്ള ഫിക്ഷൻ, പൂർണ്ണ ഡോക്യുമെന്റേഷൻ പാസുകൾ — ജനറേറ്റ് ചെയ്ത ഓരോ ടോക്കണും കംപ്രഷൻ ശബ്ദം കൂടിക്കൊണ്ടിരിക്കുന്ന ഒന്നാണ്.
• ശബ്ദവും സ്ഥിരതയും പ്രധാനമാണ്. കഥാപാത്ര ജോലി, ബ്രാൻഡ് ടോൺ, ഒരു നീണ്ട സെഷനിലുടനീളം നിലനിർത്തിയ ഒരു രജിസ്റ്റർ. ശൈലി വാൽഭാഗത്താണ് ജീവിക്കുന്നത്, കൂടിയ ക്വാണ്ടൈസേഷൻ ആദ്യം തിന്നുന്നത് വാൽഭാഗമാണ്.
• ഘടനാപരമായ ഔട്ട്പുട്ട് ആദ്യ ശ്രമത്തിൽ സാധുവാകണം. മോഡൽ json_schema-യും response_format-ഉം പിന്തുണയ്ക്കുന്നു; സ്കീമ പാലനം ഒരു കൃത്യതാ ഗുണമാണ്, ഒഴിവാക്കിയ ഓരോ റീട്രൈയും ലാഭിച്ച പണവും ലേറ്റൻസിയുമാണ്.
• നിങ്ങൾ സന്ദർഭം നിറയ്ക്കുകയാണ്. ടോക്കൺ 200,000-ൽ നിർദ്ദേശ പാലനം ടോക്കൺ 2,000-ലേതിനെക്കാൾ കടുപ്പമാണ്, വെയ്റ്റ് കൃത്യതയോടെ അത് അപചയിക്കുന്നു — പിശകുകൾ അതേ രീതിയിൽ കൂടിക്കൊണ്ടിരിക്കുന്ന ഒരു നീണ്ട യുക്തിചിന്താ ട്രെയ്സും അതുപോലെ.
• സ്വഭാവേന ജോലി സെൻസർ ചെയ്യാത്തതാണ്. സുരക്ഷാ ഗവേഷണം, റെഡ്-ടീമിംഗ്, അൺഫിൽട്ടർ ചെയ്ത ഫിക്ഷൻ, സെൻസിറ്റീവ് മെഡിക്കൽ അല്ലെങ്കിൽ നിയമ വിശകലനം — ഒരു മൂടിവച്ച ഉത്തരം ഇല്ലാത്തതിനെക്കാൾ മോശമായിടത്ത്.

മറ്റെന്തെങ്കിലും തിരഞ്ഞെടുക്കുക, ഇവിടെ

• നിങ്ങൾക്ക് വിഷൻ വേണം. ഈ മോഡൽ ടെക്സ്റ്റ്-മാത്രമാണ്; അതേ വിലയിലും തട്ടിലും വിഷൻ ശേഷിയുള്ളതാണ് അതിന്റെ സഹോദരൻ MiMo-V2.5 · W8A16.
• ഹ്രസ്വ ചോദ്യങ്ങളിൽ ഏറ്റവും വിശാലമായ ലോക അറിവ് നിങ്ങൾക്ക് വേണം. അതാണ് വളരെ വലിയ 3-ബിറ്റ് അടിത്തറയുടെ അധിക പാരാമീറ്ററുകൾ ജയിക്കുന്നതും അതിന്റെ ക്വാണ്ടൈസേഷൻ കേട് ഏറെക്കുറെ കാണിക്കാത്തതുമായ ഭരണം.
• നിങ്ങളുടെ ജോലിഭാരം ഉയർന്ന-അളവിലുള്ള ഹ്രസ്വ വർഗ്ഗീകരണമാണ്. ക്വാണ്ടൈസേഷൻ കേട് അവിടെ ഏറെക്കുറെ അദൃശ്യമാണ് — ഏറ്റവും വേഗതയുള്ളത് എന്തായാലും വാങ്ങുക.

09സെൻസർ ചെയ്യാത്ത MiMo API വിളിക്കുന്നത്

നിങ്ങളുടെ കോഡ് OpenAI SDK ലക്ഷ്യമിടുന്നുവെങ്കിൽ, ബേസ് URL-ഉം മോഡൽ ഐഡിയും മാറ്റുന്നത് മുഴുവൻ മൈഗ്രേഷനുമാണ്:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages-ഉം /v1/responses-ഉം അതേ ഐഡിയും ശേഷികളും സ്വീകരിക്കുന്നു. പാരാമീറ്റർ റഫറൻസ്, ടൂൾ-കോളിംഗ് സ്കീമകൾ, ഘടനാപരമായ-ഔട്ട്പുട്ട് ഉദാഹരണങ്ങൾ, ഒരു ലൈവ് പ്ലേഗ്രൗണ്ട് എന്നിവ Shannon AI API ഡോക്യുമെന്റേഷനിൽ ഉണ്ട്.

ശേഷി	MiMo-V2.5-Pro · W8A16
സന്ദർഭ ജാലകം	262,144 ടോക്കൺ
അഭ്യർത്ഥനയ്ക്ക് പരമാവധി ഔട്ട്പുട്ട്	16,384 ടോക്കൺ
സ്ട്രീമിംഗ്	ഉവ്വ് — മൂന്ന് ഭാഷാഭേദങ്ങളിലും
ടൂൾ കോളിംഗ്	ഉവ്വ്
യുക്തിചിന്ത / reasoning_effort	ഉവ്വ്
json_schema ഘടനാപരമായ ഔട്ട്പുട്ട്	ഉവ്വ്
response_format	ഉവ്വ്
വിഷൻ / ഇമേജ് ഇൻപുട്ട്	ഇല്ല — MiMo-V2.5 ഉപയോഗിക്കുക
നിരസന പാളി / ഔട്ട്പുട്ട് ഫിൽട്ടർ	ഇല്ല
1M ടോക്കണിന് വില	$0.50 ഇൻ / $2.00 ഔട്ട്

10പതിവ് ചോദ്യങ്ങൾ

---

സ്രോതസ്സുകൾ: MiMo സാങ്കേതിക റിപ്പോർട്ട്, arXiv:2505.07608 · MiMo-V2.5-Pro മോഡൽ കാർഡ് (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bit അനുമാന സ്കെയിലിംഗ് നിയമങ്ങൾ, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. എല്ലാ ബെഞ്ച്മാർക്ക് കണക്കുകളും അതത് രചയിതാക്കൾ റിപ്പോർട്ട് ചെയ്തതാണ്. Shannon AI, Shannon Lab LLC, ന്യൂ മെക്സിക്കോ, യുഎസ്എ-യുടെ ഒരു ഉൽപ്പന്നമാണ്.