වාරණයෙන් තොර MiMo API එක බිට් 8 නිරවද්‍යතාවයෙන්

බොහෝ නාමාවලි ඔබට විකුණන්නේ පරාමිති ගණනකි. එය ගැනුම් කරන්නට වැරදි සංඛ්‍යාවකි, මන්ද ඔබට ඇත්තටම දැරිය හැකි සෑම විශාල විවෘත-බර ආකෘතියක්ම කොතැනක හෝ ගැලපීමට සම්පීඩනය කර ඇති බැවිනි. අවංක ප්‍රශ්නය "මෙය මිරිකීමට පෙර කොපමණ විශාලද?" නොව "ඉන් කොපමණක් තවමත් මෙහි තිබේද?" යන්නයි. මෙම ලිපිය එම ප්‍රශ්නය ගැන වන අතර, පිළිතුර එයින් සියල්ලම පාහේ වන අපගේ නාමාවලියේ ආකෘතිය ගැනය.

01වාරණයෙන් තොර MiMo API එකෙන් ඇත්තටම ලැබෙන්නේ කුමක්ද

වාරණයෙන් තොර MiMo API එක ආකෘති id එකකි, MiMo-V2.5-Pro-W8A16, අපගේම GPU පොකුරේ එකම බරට ලිපිනගත කරන උපභාෂා තුනකින් ළඟා විය හැක: /v1/chat/completions, /v1/messages සහ /v1/responses. තුනම ප්‍රවාහනය කරන අතර මෙවලම් ඇමතුම් සහ තර්කනයට සහාය දක්වයි.

වාරණයෙන් තොර යන්නට මෙහි පටු අර්ථයක් ඇත: ආකෘතිය ඉදිරියෙන් ප්‍රතික්ෂේප ස්තරයක් නොමැත, එහි ප්‍රතිදානය මත පෙරහනක් නොමැත. අපි නොවැළැක්වේ, වර්ගීකරණය නොකරමු, හෝ නැවත ලියන්නේ නැත. ඔබට ලැබෙන්නේ පදනමේම හැසිරීමයි — පර්යේෂණ-මට්ටමේ විවෘත-බර ආකෘතියක් සඳහා එයින් අදහස් වන්නේ එය ආරක්ෂක පර්යේෂණ, වැඩිහිටි හෝ ප්‍රචණ්ඩ ප්‍රබන්ධ, වෛද්‍ය සහ නීතිමය තර්කනය, සහ සත්කාරක වාණිජ endpoint සාමාන්‍යයෙන් ප්‍රතික්ෂේප කරන ඉල්ලීම් සමඟ නිරත වන බවයි. එය අපගේ වගකීම් සහගත භාවිත ප්‍රතිපත්තිය යටතේ වෘත්තීය මෙවලමකි, රීති නොමැති කමක් නොවේ.

02MiMo පෙළපත: තර්කනය-මුල් කරගත් පූර්ව-පුහුණුව මත Xiaomi ගේ ඔට්ටුව

MiMo නව නමක් සහිත Llama ව්‍යුත්පන්නයක් නොවේ; එය Xiaomi හි MiMo කණ්ඩායමෙන් පැවත එන වෙනස් පෙළපතක් වන අතර, ආකෘතිය ඇගයීමට පෙර එහි ආරම්භක අදහස වැදගත් වේ. එය ආරම්භ වන්නේ MiMo-7B (2025 අප්‍රේල් 30, MIT-බලපත්‍රලාභී) සමඟින් වන අතර, එහි තාක්ෂණික වාර්තාව තර්ක කරන්නේ බොහෝ පර්යේෂණාගාර තර්කනය සලකන්නේ RL මගින් පසුව සවි කළ යුතු පශ්චාත්-පුහුණු ගැටලුවක් ලෙස වන අතර, එය පසුබෑමක් බවයි. ඒ වෙනුවට Xiaomi පූර්ව-පුහුණුවම එය වටා ප්‍රතිසංයෝජනය කළේය: ටෝකන ට්‍රිලියන 25ක් හරහා තුන්-අදියර මිශ්‍රණයක්, දෙවන අදියරේ දළ වශයෙන් 70%ක් ගණිතය සහ කේතය ධාවනය වන අතර, තුන්වන අදියර සන්දර්භය 8K සිට 32K දක්වා දික් කරමින් කෘත්‍රිම තර්කන සලකුණු ඇතුළත් කරයි — මීට අමතරව අනුමාන-විකේතන හිසක් ලෙසද ක්‍රියා කරන Multi-Token Prediction සහායක අරමුණක් සමඟ.

ප්‍රතිඵලය වූයේ එයට වඩා බෙහෙවින් විශාල දෙයක් මෙන් හැසිරුණු 7B පදනම් ආකෘතියකි. MiMo-7B-Base AIME 2024 හි 32.9ක් ලකුණු ලබා ගත්තේ Qwen2.5-7B 10.1ක්, Gemma-2-9B 0.0ක් සහ Llama-3.1-8B 0.3ක් ලබා ගත් තැනදීය. පශ්චාත්-පුහුණුව පසුව පරීක්ෂණ-දුෂ්කරතාව-මගින් මෙහෙයවනු ලබන කේත විපාකයක් සමඟ සත්‍යාපනය කළ හැකි ගණිත සහ කේත ගැටලු 130,000ක් මත RL ධාවනය කළේය, කේත RL අස්ථායි කරන විරල-විපාක උගුලෙන් ගැලවෙමින්. ප්‍රතිඵලය o1-mini ට ඉදිරියෙන් ගොඩ බැස්සේය:

AIME 2025, MiMo තාක්ෂණික වාර්තාවෙන් (arXiv:2505.07608) Xiaomi-වාර්තා කළ සංඛ්‍යා. MiMo-7B-RL MATH-500 හි 95.8ක් සහ LiveCodeBench v5 හි 57.8ක්ද වාර්තා කළේය.

පවුල අතරමං වීම වෙනුවට පුළුල් විය: MiMo-VL-7B (2025 ජූනි) එකම කොඳුනාරටියට Qwen2.5-ViT කේතකයක් තැබූ අතර, 2025 දෙසැම්බරයේ MiMo-Audio-7B සමඟ පළමු MoE ප්‍රවේශය වන MiMo-V2-Flash (මුළු 309B / සක්‍රිය 15B, ටෝකන 27T, FP8 මිශ්‍ර නිරවද්‍යතාව) පැමිණියේය. MiMo-V2-Pro OpenRouter හි "Hunter Alpha" ලෙස සති ගණනාවක් තිබීමෙන් පසු 2026 මාර්තුවේ දළ වශයෙන් 1T / සක්‍රිය 42B ක් සමඟ 1M සන්දර්භයක් සමඟින් ලුහුබැඳියේය. MiMo-V2.5 සහ MiMo-V2.5-Pro 2026 අප්‍රේල් 22 වන දින දෙකම MIT යටතේ එකට නිකුත් විය.

03MiMo-V2.5-Pro ඇතුළත: පදනම පෙනෙන්නේ කෙසේද

Xiaomi ප්‍රකාශයට පත් කළ ආකෘති කාඩ්පත අනුව, MiMo-V2.5-Pro යනු ස්තර 70ක් හරහා — එකක් ඝන, 69ක් MoE — මුළු පරාමිති ට්‍රිලියන 1.02ක් සහ ටෝකනයකට සක්‍රිය බිලියන 42ක් ඇති, මාර්ගගත විශේෂඥයන් 384ක්, ටෝකනයකට 8ක් ඇති විරල Mixture-of-Experts ආකෘතියකි. hidden size එක 6144ක් වන අතර, පටු MoE intermediate size එකක් වන 2048ක්ද ඇත.

තෝරාගැනීම් දෙකක් එය භාවිතයේදී දැනෙන ආකාරය හැඩගස්වයි. attention stack එක hybrid: full-attention ස්තර 10ක් සහ 128ක window එකක් ඇති sliding-window ස්තර 60ක්, මීට අමතරව ඉගෙන ගත හැකි attention-sink bias එකක්. Xiaomi වාර්තා කරන්නේ මෙය සම්පූර්ණ-ගෝලීය attention හා සසඳන විට KV-cache ගබඩාව 7xකට ආසන්නයෙන් කපා දමන අතරම දිගු-සන්දර්භ ගුණාත්මකභාවය රඳවා ගන්නා බවයි — නාමිකව දිගු window එකක් සහ ඔබට පිරවීමට දැරිය හැකි window එකක් අතර වෙනස. එය Multi-Token Prediction ස්තර තුනක්ද රැගෙන එයි, විකේතකයට අනුමාන හිසක් ලබා දෙමින්.

පුහුණුව ස්වදේශීය 32K අනුක්‍රම දිගකින් FP8 (E4M3) මිශ්‍ර නිරවද්‍යතාවයෙන් ටෝකන ට්‍රිලියන 27ක් විය, පසුව supervised fine-tuning, විශාල-පරිමාණ agentic RL, සහ බහු-ගුරු on-policy distillation. එම FP8 විස්තරය මතක තබා ගන්න; මෙම පදනම බිට් 8කින් සේවා සැපයීමට ඇති තනි ශක්තිමත්ම තර්කය එයයි.

Xiaomi ආකෘතිය SWE-bench Pro හි 57.2%, tool use සඳහා τ3-Bench හි 72.9ක්, සහ Humanity's Last Exam හි 48.0%ක් ලෙස වාර්තා කරයි — සම්පීඩනය නොකළ ආකෘතිය මත විකුණුම්කරුගේම සංඛ්‍යා, ඒ ලෙසම උපුටා දක්වා ඇත.

අප සේවා සපයන්නේ පදනමේ සම්පූර්ණ 1M එක නොව ටෝකන 262,144ක window එකකි — බරට යටතේ පිරිහෙන ශීර්ෂ සංඛ්‍යාවකට වඩා අපට වේගයෙන් සහතික කළ හැකි සන්දර්භයකි.

04W8A16 හි නිශ්චිත අර්ථය කුමක්ද

මෙම නාමාවලියේ සෑම ආකෘතියක්ම අලෙවිකරණ ස්තරයක් නොව සැබෑ, මැනිය හැකි පරිවර්තනයක් විස්තර කරන ප්‍රමාණකරණ ප්‍රත්‍යයක් දරයි. අපගේ ඒවා නම් 3BIT-REAP, W4A16-AUTOROUND-REAP සහ W8A16 යනුයි. MiMo-V2.5-Pro තුන්වැන්නයි.

අගපදය කොටස් දෙකකට බෙදේ. W8 යනු බර නිරවද්‍යතාවයයි: සෑම පරාමිතියක්ම බිට් 16 float එකක් වෙනුවට බිට් 8 integer එකක් ලෙස ගබඩා කර ඇති අතර, කුඩා කාණ්ඩයකට බෙදාගත් scaling factor එකක් සමඟ එක් එක් කාණ්ඩයේ ස්ථානික ගතික පරාසය රැඳී පවතී. A16 යනු සක්‍රියතා නිරවද්‍යතාවයයි: අනුමානයේදී ස්තර අතර ගලා යන අගයන් බිට් 16හි රැඳී පවතී. බර සම්පීඩනය වේ; ගණිතමය ක්‍රියාවලිය නොවේ.

එම දෙවන කොටස නිහඬ, වැදගත් කාර්යයක් කරයි. සක්‍රියතා බරට වඩා ප්‍රමාණකරණය කිරීමට බෙහෙවින් අපහසුය: ඒවායේ අන්ත outlier channels අඩංගු වේ — අනෙක් සියල්ල මොට කරන විශාලත්වයන් ඇති, ආකෘතියේ හැසිරීමෙන් අසමාන කොටසක් රැගෙන යන මානයන් කිහිපයකි. ඒවා අඩු නිරවද්‍යතාවයට තල්ලු කළහොත් ඔබ අවශ්‍ය කරන හරියටම එම සංඥාව clip කරයි. Weight-only ක්‍රම මෙම ගැටලුව මගහරින්නේ සක්‍රියතා මාර්ගය තනිව තැබීමෙනි, බැරෑරුම් ප්‍රමාණකරණ කටයුතු ඒවා වෙත එකතු වී ඇත්තේ ඒ නිසාය.

එබැවින් ප්‍රායෝගික ප්‍රශ්නය එක් දෙයකට පටු වේ: බරකට දරාගත හැකි අවම බිට් ගණන කීයද?

05W8A16 එදිරිව W4A16 එදිරිව 3-bit: අලාභය ඇත්තටම යන්නේ කොහෙද

මේ පිළිබඳ ප්‍රකාශයට පත් කළ විශාලතම අධ්‍යයනය Neural Magic සහ Red Hat හි "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — Llama-3.1 පවුලේ 8B, 70B සහ 405B හරහා ඇගයීම් 500,000කට වඩා. ඔවුන්ගේ ශීර්ෂ ප්‍රතිඵලය, ඔවුන්ගේ සංඛ්‍යාවලින්:

ආකෘතිය	සම්පීඩනය වන්නේ කුමක්ද	BF16 හා සසඳන විට වාර්තා කළ ප්‍රතිසාධනය
W8A8-FP (8-bit)	බර + සක්‍රියතා, float	සාමාන්‍යයෙන් ~99.75% — "පාහේ-අලාභ රහිත"
W8A8-INT (8-bit)	බර + සක්‍රියතා, integer	8B/70B හි 99–100%; 405B හි 98.2–99.3%
W4A16-INT (4-bit)	බර පමණි	98–99.4% (8B); 98.6–99.8% (70B)

Llama-3.1 ආකෘති මත Neural Magic / Red Hat (arXiv:2411.02355) වාර්තා කළ සංඛ්‍යා — හුවමාරුවේ හැඩය මිස මෙම ආකෘතියේ ලකුණු නොවේ.

අවංකව කියවූ විට, එය සැලකිල්ලට එරෙහි තර්කයක් ලෙස පෙනේ: 4-bit 98–99%ක් ප්‍රතිසාධනය කරයි, එසේනම් අවධානය යොමු කරන්නේ ඇයි? මන්ද ඒවා ශාස්ත්‍රීය බහු-තේරීම් ප්‍රමිති වන, ප්‍රමාණකරණ හානිය හඳුනාගැනීමට ඇති නරකම මෙවලමට ආසන්නම එකක් බැවිනි. ප්‍රමිති ප්‍රශ්නයකට ටෝකන එකකින් හෝ දෙකකින් ළඟා විය හැකි එක් නිවැරදි පිළිතුරක් ඇති අතර, ප්‍රමාණකරණ දෝෂය කුඩායි, සෑම logit එකකම දළ වශයෙන් zero-mean ශබ්දයකි; පුළුල් ආන්තිකයක් ඇති කෙටි ප්‍රශ්නයක, එම ශබ්දය අවශෝෂණය වේ.

දැන් තාක්ෂණික ලේඛනයක ටෝකන 4,000ක් ලියන්න, ටෝකන 40,000ක කතාවක් හරහා හඬක් රඳවා ගන්න, හෝ පළමු වතාවේම වලංගු විය යුතු JSON එකක් ලබා දෙන්න. එකම ශබ්දය අනුක්‍රමයෙන් දහස් ගණනක් වාරයක් නියැදි ගනු ලැබේ, එක් එක් නියැදිය මීළඟට කොන්දේසි කරමින්. අසමත්වීමේ ආකාරය වැරදි පිළිතුරක් නොව — අපගමනයයි: පළමු වටයේ සිටම උපදෙස මත ලිහිල් වන ග්‍රහණයක්, ටෝකන 3,000ක් ආසන්නයේදී තමා මෙන් හඬ නැගීම නවත්වන චරිතයක්, කිසි විටෙකත් නොපැමිණෙන අවසන් වරහනක්.

බිට් ඇත්තටම යන්නේ කොහෙද

ප්‍රමාණකරණ දෝෂය ආකෘතියක හැකියාවන් හරහා සමානව පැතිර නොයයි; එය වලිගයේ සංකේන්ද්‍රණය වේ. ඉහළ-ස්කන්ධ හැසිරීම් — ව්‍යාකරණානුකූල ඉංග්‍රීසි, Python ශ්‍රිතයක හැඩය, ලෝකය ගැන ඉහළම කරුණු දහසක් — බොහෝ බර හරහා අතිරික්තව සංකේතනය කර ඇති අතර පාහේ ඕනෑම දෙයකින් ගැලවේ. බර ව්‍යාප්තියේ නිශ්චිතව සකසන ලද, කුඩා-විශාලත්වයේ කොන් වල ඇත්තේ දුර්ලභ දේවලයි: නොපැහැදිලි API එකක නිශ්චිත අත්සන, විශේෂිත කතුවරයෙකුගේ රිද්මය, යාබද CVE දෙකක් අතර වෙනස. ඒවා ය දළ ජාලකයක් එකිනෙක වට කර දමන අගයන්.

එය තීරණය කරන ගණිතය

සිදු කිරීමට වටින සංසන්දනය ප්‍රමිතියක් නොව ගණිතයකි. සම්පීඩනයෙන් ගැලවෙන්නේ දළ වශයෙන් පරාමිති × පරාමිතියකට බිට් — බර ගොනුවේ තොරතුරු-දරන පරිමාවයි. පරාමිතියකට සමාන ගුණාත්මකභාවයක් ඇති ක්‍රමානුකූල පදනම් දෙකක් ගනිමු:

• පදනම A: පරාමිති 400B බිට් 3කින් → රඳවා ගත් බර දළ වශයෙන් GB 150ක්.
• පදනම B: පරාමිති 160B බිට් 8කින් → රඳවා ගත් බර දළ වශයෙන් GB 160ක්.

දළ පරාමිති ගණනින් A දෙකහමාරට එකක් අනුපාතයෙන් ජයගනී — ආකෘති කාඩ්පත ප්‍රමුඛව දක්වන සංඛ්‍යාව එයයි. රඳවා ගත් තොරතුරු අනුව ඒවා සමානය, තවද B හට ව්‍යුහාත්මක වාසියක්ද ඇත: එහි බර එහි වලිග හැසිරීම නොකැඩී පවතින තරම් සියුම් ජාලකයක වාඩිවී ඇති අතර, A හි වලිගය ස්කන්ධයට ප්‍රමාණකරණය කර ඇත. A වැඩි දේවල් දනී; B එය දන්නා දේ වඩාත් තියුණුව දනී. දිගු උත්පාදනය, නිශ්චිත format කිරීම, ශෛලීය පාලනය සහ විශ්වාසවන්ත දිගු-සන්දර්භ අනුගමනය සඳහා, B ගන්න.

නිදර්ශන ගණිතයකි, ප්‍රමිතියක් නොවේ: "විශාල පදනම" සහ "වඩා හොඳින් සේවා කළ ආකෘතිය" වෙනස් ප්‍රකාශන දෙකක් වන්නේ ඇයිද යන්න එය පෙන්වයි.

06පුහුණු ටෝකන ට්‍රිලියන 27ක් ආක්‍රමණශීලී ප්‍රමාණකරණය නරක අතට හරවන්නේ ඇයි

දෙවන, අඩු ප්‍රත්‍යක්ෂ ප්‍රතිඵලයක් මෙම පදනමට සෘජුවම බලපායි. Kumar et al. ගේ ICLR 2025 පත්‍රිකාව වන Scaling Laws for Precision සොයාගෙන ඇත්තේ ආකෘතියක් පුහුණු කළ දත්ත වැඩි වන තරමට, පශ්චාත්-පුහුණු ප්‍රමාණකරණය එයට වඩාත් හානි කරන බවයි. අඩු නිරවද්‍යතාවයක් ආකෘතියක ඵලදායී පරාමිති ගණන අඩු කරන අතර, එම පිරිහීම අවශෝෂණය කරගත් පූර්ව-පුහුණු දත්ත සමඟ වර්ධනය වේ — ඔබ ආක්‍රමණශීලීව ප්‍රමාණකරණය කිරීමට අදහස් කරන්නේ නම් අමතර පූර්ව-පුහුණු දත්ත ශුද්ධ හානිකර විය හැකි තරමටම, මන්ද ඔබ තබන්නේ ජාලකය මකා දමන සියුම් ව්‍යුහයක් නිසාය.

ටෝකන 5Tක් මත පුහුණු කළ ආකෘතියකට දළ, අතිරික්ත බර ව්‍යුහයක් සහ අතිරික්ත ඉඩක් ඇත. ටෝකන 27Tක් — MiMo-V2.5-Pro හි අයවැය — මත පුහුණු කළ ආකෘතියක් එම අමතර දත්ත වැය කළේ වඩාත් නිශ්චිත බර අගයන් තුළට සියුම් වෙනස්කම් ලිවීමටයි, එය හරියටම 3-bit ජාලකයකට නිරූපණය කළ නොහැකි දෙයයි.

පසුව 03 කොටසේ FP8 කරුණ ඇත, මෙම ලිපියේ පිරිසිදුම තර්කය. MiMo-V2.5-Pro FP8 මිශ්‍ර නිරවද්‍යතාවයෙන් පූර්ව-පුහුණු කරන ලදී. එහි බර ආරම්භයේ සිටම දළ වශයෙන් බිට් අටක නිරවද්‍යතාවයකින් ක්‍රියා කරන optimizer එකකින් හැඩගැන්වී තිබුණි. එබැවින් එය බිට් 8 බරින් සේවා කිරීම බිට් 16 ආකෘතියකට පනවන ලද අලාභදායී පසු-සිතුවිල්ලක් නොව — එය බර ඉගෙන ගත් සංඛ්‍යාත්මක ක්‍රමයටම ආසන්නව ආපසු ලබා දීමකි. අටවන බිටට පහළින් නැති කර ගැනීමට සියුම් ව්‍යුහයක් ස්වල්පයක් ඇත. තුනට බලෙන් තල්ලු කළ එම බරවලට එසේ කිව නොහැක.

07REAP: විශේෂඥ කප්පාදුව වට කිරීමට වඩා වෙනස් වර්ගයක අලාභයක් වන්නේ ඇයි

ස්තර තුනෙන් දෙකක් REAP ප්‍රත්‍යයක් දරයි — ප්‍රමාණකරණයට වර්ගීයව වෙනස් මෙහෙයුමකි. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) විරල MoE ආකෘති සඳහා one-shot සම්පීඩනයකි: එය router එකේ gate අගයන් සහ විශේෂඥයාගේ activation norm එක අනුව සෑම විශේෂඥයෙකුම ලකුණු කර, පසුව අඩුම ලකුණු ලබන්නන් මකා දමයි. Cerebras විශේෂඥයන්ගෙන් 50%ක් කප්පාදු කළ විටත් කේත උත්පාදනය සහ tool calling මත පාහේ-අලාභ රහිත ප්‍රතිඵල වාර්තා කරයි.

අප REAP භාවිත කරන්නේ එය පවතින හේතුව නිසාමය: විශාලතම පදනම් මත, ඒවා සේවා කළ හැකි කරන්නේ එයයි. එහෙත් වර්ගයේ වෙනස සටහන් කරගන්න. ප්‍රමාණකරණය සෑම බරක්ම තරමක් අපැහැදිලි කරයි; කප්පාදුව විශේෂඥයන් සම්පූර්ණයෙන්ම ඉවත් කරයි. ඔබේ වැඩ බර කලාතුරකින් තෝරාගන්නා විශේෂඥයෙකු තුළ ජීවත් වූ හැකියාවකට දැඩි ලෙස මාර්ගගත වේ නම් — සුළු programming භාෂාවක්, විශේෂිත වචන මාලාවක් — එය පිරිහී නොමැත. එය නැති වී ඇති අතර, කිසිදු ප්‍රොම්ප්ට් කිරීමකින් එය ආපසු ලබා ගත නොහැක. සාමාන්‍යයන් විශිෂ්ටයි; ඔබේ වලිග අවස්ථාව එසේ නොවිය හැක.

MiMo-V2.5-Pro · W8A16 කිසිදු REAP ප්‍රත්‍යයක් නොදරයි. විශේෂඥයන් 384ම පවතින අතර, router එක තෝරාගන්නේ පදනම පුහුණු කළ සම්පූර්ණ කට්ටලයෙනි.

ස්තරය	බර බිට්	විශේෂඥයන්	ඔබ හුවමාරු කරන දේ
W8A16	8	සියල්ල පවතී	ව්‍යුහාත්මක කිසිවක් නැත. නිරවද්‍යතා ස්තරය.
W4A16-AUTOROUND-REAP	4	කප්පාදු කර ඇත	සියුම් බර විස්තර සහ අඩු-ගමනාගමන විශේෂඥයන්, එකම මිල පරාසයේ බෙහෙවින් විශාල පදනමකට හුවමාරුවෙන්.
3BIT-REAP	3	කප්පාදු කර ඇත	සැලකිය යුතු බර විභේදනය සහ අඩු-ගමනාගමන විශේෂඥයන් — විශාලතම පදනම් වේගයෙන් ධාවනය කිරීමේ මිල.

මධ්‍යම ස්තරයට සාධාරණ සවන්දීමක් හිමිවිය යුතුය. AutoRound බොළඳ වට කිරීමක් නොවේ: Intel හි ක්‍රමය (arXiv:2309.05516) එක් එක් බර කාණ්ඩයට වට කිරීමේ තීරණ සහ clipping පරාසය සීරුමාරු කිරීමට දළ වශයෙන් පියවර 200ක් හරහා signed gradient descent භාවිත කරන අතර, බොහෝ සැකසුම්වල බිට් 4කදී පාහේ-අලාභ රහිත ලෙස වාර්තා වන අතර, පරීක්ෂා කළ බොහෝ වින්‍යාසයන් හරහා GPTQ, AWQ, HQQ සහ OmniQuant පරදවයි. W4A16-AUTOROUND ආකෘතියක් ඇත්තටම හොඳ බිට් 4 ආකෘතියකි. එය තවමත් බිට් 4 ආකෘතියකි.

08බිට් 8 ස්තරය තෝරාගත යුත්තේ කවුරුන්ද — සහ තෝරාගත නොයුත්තේ කවුරුන්ද

MiMo-V2.5-Pro · W8A16 සම්පූර්ණ නාමාවලියේ බිම් මිලේ පිහිටා ඇත — ටෝකන මිලියනයකට $0.50 ආදාන / $2.00 ප්‍රතිදාන, ආරම්භක-ස්තර බිට් 4 ආකෘති හා එකම පරාසය සහ අප සේවා සපයන මිල අධිකම ආකෘතියේ ආදාන මිලෙන් දළ වශයෙන් හතරෙන් එකක්. ඔබ නිරවද්‍යතාවය සඳහා අමතර මුදලක් ගෙවන්නේ නැත; ඔබ තෝරාගන්නේ එකම අයවැයේ වෙනස් අක්ෂයකි.

එය තෝරාගන්න මෙවිට

• ප්‍රතිදාන දිග කාර්යයයි. දිගු-ආකෘති තාක්ෂණික ලේඛන, පරිච්ඡේද-දිග ප්‍රබන්ධ, සම්පූර්ණ ලේඛන පාස් — උත්පාදනය කරන සෑම ටෝකනයක්ම සම්පීඩන ශබ්දය සංයුක්ත වන එකකි.
• හඬ සහ ස්ථාවරත්වය වැදගත් වේ. චරිත වැඩ, brand ස්වරය, දිගු සැසියක් හරහා රඳවා ගත් රෙජිස්ටරයක්. ශෛලිය ජීවත් වන්නේ වලිගයේ වන අතර, දළ ප්‍රමාණකරණය මුලින්ම අනුභව කරන්නේ වලිගයයි.
• ව්‍යුහගත ප්‍රතිදානය පළමු වතාවේම වලංගු විය යුතුය. ආකෘතිය json_schema සහ response_format සඳහා සහාය දක්වයි; schema අනුගමනය නිරවද්‍යතා ගුණාංගයකි, සහ මගහරින සෑම නැවත-උත්සාහයක්ම මුදල් සහ ප්‍රමාදය ඉතිරි කරයි.
• ඔබ සන්දර්භය පුරවයි. ටෝකන 200,000 හිදී උපදෙස් අනුගමනය ටෝකන 2,000 හිදී ට වඩා අපහසුය, එය බර නිරවද්‍යතාව සමඟ පිරිහෙයි — දිගු තර්කන සලකුණක් මෙන්ම, එහිදී දෝෂ එකම ආකාරයට සංයුක්ත වේ.
• කාර්යය ස්වභාවයෙන්ම වාරණයෙන් තොරය. ආරක්ෂක පර්යේෂණ, red-teaming, පෙරහන් නොකළ ප්‍රබන්ධ, සංවේදී වෛද්‍ය හෝ නීතිමය විශ්ලේෂණ — එහිදී ප්‍රවේශම් සහගත පිළිතුරක් කිසිවක් නොමැති තත්ත්වයට වඩා නරකයි.

වෙනත් දෙයක් තෝරාගන්න මෙවිට

• ඔබට දෘශ්‍ය හැකියාව අවශ්‍යයි. මෙම ආකෘතිය පෙළ-පමණි; එහි සහෝදර ආකෘතිය වන MiMo-V2.5 · W8A16 එකම මිලට සහ ස්තරයට දෘශ්‍ය හැකියාවෙන් යුක්තය.
• ඔබට කෙටි විමසුම් මත පළලම ලෝක දැනුම අවශ්‍යයි. එය බෙහෙවින් විශාල බිට් 3 පදනමක අමතර පරාමිති ජයගන්නා සහ එහි ප්‍රමාණකරණ හානිය පාහේ නොපෙනෙන පාලනයයි.
• ඔබේ වැඩ බර ඉහළ-පරිමාණ කෙටි වර්ගීකරණයයි. එහිදී ප්‍රමාණකරණ හානිය පාහේ නොපෙනේ — වේගවත්ම දේ මිලදී ගන්න.

09වාරණයෙන් තොර MiMo API එකට ඇමතුම් දීම

ඔබේ කේතය OpenAI SDK එක ඉලක්ක කරන්නේ නම්, base URL එක සහ ආකෘති id එක වෙනස් කිරීම සම්පූර්ණ සංක්‍රමණයයි:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages සහ /v1/responses එකම id එක සහ හැකියාවන් පිළිගනී. පරාමිති යොමුව, tool-calling schemas, ව්‍යුහගත-ප්‍රතිදාන උදාහරණ සහ සජීවී playground එකක් Shannon AI API ලේඛනයේ ඇත.

හැකියාව	MiMo-V2.5-Pro · W8A16
සන්දර්භ කවුළුව	ටෝකන 262,144
ඉල්ලීමකට උපරිම ප්‍රතිදානය	ටෝකන 16,384
ප්‍රවාහනය	ඔව් — උපභාෂා තුනම
මෙවලම් ඇමතුම්	ඔව්
තර්කනය / reasoning_effort	ඔව්
json_schema ව්‍යුහගත ප්‍රතිදානය	ඔව්
response_format	ඔව්
දෘශ්‍ය / රූප ආදානය	නැත — MiMo-V2.5 භාවිත කරන්න
ප්‍රතික්ෂේප ස්තරය / ප්‍රතිදාන පෙරහන	නැත
ටෝකන 1Mකට මිල	$0.50 ආදාන / $2.00 ප්‍රතිදාන

10නිතර අසන ප්‍රශ්න

---

මූලාශ්‍ර: MiMo තාක්ෂණික වාර්තාව, arXiv:2505.07608 · MiMo-V2.5-Pro ආකෘති කාඩ්පත (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bit inference scaling laws, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. සියලුම ප්‍රමිති සංඛ්‍යා ඒවායේ කතුවරුන් වාර්තා කළ ආකාරයටයි. Shannon AI යනු Shannon Lab LLC, New Mexico, USA හි නිෂ්පාදනයකි.