API MiMo គ្មានសេនស័រនៅភាពស្មោះត្រង់ 8-Bit

កាតាឡុកភាគច្រើនលក់ចំនួនប៉ារ៉ាម៉ែត្រដល់អ្នក។ នោះជាលេខខុសដែលត្រូវជ្រើសរើសទិញតាម ព្រោះម៉ូដែលទម្ងន់បើកចំហធំៗណាដែលអ្នកអាចមានលទ្ធភាពទិញពិតប្រាកដ ត្រូវបានបង្រួមទិន្នន័យដើម្បីឲ្យសមទំហំកន្លែងណាមួយ។ សំណួរស្មោះត្រង់មិនមែនជា "វាធំប៉ុន្មានមុនពេលត្រូវបានច្របាច់?" ទេ តែជា "នៅសល់ប៉ុន្មាននៅទីនេះ?"។ អត្ថបទនេះនិយាយអំពីសំណួរនោះ ហើយអំពីម៉ូដែលក្នុងក្រុមរបស់យើងដែលចម្លើយស្ទើរតែទាំងអស់។

01អ្វីដែល API MiMo គ្មានសេនស័រផ្តល់ឲ្យអ្នកពិតប្រាកដ

API MiMo គ្មានសេនស័រ ជាលេខសម្គាល់ម៉ូដែលមួយ MiMo-V2.5-Pro-W8A16 អាចហៅបានតាមភាសាបីដែលចង្អុលទៅទម្ងន់ដូចគ្នានៅលើចង្កោមកម្មវិធីក្រាហ្វិកផ្ទាល់ខ្លួនរបស់យើង៖ /v1/chat/completions, /v1/messages និង /v1/responses។ ទាំងបីគាំទ្រ streaming ការហៅឧបករណ៍ និងការវែកញែក។

គ្មានសេនស័រ មានន័យតូចចង្អៀតនៅទីនេះ៖ គ្មានស្រទាប់ការបដិសេធនៅពីមុខម៉ូដែល គ្មានតម្រងលើលទ្ធផលរបស់វា។ យើងមិនស្ទាក់ចាប់ ចាត់ថ្នាក់ ឬសរសេរឡើងវិញទេ។ អ្នកទទួលបានឥរិយាបថផ្ទាល់របស់គ្រឹះ — ដែលសម្រាប់ម៉ូដែលទម្ងន់បើកចំហកម្រិតស្រាវជ្រាវមានន័យថាវាចូលរួមជាមួយការស្រាវជ្រាវសុវត្ថិភាព រឿងប្រឌិតមនុស្សពេញវ័យ ឬហិង្សា ការវែកញែកវេជ្ជសាស្ត្រ និងច្បាប់ និងសំណើដែលចំណុចប្រទាក់ពាណិជ្ជកម្មបដិសេធដោយស្វ័យប្រវត្តិ។ វាជាឧបករណ៍វិជ្ជាជីវៈក្រោមគោលការណ៍ប្រើប្រាស់ដោយទទួលខុសត្រូវរបស់យើង មិនមែនជាកង្វះច្បាប់ទេ។

02ខ្សែស្រឡាយ MiMo៖ ការភ្នាល់របស់ Xiaomi លើការបណ្តុះបណ្តាលជាមុនផ្តោតលើការវែកញែក

MiMo មិនមែនជាកូនចៅរបស់ Llama ដែលប្តូរឈ្មោះថ្មីទេ វាជាខ្សែស្រឡាយឯករាជ្យពីក្រុម MiMo របស់ Xiaomi ហើយគំនិតដើមរបស់វាសំខាន់មុននឹងអ្នកវាយតម្លៃម៉ូដែលនេះ។ វាចាប់ផ្តើមជាមួយ MiMo-7B (ថ្ងៃទី 30 ខែមេសា ឆ្នាំ 2025 ផ្តល់អាជ្ញាប័ណ្ណ MIT) ដែលរបាយការណ៍បច្ចេកទេសរបស់វាអះអាងថាមន្ទីរពិសោធន៍ភាគច្រើនចាត់ទុកការវែកញែកជាបញ្ហាក្រោយបណ្តុះបណ្តាលដែលត្រូវបូកបញ្ចូលដោយ RL ហើយនោះជាការគិតច្រាសទិសដៅ។ Xiaomi បានរៀបចំរចនាសម្ព័ន្ធការបណ្តុះបណ្តាលជាមុនជុំវិញវាជំនួសវិញ៖ ការលាយបញ្ចូលបីដំណាក់កាលកាត់តាម 25 លានលានថូខឹន ដំណាក់កាលទីពីររត់ប្រហែល 70% គណិតវិទ្យា និងកូដ ដំណាក់កាលទីបីបូកបញ្ចូលដានវែកញែកសំយោគ ខណៈពង្រីកបរិបទពី 8K ទៅ 32K — បូកនឹងគោលដៅ Multi-Token Prediction ដែលដើរតួជាក្បាល speculative-decoding ផងដែរ។

លទ្ធផលគឺជាម៉ូដែលមូលដ្ឋាន 7B ដែលមានឥរិយាបថដូចអ្វីមួយធំជាងច្រើន។ MiMo-7B-Base ទទួលបានពិន្ទុ 32.9 លើ AIME 2024 ខណៈ Qwen2.5-7B ទទួលបាន 10.1, Gemma-2-9B 0.0 និង Llama-3.1-8B 0.3។ ការបណ្តុះបណ្តាលក្រោយបន្ទាប់មករត់ RL លើបញ្ហាគណិតវិទ្យា និងកូដដែលអាចផ្ទៀងផ្ទាត់បានចំនួន 130,000 ជាមួយរង្វាន់កូដដែលជំរុញដោយភាពលំបាកតេស្ត គេចផុតពីអន្ទាក់រង្វាន់រាយប៉ាយដែលធ្វើឲ្យ RL កូដមិនស្ថិតស្ថេរ។ លទ្ធផលមកដល់មុខ o1-mini៖

AIME 2025 តួលេខផ្សព្វផ្សាយផ្ទាល់ខ្លួនរបស់ Xiaomi ពីរបាយការណ៍បច្ចេកទេស MiMo (arXiv:2505.07608)។ MiMo-7B-RL ក៏បានរាយការណ៍ 95.8 លើ MATH-500 និង 57.8 លើ LiveCodeBench v5។

គ្រួសារនេះបានពង្រីកជាជាងងាកចេញ៖ MiMo-VL-7B (ខែមិថុនា ឆ្នាំ 2025) បានដាក់ encoder Qwen2.5-ViT លើឆ្អឹងខ្នងដូចគ្នា ហើយខែធ្នូ ឆ្នាំ 2025 នាំមក MiMo-Audio-7B បូកនឹងធាតុ MoE ដំបូង MiMo-V2-Flash (309B សរុប / 15B ធ្វើសកម្មភាព 27T ថូខឹន ភាពជាក់លាក់លាយ FP8)។ MiMo-V2-Pro តាមក្រោយនៅខែមីនា ឆ្នាំ 2026 ប្រហែល 1T / 42B ធ្វើសកម្មភាព ជាមួយបរិបទ 1M បន្ទាប់ពីច្រើនសប្តាហ៍នៅលើ OpenRouter ក្រោមឈ្មោះ "Hunter Alpha"។ MiMo-V2.5 និង MiMo-V2.5-Pro ចេញផ្សាយជាមួយគ្នានៅថ្ងៃទី 22 ខែមេសា ឆ្នាំ 2026 ទាំងពីរផ្តល់អាជ្ញាប័ណ្ណ MIT។

03ខាងក្នុង MiMo-V2.5-Pro៖ គ្រឹះមានរូបរាងបែបណា

តាមប័ណ្ណម៉ូដែលដែលបានផ្សព្វផ្សាយរបស់ Xiaomi MiMo-V2.5-Pro ជាម៉ូដែល Mixture-of-Experts រាយប៉ាយដែលមាន 1.02 លានលានប៉ារ៉ាម៉ែត្រសរុប និង 42 ពាន់លានធ្វើសកម្មភាពក្នុងមួយថូខឹន កាត់តាម 70 ស្រទាប់ — មួយក្រាស់ 69 MoE — និង 384 អ្នកជំនាញនាំផ្លូវ 8 ធ្វើសកម្មភាពក្នុងមួយថូខឹន។ ទំហំលាក់ជា 6144 ជាមួយទំហំកម្រិតកណ្តាល MoE តូចចង្អៀត 2048។

ជម្រើសពីរកំណត់អារម្មណ៍ប្រើប្រាស់។ ជង់ការយកចិត្តទុកដាក់ជា ចម្រុះ៖ 10 ស្រទាប់ការយកចិត្តទុកដាក់ពេញលេញ និង 60 ស្រទាប់បង្អួចរអិលដែលមានទំហំបង្អួច 128 បូកនឹងភាពលម្អៀង attention-sink ដែលអាចរៀនបាន។ Xiaomi រាយការណ៍ថានេះកាត់បន្ថយការផ្ទុក KV-cache ជិត 7 ដង ធៀបនឹងការយកចិត្តទុកដាក់សកលទាំងអស់ ខណៈរក្សាគុណភាពបរិបទវែង — ភាពខុសគ្នារវាងបង្អួចដែលហៅថាវែងតាមឈ្មោះ និងបង្អួចដែលអ្នកអាចបំពេញបានពិតប្រាកដ។ វាក៏ផ្ទុក ស្រទាប់ Multi-Token Prediction បី ដែលផ្តល់ក្បាល speculative ដល់ decoder។

ការបណ្តុះបណ្តាលប្រើថូខឹន 27 លានលាន នៅប្រវែងលំដាប់ធម្មជាតិ 32K ក្នុងភាពជាក់លាក់លាយ FP8 (E4M3) បន្ទាប់មកការកែសម្រួលបន្ថែមក្រោមការត្រួតពិនិត្យ RL ភ្នាក់ងារទំហំធំ និងការចម្លងចំណេះដឹងបែប on-policy ពីគ្រូច្រើន។ ចងចាំលម្អិត FP8 នេះទុក វាជាអំណះអំណាងតែមួយដ៏រឹងមាំបំផុតសម្រាប់ការបម្រើគ្រឹះនេះនៅ 8 ប៊ីត។

Xiaomi រាយការណ៍ម៉ូដែលនៅ 57.2% លើ SWE-bench Pro 72.9 លើ τ3-Bench សម្រាប់ការប្រើប្រាស់ឧបករណ៍ និង 48.0% លើ Humanity's Last Exam — តួលេខផ្ទាល់របស់ក្រុមហ៊ុនផលិតលើម៉ូដែលមិនទាន់បង្រួមទិន្នន័យ ដកស្រង់ដូចដែលបានចែង។

យើងបម្រើបង្អួច 262,144 ថូខឹន មិនមែនពេញលេញ 1M របស់គ្រឹះទេ — បរិបទដែលយើងអាចធានាល្បឿនបាន ជាជាងលេខចំណងជើងដែលធ្លាក់ចុះក្រោមបន្ទុក។

04តើ W8A16 មានន័យអ្វីពិតប្រាកដ

ម៉ូដែលគ្រប់រូបនៅក្នុងកាតាឡុកនេះមានបច្ច័យបង្រួមទិន្នន័យដែលពណ៌នាការបំប្លែងជាក់ស្តែងអាចវាស់វែងបាន ជាជាងថ្នាក់ទីផ្សារ។ របស់យើងគឺ 3BIT-REAP, W4A16-AUTOROUND-REAP និង W8A16។ MiMo-V2.5-Pro ជាថ្នាក់ទីបី។

កំណត់សម្គាល់នេះបែងចែកជាពីរ។ W8 ជាភាពជាក់លាក់ទម្ងន់៖ ប៉ារ៉ាម៉ែត្រនីមួយៗត្រូវបានផ្ទុកជាចំនួនគត់ 8-bit ជំនួសឲ្យលេខទសភាគអណ្តែត 16-bit ជាមួយកត្តាធ្វើមាត្រដ្ឋានរួមក្នុងក្រុមតូចនីមួយៗ ដូច្នេះជួរអថេរមូលដ្ឋានក្នុងក្រុមនីមួយៗនៅរួច។ A16 ជាភាពជាក់លាក់សកម្មភាព៖ តម្លៃដែលហូររវាងស្រទាប់ពេលអនុមាននៅតែ 16 ប៊ីត។ ទម្ងន់ត្រូវបានបង្រួម ការគណនាមិនត្រូវទេ។

ពាក់កណ្តាលទីពីរធ្វើការសំខាន់ដោយស្ងាត់ៗ។ សកម្មភាពពិបាកបង្រួមទិន្នន័យជាងទម្ងន់ច្រើន៖ វាមានប៉ុស្តិ៍លេចធ្លោខ្លាំង — វិមាត្រពីរបីមុខដែលទំហំរបស់វាធំជាងអ្វីៗផ្សេងទៀតទាំងអស់ និងផ្ទុកចំណែកមិនសមាមាត្រនៃឥរិយាបថម៉ូដែល។ ដាក់ទាំងនោះទៅភាពជាក់លាក់ទាប ហើយអ្នកកាត់ចោលចេញពិតជាសញ្ញាដែលអ្នកត្រូវការ។ ប្រព័ន្ធទម្ងន់តែប៉ុណ្ណោះជៀសផុតបញ្ហានេះដោយទុកផ្លូវសកម្មភាពមិនប៉ះពាល់ ដែលជាមូលហេតុដែលការងារបង្រួមទិន្នន័យធ្ងន់ធ្ងរបានផ្តោតលើពួកវា។

ដូច្នេះសំណួរជាក់ស្តែងចង្អៀតមកត្រឹមរឿងតែមួយ៖ ទម្ងន់មួយអាចទ្រាំបានប៉ុន្មានប៊ីតតិចបំផុត?

05W8A16 ធៀបនឹង W4A16 ធៀបនឹង 3-bit៖ កន្លែងដែលការបាត់បង់ទៅពិតប្រាកដ

ការសិក្សាដែលបានផ្សព្វផ្សាយធំបំផុតលើប្រធានបទនេះជារបស់ Neural Magic និង Red Hat "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — ការវាយតម្លៃជាង 500,000 កាត់តាមគ្រួសារ Llama-3.1 នៅ 8B, 70B និង 405B។ លទ្ធផលចំណងជើងរបស់ពួកគេ តាមតួលេខផ្ទាល់ខ្លួន៖

ទម្រង់	អ្វីត្រូវបានបង្រួម	ការស្តារឡើងវិញដែលបានរាយការណ៍ធៀបនឹង BF16
W8A8-FP (8-bit)	ទម្ងន់ + សកម្មភាព ទសភាគអណ្តែត	~99.75% ជាមធ្យម — "ស្ទើរតែគ្មានការបាត់បង់"
W8A8-INT (8-bit)	ទម្ងន់ + សកម្មភាព ចំនួនគត់	99–100% នៅ 8B/70B; 98.2–99.3% នៅ 405B
W4A16-INT (4-bit)	ទម្ងន់តែប៉ុណ្ណោះ	98–99.4% (8B); 98.6–99.8% (70B)

តួលេខរាយការណ៍ដោយ Neural Magic / Red Hat (arXiv:2411.02355) លើម៉ូដែល Llama-3.1 — រូបរាងនៃការដូរដាក់គ្នា មិនមែនពិន្ទុរបស់ម៉ូដែលនេះទេ។

អានដោយស្មោះត្រង់ វាហាក់ដូចជាអំណះអំណាងប្រឆាំងនឹងការយកចិត្តទុកដាក់៖ 4-bit ស្តារបាន 98–99% ដូច្នេះហេតុអ្វីត្រូវយកចិត្តទុកដាក់? ព្រោះទាំងនោះជាស្តង់ដារវាស់ស្ទង់ជម្រើសពហុគុណខាងសិក្សា ដែលជិតឧបករណ៍ដែលអាក្រក់បំផុតដែលមានសម្រាប់រកមើលការខូចខាតដោយការបង្រួមទិន្នន័យ។ សំណួរស្តង់ដារវាស់ស្ទង់មួយមានចម្លើយត្រឹមត្រូវមួយដែលទៅដល់បានក្នុងមួយ ឬពីរថូខឹន ហើយកំហុសនៃការបង្រួមទិន្នន័យតូច ជាសំឡេងរំខានប្រហែលសូន្យមធ្យមលើ logit នីមួយៗ លើសំណួរខ្លីដែលមានគម្លាតធំ សំឡេងរំខាននោះត្រូវបានស្រូបយក។

ឥឡូវសរសេរឯកសារបច្ចេកទេស 4,000 ថូខឹន រក្សាសម្លេងកាត់តាមរឿង 40,000 ថូខឹន ឬបញ្ចេញ JSON ដែលត្រូវឆ្លងផ្ទៀងផ្ទាត់លើកទីមួយ។ សំឡេងរំខានដូចគ្នាត្រូវបានយកគំរូរាប់ពាន់ដងជាបន្តបន្ទាប់ គំរូនីមួយៗកំណត់លក្ខខណ្ឌលើគំរូបន្ទាប់។ របៀបបរាជ័យមិនមែនជាចម្លើយខុសទេ — វាជាការធ្លាក់ចេញ៖ កាន់ការណែនាំធូរស្រាលចាប់ពីវេនទីមួយ តួអង្គដែលឈប់ស្តាប់ទៅដូចខ្លួនឯងនៅជុំវិញថូខឹនទី 3,000 វង់ក្រចកបិទដែលមិនដែលមកដល់។

កន្លែងដែលប៊ីតទៅពិតប្រាកដ

កំហុសនៃការបង្រួមទិន្នន័យមិនត្រូវបានពង្រាយស្មើគ្នាកាត់តាមសមត្ថភាពរបស់ម៉ូដែលទេ វាប្រមូលផ្តុំនៅកន្ទុយ។ ឥរិយាបថដែលមានម៉ាស់ខ្ពស់ — វេយ្យាករណ៍អង់គ្លេស រូបរាងអនុគមន៍ Python ការពិតលំដាប់ខ្ពស់រាប់ពាន់អំពីពិភពលោក — ត្រូវបានអ៊ិនកូដដដែលៗកាត់តាមទម្ងន់ច្រើន ហើយរស់រានពីស្ទើរតែអ្វីទាំងអស់។ ជ្រុងតូចនៃការចែកចាយទម្ងន់ដែលបានលៃតម្រូវយ៉ាងជាក់លាក់ផ្ទុកអ្វីដែលកម្រ៖ ហត្ថលេខាជាក់លាក់របស់ API ដែលមិនសូវស្គាល់ ចង្វាក់របស់អ្នកនិពន្ធជាក់លាក់ណាមួយ ភាពខុសគ្នារវាង CVE ពីរនៅជិតគ្នា។ ទាំងនោះជាតម្លៃដែលក្រឡាចត្រង្គគគ្រើមបង្គត់ចូលគ្នា។

ជំហានពី 4 ប៊ីតទៅ 3 ជាកន្លែងដែលនេះឈប់ជាពន្ធ ហើយក្លាយជាមេឃរបុត។ ច្បាប់ធ្វើមាត្រដ្ឋានអនុមាន k-bit របស់ Dettmers និង Zettlemoyer រកឃើញថា 4-bit ជាចំណុចដែលបង្កើនភាពត្រឹមត្រូវ zero-shot អតិបរមាក្នុងមួយប៊ីតនៃសតិម៉ូដែល ដោយការធ្លាក់ចុះគ្របដណ្តប់ក្រោមចំណុចនោះ។ បួនប៊ីតផ្តល់ 16 កម្រិតក្នុងមួយក្រុម បីប៊ីតផ្តល់ 8។ អ្នកកំពុងកាត់ពាក់កណ្តាលភាពច្បាស់នៃក្រឡាចត្រង្គដែលគគ្រើមរួចហើយ ហើយកំហុសបង្គត់ក្នុងមួយទម្ងន់កើនប្រហែលទ្វេដង។

លេខគណនាដែលសម្រេចរឿងនេះ

ការប្រៀបធៀបដែលសមនឹងធ្វើគឺជាការគណនា មិនមែនស្តង់ដារវាស់ស្ទង់ទេ។ អ្វីដែលនៅរួចបន្ទាប់ពីការបង្រួមទិន្នន័យប្រហែលស្មើនឹង ប៉ារ៉ាម៉ែត្រ × ប៊ីតក្នុងមួយប៉ារ៉ាម៉ែត្រ — បរិមាណផ្ទុកព័ត៌មាននៃឯកសារទម្ងន់។ យកគ្រឹះសម្មតិកម្មពីរដែលមានគុណភាពស្មើគ្នាក្នុងមួយប៉ារ៉ាម៉ែត្រ៖

• គ្រឹះ A៖ 400B ប៉ារ៉ាម៉ែត្រនៅ 3 ប៊ីត → ប្រហែល 150 GB ទម្ងន់ដែលនៅសល់។
• គ្រឹះ B៖ 160B ប៉ារ៉ាម៉ែត្រនៅ 8 ប៊ីត → ប្រហែល 160 GB ទម្ងន់ដែលនៅសល់។

តាមចំនួនប៉ារ៉ាម៉ែត្រដើម A ឈ្នះពីរកន្លះទល់នឹងមួយ — លេខដែលប័ណ្ណម៉ូដែលដឹកនាំដោយវា។ តាមព័ត៌មានដែលនៅសល់ ទាំងពីរស្មើគ្នា ហើយ B មានអត្ថប្រយោជន៍រចនាសម្ព័ន្ធបន្ថែម៖ ទម្ងន់របស់វានៅលើក្រឡាចត្រង្គដែលល្អិតគ្រប់គ្រាន់ ដូច្នេះឥរិយាបថកន្ទុយរបស់វានៅដដែល ខណៈកន្ទុយរបស់ A ត្រូវបានបង្រួមទិន្នន័យចូលទៅក្នុងផ្នែកធំ។ A ដឹងច្រើនរឿង B ដឹងអ្វីដែលវាដឹងកាន់តែច្បាស់។ សម្រាប់ការបង្កើតវែង ការរៀបចំទ្រង់ទ្រាយត្រឹមត្រូវ ការគ្រប់គ្រងរចនាប័ទ្ម និងការប្រកាន់ខ្ជាប់បរិបទវែងស្មោះត្រង់ ជ្រើសរើស B។

លេខគណនាបង្ហាញឧទាហរណ៍ មិនមែនស្តង់ដារវាស់ស្ទង់ទេ៖ វាបង្ហាញមូលហេតុដែល "គ្រឹះធំជាង" និង "ម៉ូដែលបម្រើកាន់តែល្អ" ជាការអះអាងខុសគ្នា។

06ហេតុអ្វីថូខឹនបណ្តុះបណ្តាល 27 លានលានធ្វើឲ្យការបង្រួមទិន្នន័យខ្លាំងកាន់តែអាក្រក់

លទ្ធផលទីពីរ ដែលមិនសូវច្បាស់តាមវិចារណញាណ ប៉ះពាល់ដោយផ្ទាល់ដល់គ្រឹះនេះ។ ក្រដាស Scaling Laws for Precision របស់ Kumar et al. នៅ ICLR 2025 រកឃើញថា ទិន្នន័យកាន់តែច្រើនដែលម៉ូដែលមួយត្រូវបានបណ្តុះបណ្តាល ការបង្រួមទិន្នន័យក្រោយបណ្តុះបណ្តាលកាន់តែធ្វើឲ្យខូចខាតវាកាន់តែច្រើន។ ភាពជាក់លាក់ទាបកាត់បន្ថយចំនួនប៉ារ៉ាម៉ែត្រប្រសិទ្ធភាពរបស់ម៉ូដែល ហើយការធ្លាក់ចុះនោះកើនឡើងតាមទិន្នន័យបណ្តុះបណ្តាលជាមុនដែលបានស្រូបចូល — ឆ្ងាយគ្រប់គ្រាន់ដែលទិន្នន័យបណ្តុះបណ្តាលជាមុនបន្ថែមអាចបង្កគ្រោះថ្នាក់សុទ្ធ បើអ្នកមានបំណងបង្រួមទិន្នន័យខ្លាំង ព្រោះអ្នកកំពុងដាក់រចនាសម្ព័ន្ធល្អិតដែលក្រឡាចត្រង្គនឹងលុបចោល។

ម៉ូដែលដែលបានបណ្តុះបណ្តាលលើថូខឹន 5T មានរចនាសម្ព័ន្ធទម្ងន់គគ្រើម ដដែលៗ និងមានចន្លោះនៅសល់។ ម៉ូដែលដែលបានបណ្តុះបណ្តាលលើថូខឹន 27T — ថវិការបស់ MiMo-V2.5-Pro — បានចំណាយទិន្នន័យបន្ថែមនោះសរសេរភាពខុសគ្នាល្អិតជាងចូលទៅក្នុងតម្លៃទម្ងន់ជាក់លាក់ជាងមុន ដែលពិតជាអ្វីដែលក្រឡាចត្រង្គ 3-bit មិនអាចតំណាងបាន។

បន្ទាប់មកមានការពិត FP8 ពីផ្នែក 03 ជាអំណះអំណាងស្អាតបំផុតនៅក្នុងអត្ថបទនេះ។ MiMo-V2.5-Pro ត្រូវបានបណ្តុះបណ្តាលជាមុនក្នុងភាពជាក់លាក់លាយ FP8។ ទម្ងន់របស់វាត្រូវបានរៀបចំតាំងពីដើមដោយ optimizer ដែលធ្វើការនៅភាពជាក់លាក់ប្រហែលប្រាំបីប៊ីត។ ដូច្នេះការបម្រើវានៅទម្ងន់ 8-bit មិនមែនជាការគិតលើក្រោយដែលបាត់បង់ដែលដាក់ដល់ម៉ូដែល 16-bit ទេ — វាជិតនឹងការនាំទម្ងន់ត្រឡប់ទៅរបបលេខដែលវាបានរៀនក្នុងនោះ។ រចនាសម្ព័ន្ធល្អិតតិចតួចមាននៅក្រោមប៊ីតទីប្រាំបីដែលអាចបាត់បង់។ រឿងដូចគ្នាមិនអាចនិយាយចំពោះទម្ងន់ដែលត្រូវបានបង្ខំចុះមកត្រឹមបីបានទេ។

07REAP៖ ហេតុអ្វីការកាត់ចោលអ្នកជំនាញជាប្រភេទការបាត់បង់ខុសពីការបង្គត់

ថ្នាក់ពីរក្នុងចំណោមថ្នាក់ទាំងបីមានបច្ច័យ REAP — ប្រតិបត្តិការខុសគ្នាទាំងស្រុងពីការបង្រួមទិន្នន័យ។ REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) ជាការបង្រួមទិន្នន័យតែម្តងសម្រាប់ម៉ូដែល MoE រាយប៉ាយ៖ វាវាយតម្លៃអ្នកជំនាញនីមួយៗតាមតម្លៃច្រកនៃឧបករណ៍នាំផ្លូវ និងបទដ្ឋានធ្វើសកម្មភាពរបស់អ្នកជំនាញ បន្ទាប់មកលុបចោលអ្នកដែលទទួលពិន្ទុទាបបំផុត។ Cerebras រាយការណ៍លទ្ធផលស្ទើរតែគ្មានការបាត់បង់លើការបង្កើតកូដ និងការហៅឧបករណ៍ សូម្បីតែនៅកម្រិតកាត់ចោលអ្នកជំនាញ 50%។

យើងប្រើ REAP សម្រាប់មូលហេតុដែលវាមាន៖ លើគ្រឹះធំបំផុត វាជាអ្វីដែលធ្វើឲ្យវាអាចបម្រើបាន។ ប៉ុន្តែសូមកត់សម្គាល់ភាពខុសគ្នាប្រភេទ។ ការបង្រួមទិន្នន័យធ្វើឲ្យស្រពិចស្រពិលបន្តិចចំពោះទម្ងន់នីមួយៗ ការកាត់ចោលលុបចោលអ្នកជំនាញទាំងស្រុង។ បើទម្ងន់ការងាររបស់អ្នកនាំផ្លូវខ្លាំងទៅសមត្ថភាពដែលរស់នៅក្នុងអ្នកជំនាញដែលកម្រត្រូវបានជ្រើសរើស — ភាសាសរសេរកម្មវិធីតូចមួយ វាក្យសព្ទឯកទេស — វាមិនត្រូវបានធ្លាក់ចុះទេ។ វាបាត់ ហើយគ្មានការសរសេរប្រយោគអាចទាញយកវាមកវិញបានទេ។ មធ្យមភាគនៅតែឆើតឆាយ ករណីកន្ទុយរបស់អ្នកប្រហែលមិនអញ្ចឹងទេ។

MiMo-V2.5-Pro · W8A16 គ្មានបច្ច័យ REAP ទេ។ អ្នកជំនាញទាំង 384 សុទ្ធតែមានវត្តមាន ហើយឧបករណ៍នាំផ្លូវជ្រើសរើសពីសំណុំពេញលេញដែលគ្រឹះត្រូវបានបណ្តុះបណ្តាលជាមួយ។

ថ្នាក់	ប៊ីតទម្ងន់	អ្នកជំនាញ	អ្វីដែលអ្នកដូរដាក់
W8A16	8	មានវត្តមានទាំងអស់	គ្មានអ្វីជារចនាសម្ព័ន្ធទេ។ ថ្នាក់ភាពស្មោះត្រង់។
W4A16-AUTOROUND-REAP	4	ត្រូវបានកាត់ចោល	លម្អិតទម្ងន់ល្អិត បូកនឹងអ្នកជំនាញចរាចរណ៍ទាប ជាថ្លៃប្តូរនឹងគ្រឹះធំជាងច្រើននៅក្នុងកម្រិតតម្លៃដូចគ្នា។
3BIT-REAP	3	ត្រូវបានកាត់ចោល	ភាពច្បាស់ទម្ងន់ច្រើនសំខាន់ បូកនឹងអ្នកជំនាញចរាចរណ៍ទាប — ថ្លៃដើមនៃការដំណើរការគ្រឹះធំបំផុតដោយល្បឿន។

ថ្នាក់កណ្តាលសមនឹងទទួលការពិចារណាដោយយុត្តិធម៌។ AutoRound មិនមែនជាការបង្គត់សាមញ្ញទេ៖ វិធីសាស្ត្ររបស់ Intel (arXiv:2309.05516) ប្រើ signed gradient descent ប្រហែល 200 ជំហានដើម្បីលៃតម្រូវការសម្រេចចិត្តបង្គត់ និងជួរកាត់ក្នុងមួយក្រុមទម្ងន់ ហើយត្រូវបានរាយការណ៍ថាស្ទើរតែគ្មានការបាត់បង់នៅ 4 ប៊ីតក្នុងការកំណត់ភាគច្រើន ឈ្នះ GPTQ, AWQ, HQQ និង OmniQuant កាត់តាមការកំណត់រចនាសម្ព័ន្ធដែលបានសាកល្បងភាគច្រើន។ ម៉ូដែល W4A16-AUTOROUND ជាម៉ូដែល 4-bit ល្អពិតប្រាកដ។ វានៅតែជាម៉ូដែល 4-bit។

08អ្នកណាគួរជ្រើសរើសថ្នាក់ 8-bit — និងអ្នកណាមិនគួរ

MiMo-V2.5-Pro · W8A16 ស្ថិតនៅតម្លៃទាបបំផុតរបស់កាតាឡុកទាំងមូល — $0.50 ចូល / $2.00 ចេញ ក្នុងមួយលានថូខឹន កម្រិតតម្លៃដូចគ្នានឹងម៉ូដែល 4-bit ថ្នាក់ចូល និងប្រហែលមួយភាគបួននៃតម្លៃចូលនៃម៉ូដែលថ្លៃបំផុតដែលយើងបម្រើ។ អ្នកមិនបានបង់ថ្លៃបន្ថែមសម្រាប់ភាពស្មោះត្រង់ទេ អ្នកកំពុងជ្រើសរើសអ័ក្សខុសគ្នានៃថវិកាដូចគ្នា។

ជ្រើសរើសវាពេល

• ប្រវែងលទ្ធផលជាការងារ។ ការសរសេរបច្ចេកទេសវែង រឿងប្រឌិតប្រវែងជំពូក ការឆ្លងកាត់ឯកសារពេញលេញ — ថូខឹនដែលបានបង្កើតនីមួយៗជាកន្លែងដែលសំឡេងរំខាននៃការបង្រួមទិន្នន័យបូកបញ្ចូលគ្នា។
• សម្លេង និងភាពស៊ីសង្វាក់សំខាន់។ ការងារតួអង្គ សម្លេងម៉ាកយីហោ ចុះឈ្មោះដែលរក្សាកាត់តាមសម័យវែងមួយ។ រចនាប័ទ្មរស់នៅកន្ទុយ ហើយកន្ទុយជាអ្វីដែលការបង្រួមទិន្នន័យគគ្រើមស៊ីមុនគេ។
• លទ្ធផលមានរចនាសម្ព័ន្ធត្រូវឆ្លងផ្ទៀងផ្ទាត់លើកទីមួយ។ ម៉ូដែលគាំទ្រ json_schema និង response_format ការប្រកាន់ខ្ជាប់ schema ជាលក្ខណៈសម្បត្តិភាពជាក់លាក់ ហើយរាល់ការព្យាយាមឡើងវិញដែលជៀសផុតសន្សំប្រាក់ និងពេលវេលា។
• អ្នកកំពុងបំពេញបរិបទ។ ការប្រកាន់ខ្ជាប់ការណែនាំនៅថូខឹនទី 200,000 ពិបាកជាងនៅថូខឹនទី 2,000 ហើយវាធ្លាក់ចុះតាមភាពជាក់លាក់ទម្ងន់ — ដូចដានវែកញែកវែងដែលកំហុសបូកបញ្ចូលគ្នាតាមរបៀបដូចគ្នា។
• ការងារគ្មានសេនស័រដោយធម្មជាតិ។ ការស្រាវជ្រាវសុវត្ថិភាព red-teaming រឿងប្រឌិតគ្មានតម្រង ការវិភាគវេជ្ជសាស្ត្រ ឬច្បាប់ដែលរសើប — កន្លែងដែលចម្លើយកែច្នៃអាក្រក់ជាងគ្មានចម្លើយ។

ជ្រើសរើសអ្វីផ្សេងពេល

• អ្នកត្រូវការការមើលឃើញ។ ម៉ូដែលនេះជាអត្ថបទតែប៉ុណ្ណោះ ម៉ូដែលបងប្អូនរបស់វា MiMo-V2.5 · W8A16 អាចមើលឃើញបានក្នុងតម្លៃ និងថ្នាក់ដូចគ្នា។
• អ្នកត្រូវការចំណេះដឹងពិភពលោកទូលំទូលាយបំផុតលើសំណួរខ្លី។ នោះជារបបដែលប៉ារ៉ាម៉ែត្របន្ថែមរបស់គ្រឹះ 3-bit ធំជាងច្រើនឈ្នះ ហើយការខូចខាតនៃការបង្រួមទិន្នន័យរបស់វាស្ទើរតែមិនលេចឡើង។
• ទម្ងន់ការងាររបស់អ្នកជាការចាត់ថ្នាក់ខ្លីបរិមាណខ្ពស់។ ការខូចខាតនៃការបង្រួមទិន្នន័យស្ទើរតែមើលមិនឃើញនៅទីនោះ — ទិញអ្វីដែលលឿនបំផុត។

09ការហៅ API MiMo គ្មានសេនស័រ

បើកូដរបស់អ្នកកំណត់គោលដៅ SDK របស់ OpenAI ការប្តូរ base URL និងលេខសម្គាល់ម៉ូដែលជាការផ្លាស់ប្តូរទាំងមូល៖

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages និង /v1/responses ទទួលយកលេខសម្គាល់ និងសមត្ថភាពដូចគ្នា។ ឯកសារយោងប៉ារ៉ាម៉ែត្រ គ្រោងការហៅឧបករណ៍ ឧទាហរណ៍លទ្ធផលមានរចនាសម្ព័ន្ធ និងកន្លែងសាកល្បងផ្ទាល់មាននៅក្នុង ឯកសារ API របស់ Shannon AI។

សមត្ថភាព	MiMo-V2.5-Pro · W8A16
បង្អួចបរិបទ	262,144 ថូខឹន
លទ្ធផលអតិបរមាក្នុងមួយសំណើ	16,384 ថូខឹន
Streaming	បាទ/ចាស — ភាសាទាំងបី
ការហៅឧបករណ៍	បាទ/ចាស
ការវែកញែក / reasoning_effort	បាទ/ចាស
លទ្ធផលមានរចនាសម្ព័ន្ធ json_schema	បាទ/ចាស
response_format	បាទ/ចាស
ការមើលឃើញ / ទិន្នន័យបញ្ចូលរូបភាព	ទេ — ប្រើ MiMo-V2.5
ស្រទាប់ការបដិសេធ / តម្រងលទ្ធផល	គ្មាន
តម្លៃក្នុងមួយលានថូខឹន	$0.50 ចូល / $2.00 ចេញ

10សំណួរដែលសួរញឹកញាប់

---

ប្រភព៖ របាយការណ៍បច្ចេកទេស MiMo, arXiv:2505.07608 · ប័ណ្ណម៉ូដែល MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · ច្បាប់ធ្វើមាត្រដ្ឋានអនុមាន k-bit, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025។ តួលេខស្តង់ដារវាស់ស្ទង់ទាំងអស់ជាតួលេខដែលបានរាយការណ៍ដោយអ្នកនិពន្ធរបស់ពួកគេ។ Shannon AI ជាផលិតផលរបស់ Shannon Lab LLC រដ្ឋញូម៉ិកស៊ិកូ សហរដ្ឋអាមេរិក។