API MiMo ບໍ່ເຊັນເຊີ ທີ່ຄວາມແມ່ນຢຳ 8-Bit

ແຄຕາລັອກສ່ວນຫຼາຍຂາຍທ່ານດ້ວຍຈຳນວນພາຣາມິເຕີ. ນັ້ນຄືຕົວເລກທີ່ຜິດທີ່ຈະໃຊ້ຊື້ຂອງ, ຍ້ອນວ່າໂມເດວນ້ຳໜັກເປີດຂະໜາດໃຫຍ່ທຸກອັນທີ່ທ່ານຈ່າຍໄດ້ຈິງໆຖືກບີບອັດໃຫ້ພໍດີກັບບ່ອນໃດບ່ອນໜຶ່ງ. ຄຳຖາມທີ່ຊື່ສັດບໍ່ແມ່ນ "ມັນໃຫຍ່ປານໃດກ່ອນຖືກບີບ?" ແຕ່ແມ່ນ "ຍັງເຫຼືອຫຼາຍປານໃດຢູ່ບ່ອນນີ້?" ບົດຄວາມນີ້ເວົ້າກ່ຽວກັບຄຳຖາມນັ້ນ, ແລະ ກ່ຽວກັບໂມເດວໃນລາຍການຂອງພວກເຮົາທີ່ຄຳຕອບຄື ເກືອບທັງໝົດ.

01API MiMo ບໍ່ເຊັນເຊີໃຫ້ຫຍັງແກ່ທ່ານແທ້ໆ

API MiMo ບໍ່ເຊັນເຊີ ຄື model id ດຽວ, MiMo-V2.5-Pro-W8A16, ເອີ້ນໄດ້ຜ່ານພາສາສາມແບບທີ່ເຂົ້າເຖິງນ້ຳໜັກດຽວກັນເທິງຄລັດສເຕີ GPU ຂອງພວກເຮົາເອງ: /v1/chat/completions, /v1/messages ແລະ /v1/responses. ທັງສາມສະຕຣີມໄດ້ ແລະ ຮອງຮັບການເອີ້ນເຄື່ອງມື ແລະ ການໃຫ້ເຫດຜົນ.

ບໍ່ເຊັນເຊີ ມີຄວາມໝາຍທີ່ແຄບຢູ່ບ່ອນນີ້: ບໍ່ມີຊັ້ນປະຕິເສດຢູ່ໜ້າໂມເດວ, ບໍ່ມີການກັ່ນຕອງຜົນຜະລິດຂອງມັນ. ພວກເຮົາບໍ່ດັກ, ຈັດປະເພດ, ຫຼືຂຽນຄືນ. ທ່ານໄດ້ຮັບພຶດຕິກຳຂອງພື້ນຖານເອງ — ຊຶ່ງສຳລັບໂມເດວນ້ຳໜັກເປີດລະດັບການຄົ້ນຄວ້າໝາຍຄວາມວ່າມັນມີສ່ວນຮ່ວມກັບການຄົ້ນຄວ້າຄວາມປອດໄພ, ນິຍາຍສຳລັບຜູ້ໃຫຍ່ ຫຼືຮຸນແຮງ, ການໃຫ້ເຫດຜົນທາງການແພດ ແລະ ກົດໝາຍ, ແລະ ຄຳຂໍທີ່ endpoint ການຄ້າທົ່ວໄປປະຕິເສດແບບອັດຕະໂນມັດ. ມັນຄືເຄື່ອງມືມືອາຊີບພາຍໃຕ້ ນະໂຍບາຍການໃຊ້ຢ່າງມີຄວາມຮັບຜິດຊອບຂອງພວກເຮົາ, ບໍ່ແມ່ນການບໍ່ມີກົດລະບຽບ.

02ຕະກູນ MiMo: ການພະນັນຂອງ Xiaomi ໃສ່ການຝຶກລ່ວງໜ້າທີ່ເນັ້ນການໃຫ້ເຫດຜົນ

MiMo ບໍ່ແມ່ນ Llama ທີ່ຖືກປ່ຽນຊື່; ມັນຄືຕະກູນທີ່ແຕກຕ່າງອອກໄປຈາກທີມ MiMo ຂອງ Xiaomi, ແລະ ແນວຄິດພື້ນຖານຂອງມັນສຳຄັນກ່ອນທີ່ທ່ານຈະປະເມີນໂມເດວ. ມັນເລີ່ມຕົ້ນດ້ວຍ MiMo-7B (30 ເມສາ 2025, ອະນຸຍາດ MIT), ຊຶ່ງບົດລາຍງານທາງເຕັກນິກຂອງມັນໂຕ້ແຍ້ງວ່າຫ້ອງທົດລອງສ່ວນຫຼາຍປະຕິບັດຕໍ່ການໃຫ້ເຫດຜົນເປັນບັນຫາຫຼັງການຝຶກທີ່ຕິດເພີ່ມດ້ວຍ RL, ແລະ ນັ້ນຄືການເຮັດແບບກັບກັນ. Xiaomi ຈັດໂຄງສ້າງການຝຶກລ່ວງໜ້າໃໝ່ອ້ອມຮອບມັນແທນ: ການປະສົມສາມຂັ້ນຕອນທົ່ວ 25 ລ້ານລ້ານ token, ຂັ້ນຕອນທີສອງແລ່ນປະມານ 70% ຄະນິດສາດ ແລະ ໂຄດ, ຂັ້ນຕອນທີສາມພັບໃສ່ຮ່ອງຮອຍການໃຫ້ເຫດຜົນສັງເຄາະ ໃນຂະນະທີ່ຂະຫຍາຍ context ຈາກ 8K ເປັນ 32K — ບວກກັບ objective Multi-Token Prediction ທີ່ເຮັດໜ້າທີ່ເປັນຫົວ speculative-decoding ນຳ.

ຜົນລັບຄືໂມເດວພື້ນຖານ 7B ທີ່ປະຕິບັດຕົວຄືກັບບາງສິ່ງທີ່ໃຫຍ່ກວ່າຫຼາຍ. MiMo-7B-Base ໄດ້ຄະແນນ 32.9 ໃນ AIME 2024 ໃນຂະນະທີ່ Qwen2.5-7B ໄດ້ 10.1, Gemma-2-9B ໄດ້ 0.0 ແລະ Llama-3.1-8B ໄດ້ 0.3. ການຝຶກຫຼັງຈາກນັ້ນແລ່ນ RL ຜ່ານບັນຫາຄະນິດສາດ ແລະ ໂຄດທີ່ພິສູດໄດ້ 130,000 ບັນຫາ ດ້ວຍລາງວັນໂຄດທີ່ຂັບເຄື່ອນໂດຍຄວາມຍາກຂອງການທົດສອບ, ໜີອອກຈາກກັບດັກ sparse-reward ທີ່ເຮັດໃຫ້ RL ໂຄດບໍ່ໝັ້ນຄົງ. ຜົນລັບລົງເອີຍເໜືອ o1-mini:

AIME 2025, ຕົວເລກທີ່ Xiaomi ລາຍງານຈາກບົດລາຍງານທາງເຕັກນິກ MiMo (arXiv:2505.07608). MiMo-7B-RL ຍັງລາຍງານ 95.8 ໃນ MATH-500 ແລະ 57.8 ໃນ LiveCodeBench v5.

ຕະກູນນີ້ຂະຫຍາຍກວ້າງອອກ ບໍ່ແມ່ນລອຍໄປທາງອື່ນ: MiMo-VL-7B (ມິຖຸນາ 2025) ໃສ່ encoder Qwen2.5-ViT ເທິງໂຄງສ້າງຫຼັກດຽວກັນ, ແລະ ທັນວາ 2025 ນຳມາເຊິ່ງ MiMo-Audio-7B ພ້ອມກັບລາຍການ MoE ທຳອິດ, MiMo-V2-Flash (309B ລວມ / 15B ເປີດໃຊ້, 27T token, ຄວາມແມ່ນຢຳປະສົມ FP8). MiMo-V2-Pro ຕາມມາໃນເດືອນມີນາ 2026 ທີ່ປະມານ 1T / 42B ເປີດໃຊ້ ດ້ວຍ context 1M, ຫຼັງຈາກຫຼາຍອາທິດເທິງ OpenRouter ໃນຊື່ "Hunter Alpha". MiMo-V2.5 ແລະ MiMo-V2.5-Pro ອອກພ້ອມກັນວັນທີ 22 ເມສາ 2026, ທັງສອງອະນຸຍາດ MIT.

03ພາຍໃນ MiMo-V2.5-Pro: ພື້ນຖານໜ້າຕາເປັນແນວໃດ

ອີງຕາມບັດໂມເດວທີ່ Xiaomi ເຜີຍແຜ່, MiMo-V2.5-Pro ຄືໂມເດວ Mixture-of-Experts ແບບ sparse ດ້ວຍພາຣາມິເຕີລວມ 1.02 ລ້ານລ້ານ ແລະ ເປີດໃຊ້ 42 ຕື້ຕໍ່ token ໃນ 70 ຊັ້ນ — ໜຶ່ງຊັ້ນເປັນ dense, 69 ຊັ້ນເປັນ MoE — ແລະ ຜູ້ຊ່ຽວຊານ 384 ຄົນທີ່ຈັດເສັ້ນທາງ, 8 ຄົນຕໍ່ token. ຂະໜາດ hidden ຄື 6144, ດ້ວຍຂະໜາດ intermediate MoE ທີ່ແຄບພຽງ 2048.

ການເລືອກສອງຢ່າງກຳນົດຄວາມຮູ້ສຶກໃນການໃຊ້ງານ. ກອງ attention ເປັນແບບປະສົມ: 10 ຊັ້ນ full-attention ແລະ 60 ຊັ້ນ sliding-window ດ້ວຍໜ້າຕ່າງ 128, ບວກກັບ bias attention-sink ທີ່ຮຽນຮູ້ໄດ້. Xiaomi ລາຍງານວ່ານີ້ຫຼຸດການເກັບ KV-cache ລົງໃກ້ 7 ເທົ່າ ທຽບກັບ attention ແບບ global ທັງໝົດ ໃນຂະນະທີ່ຮັກສາຄຸນນະພາບ context ຍາວ — ຄວາມແຕກຕ່າງລະຫວ່າງໜ້າຕ່າງທີ່ຍາວແຕ່ໃນນາມ ກັບໜ້າຕ່າງທີ່ທ່ານສາມາດຕື່ມໃຫ້ເຕັມໄດ້ຈິງ. ມັນຍັງມີຊັ້ນ Multi-Token Prediction ສາມຊັ້ນ, ໃຫ້ decoder ມີຫົວແບບ speculative.

ການຝຶກໃຊ້ 27 ລ້ານລ້ານ token ທີ່ຄວາມຍາວລຳດັບ 32K ໂດຍທຳມະຊາດ ໃນຄວາມແມ່ນຢຳປະສົມ FP8 (E4M3), ຕາມດ້ວຍ supervised fine-tuning, agentic RL ຂະໜາດໃຫຍ່ ແລະ multi-teacher on-policy distillation. ຈື່ລາຍລະອຽດ FP8 ນັ້ນໄວ້; ມັນຄືການໂຕ້ແຍ້ງອັນດຽວທີ່ໜັກແໜ້ນທີ່ສຸດສຳລັບການໃຫ້ບໍລິການພື້ນຖານນີ້ທີ່ 8 bit.

Xiaomi ລາຍງານໂມເດວທີ່ 57.2% ໃນ SWE-bench Pro, 72.9 ໃນ τ3-Bench ສຳລັບການໃຊ້ເຄື່ອງມື ແລະ 48.0% ໃນ Humanity's Last Exam — ຕົວເລກຂອງຜູ້ຜະລິດເອງເທິງໂມເດວທີ່ບໍ່ quantize, ອ້າງອີງຕາມນັ້ນ.

ພວກເຮົາໃຫ້ບໍລິການໜ້າຕ່າງ 262,144 token, ບໍ່ແມ່ນ 1M ເຕັມຂອງພື້ນຖານ — context ທີ່ພວກເຮົາຮັບປະກັນຄວາມໄວໄດ້, ແທນທີ່ຈະເປັນຕົວເລກໂຄສະນາທີ່ເສື່ອມລົງເມື່ອມີພາລະໜັກ.

04W8A16 ໝາຍຄວາມວ່າຫຍັງແທ້ໆ

ທຸກໂມເດວໃນແຄຕາລັອກນີ້ມີຄຳຕໍ່ທ້າຍ quantization ທີ່ອະທິບາຍການປ່ຽນແປງທີ່ວັດແທກໄດ້ຈິງ ບໍ່ແມ່ນລະດັບການຕະຫຼາດ. ຂອງພວກເຮົາຄື 3BIT-REAP, W4A16-AUTOROUND-REAP ແລະ W8A16. MiMo-V2.5-Pro ຄືອັນທີສາມ.

ສັນຍາລັກນີ້ແບ່ງເປັນສອງສ່ວນ. W8 ຄືຄວາມແມ່ນຢຳຂອງນ້ຳໜັກ: ທຸກພາຣາມິເຕີຖືກເກັບເປັນຈຳນວນເຕັມ 8-bit ແທນທີ່ຈະເປັນ float 16-bit, ດ້ວຍປັດໄຈການປັບຂະໜາດຮ່ວມກັນຕໍ່ກຸ່ມນ້ອຍ ດັ່ງນັ້ນຂອບເຂດພະລວັດເຄິ່ງທ້ອງຖິ່ນຂອງແຕ່ລະກຸ່ມຈຶ່ງລອດ. A16 ຄືຄວາມແມ່ນຢຳຂອງການເປີດໃຊ້: ຄ່າທີ່ໄຫຼລະຫວ່າງຊັ້ນຕອນອະນຸມານຍັງຄົງຢູ່ທີ່ 16 bit. ນ້ຳໜັກຖືກບີບອັດ; ການຄິດໄລ່ບໍ່ຖືກ.

ເຄິ່ງທີສອງນັ້ນເຮັດວຽກສຳຄັນແບບງຽບໆ. ການເປີດໃຊ້ quantize ຍາກກວ່ານ້ຳໜັກຫຼາຍ: ພວກມັນມີຊ່ອງທາງ outlier ຮຸນແຮງ — ມິຕິສອງສາມອັນທີ່ຂະໜາດໃຫຍ່ກວ່າທຸກສິ່ງອື່ນຫຼາຍ ແລະ ຖືສ່ວນແບ່ງພຶດຕິກຳຂອງໂມເດວທີ່ບໍ່ສົມສ່ວນ. ຖ້າຜັກສິ່ງເຫຼົ່ານັ້ນໄປສູ່ຄວາມແມ່ນຢຳຕ່ຳ ທ່ານກໍຕັດສັນຍານທີ່ທ່ານຕ້ອງການພໍດີ. ແຜນການແບບນ້ຳໜັກຢ່າງດຽວຫຼີກລ່ຽງບັນຫານີ້ໂດຍປະເສັ້ນທາງການເປີດໃຊ້ໄວ້ຄືເກົ່າ, ຊຶ່ງເປັນເຫດຜົນທີ່ວຽກ quantization ຢ່າງຈິງຈັງໄດ້ມາບັນຈົບກັນທີ່ວິທີນີ້.

ດັ່ງນັ້ນຄຳຖາມພາກປະຕິບັດຈຶ່ງແຄບລົງເປັນສິ່ງດຽວ: ນ້ຳໜັກໜຶ່ງທົນຕໍ່ bit ໜ້ອຍທີ່ສຸດໄດ້ຈັກເທົ່າໃດ?

05W8A16 ທຽບ W4A16 ທຽບ 3-bit: ຄວາມເສຍຫາຍໄປໃສແທ້ໆ

ການສຶກສາທີ່ເຜີຍແຜ່ໃຫຍ່ທີ່ສຸດກ່ຽວກັບເລື່ອງນີ້ຄື "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization ຂອງ Neural Magic ແລະ Red Hat — ຫຼາຍກວ່າ 500,000 ການປະເມີນ ທົ່ວຕະກູນ Llama-3.1 ທີ່ 8B, 70B ແລະ 405B. ຜົນລັບຫົວຂໍ້ຂອງພວກເຂົາ, ໃນຕົວເລກຂອງພວກເຂົາ:

ຮູບແບບ	ຫຍັງຖືກບີບອັດ	ການຟື້ນຄືນທີ່ລາຍງານທຽບກັບ BF16
W8A8-FP (8-bit)	ນ້ຳໜັກ + ການເປີດໃຊ້, float	~99.75% ໂດຍສະເລ່ຍ — "ບໍ່ເສຍຫາຍໂດຍພື້ນຖານ"
W8A8-INT (8-bit)	ນ້ຳໜັກ + ການເປີດໃຊ້, integer	99–100% ທີ່ 8B/70B; 98.2–99.3% ທີ່ 405B
W4A16-INT (4-bit)	ນ້ຳໜັກຢ່າງດຽວ	98–99.4% (8B); 98.6–99.8% (70B)

ຕົວເລກທີ່ Neural Magic / Red Hat ລາຍງານ (arXiv:2411.02355) ເທິງໂມເດວ Llama-3.1 — ຮູບຮ່າງຂອງການແລກປ່ຽນ, ບໍ່ແມ່ນຄະແນນຂອງໂມເດວນີ້.

ອ່ານແບບຊື່ສັດ, ນັ້ນເບິ່ງຄືການໂຕ້ແຍ້ງຕ້ານການເອົາໃຈໃສ່: 4-bit ຟື້ນຄືນ 98–99%, ດັ່ງນັ້ນເປັນຫຍັງຕ້ອງໃສ່ໃຈ? ຍ້ອນວ່າສິ່ງເຫຼົ່ານັ້ນຄືເບັນມາກແບບເລືອກຄຳຕອບທາງວິຊາການ, ໃກ້ກັບເຄື່ອງມືທີ່ຮ້າຍແຮງທີ່ສຸດທີ່ມີໃນການກວດຫາຄວາມເສຍຫາຍຈາກ quantization. ຄຳຖາມເບັນມາກມີຄຳຕອບຖືກຕ້ອງໜຶ່ງອັນທີ່ໄປເຖິງໄດ້ໃນໜຶ່ງຫຼືສອງ token, ແລະ ຄວາມຜິດພາດ quantization ນ້ອຍ, ເປັນສຽງລົບກວນ zero-mean ໂດຍປະມານເທິງທຸກ logit; ໃນຄຳຖາມສັ້ນທີ່ມີຂອບຫ່າງກວ້າງ, ສຽງລົບກວນນັ້ນຖືກດູດຊຶມ.

ຕອນນີ້ລອງຂຽນເອກະສານທາງເຕັກນິກ 4,000 token, ຮັກສານ້ຳສຽງຕະຫຼອດເລື່ອງ 40,000 token, ຫຼືສ້າງ JSON ທີ່ຕ້ອງຖືກຕ້ອງໃນຄັ້ງທຳອິດ. ສຽງລົບກວນອັນດຽວກັນນັ້ນຖືກສຸ່ມຫຼາຍພັນຄັ້ງຕໍ່ເນື່ອງກັນ, ແຕ່ລະຄັ້ງມີເງື່ອນໄຂຈາກຄັ້ງກ່ອນ. ຮູບແບບຄວາມລົ້ມເຫຼວບໍ່ແມ່ນຄຳຕອບຜິດ — ມັນຄືການ drift: ການຈັບຄຳສັ່ງທີ່ອ່ອນລົງເລື້ອຍໆຕັ້ງແຕ່ຮອບທຳອິດ, ຕົວລະຄອນທີ່ເລີກຟັງຄືຕົນເອງປະມານ token ທີ 3,000, ວົງເລັບປິດທີ່ບໍ່ເຄີຍມາເຖິງ.

Bit ໄປໃສແທ້ໆ

ຄວາມຜິດພາດ quantization ບໍ່ໄດ້ກະຈາຍເທົ່າກັນທົ່ວຄວາມສາມາດຂອງໂມເດວ; ມັນສຸມຢູ່ໃນຫາງ. ພຶດຕິກຳມະຫາຊົນ — ໄວຍະກອນພາສາອັງກິດ, ຮູບຮ່າງຂອງ function Python, ພັນຂໍ້ເທັດຈິງອັນດັບຕົ້ນຂອງໂລກ — ຖືກເຂົ້າລະຫັດຊ້ຳຊ້ອນທົ່ວນ້ຳໜັກຫຼາຍອັນ ແລະ ລອດເກືອບທຸກຢ່າງ. ມູມທີ່ຖືກປັບຢ່າງແມ່ນຢຳ, ຂະໜາດນ້ອຍຂອງການແຈກຈາຍນ້ຳໜັກຖືສິ່ງທີ່ຫາຍາກ: ລາຍເຊັນ API ທີ່ຄຸ້ມເຄືອແບບແທ້ຈິງ, ຈັງຫວະການຂຽນຂອງນັກຂຽນສະເພາະຄົນ, ຄວາມແຕກຕ່າງລະຫວ່າງ CVE ສອງອັນທີ່ຢູ່ຕິດກັນ. ນັ້ນຄືຄ່າທີ່ຕາຂ່າຍຫຍາບປັດເສດເຂົ້າກັນ.

ຂັ້ນຕອນຈາກ 4 bit ໄປ 3 ຄືບ່ອນທີ່ນີ້ເລີກເປັນພາສີ ແລະ ກາຍເປັນໜ້າຜາ. ກົດການຂະຫຍາຍຂະໜາດ k-bit inference ຂອງ Dettmers ແລະ Zettlemoyer ພົບວ່າ 4-bit ຄືຈຸດທີ່ເຮັດໃຫ້ຄວາມຖືກຕ້ອງ zero-shot ຕໍ່ bit ຂອງໜ່ວຍຄວາມຈຳໂມເດວສູງສຸດ, ດ້ວຍຄວາມເສື່ອມທີ່ຄອບງຳຕ່ຳກວ່ານັ້ນ. ສີ່ bit ໃຫ້ 16 ລະດັບຕໍ່ກຸ່ມ; ສາມໃຫ້ 8. ທ່ານກຳລັງຫຼຸດຄວາມລະອຽດເຄິ່ງໜຶ່ງຂອງຕາຂ່າຍທີ່ຫຍາບຢູ່ແລ້ວ, ແລະ ຄວາມຜິດພາດການປັດເສດຕໍ່ນ້ຳໜັກເພີ່ມຂຶ້ນປະມານສອງເທົ່າ.

ເລກຄະນິດທີ່ຕັດສິນ

ການປຽບທຽບທີ່ຄຸ້ມຄ່າແມ່ນເລກຄະນິດ, ບໍ່ແມ່ນເບັນມາກ. ສິ່ງທີ່ລອດຈາກການບີບອັດປະມານພາຣາມິເຕີ × bit ຕໍ່ພາຣາມິເຕີ — ປະລິມານທີ່ຖືຂໍ້ມູນຂອງໄຟລ໌ນ້ຳໜັກ. ລອງເອົາພື້ນຖານສົມມຸດຖານສອງອັນທີ່ມີຄຸນນະພາບຕໍ່ພາຣາມິເຕີເທົ່າກັນ:

• ພື້ນຖານ A: ພາຣາມິເຕີ 400B ທີ່ 3 bit → ປະມານ 150 GB ຂອງນ້ຳໜັກທີ່ຄົງໄວ້.
• ພື້ນຖານ B: ພາຣາມິເຕີ 160B ທີ່ 8 bit → ປະມານ 160 GB ຂອງນ້ຳໜັກທີ່ຄົງໄວ້.

ດ້ວຍຈຳນວນພາຣາມິເຕີດິບ A ຊະນະສອງແລະເຄິ່ງຕໍ່ໜຶ່ງ — ຕົວເລກທີ່ບັດໂມເດວນຳສະເໜີ. ດ້ວຍຂໍ້ມູນທີ່ຄົງໄວ້ ພວກມັນເທົ່າກັນ, ແລະ B ຍັງມີຂໍ້ໄດ້ປຽບດ້ານໂຄງສ້າງອີກ: ນ້ຳໜັກຂອງມັນຢູ່ເທິງຕາຂ່າຍທີ່ລະອຽດພໍທີ່ພຶດຕິກຳຫາງຂອງມັນຍັງຄົງເດີມ, ໃນຂະນະທີ່ຫາງຂອງ A ຖືກ quantize ເຂົ້າໄປໃນກ້ອນຫຼັກ. A ຮູ້ຫຼາຍສິ່ງກວ່າ; B ຮູ້ສິ່ງທີ່ມັນຮູ້ຢ່າງແຫຼມຄົມກວ່າ. ສຳລັບການສ້າງຂໍ້ຄວາມຍາວ, ຮູບແບບທີ່ແທ້ຈິງ, ການຄວບຄຸມແບບ ແລະ ການປະຕິບັດຕາມ context ຍາວຢ່າງຊື່ສັດ, ເລືອກ B.

ເລກຄະນິດປະກອບຄຳອະທິບາຍ, ບໍ່ແມ່ນເບັນມາກ: ມັນສະແດງໃຫ້ເຫັນວ່າເປັນຫຍັງ "ພື້ນຖານໃຫຍ່ກວ່າ" ແລະ "ໂມເດວທີ່ໃຫ້ບໍລິການດີກວ່າ" ຄືຄຳກ່າວອ້າງທີ່ຕ່າງກັນ.

06ເປັນຫຍັງ token ການຝຶກ 27 ລ້ານລ້ານອັນຈຶ່ງເຮັດໃຫ້ quantization ຮຸນແຮງຮ້າຍແຮງກວ່າເກົ່າ

ຜົນລັບທີສອງ, ທີ່ບໍ່ຄ່ອຍເປັນສາມັນສຳນຶກ, ກ່ຽວຂ້ອງໂດຍກົງກັບພື້ນຖານນີ້. ບົດຄວາມ Scaling Laws for Precision ຂອງ Kumar et al. ໃນ ICLR 2025 ພົບວ່າຍິ່ງໂມເດວຖືກຝຶກດ້ວຍຂໍ້ມູນຫຼາຍປານໃດ, quantization ຫຼັງການຝຶກກໍຍິ່ງທຳລາຍມັນຫຼາຍປານນັ້ນ. ຄວາມແມ່ນຢຳຕ່ຳຫຼຸດຈຳນວນພາຣາມິເຕີທີ່ໃຊ້ໄດ້ຈິງຂອງໂມເດວ, ແລະ ຄວາມເສື່ອມນັ້ນເພີ່ມຂຶ້ນຕາມຂໍ້ມູນການຝຶກລ່ວງໜ້າທີ່ດູດຊຶມ — ຫຼາຍພໍທີ່ຂໍ້ມູນການຝຶກລ່ວງໜ້າເພີ່ມເຕີມສາມາດເປັນອັນຕະລາຍສຸດທິ ຖ້າທ່ານຕັ້ງໃຈ quantize ຢ່າງຮຸນແຮງ, ຍ້ອນວ່າທ່ານກຳລັງວາງໂຄງສ້າງລະອຽດທີ່ຕາຂ່າຍຈະລຶບອອກ.

ໂມເດວທີ່ຝຶກດ້ວຍ 5T token ມີໂຄງສ້າງນ້ຳໜັກຫຍາບ, ຊ້ຳຊ້ອນ ແລະ ມີບ່ອນຫວ່າງເຫຼືອ. ໂມເດວທີ່ຝຶກດ້ວຍ 27T token — ງົບຂອງ MiMo-V2.5-Pro — ໃຊ້ຂໍ້ມູນສ່ວນເກີນນັ້ນຂຽນຄວາມແຕກຕ່າງທີ່ລະອຽດກວ່າລົງໄປໃນຄ່ານ້ຳໜັກທີ່ແມ່ນຢຳກວ່າ, ຊຶ່ງເປັນສິ່ງທີ່ຕາຂ່າຍ 3-bit ບໍ່ສາມາດສະແດງອອກໄດ້ພໍດີ.

ຈາກນັ້ນຍັງມີຂໍ້ເທັດຈິງ FP8 ຈາກພາກ 03, ການໂຕ້ແຍ້ງທີ່ຊັດເຈນທີ່ສຸດໃນບົດຄວາມນີ້. MiMo-V2.5-Pro ຖືກຝຶກລ່ວງໜ້າໃນຄວາມແມ່ນຢຳປະສົມ FP8. ນ້ຳໜັກຂອງມັນຖືກສ້າງຮູບຮ່າງຕັ້ງແຕ່ຕົ້ນໂດຍ optimizer ທີ່ເຮັດວຽກຢູ່ຄວາມແມ່ນຢຳປະມານແປດ bit. ດັ່ງນັ້ນການໃຫ້ບໍລິການທີ່ນ້ຳໜັກ 8-bit ຈຶ່ງບໍ່ແມ່ນຄວາມຄິດພາຍຫຼັງທີ່ເສຍຫາຍທີ່ຖືກບັງຄັບໃສ່ໂມເດວ 16-bit — ມັນໃກ້ກັບການສົ່ງນ້ຳໜັກກັບຄືນໄປສູ່ລະບົບຕົວເລກທີ່ພວກມັນຖືກຮຽນຮູ້ມາ. ມີໂຄງສ້າງລະອຽດໜ້ອຍທີ່ຢູ່ຕ່ຳກວ່າ bit ທີ 8 ທີ່ຈະເສຍໄປ. ບໍ່ສາມາດເວົ້າແບບດຽວກັນນີ້ໄດ້ກັບນ້ຳໜັກທີ່ຖືກບັງຄັບລົງໄປເຫຼືອສາມ.

07REAP: ເປັນຫຍັງການຕັດຜູ້ຊ່ຽວຊານຈຶ່ງເປັນຄວາມເສຍຫາຍທີ່ແຕກຕ່າງຈາກການປັດເສດ

ສອງໃນສາມລະດັບມີຄຳຕໍ່ທ້າຍ REAP — ການດຳເນີນງານທີ່ແຕກຕ່າງກັນຢ່າງສິ້ນເຊີງຈາກ quantization. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) ຄືການບີບອັດແບບຄັ້ງດຽວສຳລັບໂມເດວ MoE ແບບ sparse: ມັນໃຫ້ຄະແນນແຕ່ລະຜູ້ຊ່ຽວຊານດ້ວຍຄ່າ gate ຂອງ router ແລະ norm ການເປີດໃຊ້ຂອງຜູ້ຊ່ຽວຊານ, ຈາກນັ້ນລຶບຜູ້ທີ່ໄດ້ຄະແນນຕ່ຳສຸດ. Cerebras ລາຍງານຜົນລັບທີ່ເກືອບບໍ່ເສຍຫາຍໃນການສ້າງໂຄດ ແລະ ການເອີ້ນເຄື່ອງມືແມ່ນແຕ່ຢູ່ທີ່ຜູ້ຊ່ຽວຊານ 50% ຖືກຕັດ.

ພວກເຮົາໃຊ້ REAP ດ້ວຍເຫດຜົນທີ່ມັນມີຢູ່: ໃນພື້ນຖານໃຫຍ່ທີ່ສຸດ ມັນຄືສິ່ງທີ່ເຮັດໃຫ້ໃຫ້ບໍລິການໄດ້. ແຕ່ໃຫ້ສັງເກດຄວາມແຕກຕ່າງໃນປະເພດ. Quantization ເຮັດໃຫ້ມົວທຸກນ້ຳໜັກເລັກນ້ອຍ; ການຕັດລຶບຜູ້ຊ່ຽວຊານອອກທັງໝົດ. ຖ້າວຽກຂອງທ່ານຈັດເສັ້ນທາງໜັກໄປຫາຄວາມສາມາດທີ່ອາໄສຢູ່ໃນຜູ້ຊ່ຽວຊານທີ່ຖືກເລືອກໜ້ອຍ — ພາສາໂປຣແກຣມສ່ວນນ້ອຍ, ຄຳສັບສະເພາະທາງ — ມັນບໍ່ໄດ້ເສື່ອມລົງ. ມັນຫາຍໄປ, ແລະ ບໍ່ມີການ prompt ໃດຟື້ນຄືນມັນໄດ້. ຄ່າສະເລ່ຍຍັງດີເລີດ; ກໍລະນີຫາງຂອງທ່ານອາດຈະບໍ່.

MiMo-V2.5-Pro · W8A16 ບໍ່ມີຄຳຕໍ່ທ້າຍ REAP. ຜູ້ຊ່ຽວຊານທັງ 384 ຄົນຢູ່ຄົບ, ແລະ router ເລືອກຈາກຊຸດເຕັມທີ່ພື້ນຖານຖືກຝຶກມາດ້ວຍ.

ລະດັບ	Bit ນ້ຳໜັກ	ຜູ້ຊ່ຽວຊານ	ທ່ານແລກຫຍັງ
W8A16	8	ຢູ່ຄົບທັງໝົດ	ບໍ່ມີສິ່ງໃດດ້ານໂຄງສ້າງ. ລະດັບຄວາມແມ່ນຢຳ.
W4A16-AUTOROUND-REAP	4	ຖືກຕັດ	ລາຍລະອຽດນ້ຳໜັກລະອຽດ ບວກກັບຜູ້ຊ່ຽວຊານທີ່ traffic ຕ່ຳ, ແລກກັບພື້ນຖານທີ່ໃຫຍ່ກວ່າຫຼາຍໃນລະດັບລາຄາດຽວກັນ.
3BIT-REAP	3	ຖືກຕັດ	ຄວາມລະອຽດນ້ຳໜັກຢ່າງຫຼວງຫຼາຍ ບວກກັບຜູ້ຊ່ຽວຊານທີ່ traffic ຕ່ຳ — ລາຄາຂອງການແລ່ນພື້ນຖານໃຫຍ່ທີ່ສຸດດ້ວຍຄວາມໄວ.

ລະດັບກາງສົມຄວນໄດ້ຮັບການພິຈາລະນາຢ່າງເປັນທຳ. AutoRound ບໍ່ແມ່ນການປັດເສດແບບບໍ່ຮູ້ເລື່ອງ: ວິທີການຂອງ Intel (arXiv:2309.05516) ໃຊ້ signed gradient descent ປະມານ 200 ຂັ້ນຕອນເພື່ອປັບການຕັດສິນໃຈການປັດເສດ ແລະ ຂອບເຂດການ clip ຕໍ່ກຸ່ມນ້ຳໜັກ, ແລະ ຖືກລາຍງານວ່າເກືອບບໍ່ເສຍຫາຍທີ່ 4 bit ໃນການຕັ້ງຄ່າສ່ວນຫຼາຍ, ເອົາຊະນະ GPTQ, AWQ, HQQ ແລະ OmniQuant ທົ່ວການຕັ້ງຄ່າທີ່ທົດສອບສ່ວນຫຼາຍ. ໂມເດວ W4A16-AUTOROUND ຄືໂມເດວ 4-bit ທີ່ດີແທ້ໆ. ມັນກໍຍັງເປັນໂມເດວ 4-bit ຢູ່ດີ.

08ໃຜຄວນເລືອກລະດັບ 8-bit — ແລະ ໃຜບໍ່ຄວນ

MiMo-V2.5-Pro · W8A16 ຢູ່ທີ່ລາຄາພື້ນຂອງແຄຕາລັອກທັງໝົດ — $0.50 ເຂົ້າ / $2.00 ອອກ ຕໍ່ລ້ານ token, ລະດັບລາຄາດຽວກັນກັບໂມເດວ 4-bit ລະດັບເລີ່ມຕົ້ນ ແລະ ປະມານໜຶ່ງສ່ວນສີ່ຂອງລາຄາ input ຂອງໂມເດວທີ່ແພງທີ່ສຸດທີ່ພວກເຮົາໃຫ້ບໍລິການ. ທ່ານບໍ່ໄດ້ຈ່າຍພິເສດສຳລັບຄວາມແມ່ນຢຳ; ທ່ານກຳລັງເລືອກແກນທີ່ແຕກຕ່າງຂອງງົບປະມານດຽວກັນ.

ເລືອກມັນເມື່ອ

• ຄວາມຍາວຂອງຜົນຜະລິດຄືວຽກ. ການຂຽນທາງເຕັກນິກແບບຍາວ, ນິຍາຍຂະໜາດບົດ, ການຂຽນເອກະສານເຕັມ — ທຸກ token ທີ່ຖືກສ້າງແມ່ນອັນໜຶ່ງທີ່ສຽງລົບກວນການບີບອັດສະສົມ.
• ນ້ຳສຽງ ແລະ ຄວາມສອດຄ່ອງສຳຄັນ. ວຽກຕົວລະຄອນ, ໂທນແບຣນ, ລະດັບພາສາທີ່ຮັກສາໄວ້ຕະຫຼອດ session ຍາວ. ຮູບແບບຢູ່ໃນຫາງ, ແລະ ຫາງຄືສິ່ງທີ່ quantization ຫຍາບກິນກ່ອນ.
• ຜົນຜະລິດແບບມີໂຄງສ້າງຕ້ອງຖືກຕ້ອງໃນຄັ້ງທຳອິດ. ໂມເດວຮອງຮັບ json_schema ແລະ response_format; ການປະຕິບັດຕາມ schema ຄືຄຸນສົມບັດຄວາມແມ່ນຢຳ, ແລະ ທຸກການລອງໃໝ່ທີ່ຫຼີກລ່ຽງໄດ້ຄືເງິນ ແລະ ເວລາທີ່ປະຢັດໄດ້.
• ທ່ານກຳລັງຕື່ມ context ໃຫ້ເຕັມ. ການປະຕິບັດຕາມຄຳສັ່ງທີ່ token 200,000 ຍາກກວ່າທີ່ token 2,000, ແລະ ມັນເສື່ອມລົງຕາມຄວາມແມ່ນຢຳຂອງນ້ຳໜັກ — ຄືກັນກັບຮ່ອງຮອຍການໃຫ້ເຫດຜົນຍາວ, ບ່ອນທີ່ຄວາມຜິດພາດສະສົມແບບດຽວກັນ.
• ວຽກເປັນແບບບໍ່ເຊັນເຊີໂດຍທຳມະຊາດ. ການຄົ້ນຄວ້າຄວາມປອດໄພ, red-teaming, ນິຍາຍທີ່ບໍ່ຖືກກັ່ນຕອງ, ການວິເຄາະທາງການແພດ ຫຼືກົດໝາຍທີ່ລະອຽດອ່ອນ — ບ່ອນທີ່ຄຳຕອບແບບກຳກວມແມ່ນຮ້າຍແຮງກວ່າບໍ່ມີຄຳຕອບ.

ເລືອກອັນອື່ນເມື່ອ

• ທ່ານຕ້ອງການການເບິ່ງເຫັນ. ໂມເດວນີ້ຂໍ້ຄວາມເທົ່ານັ້ນ; ອ້າຍນ້ອງຂອງມັນ MiMo-V2.5 · W8A16 ມີການເບິ່ງເຫັນທີ່ລາຄາ ແລະ ລະດັບດຽວກັນ.
• ທ່ານຕ້ອງການຄວາມຮູ້ໂລກທີ່ກວ້າງທີ່ສຸດໃນຄຳຖາມສັ້ນ. ນັ້ນຄືກໍລະນີທີ່ພາຣາມິເຕີເພີ່ມຂອງພື້ນຖານ 3-bit ທີ່ໃຫຍ່ກວ່າຫຼາຍຊະນະ ແລະ ຄວາມເສຍຫາຍ quantization ຂອງມັນເບິ່ງບໍ່ຄ່ອຍອອກ.
• ວຽກຂອງທ່ານຄືການຈັດປະເພດສັ້ນປະລິມານສູງ. ຄວາມເສຍຫາຍ quantization ເບິ່ງບໍ່ຄ່ອຍອອກຢູ່ບ່ອນນັ້ນ — ຊື້ອັນທີ່ໄວທີ່ສຸດ.

09ການເອີ້ນ API MiMo ບໍ່ເຊັນເຊີ

ຖ້າໂຄດຂອງທ່ານແນເປົ້າ OpenAI SDK, ການປ່ຽນ base URL ແລະ model id ຄືການ migration ທັງໝົດ:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages ແລະ /v1/responses ຮັບ id ແລະ ຄວາມສາມາດດຽວກັນ. ເອກະສານອ້າງອີງພາຣາມິເຕີ, schema ການເອີ້ນເຄື່ອງມື, ຕົວຢ່າງຜົນຜະລິດແບບມີໂຄງສ້າງ ແລະ playground ຈິງຢູ່ໃນ ເອກະສານ API ຂອງ Shannon AI.

ຄວາມສາມາດ	MiMo-V2.5-Pro · W8A16
ໜ້າຕ່າງ Context	262,144 token
ຜົນຜະລິດສູງສຸດຕໍ່ຄຳຂໍ	16,384 token
ການສະຕຣີມ	ມີ — ທັງສາມພາສາ
ການເອີ້ນເຄື່ອງມື	ມີ
ການໃຫ້ເຫດຜົນ / reasoning_effort	ມີ
ຜົນຜະລິດແບບມີໂຄງສ້າງ json_schema	ມີ
response_format	ມີ
ການເບິ່ງເຫັນ / input ຮູບພາບ	ບໍ່ມີ — ໃຊ້ MiMo-V2.5
ຊັ້ນປະຕິເສດ / ຕົວກັ່ນຕອງຜົນຜະລິດ	ບໍ່ມີ
ລາຄາຕໍ່ 1M token	$0.50 ເຂົ້າ / $2.00 ອອກ

10ຄຳຖາມທີ່ພົບເລື້ອຍ

---

ແຫຼ່ງຂໍ້ມູນ: ບົດລາຍງານທາງເຕັກນິກ MiMo, arXiv:2505.07608 · ບັດໂມເດວ MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · ກົດການຂະຫຍາຍຂະໜາດ k-bit inference, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. ຕົວເລກເບັນມາກທັງໝົດຄືຕາມທີ່ຜູ້ຂຽນລາຍງານ. Shannon AI ຄືຜະລິດຕະພັນຂອງ Shannon Lab LLC, ລັດນິວເມັກຊິໂກ, ສະຫະລັດ.