API MiMo แบบไม่เซ็นเซอร์ที่ความเที่ยง 8 บิต

ชุดโมเดลส่วนใหญ่ขายคุณด้วยจำนวนพารามิเตอร์ นั่นคือตัวเลขที่ผิดสำหรับใช้เลือกซื้อ เพราะโมเดลน้ำหนักเปิดขนาดใหญ่ทุกตัวที่คุณจ่ายไหวจริง ๆ ล้วนถูกบีบอัดมาแล้วเพื่อให้ใส่ลงเครื่องได้ คำถามที่ตรงไปตรงมากว่าไม่ใช่ "ก่อนถูกบีบมันใหญ่แค่ไหน" แต่คือ "ตอนนี้ยังเหลืออยู่เท่าไร" บทความนี้ว่าด้วยคำถามนั้น และว่าด้วยโมเดลในแถวของเราที่คำตอบคือเกือบทั้งหมด

01API MiMo แบบไม่เซ็นเซอร์ให้อะไรคุณจริง ๆ

API MiMo แบบไม่เซ็นเซอร์ คือ model id เดียว MiMo-V2.5-Pro-W8A16 เข้าถึงได้ผ่านสามภาษาถิ่นที่ชี้ไปยังน้ำหนักชุดเดียวกันบนคลัสเตอร์ GPU ของเราเอง ได้แก่ /v1/chat/completions, /v1/messages และ /v1/responses ทั้งสามสตรีมได้และรองรับการเรียกใช้ทูลกับการให้เหตุผล

ไม่เซ็นเซอร์ มีความหมายแคบ ๆ ตรงนี้: ไม่มีชั้นการปฏิเสธวางอยู่หน้าโมเดล ไม่มีตัวกรองบนเอาต์พุตของมัน เราไม่ดักจับ ไม่จำแนก ไม่เขียนใหม่ คุณได้พฤติกรรมของโมเดลฐานเอง — ซึ่งสำหรับโมเดลน้ำหนักเปิดระดับงานวิจัยหมายความว่ามันเข้าไปทำงานกับการวิจัยความปลอดภัย นิยายสำหรับผู้ใหญ่หรือที่มีความรุนแรง การให้เหตุผลทางการแพทย์และกฎหมาย และคำขอที่เอนด์พอยต์เชิงพาณิชย์ปฏิเสธโดยอัตโนมัติ มันคือเครื่องมือระดับมืออาชีพภายใต้นโยบายการใช้งานอย่างรับผิดชอบของเรา ไม่ใช่การไม่มีกฎ

02สายพันธุ์ MiMo: การเดิมพันของ Xiaomi กับการพรีเทรนที่เอาการให้เหตุผลเป็นตัวตั้ง

MiMo ไม่ใช่อนุพันธ์ของ Llama ที่เปลี่ยนชื่อ แต่เป็นสายพันธุ์ต่างหากจากทีม MiMo ของ Xiaomi และแนวคิดตั้งต้นของมันสำคัญก่อนที่คุณจะประเมินตัวโมเดล มันเริ่มด้วย MiMo-7B (30 เมษายน 2025 สัญญาอนุญาต MIT) ซึ่งรายงานทางเทคนิคของมันโต้ว่าแล็บส่วนใหญ่มองการให้เหตุผลเป็นปัญหาขั้นโพสต์เทรนที่ต้องเอา RL มาแปะเพิ่ม และนั่นคือการคิดกลับหัว Xiaomi จึงจัดโครงสร้างการพรีเทรนใหม่รอบเรื่องนี้แทน: ส่วนผสมสามระยะบนโทเค็น 25 ล้านล้าน ระยะที่สองรันคณิตศาสตร์และโค้ดราว 70% ระยะที่สามผสมร่องรอยการให้เหตุผลสังเคราะห์เข้าไปพร้อมกับขยายคอนเท็กซ์จาก 8K เป็น 32K — บวกกับวัตถุประสงค์ Multi-Token Prediction ที่ทำหน้าที่เป็นหัวสำหรับ speculative decoding ไปในตัว

ผลลัพธ์คือโมเดลฐาน 7B ที่ทำตัวเหมือนอะไรที่ใหญ่กว่ามาก MiMo-7B-Base ทำได้ 32.9 บน AIME 2024 ขณะที่ Qwen2.5-7B ได้ 10.1, Gemma-2-9B ได้ 0.0 และ Llama-3.1-8B ได้ 0.3 จากนั้นขั้นโพสต์เทรนรัน RL บนโจทย์คณิตศาสตร์และโค้ดที่ตรวจสอบได้ 130,000 ข้อ พร้อมรางวัลสำหรับโค้ดที่ขับด้วยระดับความยากของเทสต์ ทำให้หลุดจากกับดักรางวัลเบาบางที่ทำให้ RL บนโค้ดไม่เสถียร ผลลัพธ์ออกมานำหน้า o1-mini:

AIME 2025 ตัวเลขที่ Xiaomi รายงานจากรายงานทางเทคนิคของ MiMo (arXiv:2505.07608) MiMo-7B-RL ยังรายงาน 95.8 บน MATH-500 และ 57.8 บน LiveCodeBench v5

ตระกูลนี้ขยายกว้างออกแทนที่จะเบี่ยงทิศ: MiMo-VL-7B (มิถุนายน 2025) วางเอนโคเดอร์ Qwen2.5-ViT ลงบนแบ็กโบนเดียวกัน และธันวาคม 2025 นำ MiMo-Audio-7B มาพร้อมกับสมาชิก MoE ตัวแรกคือ MiMo-V2-Flash (309B รวม / 15B ทำงานจริง โทเค็น 27T ความละเอียดผสม FP8) MiMo-V2-Pro ตามมาในมีนาคม 2026 ที่ราว 1T / 42B ทำงานจริง พร้อมคอนเท็กซ์ 1M หลังจากอยู่บน OpenRouter หลายสัปดาห์ในชื่อ "Hunter Alpha" MiMo-V2.5 และ MiMo-V2.5-Pro ปล่อยพร้อมกันเมื่อ 22 เมษายน 2026 ทั้งคู่เป็น MIT

03ภายใน MiMo-V2.5-Pro: โมเดลฐานหน้าตาเป็นอย่างไร

ตามการ์ดโมเดลที่ Xiaomi เผยแพร่ MiMo-V2.5-Pro เป็นโมเดล Mixture-of-Experts แบบเบาบางที่มี พารามิเตอร์รวม 1.02 ล้านล้าน และ 42 พันล้านตัวทำงานจริงต่อโทเค็น กระจายบน 70 ชั้น — หนึ่งชั้นหนาแน่น อีก 69 ชั้นเป็น MoE — และมี ผู้เชี่ยวชาญที่ถูกเราต์ 384 ตัว ทำงาน 8 ตัวต่อโทเค็น ขนาดฮิดเดนคือ 6144 โดยมีขนาด intermediate ของ MoE ที่แคบเพียง 2048

มีสองทางเลือกที่กำหนดความรู้สึกตอนใช้งาน สแต็กแอตเทนชันเป็นแบบไฮบริด: 10 ชั้นเป็น full attention และ 60 ชั้นเป็น sliding-window ที่หน้าต่างขนาด 128 บวกไบแอส attention-sink ที่เรียนรู้ได้ Xiaomi รายงานว่าวิธีนี้ลดการเก็บ KV cache ลงเกือบ 7 เท่า เทียบกับแอตเทนชันแบบโกลบอลทั้งหมด ขณะที่ยังรักษาคุณภาพคอนเท็กซ์ยาวไว้ได้ — คือความต่างระหว่างหน้าต่างที่ยาวแต่ในนามกับหน้าต่างที่คุณเติมมันเต็มได้จริงโดยจ่ายไหว มันยังมาพร้อม ชั้น Multi-Token Prediction สามชั้น ซึ่งให้หัวสำหรับ speculative decoding แก่ดีโคเดอร์

การเทรนใช้โทเค็น 27 ล้านล้านที่ความยาวลำดับดั้งเดิม 32K ด้วยความละเอียดผสม FP8 (E4M3) แล้วตามด้วยการไฟน์จูนแบบมีผู้สอน RL เชิงเอเจนต์ขนาดใหญ่ และการกลั่นความรู้แบบ on-policy จากครูหลายตัว จำรายละเอียด FP8 นี้ไว้ให้ดี มันคือเหตุผลเดี่ยวที่หนักแน่นที่สุดที่จะให้บริการโมเดลฐานนี้ที่ 8 บิต

Xiaomi รายงานว่าโมเดลทำได้ 57.2% บน SWE-bench Pro, 72.9 บน τ3-Bench สำหรับการใช้ทูล และ 48.0% บน Humanity's Last Exam — ตัวเลขของผู้ผลิตเองบนโมเดลที่ยังไม่ถูกบีบอัด และเราอ้างในฐานะนั้น

เราให้บริการหน้าต่าง 262,144 โทเค็น ไม่ใช่ 1M เต็มของโมเดลฐาน — เป็นคอนเท็กซ์ที่เรารับประกันความเร็วได้ ไม่ใช่ตัวเลขพาดหัวที่ทรุดลงเมื่อโหลดหนัก

04W8A16 หมายความว่าอย่างไรกันแน่

ทุกโมเดลในชุดนี้มีคำต่อท้ายบอกการควอนไทซ์ที่อธิบายการแปลงที่เกิดขึ้นจริงและวัดได้ ไม่ใช่ระดับเชิงการตลาด ของเรามี 3BIT-REAP, W4A16-AUTOROUND-REAP และ W8A16 MiMo-V2.5-Pro คือแบบที่สาม

สัญกรณ์นี้แบ่งเป็นสองส่วน W8 คือความละเอียดของน้ำหนัก: พารามิเตอร์ทุกตัวถูกเก็บเป็นจำนวนเต็ม 8 บิตแทนที่จะเป็นทศนิยม 16 บิต พร้อมตัวคูณสเกลร่วมต่อกลุ่มเล็ก ๆ เพื่อให้ช่วงพลวัตเฉพาะที่ของแต่ละกลุ่มรอด A16 คือความละเอียดของแอกทิเวชัน: ค่าที่ไหลระหว่างชั้นตอนอินเฟอเรนซ์ยังคงอยู่ที่ 16 บิต น้ำหนักถูกบีบอัด การคำนวณไม่ถูกบีบ

ครึ่งหลังนั้นทำงานเงียบ ๆ แต่สำคัญ แอกทิเวชันควอนไทซ์ยากกว่าน้ำหนักมาก: มันมีช่องสัญญาณค่าสุดขั้ว — ไม่กี่มิติที่ขนาดใหญ่ท่วมทุกอย่างที่เหลือ และแบกส่วนแบ่งพฤติกรรมของโมเดลไว้อย่างไม่สมส่วน ถ้าคุณดันพวกนั้นลงไปที่ความละเอียดต่ำ คุณจะตัดสัญญาณที่ต้องการทิ้งพอดี สคีมแบบควอนไทซ์เฉพาะน้ำหนักเลี่ยงปัญหานี้ด้วยการปล่อยเส้นทางแอกทิเวชันไว้เฉย ๆ ซึ่งเป็นเหตุผลที่งานควอนไทซ์ที่จริงจังลู่เข้าหาแนวทางนี้

คำถามในทางปฏิบัติจึงแคบลงเหลือเรื่องเดียว: น้ำหนักหนึ่งตัวทนบิตน้อยที่สุดได้เท่าไร?

05W8A16 เทียบ W4A16 เทียบ 3 บิต: ความสูญเสียไปตกอยู่ตรงไหนจริง ๆ

งานศึกษาที่เผยแพร่และใหญ่ที่สุดในเรื่องนี้คือ "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization ของ Neural Magic และ Red Hat — การประเมินกว่า 500,000 ครั้ง ครอบคลุมตระกูล Llama-3.1 ที่ 8B, 70B และ 405B ผลหลักของพวกเขา ตามตัวเลขของพวกเขาเอง:

รูปแบบ	สิ่งที่ถูกบีบอัด	การกู้คืนที่รายงานเทียบ BF16
W8A8-FP (8 บิต)	น้ำหนัก + แอกทิเวชัน แบบทศนิยม	~99.75% เฉลี่ย — "แทบไม่มีการสูญเสีย"
W8A8-INT (8 บิต)	น้ำหนัก + แอกทิเวชัน แบบจำนวนเต็ม	99–100% ที่ 8B/70B; 98.2–99.3% ที่ 405B
W4A16-INT (4 บิต)	เฉพาะน้ำหนัก	98–99.4% (8B); 98.6–99.8% (70B)

ตัวเลขที่ Neural Magic / Red Hat รายงาน (arXiv:2411.02355) บนโมเดล Llama-3.1 — เป็นรูปทรงของการแลกได้แลกเสีย ไม่ใช่คะแนนของโมเดลตัวนี้

ถ้าอ่านอย่างซื่อตรง มันดูเหมือนเป็นข้อโต้แย้งต้านการใส่ใจเรื่องนี้: 4 บิตกู้คืนได้ 98–99% แล้วจะสนใจไปทำไม? เพราะนั่นคือเบนช์มาร์กแบบเลือกตอบเชิงวิชาการ ซึ่งเป็นเครื่องมือที่แย่ที่สุดเท่าที่มีสำหรับตรวจจับความเสียหายจากการควอนไทซ์ คำถามเบนช์มาร์กมีคำตอบถูกหนึ่งข้อที่ไปถึงได้ในหนึ่งหรือสองโทเค็น และความคลาดเคลื่อนจากการควอนไทซ์เป็นสัญญาณรบกวนเล็ก ๆ ค่าเฉลี่ยราวศูนย์บนทุก logit บนคำถามสั้นที่มีระยะห่างกว้าง สัญญาณรบกวนนั้นถูกดูดซับไป

ทีนี้ลองเขียนเอกสารเทคนิค 4,000 โทเค็น รักษาน้ำเสียงตลอดเรื่องยาว 40,000 โทเค็น หรือปล่อย JSON ที่ต้องผ่านการตรวจสอบตั้งแต่ครั้งแรก สัญญาณรบกวนเดิมถูกสุ่มหลายพันครั้งเรียงต่อกัน แต่ละครั้งกำหนดเงื่อนไขให้ครั้งถัดไป โหมดความล้มเหลวไม่ใช่คำตอบผิด แต่คือการเลื่อนไหล: การจับคำสั่งจากรอบแรกที่ค่อย ๆ หลวมลง ตัวละครที่เริ่มไม่เหมือนตัวเองราวโทเค็นที่ 3,000 วงเล็บปิดที่ไม่เคยมาถึง

บิตไปตกอยู่ตรงไหนจริง ๆ

ความคลาดเคลื่อนจากการควอนไทซ์ไม่ได้กระจายเท่ากันทั่วความสามารถของโมเดล แต่กระจุกอยู่ที่ส่วนหาง พฤติกรรมมวลสูง — ภาษาอังกฤษที่ถูกไวยากรณ์ รูปทรงของฟังก์ชัน Python ข้อเท็จจริงพันอันดับแรกเกี่ยวกับโลก — ถูกเข้ารหัสซ้ำซ้อนอยู่ในน้ำหนักจำนวนมากและรอดจากเกือบทุกอย่าง ส่วนมุมที่ปรับแต่งมาอย่างละเอียดและมีขนาดเล็กของการกระจายน้ำหนักเก็บของหายากไว้: ลายเซ็นที่เป๊ะของ API ที่คนไม่รู้จัก จังหวะการเขียนของนักเขียนคนหนึ่ง ความต่างระหว่าง CVE สองรายการที่ติดกัน ค่าพวกนั้นคือค่าที่กริดหยาบ ๆ ปัดรวมเข้าหากัน

ก้าวจาก 4 บิตไปเป็น 3 คือจุดที่เรื่องนี้เลิกเป็นภาษีและกลายเป็นหน้าผา งานกฎการสเกลอินเฟอเรนซ์ระดับ k บิตของ Dettmers และ Zettlemoyer พบว่า 4 บิตคือจุดที่ให้ความแม่นยำแบบ zero-shot สูงสุดต่อบิตของหน่วยความจำโมเดล โดยความเสื่อมเข้าครอบงำเมื่อต่ำกว่านั้น สี่บิตให้ 16 ระดับต่อกลุ่ม สามบิตให้ 8 คุณกำลังลดความละเอียดของกริดที่หยาบอยู่แล้วลงครึ่งหนึ่ง และความคลาดเคลื่อนจากการปัดเศษต่อน้ำหนักหนึ่งตัวเพิ่มขึ้นราวสองเท่า

เลขคณิตที่เป็นตัวชี้ขาด

การเปรียบเทียบที่ควรทำคือเลขคณิต ไม่ใช่เบนช์มาร์ก สิ่งที่รอดจากการบีบอัดโดยประมาณคือ พารามิเตอร์ × บิตต่อพารามิเตอร์ — ปริมาตรที่แบกข้อมูลของไฟล์น้ำหนัก ลองเอาโมเดลฐานสมมติสองตัวที่คุณภาพต่อพารามิเตอร์เท่ากัน:

• โมเดลฐาน A: 400B พารามิเตอร์ที่ 3 บิต → น้ำหนักที่คงเหลือราว 150 GB
• โมเดลฐาน B: 160B พารามิเตอร์ที่ 8 บิต → น้ำหนักที่คงเหลือราว 160 GB

ถ้าวัดด้วยจำนวนพารามิเตอร์ดิบ A ชนะสองเท่าครึ่ง — ตัวเลขที่การ์ดโมเดลชูขึ้นนำ แต่ถ้าวัดด้วยข้อมูลที่คงเหลือ ทั้งสองเท่ากัน และ B ยังมีข้อได้เปรียบเชิงโครงสร้างเพิ่มอีก: น้ำหนักของมันวางอยู่บนกริดที่ละเอียดพอให้พฤติกรรมส่วนหางยังครบ ขณะที่ส่วนหางของ A ถูกควอนไทซ์กลืนเข้าไปในมวลรวมแล้ว A รู้เรื่องมากกว่า B รู้สิ่งที่มันรู้ได้คมชัดกว่า สำหรับการสร้างข้อความยาว รูปแบบที่ต้องเป๊ะ การควบคุมสไตล์ และการยึดตามคอนเท็กซ์ยาวอย่างซื่อสัตย์ ให้เลือก B

เป็นเลขคณิตเพื่อประกอบการอธิบาย ไม่ใช่เบนช์มาร์ก: มันแสดงว่าทำไม "โมเดลฐานใหญ่กว่า" กับ "โมเดลที่ให้บริการดีกว่า" จึงเป็นคนละข้ออ้างกัน

06ทำไมโทเค็นเทรน 27 ล้านล้านจึงทำให้การควอนไทซ์แบบดุยิ่งแย่

มีผลลัพธ์ที่สองซึ่งไม่ค่อยตรงกับสัญชาตญาณและเกี่ยวข้องกับโมเดลฐานนี้โดยตรง งานของ Kumar และคณะที่ ICLR 2025 ชื่อ Scaling Laws for Precision พบว่า ยิ่งโมเดลถูกเทรนด้วยข้อมูลมากเท่าไร การควอนไทซ์หลังการเทรนยิ่งสร้างความเสียหายมากเท่านั้น ความละเอียดต่ำลดจำนวนพารามิเตอร์ที่มีผลจริงของโมเดล และความเสื่อมนั้นโตขึ้นตามปริมาณข้อมูลพรีเทรนที่ถูกดูดซับ — มากพอจนข้อมูลพรีเทรนที่เพิ่มเข้ามาอาจให้ผลลบสุทธิถ้าคุณตั้งใจจะควอนไทซ์แบบดุ เพราะคุณกำลังวางโครงสร้างละเอียดที่กริดจะลบทิ้ง

โมเดลที่เทรนบนโทเค็น 5T มีโครงสร้างน้ำหนักที่หยาบและซ้ำซ้อน มีที่ว่างเหลือเฟือ โมเดลที่เทรนบนโทเค็น 27T — งบของ MiMo-V2.5-Pro — ใช้ข้อมูลส่วนเกินนั้นเขียนความแตกต่างที่ละเอียดกว่าลงไปในค่าน้ำหนักที่แม่นยำกว่า ซึ่งเป็นสิ่งที่กริด 3 บิตแทนไม่ได้พอดี

แล้วยังมีข้อเท็จจริงเรื่อง FP8 จากหัวข้อ 03 ซึ่งเป็นข้อโต้แย้งที่สะอาดที่สุดในบทความนี้ MiMo-V2.5-Pro ถูกพรีเทรนด้วยความละเอียดผสม FP8 น้ำหนักของมันถูกหล่อหลอมตั้งแต่ต้นโดยออปติไมเซอร์ที่ทำงานที่ความละเอียดราวแปดบิต การให้บริการมันที่น้ำหนัก 8 บิตจึงไม่ใช่การสูญเสียที่ยัดใส่ทีหลังลงบนโมเดล 16 บิต — แต่ใกล้เคียงกับการคืนน้ำหนักกลับสู่ระบอบตัวเลขที่มันถูกเรียนรู้มา แทบไม่มีโครงสร้างละเอียดใต้บิตที่แปดให้สูญเสีย เรื่องเดียวกันนี้พูดไม่ได้กับน้ำหนักชุดเดียวกันที่ถูกบังคับลงไปเหลือสามบิต

07REAP: ทำไมการตัดผู้เชี่ยวชาญจึงเป็นความสูญเสียคนละชนิดกับการปัดเศษ

สองในสามระดับมีคำต่อท้าย REAP — ซึ่งเป็นปฏิบัติการคนละประเภทกับการควอนไทซ์โดยสิ้นเชิง REAP (Router-weighted Expert Activation Pruning จาก Cerebras Research, arXiv:2510.13999, ICLR 2026) คือการบีบอัดครั้งเดียวจบสำหรับโมเดล MoE แบบเบาบาง: มันให้คะแนนผู้เชี่ยวชาญแต่ละตัวจากค่าเกตของเราเตอร์และนอร์มของแอกทิเวชันของผู้เชี่ยวชาญนั้น แล้วลบตัวที่คะแนนต่ำสุดออก Cerebras รายงานผลที่แทบไม่สูญเสียบนการสร้างโค้ดและการเรียกใช้ทูล แม้ตัดผู้เชี่ยวชาญออกถึง 50%

เราใช้ REAP ด้วยเหตุผลที่มันมีอยู่: บนโมเดลฐานตัวใหญ่ที่สุด มันคือสิ่งที่ทำให้พวกมันให้บริการได้ แต่ให้สังเกตความต่างเชิงประเภท การควอนไทซ์ทำให้พร่าน้ำหนักทุกตัวนิดหน่อย ส่วนการตัดลบผู้เชี่ยวชาญออกทั้งตัว ถ้างานของคุณเราต์หนักไปที่ความสามารถซึ่งอยู่ในผู้เชี่ยวชาญที่ถูกเลือกน้อย — ภาษาโปรแกรมรอง คำศัพท์เฉพาะทาง — มันไม่ได้เสื่อมลง มันหายไปเลย และไม่มีการเขียนพรอมป์ใดกู้คืนได้ ค่าเฉลี่ยยังยอดเยี่ยม แต่กรณีส่วนหางของคุณอาจไม่

MiMo-V2.5-Pro · W8A16 ไม่มีคำต่อท้าย REAP ผู้เชี่ยวชาญครบทั้ง 384 ตัว และเราเตอร์เลือกจากชุดเต็มที่โมเดลฐานถูกเทรนมาด้วย

ระดับ	บิตของน้ำหนัก	ผู้เชี่ยวชาญ	สิ่งที่คุณแลก
W8A16	8	ครบทุกตัว	ไม่แลกอะไรเชิงโครงสร้าง คือระดับความเที่ยง
W4A16-AUTOROUND-REAP	4	ถูกตัด	รายละเอียดน้ำหนักที่ละเอียด บวกผู้เชี่ยวชาญที่ถูกใช้น้อย แลกกับโมเดลฐานที่ใหญ่กว่ามากในช่วงราคาเดียวกัน
3BIT-REAP	3	ถูกตัด	ความละเอียดของน้ำหนักจำนวนมาก บวกผู้เชี่ยวชาญที่ถูกใช้น้อย — คือราคาของการรันโมเดลฐานตัวใหญ่ที่สุดให้เร็ว

ระดับกลางสมควรได้รับการพิจารณาอย่างเป็นธรรม AutoRound ไม่ใช่การปัดเศษแบบตรงไปตรงมา: วิธีของ Intel (arXiv:2309.05516) ใช้ signed gradient descent ราว 200 สเต็ปเพื่อปรับการตัดสินใจปัดเศษและช่วงการตัดค่าต่อกลุ่มน้ำหนัก และถูกรายงานว่าแทบไม่สูญเสียที่ 4 บิตในสถานการณ์ส่วนใหญ่ เอาชนะ GPTQ, AWQ, HQQ และ OmniQuant ในคอนฟิกที่ทดสอบเกือบทั้งหมด โมเดล W4A16-AUTOROUND เป็นโมเดล 4 บิตที่ดีจริง แต่มันก็ยังเป็นโมเดล 4 บิตอยู่ดี

08ใครควรเลือกระดับ 8 บิต — และใครไม่ควร

MiMo-V2.5-Pro · W8A16 อยู่ที่ราคาพื้นของทั้งชุดโมเดล — $0.50 เข้า / $2.00 ออก ต่อหนึ่งล้านโทเค็น ช่วงเดียวกับโมเดล 4 บิตระดับเริ่มต้น และราวหนึ่งในสี่ของราคาอินพุตของโมเดลที่แพงที่สุดที่เราให้บริการ คุณไม่ได้จ่ายส่วนเพิ่มเพื่อความเที่ยง คุณกำลังเลือกแกนอีกแกนหนึ่งของงบก้อนเดิม

เลือกมันเมื่อ

• ความยาวของเอาต์พุตคือตัวงาน งานเขียนเทคนิคยาว ๆ นิยายความยาวระดับบท การไล่ทำเอกสารทั้งชุด — ทุกโทเค็นที่ถูกสร้างคือโทเค็นที่สัญญาณรบกวนจากการบีบอัดทบต้น
• น้ำเสียงและความสม่ำเสมอสำคัญ งานสร้างตัวละคร โทนของแบรนด์ ระดับภาษาที่ต้องรักษาตลอดเซสชันยาว สไตล์อยู่ในส่วนหาง และส่วนหางคือสิ่งที่การควอนไทซ์หยาบ ๆ กินก่อน
• เอาต์พุตแบบมีโครงสร้างต้องผ่านการตรวจสอบตั้งแต่ครั้งแรก โมเดลรองรับ json_schema และ response_format การยึดตามสคีมาเป็นคุณสมบัติของความละเอียด และทุกครั้งที่เลี่ยงการลองใหม่ได้คือเงินและความหน่วงที่ประหยัดไป
• คุณกำลังเติมคอนเท็กซ์ให้เต็ม การยึดตามคำสั่งที่โทเค็นที่ 200,000 ยากกว่าที่โทเค็นที่ 2,000 และมันเสื่อมลงตามความละเอียดของน้ำหนัก — เช่นเดียวกับร่องรอยการให้เหตุผลยาว ๆ ที่ความผิดพลาดทบต้นแบบเดียวกัน
• งานเป็นแบบไม่เซ็นเซอร์โดยธรรมชาติ การวิจัยความปลอดภัย การทำ red-teaming นิยายที่ไม่ถูกกรอง การวิเคราะห์ทางการแพทย์หรือกฎหมายที่อ่อนไหว — ที่ซึ่งคำตอบแบบเลี่ยง ๆ แย่กว่าการไม่ตอบเลย

เลือกตัวอื่นเมื่อ

• คุณต้องการวิชัน โมเดลนี้เป็นข้อความล้วน โมเดลพี่น้อง MiMo-V2.5 · W8A16 รับภาพได้ที่ราคาและระดับเดียวกัน
• คุณต้องการความรู้โลกที่กว้างที่สุดบนคำถามสั้น ๆ นั่นคือระบอบที่พารามิเตอร์ส่วนเกินของโมเดลฐาน 3 บิตที่ใหญ่กว่ามากเป็นฝ่ายชนะ และความเสียหายจากการควอนไทซ์แทบไม่ปรากฏ
• งานของคุณคือการจำแนกข้อความสั้นปริมาณมาก ความเสียหายจากการควอนไทซ์แทบมองไม่เห็นตรงนั้น — ซื้ออะไรก็ได้ที่เร็วที่สุด

09การเรียกใช้ API MiMo แบบไม่เซ็นเซอร์

ถ้าโค้ดของคุณเล็ง OpenAI SDK อยู่ การเปลี่ยน base URL กับ model id คือการย้ายทั้งหมดที่ต้องทำ:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages และ /v1/responses รับ id และความสามารถชุดเดียวกัน เอกสารอ้างอิงพารามิเตอร์ สคีมาการเรียกใช้ทูล ตัวอย่างเอาต์พุตแบบมีโครงสร้าง และเพลย์กราวด์ใช้งานจริง อยู่ในเอกสาร API ของ Shannon AI

ความสามารถ	MiMo-V2.5-Pro · W8A16
หน้าต่างคอนเท็กซ์	262,144 โทเค็น
เอาต์พุตสูงสุดต่อคำขอ	16,384 โทเค็น
การสตรีม	ได้ — ทั้งสามภาษาถิ่น
การเรียกใช้ทูล	ได้
การให้เหตุผล / reasoning_effort	ได้
เอาต์พุตมีโครงสร้าง json_schema	ได้
response_format	ได้
วิชัน / รับภาพเป็นอินพุต	ไม่ได้ — ใช้ MiMo-V2.5
ชั้นการปฏิเสธ / ตัวกรองเอาต์พุต	ไม่มี
ราคาต่อ 1M โทเค็น	$0.50 เข้า / $2.00 ออก

10คำถามที่พบบ่อย

---

แหล่งอ้างอิง: MiMo technical report, arXiv:2505.07608 · MiMo-V2.5-Pro model card (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bit inference scaling laws, arXiv:2212.09720 · Scaling Laws for Precision, Kumar และคณะ, ICLR 2025 ตัวเลขเบนช์มาร์กทั้งหมดเป็นไปตามที่ผู้เขียนรายงาน Shannon AI เป็นผลิตภัณฑ์ของ Shannon Lab LLC รัฐนิวเม็กซิโก สหรัฐอเมริกา