8-ਬਿੱਟ ਵਫ਼ਾਦਾਰੀ ਉੱਤੇ ਬਿਨਾਂ ਸੈਂਸਰ MiMo API

ਬਹੁਤੀਆਂ ਸੂਚੀਆਂ ਤੁਹਾਨੂੰ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਗਿਣਤੀ ਵੇਚਦੀਆਂ ਹਨ। ਖ਼ਰੀਦਦਾਰੀ ਲਈ ਇਹ ਗ਼ਲਤ ਅੰਕ ਹੈ, ਕਿਉਂਕਿ ਹਰ ਵੱਡਾ ਖੁੱਲ੍ਹੇ-ਵਜ਼ਨ ਮਾਡਲ ਜੋ ਤੁਸੀਂ ਸੱਚਮੁੱਚ ਖ਼ਰੀਦ ਸਕਦੇ ਹੋ, ਕਿਤੇ ਨਾ ਕਿਤੇ ਸਮਾਉਣ ਲਈ ਸੰਕੁਚਿਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਈਮਾਨਦਾਰ ਸਵਾਲ ਇਹ ਨਹੀਂ ਕਿ "ਨਿਚੋੜਨ ਤੋਂ ਪਹਿਲਾਂ ਇਹ ਕਿੰਨਾ ਵੱਡਾ ਸੀ?" ਸਗੋਂ ਇਹ ਹੈ ਕਿ "ਇਸ ਵਿੱਚੋਂ ਹਾਲੇ ਕਿੰਨਾ ਬਚਿਆ ਹੈ?" ਇਹ ਲੇਖ ਉਸੇ ਸਵਾਲ ਬਾਰੇ ਹੈ, ਅਤੇ ਸਾਡੀ ਸੂਚੀ ਦੇ ਉਸ ਮਾਡਲ ਬਾਰੇ ਜਿਸਦਾ ਜਵਾਬ ਹੈ ਲਗਭਗ ਸਾਰਾ ਹੀ।

01ਬਿਨਾਂ ਸੈਂਸਰ MiMo API ਤੁਹਾਨੂੰ ਅਸਲ ਵਿੱਚ ਕੀ ਦਿੰਦੀ ਹੈ

ਬਿਨਾਂ ਸੈਂਸਰ MiMo API ਇੱਕੋ ਮਾਡਲ id ਹੈ, MiMo-V2.5-Pro-W8A16, ਜੋ ਤਿੰਨ ਬੋਲੀਆਂ ਰਾਹੀਂ ਸਾਡੇ ਆਪਣੇ GPU ਕਲੱਸਟਰ ਉੱਤੇ ਉਨ੍ਹਾਂ ਹੀ ਵਜ਼ਨਾਂ ਤੱਕ ਪਹੁੰਚਦੀ ਹੈ: /v1/chat/completions, /v1/messages ਅਤੇ /v1/responses। ਤਿੰਨੇ ਸਟ੍ਰੀਮ ਕਰਦੀਆਂ ਹਨ ਅਤੇ ਟੂਲ ਕਾਲਿੰਗ ਤੇ ਤਰਕ ਸਮਰਥਿਤ ਕਰਦੀਆਂ ਹਨ।

ਬਿਨਾਂ ਸੈਂਸਰ ਦਾ ਇੱਥੇ ਤੰਗ ਮਤਲਬ ਹੈ: ਮਾਡਲ ਦੇ ਅੱਗੇ ਕੋਈ ਇਨਕਾਰ ਪਰਤ ਨਹੀਂ, ਉਸਦੀ ਆਊਟਪੁੱਟ ਉੱਤੇ ਕੋਈ ਫਿਲਟਰ ਨਹੀਂ। ਅਸੀਂ ਨਾ ਵਿਚਾਲੇ ਪੈਂਦੇ ਹਾਂ, ਨਾ ਵਰਗੀਕਰਨ ਕਰਦੇ ਹਾਂ, ਨਾ ਦੁਬਾਰਾ ਲਿਖਦੇ ਹਾਂ। ਤੁਹਾਨੂੰ ਬੁਨਿਆਦ ਦਾ ਆਪਣਾ ਵਿਹਾਰ ਮਿਲਦਾ ਹੈ — ਜਿਸਦਾ ਖੋਜ-ਦਰਜੇ ਦੇ ਖੁੱਲ੍ਹੇ-ਵਜ਼ਨ ਮਾਡਲ ਲਈ ਮਤਲਬ ਹੈ ਕਿ ਇਹ ਸੁਰੱਖਿਆ ਖੋਜ, ਬਾਲਗ ਜਾਂ ਹਿੰਸਕ ਗਲਪ, ਮੈਡੀਕਲ ਤੇ ਕਾਨੂੰਨੀ ਤਰਕ, ਅਤੇ ਉਹ ਬੇਨਤੀਆਂ ਨਿਭਾਉਂਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਹੋਸਟ ਕੀਤੇ ਵਪਾਰਕ ਐਂਡਪੁਆਇੰਟ ਆਦਤਨ ਠੁਕਰਾ ਦਿੰਦੇ ਹਨ। ਇਹ ਸਾਡੀ ਜ਼ਿੰਮੇਵਾਰ ਵਰਤੋਂ ਨੀਤੀ ਅਧੀਨ ਇੱਕ ਪੇਸ਼ੇਵਰ ਸੰਦ ਹੈ, ਨਿਯਮਾਂ ਦੀ ਗ਼ੈਰ-ਹਾਜ਼ਰੀ ਨਹੀਂ।

02MiMo ਵੰਸ਼ਾਵਲੀ: ਤਰਕ-ਪਹਿਲਾਂ ਵਾਲੀ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਉੱਤੇ Xiaomi ਦਾ ਦਾਅ

MiMo ਕੋਈ ਨਵੇਂ ਨਾਂ ਵਾਲਾ Llama ਦਾ ਵਿਉਂਤਪੰਨ ਨਹੀਂ; ਇਹ Xiaomi ਦੀ MiMo ਟੀਮ ਵੱਲੋਂ ਵੱਖਰੀ ਵੰਸ਼ਾਵਲੀ ਹੈ, ਅਤੇ ਮਾਡਲ ਪਰਖਣ ਤੋਂ ਪਹਿਲਾਂ ਇਸਦਾ ਬੁਨਿਆਦੀ ਵਿਚਾਰ ਮਾਅਨੇ ਰੱਖਦਾ ਹੈ। ਇਹ MiMo-7B (30 ਅਪ੍ਰੈਲ 2025, MIT ਲਾਇਸੰਸ) ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦੀ ਹੈ, ਜਿਸਦੀ ਤਕਨੀਕੀ ਰਿਪੋਰਟ ਦਲੀਲ ਦਿੰਦੀ ਹੈ ਕਿ ਬਹੁਤੀਆਂ ਲੈਬਾਂ ਤਰਕ ਨੂੰ ਸਿਖਲਾਈ-ਤੋਂ-ਬਾਅਦ ਦੀ ਸਮੱਸਿਆ ਮੰਨ ਕੇ RL ਨਾਲ ਜੜ ਦਿੰਦੀਆਂ ਹਨ, ਅਤੇ ਇਹ ਪੁੱਠਾ ਹੈ। Xiaomi ਨੇ ਇਸਦੀ ਥਾਂ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਨੂੰ ਹੀ ਇਸਦੇ ਦੁਆਲੇ ਢਾਲਿਆ: 25 ਖਰਬ ਟੋਕਨਾਂ ਉੱਤੇ ਤਿੰਨ ਪੜਾਵਾਂ ਵਾਲਾ ਮਿਸ਼ਰਣ, ਜਿਸਦਾ ਦੂਜਾ ਪੜਾਅ ਲਗਭਗ 70% ਗਣਿਤ ਤੇ ਕੋਡ ਚਲਾਉਂਦਾ ਹੈ, ਅਤੇ ਤੀਜਾ ਪੜਾਅ ਬਣਾਵਟੀ ਤਰਕ ਦੇ ਨਿਸ਼ਾਨ ਰਲਾਉਂਦਾ ਹੈ ਅਤੇ ਸੰਦਰਭ 8K ਤੋਂ 32K ਤੱਕ ਵਧਾਉਂਦਾ ਹੈ — ਨਾਲੇ ਇੱਕ ਬਹੁ-ਟੋਕਨ ਭਵਿੱਖਬਾਣੀ ਮਕਸਦ ਵੀ, ਜੋ ਨਾਲੋ-ਨਾਲ ਅਟਕਲੀ ਡੀਕੋਡਿੰਗ ਦਾ ਹੈੱਡ ਵੀ ਬਣ ਜਾਂਦਾ ਹੈ।

ਨਤੀਜਾ ਇਹ ਸੀ ਕਿ 7B ਬੁਨਿਆਦੀ ਮਾਡਲ ਕਿਤੇ ਵੱਡੇ ਮਾਡਲ ਵਰਗਾ ਵਿਹਾਰ ਕਰਨ ਲੱਗਾ। MiMo-7B-Base ਨੇ AIME 2024 ਉੱਤੇ 32.9 ਅੰਕ ਲਏ, ਜਿੱਥੇ Qwen2.5-7B ਨੇ 10.1, Gemma-2-9B ਨੇ 0.0 ਅਤੇ Llama-3.1-8B ਨੇ 0.3 ਲਏ। ਫਿਰ ਸਿਖਲਾਈ ਤੋਂ ਬਾਅਦ RL 130,000 ਪੁਸ਼ਟੀਯੋਗ ਗਣਿਤ ਤੇ ਕੋਡ ਸਮੱਸਿਆਵਾਂ ਉੱਤੇ ਚੱਲਿਆ, ਟੈਸਟ-ਔਖ ਨਾਲ ਚੱਲਣ ਵਾਲੇ ਕੋਡ ਇਨਾਮ ਸਮੇਤ, ਜੋ ਉਸ ਵਿਰਲੇ-ਇਨਾਮ ਵਾਲੇ ਜਾਲ ਤੋਂ ਬਚ ਨਿਕਲਿਆ ਜੋ ਕੋਡ RL ਨੂੰ ਡਗਮਗਾਉਂਦਾ ਹੈ। ਨਤੀਜਾ o1-mini ਤੋਂ ਅੱਗੇ ਬੈਠਿਆ:

AIME 2025, MiMo ਤਕਨੀਕੀ ਰਿਪੋਰਟ (arXiv:2505.07608) ਵਿੱਚ Xiaomi ਵੱਲੋਂ ਦੱਸੇ ਅੰਕੜੇ। MiMo-7B-RL ਨੇ MATH-500 ਉੱਤੇ 95.8 ਅਤੇ LiveCodeBench v5 ਉੱਤੇ 57.8 ਵੀ ਦੱਸੇ।

ਪਰਿਵਾਰ ਭਟਕਿਆ ਨਹੀਂ, ਚੌੜਾ ਹੋਇਆ: MiMo-VL-7B (ਜੂਨ 2025) ਨੇ ਉਸੇ ਰੀੜ੍ਹ ਉੱਤੇ Qwen2.5-ViT ਏਨਕੋਡਰ ਲਾਇਆ, ਅਤੇ ਦਸੰਬਰ 2025 ਵਿੱਚ MiMo-Audio-7B ਨਾਲ ਪਹਿਲਾ MoE ਮੈਂਬਰ MiMo-V2-Flash (ਕੁੱਲ 309B / 15B ਸਰਗਰਮ, 27T ਟੋਕਨ, FP8 ਮਿਸ਼ਰਤ ਸ਼ੁੱਧਤਾ) ਆਇਆ। MiMo-V2-Pro ਮਾਰਚ 2026 ਵਿੱਚ ਲਗਭਗ 1T / 42B ਸਰਗਰਮ ਅਤੇ 1M ਸੰਦਰਭ ਨਾਲ ਆਇਆ, OpenRouter ਉੱਤੇ ਕਈ ਹਫ਼ਤੇ "Hunter Alpha" ਵਜੋਂ ਰਹਿਣ ਪਿੱਛੋਂ। MiMo-V2.5 ਅਤੇ MiMo-V2.5-Pro ਇਕੱਠੇ 22 ਅਪ੍ਰੈਲ 2026 ਨੂੰ ਆਏ, ਦੋਵੇਂ MIT ਹੇਠ।

03MiMo-V2.5-Pro ਦੇ ਅੰਦਰ: ਬੁਨਿਆਦ ਕਿਹੋ ਜਿਹੀ ਹੈ

Xiaomi ਦੇ ਛਾਪੇ ਮਾਡਲ ਕਾਰਡ ਮੁਤਾਬਕ, MiMo-V2.5-Pro ਇੱਕ ਵਿਰਲਾ ਮਾਹਰਾਂ-ਦਾ-ਮਿਸ਼ਰਣ ਮਾਡਲ ਹੈ ਜਿਸ ਵਿੱਚ 70 ਪਰਤਾਂ ਉੱਤੇ ਕੁੱਲ 1.02 ਖਰਬ ਪੈਰਾਮੀਟਰ ਅਤੇ ਪ੍ਰਤੀ ਟੋਕਨ 42 ਅਰਬ ਸਰਗਰਮ ਹਨ — ਇੱਕ ਸੰਘਣੀ, 69 MoE — ਅਤੇ 384 ਰਾਊਟ ਕੀਤੇ ਮਾਹਰ, ਪ੍ਰਤੀ ਟੋਕਨ 8। ਲੁਕਵਾਂ ਆਕਾਰ 6144 ਹੈ, ਅਤੇ MoE ਦਾ ਵਿਚਕਾਰਲਾ ਆਕਾਰ ਤੰਗ, 2048 ਹੈ।

ਦੋ ਚੋਣਾਂ ਤੈਅ ਕਰਦੀਆਂ ਹਨ ਕਿ ਵਰਤਦਿਆਂ ਇਹ ਕਿਹੋ ਜਿਹਾ ਲੱਗਦਾ ਹੈ। ਧਿਆਨ ਵਾਲਾ ਸਟੈਕ ਹਾਈਬ੍ਰਿਡ ਹੈ: 10 ਪੂਰੇ-ਧਿਆਨ ਵਾਲੀਆਂ ਪਰਤਾਂ ਅਤੇ 128 ਦੀ ਵਿੰਡੋ ਵਾਲੀਆਂ 60 ਸਲਾਈਡਿੰਗ-ਵਿੰਡੋ ਪਰਤਾਂ, ਨਾਲ ਇੱਕ ਸਿੱਖਣਯੋਗ attention-sink ਪੱਖਪਾਤ। Xiaomi ਦੱਸਦਾ ਹੈ ਕਿ ਇਹ ਪੂਰੀ-ਗਲੋਬਲ ਧਿਆਨ ਦੇ ਮੁਕਾਬਲੇ KV-ਕੈਸ਼ ਦੀ ਥਾਂ ਲਗਭਗ 7 ਗੁਣਾ ਘਟਾ ਦਿੰਦਾ ਹੈ ਅਤੇ ਲੰਮੇ ਸੰਦਰਭ ਦੀ ਗੁਣਵੱਤਾ ਕਾਇਮ ਰੱਖਦਾ ਹੈ — ਯਾਨੀ ਉਸ ਵਿੰਡੋ ਅਤੇ ਇਸ ਵਿੰਡੋ ਵਿਚਲਾ ਫ਼ਰਕ ਜੋ ਸਿਰਫ਼ ਕਾਗਜ਼ੀ ਤੌਰ ਉੱਤੇ ਲੰਮੀ ਹੈ ਅਤੇ ਜਿਸਨੂੰ ਭਰਨਾ ਤੁਸੀਂ ਸੱਚਮੁੱਚ ਸਹਿ ਸਕਦੇ ਹੋ। ਇਸ ਵਿੱਚ ਤਿੰਨ ਬਹੁ-ਟੋਕਨ ਭਵਿੱਖਬਾਣੀ ਪਰਤਾਂ ਵੀ ਹਨ, ਜੋ ਡੀਕੋਡਰ ਨੂੰ ਅਟਕਲੀ ਹੈੱਡ ਦਿੰਦੀਆਂ ਹਨ।

ਸਿਖਲਾਈ 27 ਖਰਬ ਟੋਕਨਾਂ ਉੱਤੇ, ਮੂਲ 32K ਲੜੀ ਲੰਬਾਈ ਉੱਤੇ, FP8 (E4M3) ਮਿਸ਼ਰਤ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਹੋਈ, ਫਿਰ ਨਿਗਰਾਨੀ ਹੇਠ ਫ਼ਾਈਨ-ਟਿਊਨਿੰਗ, ਵੱਡੇ ਪੈਮਾਨੇ ਦੀ ਏਜੰਟ RL ਅਤੇ ਕਈ ਅਧਿਆਪਕਾਂ ਵਾਲੀ on-policy ਡਿਸਟਿਲੇਸ਼ਨ। ਇਹ FP8 ਵਾਲਾ ਵੇਰਵਾ ਯਾਦ ਰੱਖੋ; ਇਸ ਬੁਨਿਆਦ ਨੂੰ 8 ਬਿੱਟ ਉੱਤੇ ਪਰੋਸਣ ਦੀ ਸਭ ਤੋਂ ਪੱਕੀ ਦਲੀਲ ਇਹੀ ਹੈ।

Xiaomi ਇਸ ਮਾਡਲ ਨੂੰ SWE-bench Pro ਉੱਤੇ 57.2%, ਟੂਲ ਵਰਤੋਂ ਲਈ τ3-Bench ਉੱਤੇ 72.9 ਅਤੇ Humanity's Last Exam ਉੱਤੇ 48.0% ਦੱਸਦਾ ਹੈ — ਇਹ ਬਿਨਾਂ ਸੰਕੁਚਿਤ ਮਾਡਲ ਲਈ ਵਿਕਰੇਤਾ ਦੇ ਆਪਣੇ ਅੰਕੜੇ ਹਨ, ਅਤੇ ਇਸੇ ਤਰ੍ਹਾਂ ਹਵਾਲੇ ਵਜੋਂ ਦਿੱਤੇ ਗਏ ਹਨ।

ਅਸੀਂ 262,144-ਟੋਕਨ ਵਿੰਡੋ ਪਰੋਸਦੇ ਹਾਂ, ਬੁਨਿਆਦ ਦੀ ਪੂਰੀ 1M ਨਹੀਂ — ਉਹ ਸੰਦਰਭ ਜਿਸਦੀ ਰਫ਼ਤਾਰ ਸਮੇਤ ਅਸੀਂ ਗਾਰੰਟੀ ਦੇ ਸਕਦੇ ਹਾਂ, ਨਾ ਕਿ ਸੁਰਖੀ ਵਾਲਾ ਅੰਕ ਜੋ ਭਾਰ ਪੈਣ ਉੱਤੇ ਵਿਗੜ ਜਾਂਦਾ ਹੈ।

04W8A16 ਦਾ ਸਹੀ-ਸਹੀ ਮਤਲਬ

ਇਸ ਸੂਚੀ ਦਾ ਹਰ ਮਾਡਲ ਇੱਕ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਪਿਛੇਤਰ ਚੁੱਕਦਾ ਹੈ ਜੋ ਕਿਸੇ ਇਸ਼ਤਿਹਾਰੀ ਦਰਜੇ ਦੀ ਥਾਂ ਅਸਲੀ, ਮਾਪਣਯੋਗ ਬਦਲਾਅ ਦੱਸਦਾ ਹੈ। ਸਾਡੇ ਪਿਛੇਤਰ ਹਨ 3BIT-REAP, W4A16-AUTOROUND-REAP ਅਤੇ W8A16। MiMo-V2.5-Pro ਤੀਜਾ ਹੈ।

ਇਹ ਲਿਖਤ ਦੋ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡੀ ਜਾਂਦੀ ਹੈ। W8 ਵਜ਼ਨ ਦੀ ਸ਼ੁੱਧਤਾ ਹੈ: ਹਰ ਪੈਰਾਮੀਟਰ 16-ਬਿੱਟ ਫ਼ਲੋਟ ਦੀ ਥਾਂ 8-ਬਿੱਟ ਪੂਰਨ ਅੰਕ ਵਜੋਂ ਸਾਂਭਿਆ ਜਾਂਦਾ ਹੈ, ਹਰ ਛੋਟੇ ਸਮੂਹ ਲਈ ਸਾਂਝੇ ਸਕੇਲਿੰਗ ਗੁਣਾਂਕ ਨਾਲ, ਤਾਂ ਜੋ ਹਰ ਸਮੂਹ ਦੀ ਸਥਾਨਕ ਗਤੀਸ਼ੀਲ ਹੱਦ ਬਚੀ ਰਹੇ। A16 ਐਕਟੀਵੇਸ਼ਨ ਦੀ ਸ਼ੁੱਧਤਾ ਹੈ: ਇਨਫ਼ਰੈਂਸ ਵੇਲੇ ਪਰਤਾਂ ਵਿਚਕਾਰ ਵਗਦੇ ਮੁੱਲ 16 ਬਿੱਟ ਉੱਤੇ ਰਹਿੰਦੇ ਹਨ। ਵਜ਼ਨ ਸੰਕੁਚਿਤ ਹੁੰਦੇ ਹਨ; ਗਣਿਤ ਨਹੀਂ।

ਇਹ ਦੂਜਾ ਅੱਧ ਚੁੱਪ-ਚਾਪ ਅਹਿਮ ਕੰਮ ਕਰਦਾ ਹੈ। ਐਕਟੀਵੇਸ਼ਨ ਵਜ਼ਨਾਂ ਨਾਲੋਂ ਕਿਤੇ ਔਖੀਆਂ ਹੁੰਦੀਆਂ ਹਨ ਕੁਆਂਟਾਈਜ਼ ਕਰਨ ਲਈ: ਉਨ੍ਹਾਂ ਵਿੱਚ ਹੱਦੋਂ ਵੱਧ ਵਾਲੇ ਚੈਨਲ ਹੁੰਦੇ ਹਨ — ਕੁਝ ਅਜਿਹੇ ਆਯਾਮ ਜਿਨ੍ਹਾਂ ਦਾ ਪਰਿਮਾਣ ਬਾਕੀ ਸਭ ਨੂੰ ਬੌਣਾ ਕਰ ਦਿੰਦਾ ਹੈ ਅਤੇ ਜੋ ਮਾਡਲ ਦੇ ਵਿਹਾਰ ਦਾ ਬੇਹਿਸਾਬ ਵੱਡਾ ਹਿੱਸਾ ਚੁੱਕਦੇ ਹਨ। ਇਨ੍ਹਾਂ ਨੂੰ ਘੱਟ ਸ਼ੁੱਧਤਾ ਉੱਤੇ ਧੱਕੋ ਤਾਂ ਬਿਲਕੁਲ ਉਹੀ ਸੰਕੇਤ ਕੱਟਿਆ ਜਾਂਦਾ ਹੈ ਜਿਸਦੀ ਤੁਹਾਨੂੰ ਲੋੜ ਸੀ। ਸਿਰਫ਼-ਵਜ਼ਨ ਵਾਲੀਆਂ ਸਕੀਮਾਂ ਐਕਟੀਵੇਸ਼ਨ ਵਾਲਾ ਰਾਹ ਛੇੜੇ ਬਿਨਾਂ ਇਸ ਸਮੱਸਿਆ ਤੋਂ ਬਚ ਨਿਕਲਦੀਆਂ ਹਨ, ਅਤੇ ਇਸੇ ਕਰਕੇ ਸੰਜੀਦਾ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਦਾ ਕੰਮ ਉਨ੍ਹਾਂ ਵੱਲ ਹੀ ਜੁੜਿਆ ਹੈ।

ਸੋ ਅਮਲੀ ਸਵਾਲ ਸਿਮਟ ਕੇ ਇੱਕ ਰਹਿ ਜਾਂਦਾ ਹੈ: ਇੱਕ ਵਜ਼ਨ ਕਿੰਨੇ ਘੱਟ ਬਿੱਟ ਸਹਿ ਸਕਦਾ ਹੈ?

05W8A16 ਬਨਾਮ W4A16 ਬਨਾਮ 3-ਬਿੱਟ: ਨੁਕਸਾਨ ਅਸਲ ਵਿੱਚ ਕਿੱਥੇ ਜਾਂਦਾ ਹੈ

ਇਸ ਬਾਰੇ ਸਭ ਤੋਂ ਵੱਡਾ ਛਪਿਆ ਅਧਿਐਨ Neural Magic ਅਤੇ Red Hat ਦਾ "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization ਹੈ — Llama-3.1 ਪਰਿਵਾਰ ਦੇ 8B, 70B ਅਤੇ 405B ਉੱਤੇ 5,00,000 ਤੋਂ ਵੱਧ ਪਰਖਾਂ। ਉਨ੍ਹਾਂ ਦਾ ਮੁੱਖ ਨਤੀਜਾ, ਉਨ੍ਹਾਂ ਦੇ ਆਪਣੇ ਅੰਕੜਿਆਂ ਵਿੱਚ:

ਰੂਪ	ਕੀ ਸੰਕੁਚਿਤ ਹੁੰਦਾ ਹੈ	BF16 ਦੇ ਮੁਕਾਬਲੇ ਦੱਸੀ ਗਈ ਵਾਪਸੀ
W8A8-FP (8-ਬਿੱਟ)	ਵਜ਼ਨ + ਐਕਟੀਵੇਸ਼ਨ, ਫ਼ਲੋਟ	ਔਸਤ ਲਗਭਗ 99.75% — "ਲਗਭਗ ਬਿਨਾਂ ਨੁਕਸਾਨ"
W8A8-INT (8-ਬਿੱਟ)	ਵਜ਼ਨ + ਐਕਟੀਵੇਸ਼ਨ, ਪੂਰਨ ਅੰਕ	8B/70B ਉੱਤੇ 99–100%; 405B ਉੱਤੇ 98.2–99.3%
W4A16-INT (4-ਬਿੱਟ)	ਸਿਰਫ਼ ਵਜ਼ਨ	98–99.4% (8B); 98.6–99.8% (70B)

Llama-3.1 ਮਾਡਲਾਂ ਉੱਤੇ Neural Magic / Red Hat (arXiv:2411.02355) ਵੱਲੋਂ ਦੱਸੇ ਅੰਕੜੇ — ਇਹ ਸੌਦੇ ਦੀ ਸ਼ਕਲ ਹੈ, ਇਸ ਮਾਡਲ ਦਾ ਅੰਕ ਨਹੀਂ।

ਈਮਾਨਦਾਰੀ ਨਾਲ ਪੜ੍ਹੀਏ ਤਾਂ ਇਹ ਪਰਵਾਹ ਕਰਨ ਦੇ ਖ਼ਿਲਾਫ਼ ਦਲੀਲ ਲੱਗਦੀ ਹੈ: 4-ਬਿੱਟ 98–99% ਵਾਪਸ ਲੈ ਆਉਂਦਾ ਹੈ, ਤਾਂ ਧਿਆਨ ਕਿਉਂ ਦੇਈਏ? ਕਿਉਂਕਿ ਇਹ ਅਕਾਦਮਿਕ ਬਹੁ-ਵਿਕਲਪੀ ਬੈਂਚਮਾਰਕ ਹਨ, ਜੋ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਦਾ ਨੁਕਸਾਨ ਪਛਾਣਨ ਲਈ ਲਗਭਗ ਸਭ ਤੋਂ ਮਾੜਾ ਉਪਲਬਧ ਸੰਦ ਹਨ। ਬੈਂਚਮਾਰਕ ਦੇ ਸਵਾਲ ਦਾ ਇੱਕੋ ਸਹੀ ਜਵਾਬ ਹੁੰਦਾ ਹੈ ਜਿਸ ਤੱਕ ਇੱਕ-ਦੋ ਟੋਕਨਾਂ ਵਿੱਚ ਪਹੁੰਚਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਅਤੇ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਦੀ ਗ਼ਲਤੀ ਹਰ ਲੌਜਿਟ ਉੱਤੇ ਛੋਟੀ, ਲਗਭਗ ਸਿਫ਼ਰ-ਔਸਤ ਵਾਲੀ ਰੌਲੇ ਵਰਗੀ ਹੁੰਦੀ ਹੈ; ਚੌੜੇ ਫ਼ਾਸਲੇ ਵਾਲੇ ਛੋਟੇ ਸਵਾਲ ਉੱਤੇ ਉਹ ਰੌਲਾ ਜਜ਼ਬ ਹੋ ਜਾਂਦਾ ਹੈ।

ਹੁਣ 4,000 ਟੋਕਨਾਂ ਦਾ ਤਕਨੀਕੀ ਦਸਤਾਵੇਜ਼ ਲਿਖੋ, 40,000 ਟੋਕਨਾਂ ਦੀ ਕਹਾਣੀ ਵਿੱਚ ਇੱਕੋ ਆਵਾਜ਼ ਕਾਇਮ ਰੱਖੋ, ਜਾਂ ਅਜਿਹਾ JSON ਕੱਢੋ ਜੋ ਪਹਿਲੀ ਵਾਰੀ ਹੀ ਪਾਸ ਹੋਵੇ। ਉਹੀ ਰੌਲਾ ਲੜੀ ਵਿੱਚ ਹਜ਼ਾਰਾਂ ਵਾਰ ਸੈਂਪਲ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਹਰ ਸੈਂਪਲ ਅਗਲੇ ਨੂੰ ਸ਼ਰਤਬੱਧ ਕਰਦਾ ਹੈ। ਨਾਕਾਮੀ ਦਾ ਢੰਗ ਗ਼ਲਤ ਜਵਾਬ ਨਹੀਂ — ਖਿਸਕਣਾ ਹੈ: ਪਹਿਲੀ ਵਾਰੀ ਵਾਲੀ ਹਦਾਇਤ ਉੱਤੇ ਢਿੱਲੀ ਪੈਂਦੀ ਪਕੜ, ਉਹ ਕਿਰਦਾਰ ਜੋ ਟੋਕਨ 3,000 ਦੇ ਆਸ-ਪਾਸ ਆਪਣੇ ਵਰਗਾ ਬੋਲਣਾ ਛੱਡ ਦਿੰਦਾ ਹੈ, ਉਹ ਬੰਦ ਕਰਨ ਵਾਲਾ ਬਰੈਕਟ ਜੋ ਕਦੇ ਆਉਂਦਾ ਹੀ ਨਹੀਂ।

ਬਿੱਟ ਅਸਲ ਵਿੱਚ ਕਿੱਥੇ ਜਾਂਦੇ ਹਨ

ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਦੀ ਗ਼ਲਤੀ ਮਾਡਲ ਦੀਆਂ ਸਾਰੀਆਂ ਸਮਰੱਥਾਵਾਂ ਉੱਤੇ ਬਰਾਬਰ ਨਹੀਂ ਫੈਲਦੀ; ਇਹ ਪੂਛ ਵਿੱਚ ਇਕੱਠੀ ਹੁੰਦੀ ਹੈ। ਵੱਧ ਭਾਰ ਵਾਲੇ ਵਿਹਾਰ — ਵਿਆਕਰਨ ਪੱਖੋਂ ਸਹੀ ਅੰਗਰੇਜ਼ੀ, Python ਫੰਕਸ਼ਨ ਦੀ ਸ਼ਕਲ, ਦੁਨੀਆ ਬਾਰੇ ਸਭ ਤੋਂ ਉੱਪਰਲੇ ਹਜ਼ਾਰ ਤੱਥ — ਕਈ ਵਜ਼ਨਾਂ ਵਿੱਚ ਦੁਹਰਾ ਕੇ ਦਰਜ ਹੁੰਦੇ ਹਨ ਅਤੇ ਲਗਭਗ ਹਰ ਚੀਜ਼ ਝੱਲ ਲੈਂਦੇ ਹਨ। ਵਜ਼ਨਾਂ ਦੀ ਵੰਡ ਦੇ ਬਾਰੀਕੀ ਨਾਲ ਟਿਊਨ ਕੀਤੇ, ਛੋਟੇ ਪਰਿਮਾਣ ਵਾਲੇ ਕੋਨਿਆਂ ਵਿੱਚ ਵਿਰਲੀ ਚੀਜ਼ ਪਈ ਹੁੰਦੀ ਹੈ: ਕਿਸੇ ਅਣਜਾਣ API ਦਾ ਸਹੀ ਹਸਤਾਖਰ, ਕਿਸੇ ਖ਼ਾਸ ਲੇਖਕ ਦੀ ਲੈਅ, ਦੋ ਨਾਲ-ਨਾਲ ਵਾਲੇ CVE ਵਿਚਲਾ ਫ਼ਰਕ। ਮੋਟਾ ਗਰਿੱਡ ਇਹੀ ਮੁੱਲ ਇੱਕ-ਦੂਜੇ ਵਿੱਚ ਗੋਲ ਕਰ ਦਿੰਦਾ ਹੈ।

4 ਬਿੱਟ ਤੋਂ 3 ਵੱਲ ਦਾ ਕਦਮ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਇਹ ਟੈਕਸ ਰਹਿ ਕੇ ਖੱਡਾ ਬਣ ਜਾਂਦਾ ਹੈ। Dettmers ਅਤੇ Zettlemoyer ਦੇ k-ਬਿੱਟ ਇਨਫ਼ਰੈਂਸ ਸਕੇਲਿੰਗ ਨਿਯਮਾਂ ਨੇ ਪਾਇਆ ਕਿ ਮਾਡਲ ਮੈਮੋਰੀ ਦੇ ਪ੍ਰਤੀ ਬਿੱਟ ਜ਼ੀਰੋ-ਸ਼ਾਟ ਸ਼ੁੱਧਤਾ 4 ਬਿੱਟ ਉੱਤੇ ਸਭ ਤੋਂ ਵੱਧ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਉਸ ਤੋਂ ਹੇਠਾਂ ਵਿਗਾੜ ਹਾਵੀ ਹੋ ਜਾਂਦਾ ਹੈ। ਚਾਰ ਬਿੱਟ ਪ੍ਰਤੀ ਸਮੂਹ 16 ਪੱਧਰ ਦਿੰਦੇ ਹਨ; ਤਿੰਨ 8 ਦਿੰਦੇ ਹਨ। ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ ਮੋਟੇ ਗਰਿੱਡ ਦਾ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਅੱਧਾ ਕਰ ਰਹੇ ਹੋ, ਅਤੇ ਪ੍ਰਤੀ ਵਜ਼ਨ ਗੋਲ ਕਰਨ ਦੀ ਗ਼ਲਤੀ ਲਗਭਗ ਦੁੱਗਣੀ ਹੋ ਜਾਂਦੀ ਹੈ।

ਉਹ ਹਿਸਾਬ ਜੋ ਫ਼ੈਸਲਾ ਕਰਦਾ ਹੈ

ਕਰਨ ਵਾਲੀ ਤੁਲਨਾ ਹਿਸਾਬ ਦੀ ਹੈ, ਕਿਸੇ ਬੈਂਚਮਾਰਕ ਦੀ ਨਹੀਂ। ਸੰਕੁਚਨ ਤੋਂ ਬਾਅਦ ਜੋ ਬਚਦਾ ਹੈ ਉਹ ਲਗਭਗ ਪੈਰਾਮੀਟਰ × ਪ੍ਰਤੀ ਪੈਰਾਮੀਟਰ ਬਿੱਟ ਹੈ — ਯਾਨੀ ਵਜ਼ਨ ਫ਼ਾਈਲ ਦੀ ਜਾਣਕਾਰੀ ਚੁੱਕਣ ਵਾਲੀ ਮਾਤਰਾ। ਪ੍ਰਤੀ ਪੈਰਾਮੀਟਰ ਬਰਾਬਰ ਗੁਣਵੱਤਾ ਵਾਲੀਆਂ ਦੋ ਕਲਪਿਤ ਬੁਨਿਆਦਾਂ ਲਵੋ:

• ਬੁਨਿਆਦ A: 3 ਬਿੱਟ ਉੱਤੇ 400B ਪੈਰਾਮੀਟਰ → ਲਗਭਗ 150 GB ਬਚੇ ਹੋਏ ਵਜ਼ਨ।
• ਬੁਨਿਆਦ B: 8 ਬਿੱਟ ਉੱਤੇ 160B ਪੈਰਾਮੀਟਰ → ਲਗਭਗ 160 GB ਬਚੇ ਹੋਏ ਵਜ਼ਨ।

ਨਿਰੋਲ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਗਿਣਤੀ ਨਾਲ A ਢਾਈ ਗੁਣਾ ਨਾਲ ਜਿੱਤਦੀ ਹੈ — ਇਹੀ ਅੰਕ ਮਾਡਲ ਕਾਰਡ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਦੱਸਦਾ ਹੈ। ਬਚੀ ਹੋਈ ਜਾਣਕਾਰੀ ਨਾਲ ਦੋਵੇਂ ਬਰਾਬਰ ਹਨ, ਅਤੇ B ਕੋਲ ਨਾਲੇ ਇੱਕ ਢਾਂਚਾਗਤ ਲਾਭ ਵੀ ਹੈ: ਇਸਦੇ ਵਜ਼ਨ ਏਨੇ ਬਰੀਕ ਗਰਿੱਡ ਉੱਤੇ ਬੈਠੇ ਹਨ ਕਿ ਇਸਦਾ ਪੂਛ ਵਾਲਾ ਵਿਹਾਰ ਸਲਾਮਤ ਹੈ, ਜਦਕਿ A ਦੀ ਪੂਛ ਥੋਕ ਵਿੱਚ ਕੁਆਂਟਾਈਜ਼ ਹੋ ਚੁੱਕੀ ਹੈ। A ਵੱਧ ਚੀਜ਼ਾਂ ਜਾਣਦੀ ਹੈ; B ਜੋ ਜਾਣਦੀ ਹੈ ਉਹ ਵੱਧ ਤਿੱਖੇ ਢੰਗ ਨਾਲ ਜਾਣਦੀ ਹੈ। ਲੰਮੀ ਪੈਦਾਵਾਰ, ਸਹੀ ਬਣਤਰ, ਸ਼ੈਲੀ ਦੇ ਕੰਟਰੋਲ ਅਤੇ ਲੰਮੇ ਸੰਦਰਭ ਦੇ ਵਫ਼ਾਦਾਰ ਪਾਲਣ ਲਈ, B ਲਵੋ।

ਇਹ ਮਿਸਾਲ ਵਜੋਂ ਹਿਸਾਬ ਹੈ, ਕੋਈ ਬੈਂਚਮਾਰਕ ਨਹੀਂ: ਇਹ ਦੱਸਦਾ ਹੈ ਕਿ "ਵੱਡੀ ਬੁਨਿਆਦ" ਅਤੇ "ਬਿਹਤਰ ਪਰੋਸਿਆ ਮਾਡਲ" ਵੱਖੋ-ਵੱਖਰੇ ਦਾਅਵੇ ਕਿਉਂ ਹਨ।

06ਸਿਖਲਾਈ ਦੇ 27 ਖਰਬ ਟੋਕਨ ਸਖ਼ਤ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਨੂੰ ਹੋਰ ਮਾੜਾ ਕਿਉਂ ਬਣਾਉਂਦੇ ਹਨ

ਇੱਕ ਦੂਜਾ, ਘੱਟ ਸਿੱਧਾ ਨਤੀਜਾ ਇਸ ਬੁਨਿਆਦ ਉੱਤੇ ਸਿੱਧਾ ਲਾਗੂ ਹੁੰਦਾ ਹੈ। Kumar ਅਤੇ ਸਾਥੀਆਂ ਦਾ ICLR 2025 ਪੇਪਰ Scaling Laws for Precision ਪਾਉਂਦਾ ਹੈ ਕਿ ਜਿਸ ਮਾਡਲ ਨੂੰ ਜਿੰਨੇ ਵੱਧ ਡੇਟੇ ਉੱਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਹੋਵੇ, ਸਿਖਲਾਈ-ਤੋਂ-ਬਾਅਦ ਵਾਲੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਉਸਨੂੰ ਓਨਾ ਹੀ ਵੱਧ ਨੁਕਸਾਨ ਦਿੰਦੀ ਹੈ। ਘੱਟ ਸ਼ੁੱਧਤਾ ਮਾਡਲ ਦੀ ਕਾਰਗਰ ਪੈਰਾਮੀਟਰ ਗਿਣਤੀ ਘਟਾ ਦਿੰਦੀ ਹੈ, ਅਤੇ ਇਹ ਵਿਗਾੜ ਜਜ਼ਬ ਕੀਤੇ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਡੇਟੇ ਨਾਲ ਵਧਦਾ ਜਾਂਦਾ ਹੈ — ਏਨਾ ਕਿ ਜੇ ਤੁਸੀਂ ਸਖ਼ਤ ਕੁਆਂਟਾਈਜ਼ ਕਰਨਾ ਹੈ ਤਾਂ ਵਾਧੂ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਡੇਟਾ ਕੁੱਲ ਮਿਲਾ ਕੇ ਨੁਕਸਾਨਦੇਹ ਵੀ ਹੋ ਸਕਦਾ ਹੈ, ਕਿਉਂਕਿ ਤੁਸੀਂ ਉਹ ਬਰੀਕ ਬਣਤਰ ਵਿਛਾ ਰਹੇ ਹੋ ਜਿਸਨੂੰ ਗਰਿੱਡ ਮਿਟਾ ਦੇਵੇਗਾ।

5T ਟੋਕਨਾਂ ਉੱਤੇ ਸਿਖਲਾਈ ਲਏ ਮਾਡਲ ਦੀ ਵਜ਼ਨ ਬਣਤਰ ਮੋਟੀ ਤੇ ਦੁਹਰਾਊ ਹੁੰਦੀ ਹੈ ਅਤੇ ਉਸ ਕੋਲ ਢਿੱਲ ਦੀ ਗੁੰਜਾਇਸ਼ ਹੁੰਦੀ ਹੈ। 27T ਟੋਕਨਾਂ — MiMo-V2.5-Pro ਦਾ ਬਜਟ — ਉੱਤੇ ਸਿਖਲਾਈ ਲਏ ਮਾਡਲ ਨੇ ਉਹ ਵਾਧੂ ਡੇਟਾ ਬਰੀਕ ਫ਼ਰਕ ਵੱਧ ਸਹੀ ਵਜ਼ਨ ਮੁੱਲਾਂ ਵਿੱਚ ਲਿਖਣ ਉੱਤੇ ਖ਼ਰਚਿਆ, ਅਤੇ ਇਹੀ ਉਹ ਚੀਜ਼ ਹੈ ਜੋ 3-ਬਿੱਟ ਗਰਿੱਡ ਦਰਸਾ ਨਹੀਂ ਸਕਦਾ।

ਫਿਰ ਭਾਗ 03 ਵਾਲਾ FP8 ਵਾਲਾ ਤੱਥ ਹੈ, ਜੋ ਇਸ ਲੇਖ ਦੀ ਸਭ ਤੋਂ ਸਾਫ਼ ਦਲੀਲ ਹੈ। MiMo-V2.5-Pro ਨੂੰ FP8 ਮਿਸ਼ਰਤ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਪ੍ਰੀ-ਟ੍ਰੇਨ ਕੀਤਾ ਗਿਆ ਸੀ। ਇਸਦੇ ਵਜ਼ਨ ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਲਗਭਗ ਅੱਠ ਬਿੱਟ ਸ਼ੁੱਧਤਾ ਉੱਤੇ ਕੰਮ ਕਰਦੇ ਆਪਟੀਮਾਈਜ਼ਰ ਨੇ ਘੜੇ ਸਨ। ਸੋ ਇਸਨੂੰ 8-ਬਿੱਟ ਵਜ਼ਨਾਂ ਉੱਤੇ ਪਰੋਸਣਾ ਕਿਸੇ 16-ਬਿੱਟ ਮਾਡਲ ਉੱਤੇ ਥੋਪੀ ਹੋਈ ਹਾਨੀਕਾਰਕ ਪਿਛਲੀ ਸੋਚ ਨਹੀਂ — ਇਹ ਵਜ਼ਨਾਂ ਨੂੰ ਲਗਭਗ ਉਸੇ ਗਿਣਤੀ ਵਾਲੇ ਮਾਹੌਲ ਵਿੱਚ ਵਾਪਸ ਲਿਆਉਣਾ ਹੈ ਜਿਸ ਵਿੱਚ ਉਹ ਸਿੱਖੇ ਗਏ ਸਨ। ਅੱਠਵੇਂ ਬਿੱਟ ਤੋਂ ਹੇਠਾਂ ਗੁਆਉਣ ਲਈ ਬਹੁਤੀ ਬਰੀਕ ਬਣਤਰ ਹੈ ਹੀ ਨਹੀਂ। ਉਹੀ ਗੱਲ ਤਿੰਨ ਬਿੱਟ ਤੱਕ ਧੱਕੇ ਗਏ ਵਜ਼ਨਾਂ ਬਾਰੇ ਨਹੀਂ ਕਹੀ ਜਾ ਸਕਦੀ।

07REAP: ਮਾਹਰ ਛਾਂਗਣਾ, ਗੋਲ ਕਰਨ ਨਾਲੋਂ ਵੱਖਰੀ ਕਿਸਮ ਦਾ ਨੁਕਸਾਨ ਕਿਉਂ ਹੈ

ਤਿੰਨਾਂ ਵਿੱਚੋਂ ਦੋ ਦਰਜੇ REAP ਪਿਛੇਤਰ ਚੁੱਕਦੇ ਹਨ — ਜੋ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਤੋਂ ਬਿਲਕੁਲ ਵੱਖਰੀ ਕਿਸਮ ਦੀ ਕਾਰਵਾਈ ਹੈ। REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) ਵਿਰਲੇ MoE ਮਾਡਲਾਂ ਲਈ ਇੱਕ-ਵਾਰੀ ਸੰਕੁਚਨ ਹੈ: ਇਹ ਹਰ ਮਾਹਰ ਨੂੰ ਰਾਊਟਰ ਦੇ ਗੇਟ ਮੁੱਲਾਂ ਅਤੇ ਮਾਹਰ ਦੇ ਐਕਟੀਵੇਸ਼ਨ ਨੌਰਮ ਨਾਲ ਅੰਕ ਦਿੰਦਾ ਹੈ, ਫਿਰ ਸਭ ਤੋਂ ਘੱਟ ਅੰਕ ਵਾਲੇ ਮਿਟਾ ਦਿੰਦਾ ਹੈ। Cerebras ਦੱਸਦਾ ਹੈ ਕਿ 50% ਮਾਹਰ ਛਾਂਗਣ ਉੱਤੇ ਵੀ ਕੋਡ ਬਣਾਉਣ ਅਤੇ ਟੂਲ ਕਾਲਿੰਗ ਦੇ ਨਤੀਜੇ ਲਗਭਗ ਬਿਨਾਂ ਨੁਕਸਾਨ ਰਹਿੰਦੇ ਹਨ।

ਅਸੀਂ REAP ਉਸੇ ਕਾਰਨ ਵਰਤਦੇ ਹਾਂ ਜਿਸ ਲਈ ਇਹ ਬਣਿਆ ਹੈ: ਸਭ ਤੋਂ ਵੱਡੀਆਂ ਬੁਨਿਆਦਾਂ ਉੱਤੇ ਇਹੀ ਉਨ੍ਹਾਂ ਨੂੰ ਪਰੋਸਣਯੋਗ ਬਣਾਉਂਦਾ ਹੈ। ਪਰ ਕਿਸਮ ਦਾ ਫ਼ਰਕ ਵੇਖੋ। ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਹਰ ਵਜ਼ਨ ਨੂੰ ਥੋੜ੍ਹਾ ਧੁੰਦਲਾ ਕਰਦੀ ਹੈ; ਛਾਂਗਣਾ ਮਾਹਰ ਪੂਰੇ ਦੇ ਪੂਰੇ ਹਟਾ ਦਿੰਦਾ ਹੈ। ਜੇ ਤੁਹਾਡਾ ਕੰਮ ਵੱਡੇ ਪੱਧਰ ਉੱਤੇ ਅਜਿਹੀ ਸਮਰੱਥਾ ਵੱਲ ਰਾਊਟ ਹੁੰਦਾ ਹੈ ਜੋ ਕਿਸੇ ਵਿਰਲੇ ਚੁਣੇ ਜਾਂਦੇ ਮਾਹਰ ਵਿੱਚ ਰਹਿੰਦੀ ਸੀ — ਕੋਈ ਛੋਟੀ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾ, ਕੋਈ ਖ਼ਾਸ ਸ਼ਬਦਾਵਲੀ — ਤਾਂ ਉਹ ਵਿਗੜੀ ਨਹੀਂ। ਉਹ ਗਈ, ਅਤੇ ਕੋਈ ਪ੍ਰੌਂਪਟਿੰਗ ਉਸਨੂੰ ਵਾਪਸ ਨਹੀਂ ਲਿਆਉਂਦੀ। ਔਸਤਾਂ ਸ਼ਾਨਦਾਰ ਰਹਿੰਦੀਆਂ ਹਨ; ਤੁਹਾਡਾ ਪੂਛ ਵਾਲਾ ਮਾਮਲਾ ਸ਼ਾਇਦ ਨਾ ਰਹੇ।

MiMo-V2.5-Pro · W8A16 ਉੱਤੇ ਕੋਈ REAP ਪਿਛੇਤਰ ਨਹੀਂ ਹੈ। ਸਾਰੇ 384 ਮਾਹਰ ਹਾਜ਼ਰ ਹਨ, ਅਤੇ ਰਾਊਟਰ ਉਸੇ ਪੂਰੇ ਸੈੱਟ ਵਿੱਚੋਂ ਚੁਣਦਾ ਹੈ ਜਿਸ ਨਾਲ ਬੁਨਿਆਦ ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਸੀ।

ਦਰਜਾ	ਵਜ਼ਨ ਦੇ ਬਿੱਟ	ਮਾਹਰ	ਤੁਸੀਂ ਕੀ ਦਿੰਦੇ ਹੋ
W8A16	8	ਸਾਰੇ ਹਾਜ਼ਰ	ਢਾਂਚਾਗਤ ਤੌਰ ਉੱਤੇ ਕੁਝ ਨਹੀਂ। ਇਹੀ ਵਫ਼ਾਦਾਰੀ ਵਾਲਾ ਦਰਜਾ ਹੈ।
W4A16-AUTOROUND-REAP	4	ਛਾਂਗੇ ਹੋਏ	ਵਜ਼ਨ ਦੀ ਬਰੀਕੀ ਅਤੇ ਘੱਟ ਵਰਤੇ ਜਾਂਦੇ ਮਾਹਰ, ਬਦਲੇ ਵਿੱਚ ਉਸੇ ਕੀਮਤ ਪੱਟੀ ਵਿੱਚ ਕਿਤੇ ਵੱਡੀ ਬੁਨਿਆਦ।
3BIT-REAP	3	ਛਾਂਗੇ ਹੋਏ	ਵਜ਼ਨ ਦਾ ਕਾਫ਼ੀ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਅਤੇ ਘੱਟ ਵਰਤੇ ਜਾਂਦੇ ਮਾਹਰ — ਸਭ ਤੋਂ ਵੱਡੀਆਂ ਬੁਨਿਆਦਾਂ ਨੂੰ ਰਫ਼ਤਾਰ ਨਾਲ ਚਲਾਉਣ ਦੀ ਕੀਮਤ।

ਵਿਚਕਾਰਲੇ ਦਰਜੇ ਦੀ ਵੀ ਸੁਣਵਾਈ ਬਣਦੀ ਹੈ। AutoRound ਸਾਦੀ ਰਾਊਂਡਿੰਗ ਨਹੀਂ: Intel ਦਾ ਤਰੀਕਾ (arXiv:2309.05516) ਲਗਭਗ 200 ਕਦਮਾਂ ਵਿੱਚ ਸਾਈਨਡ ਗਰੇਡੀਐਂਟ ਡਿਸੈਂਟ ਨਾਲ ਹਰ ਵਜ਼ਨ ਸਮੂਹ ਲਈ ਰਾਊਂਡਿੰਗ ਦੇ ਫ਼ੈਸਲੇ ਅਤੇ ਕਲਿੱਪਿੰਗ ਹੱਦ ਟਿਊਨ ਕਰਦਾ ਹੈ, ਅਤੇ 4 ਬਿੱਟ ਉੱਤੇ ਬਹੁਤੀਆਂ ਸੈਟਿੰਗਾਂ ਵਿੱਚ ਲਗਭਗ ਬਿਨਾਂ ਨੁਕਸਾਨ ਦੱਸਿਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਬਹੁਤੀਆਂ ਪਰਖੀਆਂ ਸੰਰਚਨਾਵਾਂ ਵਿੱਚ GPTQ, AWQ, HQQ ਤੇ OmniQuant ਨੂੰ ਹਰਾਉਂਦਾ ਹੈ। W4A16-AUTOROUND ਮਾਡਲ ਸੱਚਮੁੱਚ ਵਧੀਆ 4-ਬਿੱਟ ਮਾਡਲ ਹੈ। ਫਿਰ ਵੀ ਉਹ 4-ਬਿੱਟ ਮਾਡਲ ਹੀ ਹੈ।

088-ਬਿੱਟ ਦਰਜਾ ਕਿਸਨੂੰ ਚੁਣਨਾ ਚਾਹੀਦਾ ਹੈ — ਅਤੇ ਕਿਸਨੂੰ ਨਹੀਂ

MiMo-V2.5-Pro · W8A16 ਪੂਰੀ ਸੂਚੀ ਦੀ ਫ਼ਰਸ਼ ਕੀਮਤ ਉੱਤੇ ਬੈਠਦਾ ਹੈ — ਪ੍ਰਤੀ ਦਸ ਲੱਖ ਟੋਕਨ $0.50 ਅੰਦਰ / $2.00 ਬਾਹਰ, ਯਾਨੀ ਸ਼ੁਰੂਆਤੀ ਦਰਜੇ ਵਾਲੇ 4-ਬਿੱਟ ਮਾਡਲਾਂ ਵਾਲੀ ਹੀ ਪੱਟੀ ਅਤੇ ਸਾਡੇ ਸਭ ਤੋਂ ਮਹਿੰਗੇ ਮਾਡਲ ਦੀ ਇਨਪੁੱਟ ਕੀਮਤ ਦਾ ਲਗਭਗ ਚੌਥਾ ਹਿੱਸਾ। ਤੁਸੀਂ ਵਫ਼ਾਦਾਰੀ ਲਈ ਵਾਧੂ ਪੈਸਾ ਨਹੀਂ ਦੇ ਰਹੇ; ਤੁਸੀਂ ਉਸੇ ਬਜਟ ਦਾ ਵੱਖਰਾ ਧੁਰਾ ਚੁਣ ਰਹੇ ਹੋ।

ਇਸਨੂੰ ਉਦੋਂ ਚੁਣੋ ਜਦੋਂ

• ਆਊਟਪੁੱਟ ਦੀ ਲੰਬਾਈ ਹੀ ਕੰਮ ਹੈ। ਲੰਮੀ ਤਕਨੀਕੀ ਲਿਖਤ, ਅਧਿਆਇ ਜਿੰਨੀ ਗਲਪ, ਪੂਰੇ ਦਸਤਾਵੇਜ਼ੀ ਗੇੜੇ — ਹਰ ਪੈਦਾ ਹੋਇਆ ਟੋਕਨ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਸੰਕੁਚਨ ਦਾ ਰੌਲਾ ਜੁੜਦਾ ਜਾਂਦਾ ਹੈ।
• ਆਵਾਜ਼ ਅਤੇ ਇਕਸਾਰਤਾ ਮਾਅਨੇ ਰੱਖਦੀਆਂ ਹਨ। ਕਿਰਦਾਰ ਵਾਲਾ ਕੰਮ, ਬ੍ਰਾਂਡ ਦੀ ਸੁਰ, ਲੰਮੀ ਬੈਠਕ ਵਿੱਚ ਕਾਇਮ ਰੱਖੀ ਸ਼ੈਲੀ। ਸ਼ੈਲੀ ਪੂਛ ਵਿੱਚ ਰਹਿੰਦੀ ਹੈ, ਅਤੇ ਮੋਟੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਪੂਛ ਹੀ ਖਾਂਦੀ ਹੈ।
• ਢਾਂਚਾਗਤ ਆਊਟਪੁੱਟ ਪਹਿਲੀ ਵਾਰੀ ਹੀ ਪਾਸ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ। ਮਾਡਲ json_schema ਅਤੇ response_format ਸਮਰਥਿਤ ਕਰਦਾ ਹੈ; ਸਕੀਮੇ ਦਾ ਪਾਲਣ ਸ਼ੁੱਧਤਾ ਦਾ ਗੁਣ ਹੈ, ਅਤੇ ਬਚਾਈ ਹਰ ਮੁੜ-ਕੋਸ਼ਿਸ਼ ਪੈਸਾ ਤੇ ਲੇਟੈਂਸੀ ਦੋਵੇਂ ਬਚਾਉਂਦੀ ਹੈ।
• ਤੁਸੀਂ ਸੰਦਰਭ ਭਰ ਰਹੇ ਹੋ। ਟੋਕਨ 200,000 ਉੱਤੇ ਹਦਾਇਤ ਦਾ ਪਾਲਣ ਟੋਕਨ 2,000 ਨਾਲੋਂ ਔਖਾ ਹੈ, ਅਤੇ ਇਹ ਵਜ਼ਨ ਦੀ ਸ਼ੁੱਧਤਾ ਨਾਲ ਵਿਗੜਦਾ ਹੈ — ਜਿਵੇਂ ਲੰਮਾ ਤਰਕ ਵਾਲਾ ਨਿਸ਼ਾਨ ਵੀ, ਜਿੱਥੇ ਗ਼ਲਤੀਆਂ ਇਸੇ ਤਰ੍ਹਾਂ ਜੁੜਦੀਆਂ ਹਨ।
• ਕੰਮ ਆਪਣੇ ਸੁਭਾਅ ਵਜੋਂ ਹੀ ਬਿਨਾਂ ਸੈਂਸਰ ਹੈ। ਸੁਰੱਖਿਆ ਖੋਜ, ਰੈੱਡ-ਟੀਮਿੰਗ, ਬਿਨਾਂ ਫਿਲਟਰ ਗਲਪ, ਸੰਵੇਦਨਸ਼ੀਲ ਮੈਡੀਕਲ ਜਾਂ ਕਾਨੂੰਨੀ ਵਿਸ਼ਲੇਸ਼ਣ — ਜਿੱਥੇ ਗੋਲ-ਮੋਲ ਜਵਾਬ ਕੋਈ ਜਵਾਬ ਨਾ ਹੋਣ ਨਾਲੋਂ ਵੀ ਮਾੜਾ ਹੈ।

ਕੁਝ ਹੋਰ ਉਦੋਂ ਚੁਣੋ ਜਦੋਂ

• ਤੁਹਾਨੂੰ ਵਿਜ਼ਨ ਚਾਹੀਦਾ ਹੈ। ਇਹ ਮਾਡਲ ਸਿਰਫ਼ ਲਿਖਤ ਵਾਲਾ ਹੈ; ਇਸਦਾ ਭਰਾ MiMo-V2.5 · W8A16 ਇਸੇ ਕੀਮਤ ਅਤੇ ਇਸੇ ਦਰਜੇ ਉੱਤੇ ਵਿਜ਼ਨ ਵਾਲਾ ਹੈ।
• ਤੁਹਾਨੂੰ ਛੋਟੇ ਸਵਾਲਾਂ ਉੱਤੇ ਸਭ ਤੋਂ ਚੌੜਾ ਦੁਨਿਆਵੀ ਗਿਆਨ ਚਾਹੀਦਾ ਹੈ। ਇਹੀ ਉਹ ਹਾਲਤ ਹੈ ਜਿੱਥੇ ਕਿਤੇ ਵੱਡੀ 3-ਬਿੱਟ ਬੁਨਿਆਦ ਦੇ ਵਾਧੂ ਪੈਰਾਮੀਟਰ ਜਿੱਤਦੇ ਹਨ ਅਤੇ ਉਸਦਾ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਨੁਕਸਾਨ ਮਸਾਂ ਹੀ ਦਿਸਦਾ ਹੈ।
• ਤੁਹਾਡਾ ਕੰਮ ਵੱਡੀ ਮਾਤਰਾ ਵਾਲਾ ਛੋਟਾ ਵਰਗੀਕਰਨ ਹੈ। ਉੱਥੇ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਦਾ ਨੁਕਸਾਨ ਲਗਭਗ ਅਦਿੱਖ ਹੈ — ਜੋ ਸਭ ਤੋਂ ਤੇਜ਼ ਹੋਵੇ ਉਹੀ ਖ਼ਰੀਦੋ।

09ਬਿਨਾਂ ਸੈਂਸਰ MiMo API ਨੂੰ ਸੱਦਣਾ

ਜੇ ਤੁਹਾਡਾ ਕੋਡ OpenAI SDK ਵੱਲ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਬੇਸ URL ਅਤੇ ਮਾਡਲ id ਬਦਲਣਾ ਹੀ ਪੂਰਾ ਪਰਵਾਸ ਹੈ:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages ਅਤੇ /v1/responses ਇਹੀ id ਅਤੇ ਇਹੀ ਸਮਰੱਥਾਵਾਂ ਲੈਂਦੀਆਂ ਹਨ। ਪੈਰਾਮੀਟਰ ਹਵਾਲਾ, ਟੂਲ-ਕਾਲਿੰਗ ਸਕੀਮੇ, ਢਾਂਚਾਗਤ ਆਊਟਪੁੱਟ ਦੀਆਂ ਮਿਸਾਲਾਂ ਅਤੇ ਇੱਕ ਚੱਲਦਾ ਪਲੇਅਗਰਾਊਂਡ Shannon AI API ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਹਨ।

ਸਮਰੱਥਾ	MiMo-V2.5-Pro · W8A16
ਸੰਦਰਭ ਵਿੰਡੋ	262,144 ਟੋਕਨ
ਪ੍ਰਤੀ ਬੇਨਤੀ ਵੱਧ ਤੋਂ ਵੱਧ ਆਊਟਪੁੱਟ	16,384 ਟੋਕਨ
ਸਟ੍ਰੀਮਿੰਗ	ਹਾਂ — ਤਿੰਨੋਂ ਬੋਲੀਆਂ
ਟੂਲ ਕਾਲਿੰਗ	ਹਾਂ
ਤਰਕ / reasoning_effort	ਹਾਂ
json_schema ਢਾਂਚਾਗਤ ਆਊਟਪੁੱਟ	ਹਾਂ
response_format	ਹਾਂ
ਵਿਜ਼ਨ / ਚਿੱਤਰ ਇਨਪੁੱਟ	ਨਹੀਂ — MiMo-V2.5 ਵਰਤੋ
ਇਨਕਾਰ ਪਰਤ / ਆਊਟਪੁੱਟ ਫਿਲਟਰ	ਕੋਈ ਨਹੀਂ
ਪ੍ਰਤੀ 1M ਟੋਕਨ ਕੀਮਤ	$0.50 ਅੰਦਰ / $2.00 ਬਾਹਰ

10ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

---

ਸਰੋਤ: MiMo ਤਕਨੀਕੀ ਰਿਪੋਰਟ, arXiv:2505.07608 · MiMo-V2.5-Pro ਮਾਡਲ ਕਾਰਡ (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-ਬਿੱਟ ਇਨਫ਼ਰੈਂਸ ਸਕੇਲਿੰਗ ਨਿਯਮ, arXiv:2212.09720 · Scaling Laws for Precision, Kumar ਅਤੇ ਸਾਥੀ, ICLR 2025। ਸਾਰੇ ਬੈਂਚਮਾਰਕ ਅੰਕੜੇ ਉਨ੍ਹਾਂ ਦੇ ਲੇਖਕਾਂ ਵੱਲੋਂ ਦੱਸੇ ਗਏ ਹਨ। Shannon AI, Shannon Lab LLC, New Mexico, USA ਦਾ ਉਤਪਾਦ ਹੈ।