ನಾವು ಯಾವುದೇ ಬಳಕೆದಾರರ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸುವುದಿಲ್ಲ ಅಥವಾ ಪ್ರವೇಶಿಸುವುದಿಲ್ಲ, ಮತ್ತು ಕಾನೂನು ಜಾರಿಯ ಸಂಸ್ಥೆ ಕ್ರಮಕ್ಕೆ ಬಲಾತ್ಕರಿಸದ ಹೊರತು ಖಾತೆಗಳನ್ನು suspend ಮಾಡುವುದಿಲ್ಲ.

ಮಾಡೆಲ್ ಕಾರ್ಡ್ · MiMo-V2.5-Pro · W8A16

8-ಬಿಟ್ ನಿಷ್ಠೆಯಲ್ಲಿ ಸೆನ್ಸಾರ್ ರಹಿತ MiMo API

Xiaomi ಯ ರೀಸನಿಂಗ್-ಮೊದಲ MiMo ಫೌಂಡೇಶನ್, ನಿರಾಕರಣೆ ಪದರ ಇಲ್ಲದೆ W8A16 ನಲ್ಲಿ ಸೇವೆ ನೀಡಲಾಗಿದೆ — ನಾವು ಚಲಾಯಿಸುವ ಅತ್ಯುನ್ನತ-ನಿಷ್ಠೆಯ ಕ್ವಾಂಟೈಸೇಶನ್ ಶ್ರೇಣಿ — ಕ್ಯಾಟಲಾಗ್‌ನ ನೆಲಮಟ್ಟದ ಬೆಲೆಗೆ.

ಸೆಪ್ಟೆಂಬರ್ 5, 2026 ರಂದು ನವೀಕರಿಸಲಾಗಿದೆಮಾಡೆಲ್ ಕಾರ್ಡ್ಫೌಂಡೇಶನ್: MiMo-V2.5-Pro262K ಸಂದರ್ಭ

ಸಂಕ್ಷಿಪ್ತವಾಗಿ

MiMo-V2.5-Pro · W8A16 ಎಂಬುದು Xiaomi ಯ ಓಪನ್-ವೈಟ್ಸ್ MiMo-V2.5-Pro, Shannon ನ ಸ್ವಂತ GPU ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ 8-ಬಿಟ್ ವೈಟ್ಸ್ / 16-ಬಿಟ್ ಆಕ್ಟಿವೇಶನ್‌ಗಳಲ್ಲಿ ಸೇವೆ ನೀಡಲಾಗಿದೆ — ನಮ್ಮ ಹನ್ನೆರಡು-ಮಾಡೆಲ್ ಕ್ಯಾಟಲಾಗ್‌ನಲ್ಲಿ ಅತಿ ಕಡಿಮೆ-ಸಂಕುಚಿತ ಶ್ರೇಣಿ. 262,144-ಟೋಕನ್ ಸಂದರ್ಭ, ಪ್ರತಿ ವಿನಂತಿಗೆ 16,384 ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು, ಟೂಲ್ ಕಾಲಿಂಗ್, ರೀಸನಿಂಗ್, JSON-schema ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್, ಮೂರು API ಶೈಲಿಗಳಲ್ಲಿ ಸ್ಟ್ರೀಮಿಂಗ್, ಮತ್ತು ನಿರಾಕರಣೆ ಪದರ ಅಥವಾ ಔಟ್‌ಪುಟ್ ಫಿಲ್ಟರಿಂಗ್ ಇಲ್ಲ, ಪ್ರತಿ ಮಿಲಿಯನ್ ಟೋಕನ್‌ಗೆ $0.50 ಇನ್ / $2.00 ಔಟ್ ದರದಲ್ಲಿ — ಕ್ಯಾಟಲಾಗ್‌ನ ನೆಲಮಟ್ಟ. ಪಠ್ಯ-ಮಾತ್ರ; ಚಿತ್ರಗಳಿಗೆ MiMo-V2.5 · W8A16 ಬಳಸಿ.

ಬಹುತೇಕ ಕ್ಯಾಟಲಾಗ್‌ಗಳು ನಿಮಗೆ ಪ್ಯಾರಾಮೀಟರ್ ಎಣಿಕೆಯನ್ನು ಮಾರುತ್ತವೆ. ಅದು ಖರೀದಿಸಲು ತಪ್ಪು ಸಂಖ್ಯೆ, ಏಕೆಂದರೆ ನೀವು ನಿಜವಾಗಿ ಪಡೆಯಬಹುದಾದ ಪ್ರತಿ ದೊಡ್ಡ ಓಪನ್-ವೈಟ್ಸ್ ಮಾಡೆಲ್ ಎಲ್ಲೋ ಹೊಂದಿಸಲು ಸಂಕುಚಿಸಲ್ಪಟ್ಟಿದೆ. ಪ್ರಾಮಾಣಿಕ ಪ್ರಶ್ನೆ "ಇದನ್ನು ಹಿಂಡುವ ಮೊದಲು ಇದು ಎಷ್ಟು ದೊಡ್ಡದಾಗಿತ್ತು?" ಎಂಬುದಲ್ಲ, ಬದಲಿಗೆ "ಅದರಲ್ಲಿ ಎಷ್ಟು ಇನ್ನೂ ಇಲ್ಲಿದೆ?" ಎಂಬುದು. ಈ ಲೇಖನ ಆ ಪ್ರಶ್ನೆಯ ಬಗ್ಗೆ, ಮತ್ತು ನಮ್ಮ ಪಟ್ಟಿಯಲ್ಲಿ ಉತ್ತರ ಬಹುತೇಕ ಎಲ್ಲವೂ ಆಗಿರುವ ಮಾಡೆಲ್ ಬಗ್ಗೆ.

01ಸೆನ್ಸಾರ್ ರಹಿತ MiMo API ನಿಜವಾಗಿ ನಿಮಗೆ ಏನು ಕೊಡುತ್ತದೆ

ಸೆನ್ಸಾರ್ ರಹಿತ MiMo API ಒಂದು ಮಾಡೆಲ್ id, MiMo-V2.5-Pro-W8A16, ನಮ್ಮದೇ GPU ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಅದೇ ವೈಟ್ಸ್ ಅನ್ನು ವಿಳಾಸ ಮಾಡುವ ಮೂರು ಶೈಲಿಗಳ ಮೂಲಕ ತಲುಪಬಹುದಾಗಿದೆ: /v1/chat/completions, /v1/messages ಮತ್ತು /v1/responses. ಎಲ್ಲಾ ಮೂರೂ ಸ್ಟ್ರೀಮ್ ಆಗುತ್ತವೆ ಮತ್ತು ಟೂಲ್ ಕಾಲಿಂಗ್ ಮತ್ತು ರೀಸನಿಂಗ್ ಬೆಂಬಲಿಸುತ್ತವೆ.

ಸೆನ್ಸಾರ್ ರಹಿತ ಎಂಬುದಕ್ಕೆ ಇಲ್ಲಿ ಸಂಕುಚಿತ ಅರ್ಥವಿದೆ: ಮಾಡೆಲ್‌ನ ಮುಂದೆ ನಿರಾಕರಣೆ ಪದರ ಇಲ್ಲ, ಅದರ ಔಟ್‌ಪುಟ್ ಮೇಲೆ ಫಿಲ್ಟರ್ ಇಲ್ಲ. ನಾವು ಪ್ರತಿಬಂಧಿಸುವುದಿಲ್ಲ, ವರ್ಗೀಕರಿಸುವುದಿಲ್ಲ ಅಥವಾ ಮರುಬರೆಯುವುದಿಲ್ಲ. ನಿಮಗೆ ಫೌಂಡೇಶನ್‌ನ ಸ್ವಂತ ವರ್ತನೆ ಸಿಗುತ್ತದೆ — ಸಂಶೋಧನಾ-ದರ್ಜೆಯ ಓಪನ್-ವೈಟ್ಸ್ ಮಾಡೆಲ್‌ಗೆ ಇದರ ಅರ್ಥ ಅದು ಭದ್ರತಾ ಸಂಶೋಧನೆ, ವಯಸ್ಕ ಅಥವಾ ಹಿಂಸಾತ್ಮಕ ಕಥಾಸಾಹಿತ್ಯ, ವೈದ್ಯಕೀಯ ಮತ್ತು ಕಾನೂನು ರೀಸನಿಂಗ್, ಮತ್ತು ಹೋಸ್ಟ್ ಮಾಡಿದ ವಾಣಿಜ್ಯಿಕ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳು ಪ್ರತಿವರ್ತನದಿಂದ ನಿರಾಕರಿಸುವ ವಿನಂತಿಗಳೊಂದಿಗೆ ತೊಡಗಿಸಿಕೊಳ್ಳುತ್ತದೆ ಎಂದು. ಇದು ನಮ್ಮ ಜವಾಬ್ದಾರಿಯುತ ಬಳಕೆ ನೀತಿಯಡಿ ವೃತ್ತಿಪರ ಸಾಧನ, ನಿಯಮಗಳ ಅನುಪಸ್ಥಿತಿಯಲ್ಲ.

262K

ಸಂದರ್ಭ ವಿಂಡೋ

16,384

ಗರಿಷ್ಠ ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು

$0.50

ಪ್ರತಿ 1M ಇನ್‌ಪುಟ್

$2.00

ಪ್ರತಿ 1M ಔಟ್‌ಪುಟ್

02MiMo ವಂಶಾವಳಿ: ರೀಸನಿಂಗ್-ಮೊದಲ ಪೂರ್ವ-ತರಬೇತಿಯ ಮೇಲೆ Xiaomi ಯ ಪಣ

MiMo ಹೊಸ ಹೆಸರಿನ Llama ಉತ್ಪನ್ನವಲ್ಲ; ಇದು Xiaomi ಯ MiMo ತಂಡದಿಂದ ಒಂದು ವಿಭಿನ್ನ ವಂಶಾವಳಿ, ಮತ್ತು ಮಾಡೆಲ್ ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ಮೊದಲು ಅದರ ಸ್ಥಾಪಕ ಕಲ್ಪನೆ ಮುಖ್ಯ. ಇದು MiMo-7B ಜೊತೆ ಆರಂಭವಾಗುತ್ತದೆ (ಏಪ್ರಿಲ್ 30, 2025, MIT-ಪರವಾನಗಿ ಪಡೆದ), ಅದರ ತಾಂತ್ರಿಕ ವರದಿ ಬಹುತೇಕ ಲ್ಯಾಬ್‌ಗಳು ರೀಸನಿಂಗ್ ಅನ್ನು RL ಜೊತೆ ಜೋಡಿಸಬೇಕಾದ ಪೋಸ್ಟ್-ತರಬೇತಿ ಸಮಸ್ಯೆಯಾಗಿ ಪರಿಗಣಿಸುತ್ತವೆ ಎಂದು ವಾದಿಸುತ್ತದೆ, ಮತ್ತು ಇದು ತಲೆಕೆಳಗು ಎಂದು. ಬದಲಿಗೆ Xiaomi ಪೂರ್ವ-ತರಬೇತಿಯನ್ನೇ ಅದರ ಸುತ್ತ ಮರುರೂಪಿಸಿತು: 25 ಟ್ರಿಲಿಯನ್ ಟೋಕನ್‌ಗಳಾದ್ಯಂತ ಮೂರು-ಹಂತದ ಮಿಶ್ರಣ, ಎರಡನೇ ಹಂತ ಸುಮಾರು 70% ಗಣಿತ ಮತ್ತು ಕೋಡ್ ಚಲಾಯಿಸುತ್ತದೆ, ಮೂರನೇ ಹಂತ ಸಂದರ್ಭವನ್ನು 8K ಇಂದ 32K ಗೆ ವಿಸ್ತರಿಸುತ್ತಾ ಸಿಂಥೆಟಿಕ್ ರೀಸನಿಂಗ್ ಟ್ರೇಸ್‌ಗಳನ್ನು ಸೇರಿಸುತ್ತದೆ — ಜೊತೆಗೆ ಸ್ಪೆಕ್ಯುಲೇಟಿವ್-ಡಿಕೋಡಿಂಗ್ ಹೆಡ್ ಆಗಿಯೂ ಕೆಲಸ ಮಾಡುವ Multi-Token Prediction ಉದ್ದೇಶ.

ಫಲಿತಾಂಶ ಬಹಳ ದೊಡ್ಡದೊಂದರಂತೆ ವರ್ತಿಸುವ 7B ಬೇಸ್ ಮಾಡೆಲ್ ಆಗಿತ್ತು. MiMo-7B-Base AIME 2024 ರಲ್ಲಿ 32.9 ಸ್ಕೋರ್ ಮಾಡಿತು, ಅಲ್ಲಿ Qwen2.5-7B 10.1, Gemma-2-9B 0.0 ಮತ್ತು Llama-3.1-8B 0.3 ಸ್ಕೋರ್ ಮಾಡಿದವು. ನಂತರ ಪೋಸ್ಟ್-ತರಬೇತಿ ಪರೀಕ್ಷಾ-ಕಷ್ಟ-ಚಾಲಿತ ಕೋಡ್ ರಿವಾರ್ಡ್ ಜೊತೆ 130,000 ಪರಿಶೀಲಿಸಬಹುದಾದ ಗಣಿತ ಮತ್ತು ಕೋಡ್ ಸಮಸ್ಯೆಗಳ ಮೇಲೆ RL ಚಲಾಯಿಸಿತು, ಕೋಡ್ RL ಅನ್ನು ಅಸ್ಥಿರಗೊಳಿಸುವ ವಿರಳ-ರಿವಾರ್ಡ್ ಬಲೆಯಿಂದ ತಪ್ಪಿಸಿಕೊಂಡಿತು. ಫಲಿತಾಂಶ o1-mini ಗಿಂತ ಮುಂದೆ ಬಂತು:

MiMo-7B-RL55.4

o1-mini50.7

R1-Distill-Qwen-7B38.8

QwQ-32B-Preview32.4

AIME 2025, MiMo ತಾಂತ್ರಿಕ ವರದಿಯಿಂದ (arXiv:2505.07608) Xiaomi-ವರದಿ ಮಾಡಿದ ಅಂಕಿಗಳು. MiMo-7B-RL MATH-500 ನಲ್ಲಿ 95.8 ಮತ್ತು LiveCodeBench v5 ನಲ್ಲಿ 57.8 ಅನ್ನೂ ವರದಿ ಮಾಡಿತು.

ಈ ಕುಟುಂಬ ಬೇರೆಡೆ ಹೋಗುವ ಬದಲು ವಿಸ್ತರಿಸಿತು: MiMo-VL-7B (ಜೂನ್ 2025) ಅದೇ ಬ್ಯಾಕ್‌ಬೋನ್ ಮೇಲೆ Qwen2.5-ViT ಎನ್ಕೋಡರ್ ಇರಿಸಿತು, ಮತ್ತು ಡಿಸೆಂಬರ್ 2025 MiMo-Audio-7B ಜೊತೆಗೆ ಮೊದಲ MoE ಪ್ರವೇಶ, MiMo-V2-Flash (309B ಒಟ್ಟು / 15B ಸಕ್ರಿಯ, 27T ಟೋಕನ್‌ಗಳು, FP8 ಮಿಶ್ರ ನಿಖರತೆ) ತಂದಿತು. MiMo-V2-Pro ಮಾರ್ಚ್ 2026 ರಲ್ಲಿ ಸುಮಾರು 1T / 42B ಸಕ್ರಿಯ ಜೊತೆ 1M ಸಂದರ್ಭ ಹೊಂದಿ ಅನುಸರಿಸಿತು, OpenRouter ನಲ್ಲಿ "Hunter Alpha" ಆಗಿ ವಾರಗಟ್ಟಲೆ ಇದ್ದ ನಂತರ. MiMo-V2.5 ಮತ್ತು MiMo-V2.5-Pro ಏಪ್ರಿಲ್ 22, 2026 ರಂದು ಒಟ್ಟಿಗೆ ಬಿಡುಗಡೆಯಾದವು, ಎರಡೂ MIT.

03MiMo-V2.5-Pro ಒಳಗೆ: ಫೌಂಡೇಶನ್ ಹೇಗಿದೆ

Xiaomi ಯ ಪ್ರಕಟಿತ ಮಾಡೆಲ್ ಕಾರ್ಡ್ ಪ್ರಕಾರ, MiMo-V2.5-Pro ಒಂದು ಸ್ಪಾರ್ಸ್ ಮಿಶ್ರಣ-ಆಫ್-ಎಕ್ಸ್‌ಪರ್ಟ್ಸ್ ಮಾಡೆಲ್, 1.02 ಟ್ರಿಲಿಯನ್ ಒಟ್ಟು ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು ಮತ್ತು ಪ್ರತಿ ಟೋಕನ್‌ಗೆ 42 ಬಿಲಿಯನ್ ಸಕ್ರಿಯ 70 ಪದರಗಳಾದ್ಯಂತ — ಒಂದು ಡೆನ್ಸ್, 69 MoE — ಮತ್ತು 384 ರೂಟ್ ಮಾಡಿದ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳು, ಪ್ರತಿ ಟೋಕನ್‌ಗೆ 8 ಜೊತೆ. ಹಿಡನ್ ಸೈಜ್ 6144, 2048 ರ ಕಿರಿದಾದ MoE ಇಂಟರ್ಮೀಡಿಯೇಟ್ ಸೈಜ್ ಜೊತೆ.

1.02T

ಒಟ್ಟು ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು

42B

ಸಕ್ರಿಯ / ಟೋಕನ್

384

ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳು (8 ಸಕ್ರಿಯ)

ಪದರಗಳು

ಎರಡು ಆಯ್ಕೆಗಳು ಬಳಕೆಯಲ್ಲಿ ಅದು ಹೇಗೆ ಅನುಭವಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ರೂಪಿಸುತ್ತವೆ. ಅಟೆನ್ಷನ್ ಸ್ಟ್ಯಾಕ್ ಹೈಬ್ರಿಡ್: 10 ಪೂರ್ಣ-ಅಟೆನ್ಷನ್ ಪದರಗಳು ಮತ್ತು 128 ವಿಂಡೋ ಇರುವ 60 ಸ್ಲೈಡಿಂಗ್-ವಿಂಡೋ ಪದರಗಳು, ಜೊತೆಗೆ ಕಲಿಯಬಹುದಾದ attention-sink ಬಯಾಸ್. ಇದು ಎಲ್ಲಾ-ಗ್ಲೋಬಲ್ ಅಟೆನ್ಷನ್‌ಗೆ ಎದುರಾಗಿ KV-ಕ್ಯಾಶ್ ಸಂಗ್ರಹವನ್ನು ದೀರ್ಘ-ಸಂದರ್ಭ ಗುಣಮಟ್ಟ ಹಿಡಿದಿಟ್ಟುಕೊಂಡು ಸುಮಾರು 7x ಕಡಿಮೆಗೊಳಿಸುತ್ತದೆ ಎಂದು Xiaomi ವರದಿ ಮಾಡುತ್ತದೆ — ನಾಮಮಾತ್ರವಾಗಿ ದೀರ್ಘವಾದ ವಿಂಡೋ ಮತ್ತು ನೀವು ತುಂಬಿಸಲು ಪಡೆಯಬಹುದಾದ ವಿಂಡೋ ನಡುವಿನ ವ್ಯತ್ಯಾಸ. ಇದು ಮೂರು Multi-Token Prediction ಪದರಗಳನ್ನೂ ಒಳಗೊಂಡಿದೆ, ಡಿಕೋಡರ್‌ಗೆ ಸ್ಪೆಕ್ಯುಲೇಟಿವ್ ಹೆಡ್ ನೀಡುತ್ತದೆ.

ತರಬೇತಿ 27 ಟ್ರಿಲಿಯನ್ ಟೋಕನ್‌ಗಳಷ್ಟಿತ್ತು, ಸ್ಥಳೀಯ 32K ಅನುಕ್ರಮ ಉದ್ದದಲ್ಲಿ FP8 (E4M3) ಮಿಶ್ರ ನಿಖರತೆಯಲ್ಲಿ, ನಂತರ supervised fine-tuning, ದೊಡ್ಡ-ಪ್ರಮಾಣದ ಏಜೆಂಟಿಕ್ RL ಮತ್ತು ಮಲ್ಟಿ-ಟೀಚರ್ ಆನ್-ಪಾಲಿಸಿ ಡಿಸ್ಟಿಲೇಶನ್. ಆ FP8 ವಿವರವನ್ನು ನೆನಪಿಟ್ಟುಕೊಳ್ಳಿ; ಈ ಫೌಂಡೇಶನ್ ಅನ್ನು 8 ಬಿಟ್‌ಗಳಲ್ಲಿ ಸೇವೆ ನೀಡುವುದಕ್ಕೆ ಇದೇ ಅತ್ಯಂತ ಬಲಿಷ್ಠ ಒಂಟಿ ವಾದ.

Xiaomi ಮಾಡೆಲ್ ಅನ್ನು SWE-bench Pro ನಲ್ಲಿ 57.2%, ಟೂಲ್ ಬಳಕೆಗಾಗಿ τ3-Bench ನಲ್ಲಿ 72.9 ಮತ್ತು Humanity's Last Exam ನಲ್ಲಿ 48.0% ಎಂದು ವರದಿ ಮಾಡುತ್ತದೆ — ಸಂಕುಚಿತವಲ್ಲದ ಮಾಡೆಲ್ ಮೇಲೆ ಮಾರಾಟಗಾರರ ಸ್ವಂತ ಸಂಖ್ಯೆಗಳು, ಹಾಗೆಯೇ ಉಲ್ಲೇಖಿಸಲಾಗಿದೆ.

ನಾವು ಫೌಂಡೇಶನ್‌ನ ಪೂರ್ಣ 1M ಅಲ್ಲ, 262,144-ಟೋಕನ್ ವಿಂಡೋವನ್ನು ಸೇವೆ ನೀಡುತ್ತೇವೆ — ಲೋಡ್ ಅಡಿಯಲ್ಲಿ ಕುಸಿಯುವ ಹೆಡ್‌ಲೈನ್ ಸಂಖ್ಯೆಗಿಂತ ವೇಗದಲ್ಲಿ ನಾವು ಖಾತರಿಪಡಿಸಬಹುದಾದ ಸಂದರ್ಭ.

04W8A16 ಎಂದರೆ ನಿಖರವಾಗಿ ಏನು

ಈ ಕ್ಯಾಟಲಾಗ್‌ನಲ್ಲಿ ಪ್ರತಿ ಮಾಡೆಲ್ ಮಾರ್ಕೆಟಿಂಗ್ ಶ್ರೇಣಿಗಿಂತ ನಿಜವಾದ, ಅಳೆಯಬಹುದಾದ ರೂಪಾಂತರವನ್ನು ವಿವರಿಸುವ ಕ್ವಾಂಟೈಸೇಶನ್ ಸಫಿಕ್ಸ್ ಹೊಂದಿದೆ. ನಮ್ಮವು 3BIT-REAP, W4A16-AUTOROUND-REAP ಮತ್ತು W8A16. MiMo-V2.5-Pro ಮೂರನೆಯದು.

ಈ ಸಂಕೇತ ಎರಡಾಗಿ ವಿಭಜಿಸುತ್ತದೆ. W8 ವೈಟ್ ನಿಖರತೆ: ಪ್ರತಿ ಪ್ಯಾರಾಮೀಟರ್ ಅನ್ನು 16-ಬಿಟ್ ಫ್ಲೋಟ್ ಬದಲಿಗೆ 8-ಬಿಟ್ ಇಂಟೀಜರ್ ಆಗಿ ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆ, ಪ್ರತಿ ಚಿಕ್ಕ ಗುಂಪಿಗೆ ಹಂಚಿದ ಸ್ಕೇಲಿಂಗ್ ಫ್ಯಾಕ್ಟರ್ ಜೊತೆ ಇದರಿಂದ ಪ್ರತಿ ಗುಂಪಿನ ಸ್ಥಳೀಯ ಡೈನಾಮಿಕ್ ರೇಂಜ್ ಉಳಿಯುತ್ತದೆ. A16 ಆಕ್ಟಿವೇಶನ್ ನಿಖರತೆ: ಇನ್ಫರೆನ್ಸ್‌ನಲ್ಲಿ ಪದರಗಳ ನಡುವೆ ಹರಿಯುವ ಮೌಲ್ಯಗಳು 16 ಬಿಟ್‌ಗಳಲ್ಲೇ ಉಳಿಯುತ್ತವೆ. ವೈಟ್ಸ್ ಸಂಕುಚಿತವಾಗುತ್ತವೆ; ಗಣಿತ ಆಗುವುದಿಲ್ಲ.

ಆ ಎರಡನೇ ಅರ್ಧ ಮೌನವಾದ, ಮುಖ್ಯವಾದ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ಆಕ್ಟಿವೇಶನ್‌ಗಳನ್ನು ವೈಟ್ಸ್‌ಗಿಂತ ಕ್ವಾಂಟೈಸ್ ಮಾಡುವುದು ಬಹಳ ಕಷ್ಟ: ಅವು ವಿಪರೀತ ಔಟ್‌ಲೈಯರ್ ಚಾನೆಲ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿವೆ — ಕೆಲವು ಆಯಾಮಗಳು ತಮ್ಮ ಗಾತ್ರದಲ್ಲಿ ಇತರೆಲ್ಲವನ್ನೂ ಕುಬ್ಜಗೊಳಿಸುತ್ತವೆ ಮತ್ತು ಮಾಡೆಲ್‌ನ ವರ್ತನೆಯ ಅಸಮಾನ ಪಾಲನ್ನು ಹೊತ್ತಿವೆ. ಅವನ್ನು ಕಡಿಮೆ ನಿಖರತೆಗೆ ತಳ್ಳಿದರೆ ನಿಮಗೆ ಬೇಕಾದ ಸಂಕೇತವನ್ನೇ ನೀವು ಕ್ಲಿಪ್ ಮಾಡುತ್ತೀರಿ. ವೈಟ್-ಮಾತ್ರ ಯೋಜನೆಗಳು ಆಕ್ಟಿವೇಶನ್ ಮಾರ್ಗವನ್ನು ಮುಟ್ಟದೆ ಬಿಟ್ಟು ಈ ಸಮಸ್ಯೆಯನ್ನು ತಪ್ಪಿಸುತ್ತವೆ, ಅದಕ್ಕಾಗಿಯೇ ಗಂಭೀರ ಕ್ವಾಂಟೈಸೇಶನ್ ಕೆಲಸ ಅವುಗಳ ಕಡೆಗೆ ಒಮ್ಮುಖವಾಗಿದೆ.

ಆದ್ದರಿಂದ ಪ್ರಾಯೋಗಿಕ ಪ್ರಶ್ನೆ ಒಂದಕ್ಕೆ ಸಂಕುಚಿಸುತ್ತದೆ: ಒಂದು ವೈಟ್ ಎಷ್ಟು ಕಡಿಮೆ ಬಿಟ್‌ಗಳನ್ನು ಸಹಿಸಬಲ್ಲದು?

05W8A16 vs W4A16 vs 3-ಬಿಟ್: ನಷ್ಟ ನಿಜವಾಗಿ ಎಲ್ಲಿ ಹೋಗುತ್ತದೆ

ಇದರ ಮೇಲಿನ ಅತಿ ದೊಡ್ಡ ಪ್ರಕಟಿತ ಅಧ್ಯಯನ Neural Magic ಮತ್ತು Red Hat ಯ "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — Llama-3.1 ಕುಟುಂಬದಾದ್ಯಂತ 8B, 70B ಮತ್ತು 405B ನಲ್ಲಿ 500,000 ಕ್ಕೂ ಹೆಚ್ಚು ಮೌಲ್ಯಮಾಪನಗಳು. ಅವರ ಸಂಖ್ಯೆಗಳಲ್ಲಿ, ಅವರ ಪ್ರಮುಖ ಫಲಿತಾಂಶ:

ಫಾರ್ಮ್ಯಾಟ್	ಏನನ್ನು ಸಂಕುಚಿಸಲಾಗಿದೆ	BF16 ಗೆ ಎದುರಾಗಿ ವರದಿಯಾದ ಮರುಪಡೆಯುವಿಕೆ
W8A8-FP (8-bit)	ವೈಟ್ಸ್ + ಆಕ್ಟಿವೇಶನ್‌ಗಳು, ಫ್ಲೋಟ್	~99.75% ಸರಾಸರಿ — "ಬಹುತೇಕ ನಷ್ಟರಹಿತ"
W8A8-INT (8-bit)	ವೈಟ್ಸ್ + ಆಕ್ಟಿವೇಶನ್‌ಗಳು, ಇಂಟೀಜರ್	8B/70B ನಲ್ಲಿ 99–100%; 405B ನಲ್ಲಿ 98.2–99.3%
W4A16-INT (4-bit)	ವೈಟ್ಸ್ ಮಾತ್ರ	98–99.4% (8B); 98.6–99.8% (70B)

Llama-3.1 ಮಾಡೆಲ್‌ಗಳ ಮೇಲೆ Neural Magic / Red Hat (arXiv:2411.02355) ವರದಿ ಮಾಡಿದ ಅಂಕಿಗಳು — ಟ್ರೇಡ್-ಆಫ್‌ನ ಆಕಾರ, ಈ ಮಾಡೆಲ್‌ನ ಸ್ಕೋರ್ ಅಲ್ಲ.

ಪ್ರಾಮಾಣಿಕವಾಗಿ ಓದಿದರೆ, ಅದು ಗಮನ ಕೊಡುವುದರ ವಿರುದ್ಧ ವಾದದಂತೆ ಕಾಣುತ್ತದೆ: 4-ಬಿಟ್ 98–99% ಮರಳಿ ಪಡೆಯುತ್ತದೆ, ಹಾಗಾದರೆ ಏಕೆ ಗಮನ ಕೊಡಬೇಕು? ಏಕೆಂದರೆ ಅವು ಅಕಾಡೆಮಿಕ್ ಬಹು-ಆಯ್ಕೆ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು, ಕ್ವಾಂಟೈಸೇಶನ್ ಹಾನಿಯನ್ನು ಪತ್ತೆ ಮಾಡಲು ಲಭ್ಯವಿರುವ ಅತ್ಯಂತ ಕೆಟ್ಟ ಸಾಧನಕ್ಕೆ ಹತ್ತಿರ. ಬೆಂಚ್‌ಮಾರ್ಕ್ ಪ್ರಶ್ನೆಗೆ ಒಂದು ಅಥವಾ ಎರಡು ಟೋಕನ್‌ಗಳಲ್ಲಿ ತಲುಪಬಹುದಾದ ಒಂದೇ ಸರಿಯಾದ ಉತ್ತರ ಇರುತ್ತದೆ, ಮತ್ತು ಕ್ವಾಂಟೈಸೇಶನ್ ದೋಷ ಚಿಕ್ಕದು, ಪ್ರತಿ ಲಾಗಿಟ್‌ನ ಮೇಲೆ ಸ್ಥೂಲವಾಗಿ ಶೂನ್ಯ-ಸರಾಸರಿ ಶಬ್ದ; ವಿಶಾಲ ಅಂತರ ಇರುವ ಚಿಕ್ಕ ಪ್ರಶ್ನೆಯಲ್ಲಿ, ಆ ಶಬ್ದ ಹೀರಲ್ಪಡುತ್ತದೆ.

ಈಗ 4,000 ಟೋಕನ್‌ಗಳ ತಾಂತ್ರಿಕ ದಾಖಲೆಯನ್ನು ಬರೆಯಿರಿ, 40,000-ಟೋಕನ್ ಕಥೆಯುದ್ದಕ್ಕೂ ಒಂದು ಧ್ವನಿಯನ್ನು ಹಿಡಿದಿಟ್ಟುಕೊಳ್ಳಿ, ಅಥವಾ ಮೊದಲ ಪ್ರಯತ್ನದಲ್ಲೇ ಮಾನ್ಯವಾಗಬೇಕಾದ JSON ಹೊರಸೂಸಿ. ಅದೇ ಶಬ್ದ ಸಾವಿರಾರು ಬಾರಿ ಅನುಕ್ರಮವಾಗಿ ಮಾದರಿ ತೆಗೆಯಲ್ಪಡುತ್ತದೆ, ಪ್ರತಿ ಮಾದರಿ ಮುಂದಿನದನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ. ವೈಫಲ್ಯದ ವಿಧಾನ ತಪ್ಪು ಉತ್ತರವಲ್ಲ — ಅದು ಡ್ರಿಫ್ಟ್: ಸುತ್ತು ಒಂದರಿಂದಲೇ ಸೂಚನೆಯ ಮೇಲಿನ ಹಿಡಿತ ಸಡಿಲಗೊಳ್ಳುವುದು, ಟೋಕನ್ 3,000 ರ ಸುಮಾರಿಗೆ ತನ್ನಂತೆ ಧ್ವನಿಸುವುದನ್ನು ನಿಲ್ಲಿಸುವ ಪಾತ್ರ, ಎಂದೂ ಬಾರದ ಕ್ಲೋಸಿಂಗ್ ಬ್ರೇಸ್.

ಬಿಟ್‌ಗಳು ನಿಜವಾಗಿ ಎಲ್ಲಿ ಹೋಗುತ್ತವೆ

ಕ್ವಾಂಟೈಸೇಶನ್ ದೋಷ ಮಾಡೆಲ್‌ನ ಸಾಮರ್ಥ್ಯಗಳಾದ್ಯಂತ ಸಮನಾಗಿ ಹರಡಿಲ್ಲ; ಇದು ಬಾಲದಲ್ಲಿ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ. ಹೆಚ್ಚಿನ-ಮಾಸ್ ವರ್ತನೆಗಳು — ವ್ಯಾಕರಣಬದ್ಧ ಇಂಗ್ಲಿಷ್, Python ಫಂಕ್ಷನ್‌ನ ಆಕಾರ, ಜಗತ್ತಿನ ಬಗ್ಗೆ ಟಾಪ್ ಸಾವಿರ ಸತ್ಯಗಳು — ಅನೇಕ ವೈಟ್ಸ್‌ಗಳಾದ್ಯಂತ ಪುನರುಕ್ತವಾಗಿ ಎನ್ಕೋಡ್ ಆಗಿವೆ ಮತ್ತು ಬಹುತೇಕ ಎಲ್ಲದರಿಂದ ಉಳಿಯುತ್ತವೆ. ವೈಟ್ ವಿತರಣೆಯ ನಿಖರವಾಗಿ-ಟ್ಯೂನ್ ಮಾಡಿದ, ಚಿಕ್ಕ-ಗಾತ್ರದ ಮೂಲೆಗಳು ಅಪರೂಪದ ವಿಷಯಗಳನ್ನು ಹಿಡಿದಿಟ್ಟುಕೊಂಡಿವೆ: ಅಸ್ಪಷ್ಟ API ಯ ನಿಖರ ಸಿಗ್ನೇಚರ್, ನಿರ್ದಿಷ್ಟ ಲೇಖಕರ ಲಯ, ಎರಡು ಪಕ್ಕದ CVE ಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸ. ಒರಟಾದ ಗ್ರಿಡ್ ಒಂದಕ್ಕೊಂದು ಸುತ್ತಿಸುವ ಮೌಲ್ಯಗಳು ಇವೇ.

4 ಬಿಟ್‌ಗಳಿಂದ 3 ಕ್ಕೆ ಇಳಿಯುವ ಹೆಜ್ಜೆ ಇದು ತೆರಿಗೆಯಾಗಿರುವುದನ್ನು ನಿಲ್ಲಿಸಿ ಪ್ರಪಾತವಾಗುವ ಸ್ಥಳ. Dettmers ಮತ್ತು Zettlemoyer ರ k-bit inference ಸ್ಕೇಲಿಂಗ್ ಕಾನೂನುಗಳು 4-ಬಿಟ್ ಅನ್ನು ಮಾಡೆಲ್ ಮೆಮೊರಿಯ ಪ್ರತಿ ಬಿಟ್‌ಗೆ ಶೂನ್ಯ-ಶಾಟ್ ನಿಖರತೆಯನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುವ ಬಿಂದು ಎಂದು ಕಂಡುಕೊಂಡವು, ಅದಕ್ಕಿಂತ ಕೆಳಗೆ ಕ್ಷೀಣತೆ ಪ್ರಾಬಲ್ಯ ಪಡೆಯುತ್ತದೆ. ನಾಲ್ಕು ಬಿಟ್‌ಗಳು ಪ್ರತಿ ಗುಂಪಿಗೆ 16 ಹಂತಗಳನ್ನು ನೀಡುತ್ತವೆ; ಮೂರು 8 ನೀಡುತ್ತವೆ. ನೀವು ಈಗಾಗಲೇ ಒರಟಾದ ಗ್ರಿಡ್‌ನ ರೆಸಲ್ಯೂಶನ್ ಅನ್ನು ಅರ್ಧಗೊಳಿಸುತ್ತಿದ್ದೀರಿ, ಮತ್ತು ಪ್ರತಿ ವೈಟ್‌ಗೆ ರೌಂಡ್-ಆಫ್ ದೋಷ ಸ್ಥೂಲವಾಗಿ ದ್ವಿಗುಣಗೊಳ್ಳುತ್ತದೆ.

256

ಪ್ರತಿ ಗುಂಪಿಗೆ ಹಂತಗಳು · 8-ಬಿಟ್

ಪ್ರತಿ ಗುಂಪಿಗೆ ಹಂತಗಳು · 4-ಬಿಟ್

ಪ್ರತಿ ಗುಂಪಿಗೆ ಹಂತಗಳು · 3-ಬಿಟ್

ಅದನ್ನು ನಿರ್ಧರಿಸುವ ಗಣಿತ

ಮಾಡಬೇಕಾದ ಹೋಲಿಕೆ ಗಣಿತ, ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅಲ್ಲ. ಸಂಕುಚನದಿಂದ ಉಳಿಯುವುದು ಸುಮಾರಾಗಿ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು × ಪ್ರತಿ ಪ್ಯಾರಾಮೀಟರ್‌ಗೆ ಬಿಟ್‌ಗಳು — ವೈಟ್ ಫೈಲ್‌ನ ಮಾಹಿತಿ-ಹೊತ್ತ ಪ್ರಮಾಣ. ಪ್ರತಿ ಪ್ಯಾರಾಮೀಟರ್‌ಗೆ ಸಮಾನ ಗುಣಮಟ್ಟದ ಎರಡು ಕಾಲ್ಪನಿಕ ಫೌಂಡೇಶನ್‌ಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಿ:

ಫೌಂಡೇಶನ್ A: 3 ಬಿಟ್‌ಗಳಲ್ಲಿ 400B ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು → ಸುಮಾರು 150 GB ಉಳಿಸಿಕೊಂಡ ವೈಟ್.
ಫೌಂಡೇಶನ್ B: 8 ಬಿಟ್‌ಗಳಲ್ಲಿ 160B ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು → ಸುಮಾರು 160 GB ಉಳಿಸಿಕೊಂಡ ವೈಟ್.

ಕಚ್ಚಾ ಪ್ಯಾರಾಮೀಟರ್ ಎಣಿಕೆಯ ಪ್ರಕಾರ A ಎರಡೂವರೆ-ಒಂದಕ್ಕೆ ಗೆಲ್ಲುತ್ತದೆ — ಮಾಡೆಲ್ ಕಾರ್ಡ್ ಮುಂಚೂಣಿಯಲ್ಲಿಡುವ ಸಂಖ್ಯೆ. ಉಳಿಸಿಕೊಂಡ ಮಾಹಿತಿಯ ಪ್ರಕಾರ ಅವು ಸಮಾನ, ಮತ್ತು B ಗೆ ಜೊತೆಗೆ ರಚನಾತ್ಮಕ ಪ್ರಯೋಜನವಿದೆ: ಅದರ ವೈಟ್ಸ್ ಎಷ್ಟು ಸೂಕ್ಷ್ಮ ಗ್ರಿಡ್ ಮೇಲೆ ಕೂತಿವೆ ಎಂದರೆ ಅದರ ಬಾಲ ವರ್ತನೆ ಹಾಗೆಯೇ ಇದೆ, ಆದರೆ A ಯ ಬಾಲ ಬಲ್ಕ್‌ಗೆ ಕ್ವಾಂಟೈಸ್ ಆಗಿಬಿಟ್ಟಿದೆ. A ಹೆಚ್ಚು ವಿಷಯಗಳನ್ನು ತಿಳಿದಿದೆ; B ತಾನು ತಿಳಿದಿರುವುದನ್ನು ಹೆಚ್ಚು ತೀಕ್ಷ್ಣವಾಗಿ ತಿಳಿದಿದೆ. ದೀರ್ಘ ಜನರೇಶನ್, ನಿಖರ ಫಾರ್ಮ್ಯಾಟಿಂಗ್, ಶೈಲಿಗತ ನಿಯಂತ್ರಣ ಮತ್ತು ನಿಷ್ಠಾವಂತ ದೀರ್ಘ-ಸಂದರ್ಭ ಅನುಸರಣೆಗೆ, B ತೆಗೆದುಕೊಳ್ಳಿ.

ವಿವರಣಾತ್ಮಕ ಗಣಿತ, ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅಲ್ಲ: "ದೊಡ್ಡ ಫೌಂಡೇಶನ್" ಮತ್ತು "ಉತ್ತಮ ಸೇವೆ ಪಡೆದ ಮಾಡೆಲ್" ಏಕೆ ಬೇರೆ ಬೇರೆ ಹಕ್ಕುಗಳು ಎಂಬುದನ್ನು ಇದು ತೋರಿಸುತ್ತದೆ.

0627 ಟ್ರಿಲಿಯನ್ ತರಬೇತಿ ಟೋಕನ್‌ಗಳು ಆಕ್ರಮಣಕಾರಿ ಕ್ವಾಂಟೈಸೇಶನ್ ಅನ್ನು ಏಕೆ ಇನ್ನಷ್ಟು ಕೆಟ್ಟದ್ದಾಗಿಸುತ್ತವೆ

ಎರಡನೇ, ಕಡಿಮೆ ಸಹಜವಾದ ಫಲಿತಾಂಶ ಈ ಫೌಂಡೇಶನ್‌ಗೆ ನೇರವಾಗಿ ಅನ್ವಯಿಸುತ್ತದೆ. Kumar et al. ಯ ICLR 2025 ಪೇಪರ್ Scaling Laws for Precision ಮಾಡೆಲ್ ಎಷ್ಟು ಹೆಚ್ಚು ಡೇಟಾದ ಮೇಲೆ ತರಬೇತಿ ಪಡೆದಿತ್ತೋ, ಪೋಸ್ಟ್-ತರಬೇತಿ ಕ್ವಾಂಟೈಸೇಶನ್ ಅಷ್ಟು ಹೆಚ್ಚು ಹಾನಿ ಮಾಡುತ್ತದೆ ಎಂದು ಕಂಡುಕೊಳ್ಳುತ್ತದೆ. ಕಡಿಮೆ ನಿಖರತೆ ಮಾಡೆಲ್‌ನ ಪರಿಣಾಮಕಾರಿ ಪ್ಯಾರಾಮೀಟರ್ ಎಣಿಕೆಯನ್ನು ಕಡಿಮೆಗೊಳಿಸುತ್ತದೆ, ಮತ್ತು ಆ ಕ್ಷೀಣತೆ ಹೀರಿಕೊಂಡ ಪೂರ್ವ-ತರಬೇತಿ ಡೇಟಾದೊಂದಿಗೆ ಬೆಳೆಯುತ್ತದೆ — ನೀವು ಆಕ್ರಮಣಕಾರಿಯಾಗಿ ಕ್ವಾಂಟೈಸ್ ಮಾಡಲು ಉದ್ದೇಶಿಸಿದರೆ ಹೆಚ್ಚುವರಿ ಪೂರ್ವ-ತರಬೇತಿ ಡೇಟಾ ನಿವ್ವಳ ಹಾನಿಕಾರಕವಾಗಬಹುದು ಎಷ್ಟರಮಟ್ಟಿಗೆ, ಏಕೆಂದರೆ ಗ್ರಿಡ್ ಅಳಿಸಿಹಾಕುವ ಸೂಕ್ಷ್ಮ ರಚನೆಯನ್ನು ನೀವು ಹಾಕುತ್ತಿದ್ದೀರಿ.

5T ಟೋಕನ್‌ಗಳ ಮೇಲೆ ತರಬೇತಿ ಪಡೆದ ಮಾಡೆಲ್‌ಗೆ ಒರಟಾದ, ಪುನರುಕ್ತ ವೈಟ್ ರಚನೆ ಮತ್ತು ಬಿಡುವು ಇರುತ್ತದೆ. 27T ಟೋಕನ್‌ಗಳ ಮೇಲೆ ತರಬೇತಿ ಪಡೆದ ಮಾಡೆಲ್ — MiMo-V2.5-Pro ಯ ಬಜೆಟ್ — ಆ ಹೆಚ್ಚುವರಿ ಡೇಟಾವನ್ನು ಹೆಚ್ಚು ನಿಖರ ವೈಟ್ ಮೌಲ್ಯಗಳಲ್ಲಿ ಸೂಕ್ಷ್ಮ ವ್ಯತ್ಯಾಸಗಳನ್ನು ಬರೆಯಲು ಖರ್ಚು ಮಾಡಿತು, ಇದನ್ನೇ 3-ಬಿಟ್ ಗ್ರಿಡ್ ಪ್ರತಿನಿಧಿಸಲಾರದು.

ನಂತರ ವಿಭಾಗ 03 ರಿಂದ FP8 ಸತ್ಯ ಬರುತ್ತದೆ, ಈ ಲೇಖನದ ಅತ್ಯಂತ ಸ್ವಚ್ಛ ವಾದ. MiMo-V2.5-Pro ಅನ್ನು FP8 ಮಿಶ್ರ ನಿಖರತೆಯಲ್ಲಿ ಪೂರ್ವ-ತರಬೇತಿ ಮಾಡಲಾಗಿತ್ತು. ಅದರ ವೈಟ್ಸ್ ಆರಂಭದಿಂದಲೇ ಸುಮಾರು ಎಂಟು ಬಿಟ್‌ಗಳ ನಿಖರತೆಯಲ್ಲಿ ಕೆಲಸ ಮಾಡುವ ಆಪ್ಟಿಮೈಜರ್‌ನಿಂದ ರೂಪುಗೊಂಡಿದ್ದವು. ಆದ್ದರಿಂದ ಇದನ್ನು 8-ಬಿಟ್ ವೈಟ್ಸ್‌ನಲ್ಲಿ ಸೇವೆ ನೀಡುವುದು 16-ಬಿಟ್ ಮಾಡೆಲ್ ಮೇಲೆ ಹೇರಿದ ನಷ್ಟಕರ ಪಶ್ಚಾತ್-ಆಲೋಚನೆಯಲ್ಲ — ಅದು ವೈಟ್ಸ್ ಅನ್ನು ಅವು ಕಲಿತ ಸಂಖ್ಯಾತ್ಮಕ ವಲಯಕ್ಕೆ ಹಿಂತಿರುಗಿಸುವುದಕ್ಕೆ ಹತ್ತಿರ. ಎಂಟನೇ ಬಿಟ್‌ಗಿಂತ ಕೆಳಗೆ ಕಳೆದುಕೊಳ್ಳಲು ಸ್ವಲ್ಪವೇ ಸೂಕ್ಷ್ಮ ರಚನೆ ಇರುತ್ತದೆ. ಮೂರಕ್ಕೆ ಬಲವಂತವಾಗಿ ಇಳಿಸಿದ ಆ ವೈಟ್ಸ್ ಬಗ್ಗೆ ಅದೇ ಮಾತನ್ನು ಹೇಳಲಾಗುವುದಿಲ್ಲ.

07REAP: ಎಕ್ಸ್‌ಪರ್ಟ್ ಪ್ರೂನಿಂಗ್ ರೌಂಡಿಂಗ್‌ಗಿಂತ ಏಕೆ ಬೇರೆ ರೀತಿಯ ನಷ್ಟ

ಮೂರು ಶ್ರೇಣಿಗಳಲ್ಲಿ ಎರಡು REAP ಸಫಿಕ್ಸ್ ಹೊತ್ತಿವೆ — ಕ್ವಾಂಟೈಸೇಶನ್‌ಗಿಂತ ವರ್ಗೀಯವಾಗಿ ಬೇರೆ ಕಾರ್ಯಾಚರಣೆ. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) ಸ್ಪಾರ್ಸ್ MoE ಮಾಡೆಲ್‌ಗಳಿಗೆ ಒಂಟಿ-ಶಾಟ್ ಸಂಕುಚನ: ಇದು ಪ್ರತಿ ಎಕ್ಸ್‌ಪರ್ಟ್ ಅನ್ನು ರೂಟರ್‌ನ ಗೇಟ್ ಮೌಲ್ಯಗಳಿಂದ ಮತ್ತು ಎಕ್ಸ್‌ಪರ್ಟ್‌ನ ಆಕ್ಟಿವೇಶನ್ ನಾರ್ಮ್‌ನಿಂದ ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ, ನಂತರ ಅತಿ ಕಡಿಮೆ ಸ್ಕೋರ್ ಮಾಡಿದವನ್ನು ಅಳಿಸುತ್ತದೆ. 50% ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಪ್ರೂನ್ ಮಾಡಿದಾಗಲೂ ಕೋಡ್ ಜನರೇಶನ್ ಮತ್ತು ಟೂಲ್ ಕಾಲಿಂಗ್‌ನಲ್ಲಿ ಬಹುತೇಕ-ನಷ್ಟರಹಿತ ಫಲಿತಾಂಶಗಳನ್ನು Cerebras ವರದಿ ಮಾಡುತ್ತದೆ.

REAP ಇರುವ ಕಾರಣಕ್ಕಾಗಿಯೇ ನಾವು ಅದನ್ನು ಬಳಸುತ್ತೇವೆ: ಅತಿ ದೊಡ್ಡ ಫೌಂಡೇಶನ್‌ಗಳ ಮೇಲೆ ಅವನ್ನು ಸೇವೆ ನೀಡುವಂತೆ ಮಾಡುವುದೇ ಇದು. ಆದರೆ ವಿಧದಲ್ಲಿನ ವ್ಯತ್ಯಾಸ ಗಮನಿಸಿ. ಕ್ವಾಂಟೈಸೇಶನ್ ಪ್ರತಿ ವೈಟ್ ಅನ್ನೂ ಸ್ವಲ್ಪ ಮಸುಕುಗೊಳಿಸುತ್ತದೆ; ಪ್ರೂನಿಂಗ್ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ತೆಗೆದುಹಾಕುತ್ತದೆ. ನಿಮ್ಮ ಕೆಲಸದ ಭಾರ ಅಪರೂಪವಾಗಿ-ಆಯ್ಕೆಯಾದ ಎಕ್ಸ್‌ಪರ್ಟ್‌ನಲ್ಲಿ ಇದ್ದ ಸಾಮರ್ಥ್ಯಕ್ಕೆ ಹೆಚ್ಚಾಗಿ ರೂಟ್ ಆದರೆ — ಚಿಕ್ಕ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆ, ವಿಶೇಷ ಶಬ್ದಕೋಶ — ಅದು ಕ್ಷೀಣಿಸಿಲ್ಲ. ಅದು ಹೋಗಿದೆ, ಮತ್ತು ಯಾವುದೇ ಪ್ರಾಂಪ್ಟಿಂಗ್ ಅದನ್ನು ಮರಳಿ ಪಡೆಯುವುದಿಲ್ಲ. ಸರಾಸರಿಗಳು ಅತ್ಯುತ್ತಮವಾಗಿಯೇ ಉಳಿಯುತ್ತವೆ; ನಿಮ್ಮ ಬಾಲ ಪ್ರಕರಣ ಹಾಗಿರದೇ ಇರಬಹುದು.

MiMo-V2.5-Pro · W8A16 ಯಾವುದೇ REAP ಸಫಿಕ್ಸ್ ಹೊತ್ತಿಲ್ಲ. ಎಲ್ಲಾ 384 ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳು ಇವೆ, ಮತ್ತು ಫೌಂಡೇಶನ್ ತರಬೇತಿ ಪಡೆದ ಪೂರ್ಣ ಸೆಟ್‌ನಿಂದ ರೂಟರ್ ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ.

ಶ್ರೇಣಿ	ವೈಟ್ ಬಿಟ್‌ಗಳು	ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳು	ನೀವು ಏನನ್ನು ವಿನಿಮಯ ಮಾಡುತ್ತೀರಿ
W8A16	8	ಎಲ್ಲಾ ಇವೆ	ರಚನಾತ್ಮಕವಾಗಿ ಏನೂ ಇಲ್ಲ. ನಿಷ್ಠೆಯ ಶ್ರೇಣಿ.
W4A16-AUTOROUND-REAP	4	ಪ್ರೂನ್ ಮಾಡಲಾಗಿದೆ	ಸೂಕ್ಷ್ಮ ವೈಟ್ ವಿವರ ಮತ್ತು ಕಡಿಮೆ-ಸಂಚಾರ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳು, ಅದೇ ಬೆಲೆ ಬ್ಯಾಂಡ್‌ನಲ್ಲಿ ಬಹಳ ದೊಡ್ಡ ಫೌಂಡೇಶನ್‌ಗಾಗಿ ವಿನಿಮಯ.
3BIT-REAP	3	ಪ್ರೂನ್ ಮಾಡಲಾಗಿದೆ	ಗಣನೀಯ ವೈಟ್ ರೆಸಲ್ಯೂಶನ್ ಮತ್ತು ಕಡಿಮೆ-ಸಂಚಾರ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳು — ಅತಿ ದೊಡ್ಡ ಫೌಂಡೇಶನ್‌ಗಳನ್ನು ವೇಗದಲ್ಲಿ ಚಲಾಯಿಸುವ ಬೆಲೆ.

ಮಧ್ಯದ ಶ್ರೇಣಿ ನ್ಯಾಯಯುತ ಪರಿಗಣನೆಗೆ ಅರ್ಹ. AutoRound ನಿಷ್ಕಪಟ ರೌಂಡಿಂಗ್ ಅಲ್ಲ: Intel ಯ ವಿಧಾನ (arXiv:2309.05516) ಪ್ರತಿ ವೈಟ್ ಗುಂಪಿಗೆ ರೌಂಡಿಂಗ್ ನಿರ್ಧಾರಗಳನ್ನು ಮತ್ತು ಕ್ಲಿಪಿಂಗ್ ರೇಂಜ್ ಅನ್ನು ಟ್ಯೂನ್ ಮಾಡಲು ಸುಮಾರು 200 ಹಂತಗಳಾದ್ಯಂತ ಸೈನ್ಡ್ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಬಳಸುತ್ತದೆ, ಮತ್ತು ಬಹುತೇಕ ಸೆಟ್ಟಿಂಗ್‌ಗಳಲ್ಲಿ 4 ಬಿಟ್‌ಗಳಲ್ಲಿ ಬಹುತೇಕ-ನಷ್ಟರಹಿತ ಎಂದು ವರದಿಯಾಗಿದೆ, ಬಹುತೇಕ ಪರೀಕ್ಷಿಸಿದ ಸಂರಚನೆಗಳಾದ್ಯಂತ GPTQ, AWQ, HQQ ಮತ್ತು OmniQuant ಅನ್ನು ಸೋಲಿಸುತ್ತದೆ. W4A16-AUTOROUND ಮಾಡೆಲ್ ನಿಜವಾಗಿಯೂ ಒಳ್ಳೆಯ 4-ಬಿಟ್ ಮಾಡೆಲ್. ಅದು ಇನ್ನೂ 4-ಬಿಟ್ ಮಾಡೆಲ್ ಆಗಿಯೇ ಉಳಿದಿದೆ.

088-ಬಿಟ್ ಶ್ರೇಣಿಯನ್ನು ಯಾರು ಆಯ್ಕೆ ಮಾಡಬೇಕು — ಮತ್ತು ಯಾರು ಮಾಡಬಾರದು

MiMo-V2.5-Pro · W8A16 ಇಡೀ ಕ್ಯಾಟಲಾಗ್‌ನ ನೆಲಮಟ್ಟದ ಬೆಲೆಯಲ್ಲಿ ಕುಳಿತಿದೆ — ಪ್ರತಿ ಮಿಲಿಯನ್ ಟೋಕನ್‌ಗೆ $0.50 ಇನ್ / $2.00 ಔಟ್, ಎಂಟ್ರಿ-ಶ್ರೇಣಿಯ 4-ಬಿಟ್ ಮಾಡೆಲ್‌ಗಳ ಅದೇ ಬ್ಯಾಂಡ್ ಮತ್ತು ನಾವು ಸೇವೆ ನೀಡುವ ಅತಿ ದುಬಾರಿ ಮಾಡೆಲ್‌ನ ಇನ್‌ಪುಟ್ ಬೆಲೆಯ ಸುಮಾರು ಕಾಲುಭಾಗ. ನೀವು ನಿಷ್ಠೆಗಾಗಿ ಪ್ರೀಮಿಯಂ ಪಾವತಿಸುತ್ತಿಲ್ಲ; ನೀವು ಅದೇ ಬಜೆಟ್‌ನ ಬೇರೆ ಅಕ್ಷವನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತಿದ್ದೀರಿ.

ಇದನ್ನು ಆಯ್ಕೆ ಮಾಡಿ ಯಾವಾಗ

ಔಟ್‌ಪುಟ್ ಉದ್ದವೇ ಕೆಲಸ. ದೀರ್ಘ-ರೂಪದ ತಾಂತ್ರಿಕ ಬರವಣಿಗೆ, ಅಧ್ಯಾಯ-ಉದ್ದದ ಕಥಾಸಾಹಿತ್ಯ, ಪೂರ್ಣ ದಾಖಲೀಕರಣ ಪಾಸ್‌ಗಳು — ಪ್ರತಿ ಜನರೇಟ್ ಮಾಡಿದ ಟೋಕನ್ ಸಂಕುಚನ ಶಬ್ದ ಸಂಯುಕ್ತಗೊಳ್ಳುವ ಒಂದಾಗಿದೆ.
ಧ್ವನಿ ಮತ್ತು ಸ್ಥಿರತೆ ಮುಖ್ಯ. ಪಾತ್ರ ಕೆಲಸ, ಬ್ರಾಂಡ್ ಟೋನ್, ದೀರ್ಘ ಸೆಷನ್‌ನಾದ್ಯಂತ ಹಿಡಿದಿಟ್ಟ ರೆಜಿಸ್ಟರ್. ಶೈಲಿ ಬಾಲದಲ್ಲಿ ವಾಸಿಸುತ್ತದೆ, ಮತ್ತು ಒರಟಾದ ಕ್ವಾಂಟೈಸೇಶನ್ ಮೊದಲು ತಿನ್ನುವುದೇ ಬಾಲವನ್ನು.
ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್ ಮೊದಲ ಪ್ರಯತ್ನದಲ್ಲೇ ಮಾನ್ಯವಾಗಬೇಕು. ಮಾಡೆಲ್ json_schema ಮತ್ತು response_format ಬೆಂಬಲಿಸುತ್ತದೆ; ಸ್ಕೀಮಾ ಅನುಸರಣೆ ಒಂದು ನಿಖರತೆಯ ಗುಣ, ಮತ್ತು ತಪ್ಪಿಸಿದ ಪ್ರತಿ ಮರುಪ್ರಯತ್ನ ಹಣ ಮತ್ತು ಲೇಟೆನ್ಸಿ ಉಳಿಸುತ್ತದೆ.
ನೀವು ಸಂದರ್ಭವನ್ನು ತುಂಬಿಸುತ್ತಿದ್ದೀರಿ. ಟೋಕನ್ 200,000 ರಲ್ಲಿ ಸೂಚನೆ ಅನುಸರಣೆ ಟೋಕನ್ 2,000 ಕ್ಕಿಂತ ಕಷ್ಟ, ಮತ್ತು ಇದು ವೈಟ್ ನಿಖರತೆಯೊಂದಿಗೆ ಕ್ಷೀಣಿಸುತ್ತದೆ — ದೀರ್ಘ ರೀಸನಿಂಗ್ ಟ್ರೇಸ್‌ನಂತೆಯೇ, ಅಲ್ಲಿ ದೋಷಗಳು ಅದೇ ರೀತಿ ಸಂಯುಕ್ತಗೊಳ್ಳುತ್ತವೆ.
ಕೆಲಸ ಸ್ವಭಾವತಃ ಸೆನ್ಸಾರ್ ರಹಿತ. ಭದ್ರತಾ ಸಂಶೋಧನೆ, ರೆಡ್-ಟೀಮಿಂಗ್, ಫಿಲ್ಟರ್ ಮಾಡದ ಕಥಾಸಾಹಿತ್ಯ, ಸೂಕ್ಷ್ಮ ವೈದ್ಯಕೀಯ ಅಥವಾ ಕಾನೂನು ವಿಶ್ಲೇಷಣೆ — ಅಲ್ಲಿ ತಪ್ಪಿಸಿಕೊಳ್ಳುವ ಉತ್ತರ ಇಲ್ಲದಿರುವುದಕ್ಕಿಂತ ಕೆಟ್ಟದ್ದು.

ಬೇರೆ ಏನನ್ನಾದರೂ ಆಯ್ಕೆ ಮಾಡಿ ಯಾವಾಗ

ನಿಮಗೆ ದೃಷ್ಟಿ ಬೇಕು. ಈ ಮಾಡೆಲ್ ಪಠ್ಯ-ಮಾತ್ರ; ಇದರ ಸೋದರ MiMo-V2.5 · W8A16 ಅದೇ ಬೆಲೆ ಮತ್ತು ಶ್ರೇಣಿಯಲ್ಲಿ ದೃಷ್ಟಿ-ಸಮರ್ಥವಾಗಿದೆ.
ನಿಮಗೆ ಚಿಕ್ಕ ಪ್ರಶ್ನೆಗಳಲ್ಲಿ ಅತಿ ವಿಶಾಲ ಜಗತ್ತಿನ ಜ್ಞಾನ ಬೇಕು. ಅದೇ ಬಹಳ ದೊಡ್ಡ 3-ಬಿಟ್ ಫೌಂಡೇಶನ್‌ನ ಹೆಚ್ಚುವರಿ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು ಗೆಲ್ಲುವ ಮತ್ತು ಅದರ ಕ್ವಾಂಟೈಸೇಶನ್ ಹಾನಿ ಕೇವಲ ಕಾಣುವ ಕ್ಷೇತ್ರ.
ನಿಮ್ಮ ಕೆಲಸದ ಭಾರ ಹೆಚ್ಚಿನ-ಪ್ರಮಾಣದ ಚಿಕ್ಕ ವರ್ಗೀಕರಣ. ಅಲ್ಲಿ ಕ್ವಾಂಟೈಸೇಶನ್ ಹಾನಿ ಬಹುತೇಕ ಅಗೋಚರ — ಯಾವುದು ಅತಿ ವೇಗವೋ ಅದನ್ನು ಖರೀದಿಸಿ.

ಚಿತ್ರಗಳೂ ಬೇಕೇ? MiMo-V2.5 · W8A16 ಅದೇ ವಂಶಾವಳಿಯ ದೃಷ್ಟಿ-ಸಮರ್ಥ ಸದಸ್ಯ, ಅದೇ 8-ಬಿಟ್ ಶ್ರೇಣಿ ಮತ್ತು ಅದೇ $0.50 / $2.00 ಬೆಲೆಯಲ್ಲಿ — ಸ್ಥಳೀಯ ದೃಶ್ಯ ಮತ್ತು ಆಡಿಯೋ ಎನ್ಕೋಡರ್‌ಗಳ ಜೊತೆ 310B ಸ್ಪಾರ್ಸ್ MoE. ಅದೇ ನಿಷ್ಠೆಯ ವಾದ, ಒಂದು ಹೆಚ್ಚು ಮೋಡಾಲಿಟಿ. ಪೂರ್ಣ ಪಟ್ಟಿ Shannon AI Research ನಲ್ಲಿದೆ.

09ಸೆನ್ಸಾರ್ ರಹಿತ MiMo API ಕರೆಯುವುದು

ನಿಮ್ಮ ಕೋಡ್ OpenAI SDK ಗುರಿಯಾಗಿಸಿದ್ದರೆ, ಬೇಸ್ URL ಮತ್ತು ಮಾಡೆಲ್ id ಬದಲಾಯಿಸುವುದೇ ಸಂಪೂರ್ಣ ವಲಸೆ:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages ಮತ್ತು /v1/responses ಅದೇ id ಮತ್ತು ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಸ್ವೀಕರಿಸುತ್ತವೆ. ಪ್ಯಾರಾಮೀಟರ್ ಉಲ್ಲೇಖ, ಟೂಲ್-ಕಾಲಿಂಗ್ ಸ್ಕೀಮಾಗಳು, ರಚನಾತ್ಮಕ-ಔಟ್‌ಪುಟ್ ಉದಾಹರಣೆಗಳು ಮತ್ತು ಲೈವ್ ಪ್ಲೇಗ್ರೌಂಡ್ Shannon AI API ದಾಖಲಾತಿಯಲ್ಲಿವೆ.

ಸಾಮರ್ಥ್ಯ	MiMo-V2.5-Pro · W8A16
ಸಂದರ್ಭ ವಿಂಡೋ	262,144 ಟೋಕನ್‌ಗಳು
ಪ್ರತಿ ವಿನಂತಿಗೆ ಗರಿಷ್ಠ ಔಟ್‌ಪುಟ್	16,384 ಟೋಕನ್‌ಗಳು
ಸ್ಟ್ರೀಮಿಂಗ್	ಹೌದು — ಎಲ್ಲಾ ಮೂರು ಶೈಲಿಗಳಲ್ಲಿ
ಟೂಲ್ ಕಾಲಿಂಗ್	ಹೌದು
ರೀಸನಿಂಗ್ / `reasoning_effort`	ಹೌದು
`json_schema` ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್	ಹೌದು
`response_format`	ಹೌದು
ದೃಷ್ಟಿ / ಚಿತ್ರ ಇನ್‌ಪುಟ್	ಇಲ್ಲ — MiMo-V2.5 ಬಳಸಿ
ನಿರಾಕರಣೆ ಪದರ / ಔಟ್‌ಪುಟ್ ಫಿಲ್ಟರ್	ಯಾವುದೂ ಇಲ್ಲ
ಪ್ರತಿ 1M ಟೋಕನ್‌ಗೆ ಬೆಲೆ	$0.50 ಇನ್ / $2.00 ಔಟ್

ಮೂಲಗಳನ್ನು ಪರಿಶೀಲಿಸಿ

ಇಲ್ಲಿನ ಪ್ರತಿ ಬಾಹ್ಯ ಅಂಕಿ ನಮ್ಮಲ್ಲದೆ ಬೇರೆಯವರಿಂದ ಪ್ರಕಟಿಸಲ್ಪಟ್ಟಿದೆ ಮತ್ತು ಪಠ್ಯದಲ್ಲಿ ಆಪಾದಿಸಲಾಗಿದೆ. ಕ್ವಾಂಟೈಸೇಶನ್ ಮರುಪಡೆಯುವಿಕೆ ಫಲಿತಾಂಶಗಳು Llama-ಕುಟುಂಬದ ಅಧ್ಯಯನಗಳಿಂದ ಬರುತ್ತವೆ: ಅವು ಟ್ರೇಡ್-ಆಫ್‌ನ ಆಕಾರವನ್ನು ವಿವರಿಸುತ್ತವೆ, ಈ ಮಾಡೆಲ್‌ನ ಸ್ಕೋರ್‌ಗಳನ್ನಲ್ಲ.

MiMo ತಾಂತ್ರಿಕ ವರದಿ (Xiaomi) MiMo-V2.5-Pro ಮಾಡೆಲ್ ಕಾರ್ಡ್ ಕ್ವಾಂಟೈಸೇಶನ್ ಟ್ರೇಡ್-ಆಫ್‌ಗಳು (Red Hat) AutoRound / SignRound (Intel) REAP ಎಕ್ಸ್‌ಪರ್ಟ್ ಪ್ರೂನಿಂಗ್ (Cerebras) k-bit inference ಸ್ಕೇಲಿಂಗ್ ಕಾನೂನುಗಳು

10ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

ಸೆನ್ಸಾರ್ ರಹಿತ MiMo API ಎಂದರೇನು?

ಇದು MiMo-V2.5-Pro ಗಾಗಿ Shannon AI ಯ ಎಂಡ್‌ಪಾಯಿಂಟ್, Xiaomi ಯ ಓಪನ್-ವೈಟ್ಸ್ ಮಿಶ್ರಣ-ಆಫ್-ಎಕ್ಸ್‌ಪರ್ಟ್ಸ್ ಮಾಡೆಲ್, ನಮ್ಮದೇ GPU ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ನಿರಾಕರಣೆ ಪದರ ಇಲ್ಲದೆ ಮತ್ತು ಔಟ್‌ಪುಟ್ ಫಿಲ್ಟರಿಂಗ್ ಇಲ್ಲದೆ ಸೇವೆ ನೀಡಲಾಗಿದೆ. ಇದು /v1/chat/completions, /v1/messages ಮತ್ತು /v1/responses ಮೂಲಕ ತಲುಪಬಹುದಾಗಿದೆ, 262,144-ಟೋಕನ್ ಸಂದರ್ಭ ಮತ್ತು ಪ್ರತಿ ವಿನಂತಿಗೆ 16,384 ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳ ಜೊತೆ.

W8A16 ಎಂದರೆ ಏನು, ಮತ್ತು ಅದು ಏಕೆ ಮುಖ್ಯ?

W8A16 ಎಂದರೆ ಪ್ರತಿ ವೈಟ್ ಅನ್ನು 8 ಬಿಟ್‌ಗಳಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆ, ಆಕ್ಟಿವೇಶನ್‌ಗಳನ್ನು 16 ಬಿಟ್‌ಗಳಲ್ಲಿ ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ ಎಂದು. ಇದು ನಮ್ಮ ಕ್ಯಾಟಲಾಗ್‌ನಲ್ಲಿ ಅತ್ಯುನ್ನತ-ನಿಷ್ಠೆಯ ಕ್ವಾಂಟೈಸೇಶನ್ ಶ್ರೇಣಿ. ಪ್ರಕಟಿತ ಅಧ್ಯಯನಗಳು 8-ಬಿಟ್ ವೈಟ್-ಮಾತ್ರ ಫಾರ್ಮ್ಯಾಟ್‌ಗಳು ಮೂಲ ಮಾಡೆಲ್‌ನ ನಿಖರತೆಯನ್ನು ಬಹುತೇಕ ಪೂರ್ಣವಾಗಿ ಮರಳಿ ಪಡೆಯುತ್ತವೆ ಎಂದು ಕಂಡುಕೊಂಡಿವೆ, ಆದರೆ 4-ಬಿಟ್ ಸ್ವಲ್ಪ ನಿಷ್ಠೆಯನ್ನು ಮೆಮೊರಿಗಾಗಿ ವಿನಿಮಯ ಮಾಡುತ್ತದೆ ಮತ್ತು 3-ಬಿಟ್ ಗಣನೀಯ ಪ್ರಮಾಣವನ್ನು ವಿನಿಮಯ ಮಾಡುತ್ತದೆ.

8-ಬಿಟ್‌ನಲ್ಲಿ ಚಿಕ್ಕ ಮಾಡೆಲ್ 3-ಬಿಟ್‌ನಲ್ಲಿ ದೊಡ್ಡ ಮಾಡೆಲ್ ಅನ್ನು ಸೋಲಿಸಬಹುದೇ?

ಸಾಮಾನ್ಯವಾಗಿ, ಹೌದು. ಸಂಕುಚನದಿಂದ ಉಳಿಯುವುದು ಸ್ಥೂಲವಾಗಿ ಪ್ಯಾರಾಮೀಟರ್ ಎಣಿಕೆಯನ್ನು ಪ್ರತಿ ಪ್ಯಾರಾಮೀಟರ್‌ಗೆ ಬಿಟ್‌ಗಳಿಂದ ಗುಣಿಸಿದಂತೆ, ಮತ್ತು ಕ್ವಾಂಟೈಸೇಶನ್ ದೋಷ ಅಪರೂಪದ, ಬಾಲ ವರ್ತನೆಯಲ್ಲಿ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ. 8 ಬಿಟ್‌ಗಳಲ್ಲಿ ಇಟ್ಟ ಮಾಡೆಲ್ ತನ್ನ ದೀರ್ಘ-ರೂಪದ ಸುಸಂಬದ್ಧತೆ, ನಿಖರ ಫಾರ್ಮ್ಯಾಟಿಂಗ್ ಮತ್ತು ಬಾಲ ಜ್ಞಾನವನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತದೆ; 3 ಬಿಟ್‌ಗೆ ಜಜ್ಜಲ್ಪಟ್ಟ ದೊಡ್ಡ ಮಾಡೆಲ್ ತನ್ನ ವ್ಯಾಪಕ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಸ್ಕೋರ್‌ಗಳನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತದೆ ಆದರೆ ಆ ಗುಣಗಳನ್ನು ಕಳೆದುಕೊಳ್ಳುತ್ತದೆ.

MiMo-V2.5-Pro ದೃಷ್ಟಿ ಅಥವಾ ಚಿತ್ರ ಇನ್‌ಪುಟ್ ಬೆಂಬಲಿಸುತ್ತದೆಯೇ?

ಇಲ್ಲ. Shannon AI ನಲ್ಲಿ MiMo-V2.5-Pro ಪಠ್ಯ-ಮಾತ್ರ. ಇದಕ್ಕೆ ಟೂಲ್ ಕಾಲಿಂಗ್, reasoning_effort ಜೊತೆ ರೀಸನಿಂಗ್, JSON-schema ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್ ಮತ್ತು response_format ಬೆಂಬಲವಿದೆ. ನಿಮಗೆ ಚಿತ್ರ ಇನ್‌ಪುಟ್ ಬೇಕಿದ್ದರೆ, ಅದೇ ಬೆಲೆಯಲ್ಲಿ ದೃಷ್ಟಿ-ಸಮರ್ಥವಾದ ಸೋದರ ಮಾಡೆಲ್ MiMo-V2.5 W8A16 ಬಳಸಿ.

ಸೆನ್ಸಾರ್ ರಹಿತ MiMo API ಗೆ ಎಷ್ಟು ವೆಚ್ಚವಾಗುತ್ತದೆ?

ಪ್ರತಿ ಮಿಲಿಯನ್ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗೆ $0.50 ಮತ್ತು ಪ್ರತಿ ಮಿಲಿಯನ್ ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗೆ $2.00. ಅದು Shannon AI ಕ್ಯಾಟಲಾಗ್‌ನ ನೆಲಮಟ್ಟದ ಬೆಲೆ, ಇದು MiMo-V2.5-Pro ಅನ್ನು ಈ ಗೇಟ್‌ವೇಯಲ್ಲಿ 8-ಬಿಟ್ ನಿಷ್ಠೆ ಖರೀದಿಸಲು ಅಗ್ಗದ ಮಾರ್ಗವಾಗಿಸುತ್ತದೆ.

ಸೆನ್ಸಾರ್ ರಹಿತ MiMo API ಪ್ರಯತ್ನಿಸಿ

ಎಂಟು-ಬಿಟ್ ನಿಷ್ಠೆ, 262K ಸಂದರ್ಭ, ನಿರಾಕರಣೆ ಪದರ ಇಲ್ಲ — ಕ್ಯಾಟಲಾಗ್‌ನ ನೆಲಮಟ್ಟದ ಬೆಲೆಯಲ್ಲಿ.

API ದಾಖಲಾತಿ ಓದಿ ಎಲ್ಲಾ ಮಾಡೆಲ್‌ಗಳನ್ನು ಬ್ರೌಸ್ ಮಾಡಿ

Shannon AI ಜವಾಬ್ದಾರಿಯುತ ಬಳಕೆ ನೀತಿಯಡಿ ನಿರ್ವಹಿಸಲಾಗಿದೆ

ಮೂಲಗಳು: MiMo ತಾಂತ್ರಿಕ ವರದಿ, arXiv:2505.07608 · MiMo-V2.5-Pro ಮಾಡೆಲ್ ಕಾರ್ಡ್ (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-bit inference ಸ್ಕೇಲಿಂಗ್ ಕಾನೂನುಗಳು, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. ಎಲ್ಲಾ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅಂಕಿಗಳು ಅವರ ಲೇಖಕರು ವರದಿ ಮಾಡಿದಂತೆ. Shannon AI ಎಂಬುದು Shannon Lab LLC, New Mexico, USA ಯ ಉತ್ಪನ್ನ.

ಎಲ್ಲ research links