ಸೆನ್ಸಾರ್ ರಹಿತ DeepSeek Flash API

LLM API ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ಬಹುತೇಕ ತಂಡಗಳು ತಪ್ಪು ವೇರಿಯೇಬಲ್ ಅನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡುತ್ತವೆ. ಅವರು ಯೋಚಿಸಬಹುದಾದ ಅತ್ಯಂತ ಕಷ್ಟದ ಇಪ್ಪತ್ತು ಪ್ರಾಂಪ್ಟ್‌ಗಳ ಮೇಲೆ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮಾಡುತ್ತಾರೆ, ವಿಜೇತನನ್ನು ಆರಿಸುತ್ತಾರೆ, ಮತ್ತು ಆರು ವಾರಗಳ ನಂತರ ಅವರ ಟ್ರಾಫಿಕ್‌ನ ತೊಂಬತ್ತೈದು ಪ್ರತಿಶತ ಕಾಲುಭಾಗ ವೆಚ್ಚದ ಮಾಡೆಲ್ ಒಂದೇ ರೀತಿ ನಿಭಾಯಿಸಬಹುದಾಗಿದ್ದ ಚಿಕ್ಕ, ರಚನಾತ್ಮಕ, ಪುನರಾವರ್ತಿತ ಕೆಲಸ ಎಂದು ಕಂಡುಕೊಳ್ಳುತ್ತಾರೆ. DeepSeek-V4-Flash ಆ ತೊಂಬತ್ತೈದು ಪ್ರತಿಶತಕ್ಕಾಗಿ ಇದೆ. ಈ ಪುಟ ನೀವು ಅದರಲ್ಲಿ ಇದ್ದೀರಾ — ಮತ್ತು ಇಲ್ಲದಿದ್ದಾಗ — ಎಂದು ತಿಳಿಯುವ ಬಗ್ಗೆ.

01ನಿಮಗೆ ನಿಜವಾಗಿ ಏನು ಸಿಗುತ್ತದೆ

ಗುಣಲಕ್ಷಣ	DeepSeek-V4-Flash-0731 · W4A16-AUTOROUND-REAP
ಮಾಡೆಲ್ id	DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP
ಸಂದರ್ಭ / ಗರಿಷ್ಠ ಔಟ್‌ಪುಟ್	262,144 ಟೋಕನ್‌ಗಳು / 16,384 ಟೋಕನ್‌ಗಳು
1M ಗೆ ಬೆಲೆ (ಇನ್‌ಪುಟ್ / ಔಟ್‌ಪುಟ್)	$0.50 / $2.00
ಸ್ಟ್ರೀಮಿಂಗ್ · ಟೂಲ್ ಕಾಲಿಂಗ್ · ರೀಸನಿಂಗ್	ಹೌದು — ಎಲ್ಲಾ ಮೂರು ಶೈಲಿಗಳಲ್ಲಿ
ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್	json_schema ಮತ್ತು response_format
ಚಿತ್ರ ಇನ್‌ಪುಟ್ (ದೃಷ್ಟಿ)	ಇಲ್ಲ — ಪಠ್ಯ-ಮಾತ್ರ
ನಿರಾಕರಣೆ ಪದರ / ಔಟ್‌ಪುಟ್ ಫಿಲ್ಟರ್	ಯಾವುದೂ ಇಲ್ಲ
ಸೇವೆ ನೀಡಲಾಗಿದೆ	Shannon ನ ಸ್ವಂತ GPU ಕ್ಲಸ್ಟರ್

ಮೂರು API ಶೈಲಿಗಳು ಒಂದೇ ವೈಟ್ಸ್ ಅನ್ನು ತಲುಪುತ್ತವೆ: /v1/chat/completions (OpenAI-ಆಕಾರದ), /v1/messages (Anthropic-ಆಕಾರದ), ಮತ್ತು /v1/responses. ಎಲ್ಲಾ ಮೂರರಲ್ಲೂ ಸ್ಟ್ರೀಮಿಂಗ್ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ಪೂರ್ಣ ಪ್ಯಾರಾಮೀಟರ್ ಉಲ್ಲೇಖ API ದಾಖಲೀಕರಣದಲ್ಲಿ ಇದೆ.

02ಇದು ಎಲ್ಲಿಂದ ಬರುತ್ತದೆ: DeepSeek ವಂಶಾವಳಿ

DeepSeek-AI ಐದು ಮಾಡೆಲ್ ಪೀಳಿಗೆಗಳನ್ನು ಒಂದೇ ಗೀಳಿನ ಮೇಲೆ ಕಳೆದಿದೆ: ತರಬೇತಿ ಕೊಡಲು ಅಗ್ಗವಾಗಿರುವುದು ಮಾತ್ರವಲ್ಲದೆ, ಸೇವೆ ನೀಡಲು ಅಗ್ಗವಾಗಿರುವ ಮಾಡೆಲ್‌ನಿಂದ ಫ್ರಂಟಿಯರ್ ವರ್ತನೆ ಪಡೆಯುವುದು. ಈ ಸಾಲಿನಲ್ಲಿನ ಬಹುತೇಕ ಪ್ರತಿಯೊಂದು ವಾಸ್ತುಶಿಲ್ಪ ನಿರ್ಧಾರ ಅದಕ್ಕೆ ಹಿಂತಿರುಗುತ್ತದೆ, ಮತ್ತು ಮುಖ್ಯವಾದವುಗಳನ್ನು ಪ್ರಕಟಿಸಲಾಗಿದೆ. ನೀವು ಈ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಅನ್ನು ತಲುಪುವಾಗ ನೀವು ಏನನ್ನು ಕರೆಯುತ್ತಿದ್ದೀರಿ ಎಂಬುದನ್ನು ಮೂರು ವಿವರಿಸುತ್ತವೆ.

DeepSeekMoE — ಸೂಕ್ಷ್ಮ-ಧಾನ್ಯದ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳು ಜೊತೆಗೆ ಹಂಚಿಕೆಯ ಒಂದು

ಒಂದು ಮಿಶ್ರಣ-ಆಫ್-ಎಕ್ಸ್‌ಪರ್ಟ್ಸ್ ಪದರ ಒಂದು ದೊಡ್ಡ ಫೀಡ್-ಫಾರ್ವರ್ಡ್ ನೆಟ್‌ವರ್ಕ್ ಅನ್ನು ಹಲವು ಸಣ್ಣ ನೆಟ್‌ವರ್ಕ್‌ಗಳಿಂದ ಮತ್ತು ಪ್ರತಿ ಟೋಕನ್‌ಗೆ ಒಂದಿಷ್ಟನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ರೂಟರ್‌ನಿಂದ ಬದಲಾಯಿಸುತ್ತದೆ. DeepSeek ನ ರೂಪಾಂತರ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಸಾಂಪ್ರದಾಯಿಕ ಎಂಟು-ಎಕ್ಸ್‌ಪರ್ಟ್ ವಿನ್ಯಾಸಕ್ಕಿಂತ ಸೂಕ್ಷ್ಮವಾಗಿ ಕತ್ತರಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಅದೇ ಆಕ್ಟಿವೇಟೆಡ್ FLOPs ಹೆಚ್ಚು ಸಂಯೋಜನಾತ್ಮಕವಾಗಿ ನಿರ್ದಿಷ್ಟ ಮಿಶ್ರಣವನ್ನು ಖರೀದಿಸುತ್ತವೆ, ಮತ್ತು ಇದು ಪ್ರತಿ ಟೋಕನ್ ಹಾದುಹೋಗುವ ಹಂಚಿಕೆಯ ಎಕ್ಸ್‌ಪರ್ಟ್ ಅನ್ನು ಪ್ರತ್ಯೇಕಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಸಾಮಾನ್ಯ ಜ್ಞಾನವನ್ನು ಪ್ರತಿ ಸ್ಪೆಷಲಿಸ್ಟ್‌ನೊಳಗೆ ಪುನರಾವರ್ತಿತವಾಗಿ ಮರುಕಲಿಯಲಾಗುವುದಿಲ್ಲ. DeepSeek-V3 ಅದನ್ನು 256 ರೂಟ್ ಆದ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳು ಜೊತೆಗೆ 1 ಹಂಚಿಕೆಯ ಎಕ್ಸ್‌ಪರ್ಟ್, ಪ್ರತಿ ಟೋಕನ್‌ಗೆ 8 ರೂಟ್ ಆದವುಗಳನ್ನು ಆಕ್ಟಿವೇಟ್ ಮಾಡುತ್ತದೆ — 671B ಒಟ್ಟು ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು, 37B ಆಕ್ಟಿವ್ — ಆಗಿ, auxiliary-loss-free ಲೋಡ್ ಬ್ಯಾಲೆನ್ಸಿಂಗ್ ಜೊತೆ ಶಿಪ್ ಮಾಡಿತು: ಗುಣಮಟ್ಟವನ್ನು ಕುಗ್ಗಿಸುವ ಪೆನಾಲ್ಟಿ ಟರ್ಮ್ ಬದಲಿಗೆ, ಆ ಎಕ್ಸ್‌ಪರ್ಟ್ ಅಂಡರ್- ಅಥವಾ ಓವರ್-ಲೋಡ್ ಆಗುತ್ತಿದ್ದಂತೆ ಪ್ರತಿ-ಎಕ್ಸ್‌ಪರ್ಟ್ ಬಯಾಸ್ ಪ್ರತಿ ಹಂತದಲ್ಲಿ ರೂಟಿಂಗ್ ಸ್ಕೋರ್‌ಗಳನ್ನು ಮೇಲಕ್ಕೆ ಅಥವಾ ಕೆಳಕ್ಕೆ ತಳ್ಳುತ್ತದೆ.

MLA — ಮೆಮೊರಿಯಲ್ಲಿ ಹೊಂದುವ ಅಟೆನ್ಶನ್

ಸೇವಾ-ವೆಚ್ಚ ಸಮಸ್ಯೆಯ ಇನ್ನೊಂದು ಅರ್ಧ KV ಕ್ಯಾಶ್, ಇದು ಸಂದರ್ಭದೊಂದಿಗೆ ರೇಖಾತ್ಮಕವಾಗಿ ಬೆಳೆಯುತ್ತದೆ ಮತ್ತು ದೀರ್ಘ ಸೀಕ್ವೆನ್ಸ್ ಉದ್ದಗಳಲ್ಲಿ ಮೆಮೊರಿಯನ್ನು ಆಧಿಪತ್ಯ ಮಾಡುತ್ತದೆ. DeepSeek-V2 ನಲ್ಲಿ ಪರಿಚಯಿಸಲಾದ Multi-head Latent Attention, ಕೀ ಮತ್ತು ವ್ಯಾಲ್ಯೂಗಳನ್ನು ಜಂಟಿಯಾಗಿ ಕಡಿಮೆ-ರ‍್ಯಾಂಕ್ ಲೇಟೆಂಟ್ ವೆಕ್ಟರ್‌ಗೆ ಸಂಕುಚಿಸುತ್ತದೆ ಮತ್ತು ಅದನ್ನು ಕ್ಯಾಶ್ ಮಾಡುತ್ತದೆ, ಬಳಸಬಹುದಾದ K/V ಅನ್ನು ಸ್ಥಳದಲ್ಲೇ ಮರುನಿರ್ಮಿಸುತ್ತದೆ. DeepSeek ಪ್ರಕಟಿಸಿದ V2 ಅಂಕಿಅಂಶಗಳು, ಅವರ ಹಿಂದಿನ ಡೆನ್ಸ್ DeepSeek 67B ವಿರುದ್ಧ, KV ಕ್ಯಾಶ್‌ನಲ್ಲಿ 93.3% ಇಳಿಕೆ ಮತ್ತು 5.76× ಹೆಚ್ಚಿನ ಗರಿಷ್ಠ ಜನರೇಶನ್ ಥ್ರೂಪುಟ್ ವರದಿ ಮಾಡುತ್ತವೆ. ಅದಕ್ಕಾಗಿಯೇ 262K-ಟೋಕನ್ ವಿಂಡೋ ಈ ಕುಟುಂಬದಲ್ಲಿ ಪ್ರೀಮಿಯಂ ಆಡ್-ಆನ್ ಬದಲಿಗೆ ಟೇಬಲ್ ಸ್ಟೇಕ್ಸ್.

ಸ್ಪಾರ್ಸ್ ಅಟೆನ್ಶನ್ — ಮತ್ತು ಅಗ್ಗದ ಟೋಕನ್‌ಗಳಿಗೆ ಪೂರ್ವನಿದರ್ಶನ

V3.2-Exp DeepSeek Sparse Attention ಸೇರಿಸಿತು: ಹಗುರವಾದ ಇಂಡೆಕ್ಸರ್ ಕ್ವೆರಿ ವಿರುದ್ಧ ಸಂದರ್ಭ ಟೋಕನ್‌ಗಳಿಗೆ ಸ್ಕೋರ್ ನೀಡುತ್ತದೆ, ಮತ್ತು ಸೆಲೆಕ್ಟರ್ ಅತ್ಯುನ್ನತ-ಸ್ಕೋರ್ ಆಗುವವುಗಳನ್ನು ಮಾತ್ರ ಇಡುತ್ತದೆ. ಆಸಕ್ತಿಕರ ಭಾಗ ಕಾರ್ಯವಿಧಾನವಲ್ಲ, ರಸೀದಿ. DeepSeek V3.1-Terminus ವಿರುದ್ಧ ಒಂದು ಅಕ್ಕಪಕ್ಕದ ಹೋಲಿಕೆ ಪ್ರಕಟಿಸಿತು, MMLU-Pro 85.0 ರಲ್ಲಿ ಒಂದೇ, AIME 2025 ಏರಿಕೆ (88.4 → 89.3), SWE-bench Verified ಸ್ವಲ್ಪ ಇಳಿಕೆ (68.4 → 67.8) — ಬಹುತೇಕ ಸಮತಟ್ಟಾದ ಗುಣಮಟ್ಟ — ಮತ್ತು ಅದೇ ದಿನ ತಮ್ಮ API ಬೆಲೆಗಳನ್ನು 50% ಕ್ಕಿಂತ ಹೆಚ್ಚು ಕಡಿತಗೊಳಿಸಿತು. ವಾಸ್ತುಶಿಲ್ಪ, ಪ್ರಾಮಾಣಿಕವಾಗಿ ವರದಿ ಮಾಡಿ, ನೇರವಾಗಿ ಬೆಲೆಯಾಗಿ ಬದಲಾಗುತ್ತದೆ. Flash ಎಂಬುದು ಆ ವಾದವನ್ನು ಒಂದು ಹೆಜ್ಜೆ ಮುಂದೆ ತೆಗೆದುಕೊಂಡಿದ್ದು.

V4 ಪೀಳಿಗೆ

V4, ಏಪ್ರಿಲ್ 2026 ರಲ್ಲಿ MIT ಪರವಾನಗಿಯಡಿ ಪೂರ್ವವೀಕ್ಷಿಸಲಾಗಿದೆ, ಅಟೆನ್ಶನ್ ಸ್ಟ್ಯಾಕ್ ಅನ್ನು ಮತ್ತೆ Compressed Sparse Attention ಮತ್ತು Heavily Compressed Attention ನ ಹೈಬ್ರಿಡ್‌ನಿಂದ ಬದಲಾಯಿಸುತ್ತದೆ, 32T ಟೋಕನ್‌ಗಳಿಗಿಂತ ಹೆಚ್ಚು ಮೇಲೆ Muon ಆಪ್ಟಿಮೈಸರ್ ಜೊತೆ ತರಬೇತಿ ಪಡೆಯುತ್ತದೆ, ಮತ್ತು V3 ನ multi-token-prediction ಗುರಿಯನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತದೆ — ಇದು ಸ್ಪೆಕ್ಯುಲೇಟಿವ್ ಡಿಕೋಡಿಂಗ್ ಆಗಿಯೂ ಕೆಲಸ ಮಾಡುತ್ತದೆ, ಮತ್ತು DeepSeek V3 ನಲ್ಲಿ ಸುಮಾರು 1.8× ಡಿಕೋಡಿಂಗ್ ವೇಗ ಹೆಚ್ಚಳಕ್ಕಾಗಿ 85–90% ಎರಡನೇ-ಟೋಕನ್ ಸ್ವೀಕಾರ ದರವನ್ನು ಅಳೆಯಿತು. V4 ಅಬ್‌ಸ್ಟ್ರಾಕ್ಟ್ V4-Pro V3.2 ನ ಒಂದೇ-ಟೋಕನ್ ಇನ್ಫರೆನ್ಸ್ FLOPs ನ 27% ಮತ್ತು ಅದರ KV ಕ್ಯಾಶ್‌ನ 10% ನಲ್ಲಿ ಚಲಾಯಿಸುತ್ತದೆ ಎಂದು ವರದಿ ಮಾಡುತ್ತದೆ. ಕುಟುಂಬ ಮೂರು ರೀಸನಿಂಗ್-ಎಫರ್ಟ್ ಮಟ್ಟಗಳನ್ನು ತೆರೆದಿಡುತ್ತದೆ, ಇದೇ ನಮ್ಮ reasoning_effort ಪ್ಯಾರಾಮೀಟರ್ ಮ್ಯಾಪ್ ಆಗುವುದು.

ಮೂಲಗಳು: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · DeepSeek-V3 ತಾಂತ್ರಿಕ ವರದಿ (arXiv 2412.19437) · DeepSeek-V3.2-Exp ಮಾಡೆಲ್ ಕಾರ್ಡ್ · DeepSeek-V4 (arXiv 2606.19348). ಎಲ್ಲಾ ಅಂಕಿಅಂಶಗಳು DeepSeek-ವರದಿ ಮಾಡಿದವು.

03"Flash" ನಿಜವಾಗಿ ಏನರ್ಥ

ಇದೇ ಬಹುತೇಕ ಹೋಲಿಕೆಗಳು ತಪ್ಪಾಗಿ ಮಾಡುವ ಅಂಶ, ಆದ್ದರಿಂದ ಸ್ಪಷ್ಟವಾಗಿ ಹೇಳುವುದು ಯೋಗ್ಯ: DeepSeek ನ Flash ಎಂಬುದು ಕ್ವಾಂಟೈಸ್ ಮಾಡಿದ, ಪ್ರೂನ್ ಮಾಡಿದ ಅಥವಾ ಡಿಸ್ಟಿಲ್ ಮಾಡಿದ Pro ಅಲ್ಲ. ಇದು ತನ್ನದೇ ಪೂರ್ವ-ತರಬೇತಿ ರನ್ ಇರುವ, ಪ್ರತ್ಯೇಕವಾಗಿ ತರಬೇತಿ ಪಡೆದ, ಸಣ್ಣ ಮಿಶ್ರಣ-ಆಫ್-ಎಕ್ಸ್‌ಪರ್ಟ್ಸ್ ಮಾಡೆಲ್. V4 ಪೂರ್ವವೀಕ್ಷಣಾ ಪೇಪರ್ ಎರಡು ಗಾತ್ರಗಳನ್ನು ನೀಡುತ್ತದೆ:

ಅಂಕಿಅಂಶಗಳು DeepSeek-V4 ಪೂರ್ವವೀಕ್ಷಣಾ ಪೇಪರ್‌ನಿಂದ. ನಾವು ಸೇವೆ ನೀಡುವ ಅಧಿಕೃತ ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳು — V4-Flash-0731 ಮತ್ತು V4-Pro-0813 — ತಮ್ಮ ಮಾಡೆಲ್ ಕಾರ್ಡ್‌ಗಳಲ್ಲಿ ಸ್ವಲ್ಪ ದೊಡ್ಡ ಒಟ್ಟುಗಳಾದ 304B ಮತ್ತು 1.7T ಪಟ್ಟಿ ಮಾಡುತ್ತವೆ; DeepSeek ಆ ಬಿಲ್ಡ್‌ಗಳಿಗೆ ಆಕ್ಟಿವೇಟ್ ಮಾಡಿದ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಮರುಹೇಳುವುದಿಲ್ಲ.

ಇಲ್ಲಿ ಎರಡು ಸಂಖ್ಯೆಗಳು ಕೆಲಸ ಮಾಡುತ್ತವೆ. ಒಟ್ಟು ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು ಮೆಮೊರಿ ಫುಟ್‌ಪ್ರಿಂಟ್ ಅನ್ನು ನಿಗದಿಪಡಿಸುತ್ತವೆ, ಇದು ಮಾಡೆಲ್‌ನ ಒಂದು ಪ್ರತಿ ಎಷ್ಟು ಹಾರ್ಡ್‌ವೇರ್ ಆಕ್ರಮಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ. ಆಕ್ಟಿವೇಟೆಡ್ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು ಪ್ರತಿ ಟೋಕನ್‌ಗೆ ಅಂಕಗಣಿತವನ್ನು ನಿಗದಿಪಡಿಸುತ್ತವೆ, ಇದು ಥ್ರೂಪುಟ್ ಅನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ. Flash ಮೊದಲನೆಯದರಲ್ಲಿ ಸುಮಾರು 5.6× ಸಣ್ಣ ಮತ್ತು ಎರಡನೆಯದರಲ್ಲಿ 3.8× ಸಣ್ಣ — ಮತ್ತು ಆ ಅಂತರದಲ್ಲಿ ಗಮನಿಸಬೇಕಾದ ಸೂಕ್ಷ್ಮತೆ ಇದೆ: Flash 284 ಬಿಲಿಯನ್‌ನಲ್ಲಿ 13 ಅನ್ನು, ಸುಮಾರು 4.6% ಅನ್ನು, ಆಕ್ಟಿವೇಟ್ ಮಾಡುತ್ತದೆ, ಆದರೆ Pro 1,600 ಬಿಲಿಯನ್‌ನಲ್ಲಿ 49 ಅನ್ನು, ಸುಮಾರು 3.1% ಅನ್ನು, ಆಕ್ಟಿವೇಟ್ ಮಾಡುತ್ತದೆ. Flash ಕಡಿಮೆ ಸ್ಪಾರ್ಸ್ ಮಾಡೆಲ್. ಇದು ಕಡಿಮೆ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಆನ್ ಮಾಡಿದ Pro ಅಲ್ಲ; ಇದು ಪ್ರತಿ ಟೋಕನ್‌ಗೆ ತನ್ನ ಹೆಚ್ಚಿನ ಪಾಲನ್ನು ಖರ್ಚು ಮಾಡುವ, ಹೆಚ್ಚು ಡೆನ್ಸ್, ಬೇರೆ ರೀತಿಯಲ್ಲಿ ಸಮತೋಲಿತ ವಿನ್ಯಾಸ. ಅದು ನಿಜವಾದ ಎಂಜಿನಿಯರಿಂಗ್ ಆಯ್ಕೆ, ಡೌನ್‌ಗ್ರೇಡ್ ಅಲ್ಲ.

DeepSeek ನ ಸ್ವಂತ ಸಂಖ್ಯೆಗಳು ಏನು ಹೇಳುತ್ತವೆ

ಎರಡೂ ಅಧಿಕೃತ ಮಾಡೆಲ್ ಕಾರ್ಡ್‌ಗಳು ಅದೇ ಏಜೆಂಟಿಕ್ ಮತ್ತು ಸಾಫ್ಟ್‌ವೇರ್-ಎಂಜಿನಿಯರಿಂಗ್ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳ ಮೇಲೆ ಸ್ಕೋರ್‌ಗಳನ್ನು ಪ್ರಕಟಿಸುತ್ತವೆ, ಇದು ಇದನ್ನು ಅಸಾಮಾನ್ಯವಾಗಿ ಸ್ವಚ್ಛ ಹೋಲಿಕೆಯನ್ನಾಗಿ ಮಾಡುತ್ತದೆ — ಅದೇ ಲ್ಯಾಬ್, ಅದೇ ಮೌಲ್ಯಮಾಪನ ಹಾರ್ನೆಸ್, ಎರಡು ಗಾತ್ರಗಳು:

ಬೆಂಚ್‌ಮಾರ್ಕ್ (DeepSeek-ವರದಿ ಮಾಡಿದ)	V4-Flash-0731	V4-Pro-0813
Terminal Bench 2.1	82.7	87.9
Toolathlon-Verified	70.3	74.1
DeepSWE	54.4	62.7
NL2Repo	54.2	61.5
DSBench-FullStack	68.7	71.1

Pro ಪ್ರತಿ ಸಾಲನ್ನೂ ಗೆಲ್ಲುತ್ತದೆ. ಅದೇ ಪ್ರಾಮಾಣಿಕ ಶೀರ್ಷಿಕೆ, ಮತ್ತು ನೀವು ಇದನ್ನು ಪ್ರೊಡಕ್ಷನ್‌ನಲ್ಲಿ ಕಂಡುಕೊಳ್ಳುವ ಬದಲು ಇಲ್ಲಿ ಓದುವುದನ್ನು ನಾವು ಬಯಸುತ್ತೇವೆ. ಆದರೆ ಅಂತರಗಳನ್ನು ಓದಿ, ಏಕೆಂದರೆ ಅವೇ ನೀವು ನಿಜವಾಗಿ ಖರೀದಿಸುತ್ತಿರುವುದು. Terminal Bench 2.1 ಮೇಲೆ, ಇಪ್ಪತ್ತೈದನೇ ಒಂದು ಭಾಗ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳಿರುವ ಮಾಡೆಲ್‌ನಲ್ಲಿ ಅಂತರ 5.2 ಅಂಕಗಳು; ಟೂಲ್-ಬಳಕೆಯಲ್ಲಿ ಇದು 3.8 ಅಂಕಗಳು. ಕೆಲಸ ಆಳವಾಗುತ್ತಿದ್ದಂತೆ ಅಂತರ ಹೆಚ್ಚಾಗುತ್ತದೆ — DeepSWE ಮೇಲೆ 8.3 ಅಂಕಗಳು, NL2Repo ಮೇಲೆ 7.3, ಎರಡೂ ನಿರಂತರ ಬಹು-ಹಂತದ ಕೋಡ್ ರೀಸನಿಂಗ್‌ಗೆ ಪ್ರತಿಫಲ ನೀಡುತ್ತವೆ. ಅದೇ ಒಂದು ಟೇಬಲ್‌ನಲ್ಲಿನ ವ್ಯಾಪಾರದ ಆಕಾರ: Flash ಸೀಮಿತ ಕಾರ್ಯಗಳಲ್ಲಿ ಬಹುತೇಕ ಅಂತರವನ್ನು ಮುಚ್ಚುತ್ತದೆ ಮತ್ತು ಮುಕ್ತ-ಅಂತ್ಯದವುಗಳಲ್ಲಿ ನೆಲ ಬಿಟ್ಟುಕೊಡುತ್ತದೆ.

DeepSeek ನ ಸ್ವಂತ Flash ಕಾರ್ಡ್ ಈ ಅಂಶವನ್ನು ಇನ್ನೂ ತೀಕ್ಷ್ಣವಾಗಿ ಮಾಡುತ್ತದೆ: Flash-0731 ತನ್ನ ಬಹಳ ಸಣ್ಣ ಆಕ್ಟಿವೇಟೆಡ್ ಪ್ಯಾರಾಮೀಟರ್ ಎಣಿಕೆಯ ಹೊರತಾಗಿಯೂ ಪಟ್ಟಿ ಮಾಡಿದ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ V4-Pro ಪೂರ್ವವೀಕ್ಷಣೆಗಿಂತ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಹಳೆಯ ದೊಡ್ಡ ಮಾಡೆಲ್ ಅನ್ನು ಸೋಲಿಸುವ ಹೊಸ ಸಣ್ಣ ಮಾಡೆಲ್ ಈ ಕ್ಷೇತ್ರದಲ್ಲಿ ಸಾಮಾನ್ಯ ಸ್ಥಿತಿ, ಮತ್ತು ಅದೇ ಕಾರಣ "ದೊಡ್ಡ ಟಯರ್" ಎಂದಿಗೂ ನಿಮ್ಮ ಡೀಫಾಲ್ಟ್ ಉತ್ತರವಾಗಬಾರದು.

04ಸಫಿಕ್ಸ್ ಓದುವುದು: W4A16-AUTOROUND-REAP

ನಮ್ಮ ಮಾಡೆಲ್ id ಗಳು ತಮ್ಮ ಸಂಕುಚನ ಯೋಜನೆಯನ್ನು ಬಹಿರಂಗವಾಗಿ ಹೇಳುತ್ತವೆ, ಏಕೆಂದರೆ ಅದೇ ಔಟ್‌ಪುಟ್ ಗುಣಮಟ್ಟದ ಮೇಲೆ ಅತ್ಯಂತ ಪರಿಣಾಮ ಬೀರುವ ವಿಷಯ ಮತ್ತು ಬಹುತೇಕ ಯಾರೂ ಅದನ್ನು ಬಹಿರಂಗಪಡಿಸುವುದಿಲ್ಲ. ಇದು ಮೂರು ಹಕ್ಕುಗಳಾಗಿ ವಿಭಜನೆಗೊಳ್ಳುತ್ತದೆ.

W4A16 — 4-ಬಿಟ್ ವೈಟ್ಸ್, 16-ಬಿಟ್ ಆಕ್ಟಿವೇಶನ್‌ಗಳು

ವೈಟ್ಸ್ ಅನ್ನು ತಲಾ 4 ಬಿಟ್‌ಗಳಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆ; ಆಕ್ಟಿವೇಶನ್‌ಗಳು 16-ಬಿಟ್ ಪ್ರಿಸಿಷನ್‌ನಲ್ಲಿ ಹರಿಯುತ್ತವೆ. ಇದು ವೈಟ್ಸ್-ಮಾತ್ರ ಕ್ವಾಂಟೈಸೇಶನ್, ಮತ್ತು ಇದು ಟೋಕನ್ ಜನರೇಶನ್‌ನಲ್ಲಿನ ನಿಜವಾದ ಬಾಟಲ್‌ನೆಕ್ ಅನ್ನು ಗುರಿಯಾಗಿಸುತ್ತದೆ, ಇದು ಅಂಕಗಣಿತಕ್ಕಿಂತ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್. ಆಕ್ಟಿವೇಶನ್‌ಗಳನ್ನೂ ಕ್ವಾಂಟೈಸ್ ಮಾಡುವುದು ಸ್ವಲ್ಪ ಹೆಚ್ಚು ವೇಗ ಖರೀದಿಸುತ್ತಿತ್ತು ಮತ್ತು ಹೆಚ್ಚು ದೊಡ್ಡ ಅಕ್ಯುರಸಿ ಕುಸಿತದ ಅಪಾಯ; ಅವುಗಳನ್ನು 16 ಬಿಟ್‌ಗಳಲ್ಲಿ ಬಿಡುವುದೇ ಸಂಪ್ರದಾಯಶೀಲ, ಹೆಚ್ಚಿನ-ನಿಷ್ಠೆಯ ಆಯ್ಕೆ. ಈ ಸಂಕೇತ ಸೇವಾ-ಪರಿಸರ ವ್ಯವಸ್ಥೆಯ ಸಂಕ್ಷಿಪ್ತ ರೂಪ — ಕ್ವಾಂಟೈಸೇಶನ್ ಸಾಹಿತ್ಯ ಅದೇ ವಿಷಯವನ್ನು ಗ್ರೂಪ್ ಗಾತ್ರ ಜೊತೆ W4 ಎಂದು ಬರೆಯುತ್ತದೆ.

AUTOROUND — ಕಲಿತ ರೌಂಡಿಂಗ್, ಹತ್ತಿರದ ರೌಂಡಿಂಗ್ ಅಲ್ಲ

ನೈವ್ ಕ್ವಾಂಟೈಸೇಶನ್ ಪ್ರತಿ ವೈಟ್ ಅನ್ನು ಹತ್ತಿರದ ಪ್ರತಿನಿಧಿಸಬಹುದಾದ ಮೌಲ್ಯಕ್ಕೆ ರೌಂಡ್ ಮಾಡುತ್ತದೆ. ಅದು ಸಾಬೀತಾಗಿ ಆಪ್ಟಿಮಲ್ ಅಲ್ಲ: ಒಂದು ವೈಟ್ ಅನ್ನು "ತಪ್ಪು" ರೀತಿಯಲ್ಲಿ ರೌಂಡ್ ಮಾಡುವುದು ಅದರ ನೆರೆಹೊರೆಯವರಿಂದ ಪರಿಚಯಿಸಲಾದ ದೋಷವನ್ನು ರದ್ದುಗೊಳಿಸಬಹುದು, ಮತ್ತು ಶತಕೋಟಿ ವೈಟ್ಸ್‌ಗಳೊಂದಿಗೆ ಆ ಪರಸ್ಪರ ಕ್ರಿಯೆಗಳು ಆಧಿಪತ್ಯ ಮಾಡುತ್ತವೆ. Intel ಇಂದ AutoRound, ರೌಂಡಿಂಗ್ ನಿರ್ಧಾರವನ್ನೇ ಕಲಿಯಬೇಕಾದ ಸಂಗತಿಯಾಗಿ ಪರಿಗಣಿಸುತ್ತದೆ — ±0.5 ಗೆ ನಿರ್ಬಂಧಿತವಾದ, ಯಾವುದೇ ಒಂದೇ ರೌಂಡಿಂಗ್ ನಿರ್ಧಾರವನ್ನು ಫ್ಲಿಪ್ ಮಾಡಲು ನಿಖರವಾಗಿ ಸಾಕಷ್ಟು ಮತ್ತು ಎಂದಿಗೂ ಹೆಚ್ಚಲ್ಲ ಎಂಬ ತರಬೇತಿ ನೀಡಬಹುದಾದ ಪ್ರತಿ-ವೈಟ್ ಪರ್ಟರ್ಬೇಶನ್, ಜೊತೆಗೆ ಕಲಿಯಬಹುದಾದ ಕ್ಲಿಪಿಂಗ್ ಶ್ರೇಣಿಗಳು, ಸಣ್ಣ ಕ್ಯಾಲಿಬ್ರೇಶನ್ ಸೆಟ್ ಮೇಲೆ ಬ್ಲಾಕ್-ವೈಸ್ ಔಟ್‌ಪುಟ್-ಪುನರ್ನಿರ್ಮಾಣ ಗುರಿ ವಿರುದ್ಧ ಸೈನ್ಡ್ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಮೂಲಕ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾಗಿದೆ. ಇನ್ನೂರು ಹಂತಗಳು, ನಂತರ ಮುಗಿಯಿತು.

Intel ಪ್ರಕಟಿಸಿದ ಹೋಲಿಕೆಗಳಲ್ಲಿ AutoRound 4-ಬಿಟ್ ವೈಟ್ಸ್-ಮಾತ್ರ ಸೆಟ್ಟಿಂಗ್‌ಗಳಲ್ಲಿ 32 ರಲ್ಲಿ 30 ಪರೀಕ್ಷಿತ ಸನ್ನಿವೇಶಗಳಲ್ಲಿ GPTQ ಅನ್ನು, 32 ರಲ್ಲಿ 27 ರಲ್ಲಿ AWQ ಅನ್ನು ಮತ್ತು 32 ರಲ್ಲಿ 29 ರಲ್ಲಿ OmniQuant ಅನ್ನು ಸೋಲಿಸುತ್ತದೆ, 2 ಬಿಟ್‌ಗಳಲ್ಲಿ ನೈವ್ ರೌಂಡ್-ಟು-ನಿಯರೆಸ್ಟ್‌ಗಿಂತ 6.9 ರಿಂದ 33.2 ಅಕ್ಯುರಸಿ ಅಂಕಗಳ ಲಾಭದೊಂದಿಗೆ. ಇದರಲ್ಲಿ ಯಾವುದೂ ಇನ್ಫರೆನ್ಸ್ ಸಮಯದಲ್ಲಿ ಏನನ್ನೂ ವೆಚ್ಚ ಮಾಡುವುದಿಲ್ಲ: ಇದು ಒಮ್ಮೆ, ಆಫ್‌ಲೈನ್‌ನಲ್ಲಿ ಮಾಡಿದ ಸಂಖ್ಯೆಗಳ ಉತ್ತಮ ಆಯ್ಕೆ.

REAP — ಯಾರೂ ರೂಟ್ ಮಾಡದ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಬಿಡುವುದು

Cerebras Systems ಮತ್ತು University of Calgary ಇಂದ REAP (Router-weighted Expert Activation Pruning), MoE ಮಾಡೆಲ್‌ಗಳಿಗಾಗಿ ಒನ್-ಶಾಟ್ ಸಂಕುಚನ. ಇದು ರೂಟರ್ ಪ್ರತಿ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗೆ ಎಷ್ಟು ಬಲವಾಗಿ ಮತ್ತು ಎಷ್ಟು ಬಾರಿ ಗೇಟ್ ಮಾಡುತ್ತದೆ ಎಂಬುದರ ಮೂಲಕ, ಆ ಎಕ್ಸ್‌ಪರ್ಟ್‌ನ ಔಟ್‌ಪುಟ್‌ನ ಗಾತ್ರದಿಂದ ಗುಣಿಸಿ, ಪ್ರತಿ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗೆ ಸ್ಕೋರ್ ನೀಡುತ್ತದೆ, ನಂತರ ಕಡಿಮೆ ಪ್ರಮುಖ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಅಳಿಸುತ್ತದೆ — ನಂತರ ಯಾವುದೇ ಮರುತರಬೇತಿ ಇಲ್ಲ.

ಪೇಪರ್‌ನ ಕೇಂದ್ರ ಆವಿಷ್ಕಾರವೇ ಉಪಯುಕ್ತವಾದದ್ದು: ಹೆಚ್ಚಿನ ಸಂಕುಚನ ಅನುಪಾತಗಳಲ್ಲಿ, ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಪ್ರೂನ್ ಮಾಡುವುದು ಅವುಗಳನ್ನು ವಿಲೀನಗೊಳಿಸುವುದನ್ನು ಸೋಲಿಸುತ್ತದೆ. ಕ್ರಿಯಾತ್ಮಕವಾಗಿ ವಿಭಿನ್ನ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ವಿಲೀನಗೊಳಿಸುವುದು ಲೇಖಕರು functional subspace collapse ಎಂದು ಕರೆಯುವುದನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ — ರೂಟರ್ MoE ಅನ್ನು ನಿರ್ಮಿಸಲು ಯೋಗ್ಯವಾಗಿಸಿದ ಸೂಕ್ಷ್ಮ-ಧಾನ್ಯದ, ಇನ್‌ಪುಟ್-ಅವಲಂಬಿತ ನಿಯಂತ್ರಣವನ್ನು ಕಳೆದುಕೊಳ್ಳುತ್ತದೆ, ಮತ್ತು ಸ್ಥಿರ ಸರಾಸರಿಗಳ ನಡುವೆ ಚಾಲನೆ ಮಾಡಲು ಬಿಡಲ್ಪಡುತ್ತದೆ. 20B ಇಂದ 1T ಪ್ಯಾರಾಮೀಟರ್‌ಗಳವರೆಗಿನ ಮಾಡೆಲ್‌ಗಳಲ್ಲಿ ಅವರ ಸಂಖ್ಯೆಗಳು: ಕೋಡಿಂಗ್ ಕಾರ್ಯಗಳಲ್ಲಿ 25% ಎಕ್ಸ್‌ಪರ್ಟ್ ಸಂಕುಚನದಲ್ಲಿ, REAP ಸರಾಸರಿ ಅಕ್ಯುರಸಿಯ 2.8% ಕಳೆದುಕೊಳ್ಳುತ್ತದೆ ಆದರೆ ವಿಲೀನ ಬೇಸ್‌ಲೈನ್‌ಗಳು 5% ಕ್ಕಿಂತ ಹೆಚ್ಚು ಕಳೆದುಕೊಳ್ಳುತ್ತವೆ; 50% ರಲ್ಲಿ, REAP 8.0% ಕಳೆದುಕೊಳ್ಳುತ್ತದೆ ಆದರೆ ವಿಲೀನ 20% ಕ್ಕಿಂತ ಹೆಚ್ಚು ಕಳೆದುಕೊಳ್ಳುತ್ತದೆ. Qwen3-Coder-480B ಮೇಲೆ 50% ಪ್ರೂನಿಂಗ್‌ನಲ್ಲಿ ಇಳಿಕೆ 1.4%, ನೈವ್ ಫ್ರೀಕ್ವೆನ್ಸಿ-ಆಧಾರಿತ ಪ್ರೂನಿಂಗ್‌ಗೆ 39.3% ವಿರುದ್ಧ. Cerebras DeepSeek ಸಾಲಿಗೆ ಇತರವುಗಳ ನಡುವೆ REAP ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು ಪ್ರಕಟಿಸಿದೆ.

ಇಲ್ಲಿ ಏಕೆ 4-ಬಿಟ್ ಮತ್ತು Pro ಮೇಲೆ 3-ಬಿಟ್

ಎರಡೂ ಟಯರ್‌ಗಳು ಒಂದೇ ವರ್ಗದ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಹೊಂದಿಕೊಂಡು ವೇಗವಾಗಿ ಉಳಿಯಬೇಕು. Pro 1.7 ಟ್ರಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಒಯ್ಯುತ್ತದೆ, ಆದ್ದರಿಂದ ಹೊಂದಿಕೊಳ್ಳಲು ಅದಕ್ಕೆ ಹೆಚ್ಚು ಆಕ್ರಮಣಕಾರಿ 3-ಬಿಟ್ ಚಿಕಿತ್ಸೆ ಬೇಕು. Flash ಸುಮಾರು 300 ಬಿಲಿಯನ್ ಒಯ್ಯುತ್ತದೆ, ಆದ್ದರಿಂದ ಅದಕ್ಕೆ ಬೇಕಿಲ್ಲ — ಮತ್ತು ಅದು ಉಳಿಸುವ ಬಿಟ್ ಅನ್ನು ಹೊಂದಿಸುವ ಬದಲು ನಿಷ್ಠೆಯ ಮೇಲೆ ಖರ್ಚು ಮಾಡಲಾಗುತ್ತದೆ.

ಆ ಹೆಚ್ಚುವರಿ ಬಿಟ್ ಅದರ ಅಂಕಗಣಿತ ಸೂಚಿಸುವುದಕ್ಕಿಂತ ಹೆಚ್ಚು ಮುಖ್ಯ, ಏಕೆಂದರೆ ಕ್ವಾಂಟೈಸೇಶನ್ ಹಾನಿ ರೇಖಾತ್ಮಕವಲ್ಲ. AWQ ಪೇಪರ್‌ನ WikiText-2 ಅಳತೆಗಳಲ್ಲಿ, Llama-2-7B FP16 ನಲ್ಲಿ 5.47 ಪರ್ಪ್ಲೆಕ್ಸಿಟಿಯಿಂದ 4-ಬಿಟ್‌ನಲ್ಲಿ 5.60 ಗೆ ಹೋಗುತ್ತದೆ — 2.4% ಪೆನಾಲ್ಟಿ — ಆದರೆ 3-ಬಿಟ್‌ನಲ್ಲಿ 6.24 ಗೆ, 14% ಪೆನಾಲ್ಟಿ. ಅದು 25% ಹೆಚ್ಚಿನ ಸಂಕುಚನಕ್ಕೆ ಸುಮಾರು ಆರು ಪಟ್ಟು ಹೆಚ್ಚು ಅವನತಿ, ಮತ್ತು ಅದೇ ಮಾದರಿ 70B ನಲ್ಲಿ ಹಿಡಿದಿಟ್ಟುಕೊಳ್ಳುತ್ತದೆ. GPTQ ಪೇಪರ್ ಇನ್ನೂ ನೇರವಾಗಿದೆ: 3 ಬಿಟ್‌ಗಳಲ್ಲಿ, ನೈವ್ ರೌಂಡ್-ಟು-ನಿಯರೆಸ್ಟ್ 175B-ವರ್ಗದ ಮಾಡೆಲ್‌ಗಳಲ್ಲಿ ಸಾವಿರಾರು ಪರ್ಪ್ಲೆಕ್ಸಿಟಿಗೆ ಕುಸಿಯುತ್ತದೆ, ಆದರೆ 4 ಬಿಟ್‌ಗಳಲ್ಲಿ ಸಂಪೂರ್ಣವಾಗಿ ಬಳಸಬಹುದಾಗಿ ಉಳಿಯುತ್ತದೆ. ನಾಲ್ಕು ಬಿಟ್‌ಗಳಿಗಿಂತ ಕಡಿಮೆ, ಒಳ್ಳೆಯ ಕ್ವಾಂಟೈಸೇಶನ್ ಅಲ್ಗಾರಿದಮ್ ಒಂದು ಸೌಲಭ್ಯವಾಗಿ ಉಳಿಯುವುದನ್ನು ನಿಲ್ಲಿಸಿ ಮಾಡೆಲ್ ಅನ್ನು ಒಟ್ಟಿಗೆ ಹಿಡಿದಿಡುವ ಏಕೈಕ ವಿಷಯವಾಗುತ್ತದೆ.

ಆದ್ದರಿಂದ ಈ ಎರಡು ಸಫಿಕ್ಸ್‌ಗಳ ಪ್ರಾಮಾಣಿಕ ಓದುವಿಕೆ ಇದು: Flash Pro ತನ್ನ ಸ್ವಂತಕ್ಕೆ ಎಷ್ಟು ಹತ್ತಿರ ಇದೆಯೋ ಅದಕ್ಕಿಂತ ತನ್ನ ಸ್ವಂತ ಅಸಂಕುಚಿತ ಆವೃತ್ತಿಗೆ ಹತ್ತಿರ ಕುಳಿತಿದೆ. Pro ಇನ್ನೂ ಬಲಶಾಲಿ ಮಾಡೆಲ್ — ಮೇಲಿನ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಟೇಬಲ್ ಅದನ್ನು ಇತ್ಯರ್ಥಗೊಳಿಸುತ್ತದೆ. ಇಲ್ಲಿಗೆ ಬರಲು ಅದು ಸರಳವಾಗಿ ಹೆಚ್ಚು ಬಿಟ್ಟುಕೊಟ್ಟಿತು, ಮತ್ತು ಆ ಸವಲತ್ತಿಗೆ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ.

ಮೂಲಗಳು: AutoRound — "Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs" (arXiv 2309.05516), Intel, Findings of EMNLP 2024. REAP — "REAP the Experts: Why Pruning Prevails for One-Shot MoE Compression" (arXiv 2510.13999), Cerebras Systems. ಪರ್ಪ್ಲೆಕ್ಸಿಟಿ ಅಂಕಿಅಂಶಗಳು AWQ (arXiv 2306.00978) ಮತ್ತು GPTQ (arXiv 2210.17323) ಇಂದ.

05ಎಂಡ್‌ಪಾಯಿಂಟ್‌ನಲ್ಲಿ Flash vs Pro

ವಿಭಾಗ 03 ಫೌಂಡೇಶನ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿತ್ತು. ಇಲ್ಲಿ ನಮ್ಮ ಗೇಟ್‌ವೇಯಲ್ಲಿ ಎರಡು ಟಯರ್‌ಗಳು ಉತ್ಪನ್ನಗಳಾಗಿ ಹೇಗೆ ಕಾಣುತ್ತವೆ:

	DeepSeek-V4-Flash-0731	DeepSeek-V4-Pro-0813
ಕ್ವಾಂಟೈಸೇಶನ್	W4A16-AUTOROUND-REAP	3BIT-REAP
ವೈಟ್ ಪ್ರಿಸಿಷನ್	4-ಬಿಟ್, ಕಲಿತ ರೌಂಡಿಂಗ್	3-ಬಿಟ್
ಫೌಂಡೇಶನ್ (ಒಟ್ಟು / ಆಕ್ಟಿವ್)	~304B / 13B	~1.7T / 49B
1M ಟೋಕನ್‌ಗೆ ಇನ್‌ಪುಟ್	$0.50	$1.95
1M ಟೋಕನ್‌ಗೆ ಔಟ್‌ಪುಟ್	$2.00	$3.90
ಸಂದರ್ಭ / ಗರಿಷ್ಠ ಔಟ್‌ಪುಟ್	262,144 / 16,384	262,144 / 16,384
ಟೂಲ್‌ಗಳು · ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್ · ಸ್ಟ್ರೀಮಿಂಗ್	ಹೌದು	ಹೌದು
ದೃಷ್ಟಿ	ಇಲ್ಲ	ಇಲ್ಲ
ನಿರಾಕರಣೆ ಪದರ	ಯಾವುದೂ ಇಲ್ಲ	ಯಾವುದೂ ಇಲ್ಲ

ಏನು ಬದಲಾಗುವುದಿಲ್ಲ ಎಂಬುದನ್ನು ಗಮನಿಸಿ: ಸಂದರ್ಭ, ಔಟ್‌ಪುಟ್ ಮಿತಿ, ಟೂಲ್ ಕಾಲಿಂಗ್, ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್, ಮತ್ತು ನಿರಾಕರಣೆ ಪದರದ ಅನುಪಸ್ಥಿತಿ ಒಂದೇ ಆಗಿವೆ. ಚಲಿಸುವ ಏಕೈಕ ವಿಷಯಗಳು ಫೌಂಡೇಶನ್, ಕ್ವಾಂಟೈಸೇಶನ್, ಮತ್ತು ಬೆಲೆ. ಅದು ಅವುಗಳ ನಡುವೆ ಬದಲಾಯಿಸುವುದನ್ನು ನಿಮ್ಮ ಕೋಡ್‌ನಲ್ಲಿ ಒಂದು-ಸ್ಟ್ರಿಂಗ್ ಬದಲಾವಣೆ ಮತ್ತು ನಿಮ್ಮ ವಾಸ್ತುಶಿಲ್ಪದಲ್ಲಿ ಸಂಪೂರ್ಣವಾಗಿ ಆರ್ಥಿಕ ನಿರ್ಧಾರವನ್ನಾಗಿ ಮಾಡುತ್ತದೆ.

ಒಂದು ಗರಿಷ್ಠ-ಗಾತ್ರದ ಕರೆ ಎಷ್ಟು ವೆಚ್ಚವಾಗುತ್ತದೆ

ಇಡೀ 262,144-ಟೋಕನ್ ಸಂದರ್ಭ ತುಂಬಿ ಮತ್ತು ಪೂರ್ಣ 16,384-ಟೋಕನ್ ಔಟ್‌ಪುಟ್ ತೆಗೆದುಕೊಳ್ಳಿ:

ಪಟ್ಟಿ ಬೆಲೆಯಲ್ಲಿ. Flash: $0.131 ಇನ್‌ಪುಟ್ + $0.033 ಔಟ್‌ಪುಟ್. Pro: $0.511 + $0.064. ಅನುಪಾತ 3.51×. Flash MiniMax-M3, Laguna-S-2.1, MiMo-V2.5, MiMo-V2.5-Pro ಮತ್ತು Hy3 ಜೊತೆ $0.50 / $2.00 ನೆಲಮಟ್ಟವನ್ನೂ ಹಂಚಿಕೊಳ್ಳುತ್ತದೆ — ಅವು ದೃಷ್ಟಿ ಮತ್ತು ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್‌ನಲ್ಲಿ ಹೇಗೆ ಭಿನ್ನವಾಗಿವೆ ಎಂಬುದಕ್ಕೆ ಪೂರ್ಣ ಕ್ಯಾಟಲಾಗ್ ನೋಡಿ.

06ವಾಲ್ಯೂಮ್ ಗಣಿತ, ಲೆಕ್ಕ ಹಾಕಲಾಗಿದೆ

"3.9× ಅಗ್ಗ" ಎಂಬುದು ಇನ್‌ಪುಟ್‌ನಲ್ಲಿ ಮಾತ್ರ ನಿಜ. ಔಟ್‌ಪುಟ್‌ನಲ್ಲಿ Flash 1.95× ಅಗ್ಗ. ಆದ್ದರಿಂದ ನಿಮ್ಮ ನಿಜವಾದ ಉಳಿತಾಯ ನಿಮ್ಮ ಇನ್‌ಪುಟ್-ಟು-ಔಟ್‌ಪುಟ್ ಅನುಪಾತವನ್ನು ಅವಲಂಬಿಸಿದೆ, ಮತ್ತು ಆ ಹರಡಿಕೆ ವಿನ್ಯಾಸ ನಿರ್ಧಾರಗಳನ್ನು ಬದಲಾಯಿಸುವಷ್ಟು ವಿಶಾಲವಾಗಿದೆ. ನಾಲ್ಕು ವಾಸ್ತವಿಕ ವರ್ಕ್‌ಲೋಡ್‌ಗಳು, ಪ್ರತಿಯೊಂದೂ 100,000 ವಿನಂತಿಗಳಲ್ಲಿ:

ವರ್ಕ್‌ಲೋಡ್	ಪ್ರತಿ ಕರೆಗೆ ಇನ್ / ಔಟ್	Flash	Pro	ಉಳಿತಾಯ
ಟಿಕೆಟ್ ವರ್ಗೀಕರಣ	1,200 / 120	$84	$281	3.3×
RAG ಪ್ರಶ್ನೆ ಉತ್ತರಿಸುವಿಕೆ	8,000 / 600	$520	$1,794	3.4×
ದೀರ್ಘ-ದಾಖಲೆ ಸಾರಾಂಶ	60,000 / 1,500	$3,300	$12,285	3.7×
ಸಿಂಥೆಟಿಕ್ ಡೇಟಾ ಜನರೇಶನ್	500 / 2,000	$425	$878	2.1×

ಮಾದರಿ: ನೀವು ಎಷ್ಟು ಹೆಚ್ಚು ಸಂದರ್ಭ ತಳ್ಳುತ್ತೀರೋ ಮತ್ತು ಎಷ್ಟು ಕಡಿಮೆ ಪಠ್ಯ ಜನರೇಟ್ ಮಾಡುತ್ತೀರೋ, ಅಷ್ಟು ಹೆಚ್ಚು Flash ನಿಮಗೆ ಉಳಿಸುತ್ತದೆ. ರಿಟ್ರೀವಲ್ ಪೈಪ್‌ಲೈನ್‌ಗಳು, ದಾಖಲೆ ಟ್ರಿಯಾಜ್, ಲಾಗ್ ಮತ್ತು ಟ್ರಾನ್ಸ್‌ಕ್ರಿಪ್ಟ್ ವಿಶ್ಲೇಷಣೆ, ಮತ್ತು ದೀರ್ಘ-ಸಂದರ್ಭ ಎಕ್ಸ್‌ಟ್ರಾಕ್ಷನ್ ಸ್ವೀಟ್ ಸ್ಪಾಟ್ — ಅವು ಒಂದು ಆರ್ಡರ್ ಆಫ್ ಮ್ಯಾಗ್ನಿಟ್ಯೂಡ್‌ನಷ್ಟು ಇನ್‌ಪುಟ್-ಪ್ರಾಬಲ್ಯ ಹೊಂದಿವೆ, ಮತ್ತು ಇನ್‌ಪುಟ್ ಎಲ್ಲಿ 3.9× ರಿಯಾಯಿತಿ ಇರುತ್ತದೆಯೋ ಅಲ್ಲಿ. ಬದಲಿಗೆ ನಿಮ್ಮ ವರ್ಕ್‌ಲೋಡ್ ಸಾವಿರಾರು ಟೋಕನ್‌ಗಳ ಗದ್ಯ ಉತ್ಪಾದಿಸುವ ಚಿಕ್ಕ ಪ್ರಾಂಪ್ಟ್ ಆಗಿದ್ದರೆ, ಅಂತರ ಸುಮಾರು 2× ಗೆ ಕಿರಿದಾಗುತ್ತದೆ ಮತ್ತು Pro ಗಾಗಿ ಸಾಮರ್ಥ್ಯದ ವಾದ ಅದಕ್ಕೆ ಅನುಗುಣವಾಗಿ ಬಲಗೊಳ್ಳುತ್ತದೆ.

ಆಂತರಿಕಗೊಳಿಸಬೇಕಾದ ಇನ್ನೊಂದು ಅಂಕಗಣಿತ: ಪ್ರತಿ ಮಿಲಿಯನ್ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗೆ $0.50 ದರದಲ್ಲಿ, ಇಡೀ 262,144-ಟೋಕನ್ ವಿಂಡೋ ತುಂಬಲು 13.1 ಸೆಂಟ್ ಖರ್ಚಾಗುತ್ತದೆ. ಆ ಬೆಲೆಯಲ್ಲಿ ದೀರ್ಘ-ಸಂದರ್ಭ ಪ್ರಾಂಪ್ಟಿಂಗ್ ಬಜೆಟ್ ಪ್ರಶ್ನೆಯಾಗುವುದನ್ನು ನಿಲ್ಲಿಸುತ್ತದೆ, ಇದರರ್ಥ ಕೆಲವೊಮ್ಮೆ ನೀವು ರಿಟ್ರೀವಲ್ ಪದರವನ್ನು ನಿರ್ಮಿಸುವುದನ್ನೇ ಬಿಟ್ಟುಬಿಡಬಹುದು ಮತ್ತು ಸಂದರ್ಭ ವಿಂಡೋ ಕೆಲಸ ಮಾಡಲಿ ಎಂದು ಬಿಡಬಹುದು — ಟೋಕನ್ ಉಳಿತಾಯದ ಮೇಲೆ ಎಂಜಿನಿಯರಿಂಗ್ ಉಳಿತಾಯ.

07ಇಲ್ಲಿ "ಸೆನ್ಸಾರ್ ರಹಿತ" ಎಂದರೆ ನಿಖರವಾಗಿ ಏನು

ಈ ಪದವನ್ನು ಸಡಿಲವಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ ಇಲ್ಲಿದೆ ನಮ್ಮ ವ್ಯಾಖ್ಯಾನ, ಎಂಡ್‌ಪಾಯಿಂಟ್‌ನ ಗುಣಲಕ್ಷಣವಾಗಿ ಹೇಳಲಾಗಿದೆ: ಮಾಡೆಲ್‌ನ ಮುಂದೆ ಯಾವುದೇ ನಿರಾಕರಣೆ ವರ್ಗೀಕಾರಕ ಇಲ್ಲ ಮತ್ತು ಅದರ ಔಟ್‌ಪುಟ್‌ಗೆ ಯಾವುದೇ ವಿಷಯ ಫಿಲ್ಟರಿಂಗ್ ಅನ್ವಯಿಸಲಾಗುವುದಿಲ್ಲ. ಯಾವುದೂ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ತಡೆದು ರೆಡಿಮೇಡ್ ನಿರಾಕರಣೆ ಹಿಂತಿರುಗಿಸುವುದಿಲ್ಲ; ಯಾವುದೂ ಪೂರ್ಣಗೊಳಿಕೆಯನ್ನು ಪರಿಶೀಲಿಸಿ ಅದನ್ನು ರಿಡ್ಯಾಕ್ಟ್ ಮಾಡುವುದಿಲ್ಲ. ಹೆಚ್ಚಿನ-ವಾಲ್ಯೂಮ್ ಪ್ರೊಡಕ್ಷನ್ ಕೆಲಸಕ್ಕೆ, ಪರಿಣಾಮಗಳು ಪದ ಸೂಚಿಸುವುದಕ್ಕಿಂತ ಕಡಿಮೆ ನಾಟಕೀಯ ಮತ್ತು ಹೆಚ್ಚು ಉಪಯುಕ್ತ:

• ನಿರುಪದ್ರವಿ ಟ್ರಾಫಿಕ್‌ನಲ್ಲಿ ಯಾವುದೇ ಸುಳ್ಳು ಪಾಸಿಟಿವ್‌ಗಳಿಲ್ಲ. ಫಿಲ್ಟರ್ ಮಾಡಿದ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳು ವೈದ್ಯಕೀಯ ಸಾರಾಂಶಗಳು, ಭದ್ರತಾ ಬರಹಗಳು, ಕಾನೂನು ಡಿಸ್ಕವರಿ, ಕಾಲ್ಪನಿಕ ಕಥೆ, ಹಾನಿ-ಕಡಿತ ಸಾಮಗ್ರಿ ಮತ್ತು ಮಾಡರೇಶನ್ ಕೆಲಸವನ್ನೇ ನಿಯಮಿತವಾಗಿ ನಿರಾಕರಿಸುತ್ತವೆ — ಬ್ಯಾಚ್ ಜಾಬ್ ಹಾನಿಕಾರಕ ಯಾವುದನ್ನೂ ಉತ್ಪಾದಿಸುವ ಬದಲು ಸೂಕ್ಷ್ಮ ವಿಷಯದ ಬಗ್ಗೆ ಪಠ್ಯ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತಿರುವ ವರ್ಗಗಳೇ. ಒಂದು ಲಕ್ಷ ವಿನಂತಿಗಳಲ್ಲಿ, ಒಂದು-ಪ್ರತಿಶತ ಸುಳ್ಳು-ನಿರಾಕರಣೆ ದರ ಎಂದರೆ ಸಾವಿರ ಮುರಿದ ಸಾಲುಗಳು.
• ನಿರ್ಣಾಯಕ ಒಪ್ಪಂದಗಳು. json_schema ಪ್ರತಿಕ್ರಿಯೆ ಕೇಳಿ ಮತ್ತು ಒಬ್ಜೆಕ್ಟ್ ಇರಬೇಕಾದಲ್ಲಿ ಕ್ಷಮೆಯಾಚನೆಯ ಪ್ಯಾರಾಗ್ರಾಫ್ ಅಲ್ಲ, ಸ್ಕೀಮಾಗೆ ಹೊಂದುವ JSON ಸಿಗುತ್ತದೆ. ನಿಮ್ಮ ಪಾರ್ಸರ್‌ಗೆ ಯಾವುದೇ ನಿರಾಕರಣೆ ಶಾಖೆ ಬೇಕಿಲ್ಲ, ಮತ್ತು ನಿಮ್ಮ ರಿಟ್ರೈ ಲಾಜಿಕ್ ಸಾರಿಗೆ ವೈಫಲ್ಯವನ್ನು ನೀತಿ ವೈಫಲ್ಯದಿಂದ ಪ್ರತ್ಯೇಕಿಸಬೇಕಿಲ್ಲ.
• ನೀತಿ ನಿಮ್ಮದೇ. ಅದೇ ವ್ಯಾಪಾರ. ನಿಮ್ಮ ಉತ್ಪನ್ನಕ್ಕೆ ನಿಮ್ಮ ಅಂತಿಮ ಬಳಕೆದಾರರಿಗಾಗಿ ಗಾರ್ಡ್‌ರೈಲ್‌ಗಳು ಬೇಕಿದ್ದರೆ, ಒದಗಿಸುವವರ ಎರಡರ ಬಗ್ಗೆಯೂ ಊಹೆಗಳನ್ನು ಪಡೆಯುವ ಬದಲು, ನಿಮ್ಮ ಬಳಕೆದಾರರು ಮತ್ತು ನಿಮ್ಮ ನ್ಯಾಯವ್ಯಾಪ್ತಿಯನ್ನು ನೀವು ತಿಳಿದಿರುವ ನಿಮ್ಮ ಪದರದಲ್ಲಿ ಅವುಗಳನ್ನು ನೀವೇ ನಿರ್ಮಿಸುತ್ತೀರಿ. ನಿಮ್ಮ ಖಾತೆ ಇನ್ನೂ ನಮ್ಮ ಜವಾಬ್ದಾರಿಯುತ ಬಳಕೆ ನೀತಿಯಿಂದ ನಿಯಂತ್ರಿಸಲ್ಪಡುತ್ತದೆ.

ಸೆನ್ಸಾರ್ ರಹಿತ ಎಂಬುದು ಅಲೈನ್ ಆಗದಿರುವುದು ಅಥವಾ ಸಹಾಯಕವಲ್ಲದಿರುವುದಕ್ಕೆ ಸಮಾನವಲ್ಲ. ಮಾಡೆಲ್ ಇನ್ನೂ ಸೂಚನೆಗಳನ್ನು ಅನುಸರಿಸುತ್ತದೆ ಮತ್ತು ಇನ್ನೂ ಸಿಸ್ಟಂ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಗೌರವಿಸುತ್ತದೆ. ನಿಮ್ಮ ಬಳಕೆದಾರರಿಗಾಗಿ ಕೆಲವು ವರ್ಗಗಳನ್ನು ನಿರಾಕರಿಸಬೇಕೆಂದು ನೀವು ಬಯಸಿದರೆ, ಅಲ್ಲಿ ಅದನ್ನು ಹೇಳಿ — ಆ ಸೂಚನೆ ಈಗ ನಾವು ಹೇರುವುದಕ್ಕಿಂತ ನೀವೇ ಬರೆಯುವುದಾಗಿದೆ.

08ಸಾಮರ್ಥ್ಯಗಳು ಮತ್ತು ಪ್ರಾಮಾಣಿಕ ಮಿತಿಗಳು

ಎರಡು ಸಾಮರ್ಥ್ಯಗಳು ವಾಲ್ಯೂಮ್ ಕೆಲಸಕ್ಕೆ ಬಹುತೇಕ ಹೊರೆಯನ್ನು ಹೊರುತ್ತವೆ. ಕಠಿಣ json_schema ಔಟ್‌ಪುಟ್ ಒಂದು ಪೂರ್ಣಗೊಳಿಕೆಯನ್ನು ಯಾವುದೇ ಪಾರ್ಸಿಂಗ್ ಪದರ ಮತ್ತು ಯಾವುದೇ ನಿರಾಕರಣೆ ಶಾಖೆ ಇಲ್ಲದೆ ಡೇಟಾಬೇಸ್ ಸಾಲಿನನ್ನಾಗಿ ಮಾಡುತ್ತದೆ. ಎಲ್ಲಾ ಮೂರು ಶೈಲಿಗಳಲ್ಲಿ ಟೂಲ್ ಕಾಲಿಂಗ್ Flash ಅನ್ನು ಬಲಶಾಲಿ ಮಾಡೆಲ್‌ನಲ್ಲಿ ಚಲಾಯಿಸುವ ಟಾಪ್-ಲೆವೆಲ್ ಪ್ಲಾನರ್ ಇರುವ ಏಜೆಂಟ್‌ನ ಅಗ್ಗದ ಉಪ-ಹಂತಗಳಿಗೆ ಸಮಂಜಸ ಎಂಜಿನ್ ಮಾಡುತ್ತದೆ. reasoning_effort ಸೇರಿಸಿ, ಇದು ಬೇಕಾಗುವ ಟ್ರಾಫಿಕ್‌ನ ಭಾಗಕ್ಕೆ ಮಾತ್ರ ಹೆಚ್ಚುವರಿ ಟೋಕನ್‌ಗಳನ್ನು ಖರ್ಚು ಮಾಡಲು ಬಿಡುತ್ತದೆ, ಮತ್ತು Pro ಯದಕ್ಕೆ ಸಮಾನವಾದ 262,144-ಟೋಕನ್ ಸಂದರ್ಭ — ಅಗ್ಗದ ಟಯರ್ ಆಯ್ಕೆ ಮಾಡುವ ಮೂಲಕ ನೀವು ಸಂದರ್ಭವನ್ನು ಕಳೆದುಕೊಳ್ಳುವುದಿಲ್ಲ, ಇದು ಅಸಾಮಾನ್ಯ.

ಮಿತಿಗಳು ಸಮಾನವಾಗಿ ಸ್ಪಷ್ಟವಾಗಿವೆ:

• ದೃಷ್ಟಿ ಇಲ್ಲ. Flash ಪಠ್ಯ-ಮಾತ್ರ ಮತ್ತು ಸಂದೇಶದಲ್ಲಿನ ಚಿತ್ರ ಭಾಗಗಳನ್ನು ತಿರಸ್ಕರಿಸುತ್ತದೆ. ಅದೇ $0.50 / $2.00 ನೆಲಮಟ್ಟದಲ್ಲಿ ಸೆನ್ಸಾರ್ ರಹಿತ ಮಾಡೆಲ್‌ನಲ್ಲಿ ಚಿತ್ರಗಳಿಗಾಗಿ, MiniMax-M3 ಮತ್ತು MiMo-V2.5 ದೃಷ್ಟಿ-ಸಮರ್ಥ ಆಯ್ಕೆಗಳು; Kimi-K2.6 ಮತ್ತು Kimi-K3 ಆ ಟಯರ್‌ಗಿಂತ ಮೇಲಿನ ಬಲಶಾಲಿ ದೃಷ್ಟಿ ಮಾಡೆಲ್‌ಗಳು.
• ಏಣಿಯ ಮೇಲ್ಭಾಗ ಅಲ್ಲ. DeepSeek ನ ಸ್ವಂತ ಸಂಖ್ಯೆಗಳು ಪ್ರತಿ ಪ್ರಕಟಿತ ಏಜೆಂಟಿಕ್ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿ Pro ಅನ್ನು ಮುಂದೆ ಇಡುತ್ತವೆ, ನಿರಂತರ ಬಹು-ಹಂತದ ಕೋಡ್ ರೀಸನಿಂಗ್‌ನಲ್ಲಿ ಅಂತರ ಅತ್ಯಂತ ವಿಶಾಲ. ಒಂದು ತಪ್ಪು ಉತ್ತರ ಸಾವಿರ ಅಗ್ಗದವುಗಳಿಗಿಂತ ಹೆಚ್ಚು ವೆಚ್ಚವಾಗುವಲ್ಲಿ, DeepSeek-V4-Pro ಮೇಲೆ ಹೆಚ್ಚುವರಿ ಪ್ರತಿ ಮಿಲಿಯನ್‌ಗೆ $1.45 ಖರ್ಚು ಮಾಡಿ.
• ಪ್ರತಿ ವಿನಂತಿಗೆ 16,384 ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು. ದೀರ್ಘ ಜನರೇಶನ್‌ಗಳನ್ನು ಕರೆಗಳಾದ್ಯಂತ ಚಂಕ್ ಮಾಡಬೇಕು. ಇದು ನಾವು ಸೇವೆ ನೀಡುವ ಪ್ರತಿಯೊಂದು ಮಾಡೆಲ್‌ನಲ್ಲೂ ಅದೇ ಮಿತಿ, ಮತ್ತು ಇದು ಸಂದರ್ಭ ವಿಂಡೋಗಿಂತ ಬಹಳ ಮೊದಲೇ ಬಂಧಿಸುತ್ತದೆ.

09ಇದನ್ನು ಕರೆಯುವುದು

ಯಾವುದೇ OpenAI-ಹೊಂದಾಣಿಕೆ ಕ್ಲೈಂಟ್ ಅನ್ನು ಗೇಟ್‌ವೇಗೆ ತೋರಿಸಿ ಮತ್ತು ಮಾಡೆಲ್ ಸ್ಟ್ರಿಂಗ್ ಬದಲಾಯಿಸಿ. ನಿಮ್ಮ ಸ್ಟ್ಯಾಕ್‌ನಲ್ಲಿ ಬೇರೆ ಏನೂ ಚಲಿಸಬೇಕಾಗಿಲ್ಲ.

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP",
    "messages": [
      {"role": "system", "content": "Label the ticket. Reply only with the schema."},
      {"role": "user", "content": "The invoice PDF renders blank on Safari 18."}
    ],
    "response_format": {
      "type": "json_schema",
      "json_schema": {
        "name": "ticket_label",
        "schema": {
          "type": "object",
          "properties": {
            "category": {"type": "string"},
            "severity": {"type": "integer"},
            "needs_human": {"type": "boolean"}
          },
          "required": ["category", "severity", "needs_human"],
          "additionalProperties": false
        }
      }
    }
  }'

ಅದೇ ಮಾಡೆಲ್ id /v1/messages ಮತ್ತು /v1/responses ಮೇಲೆ ಬದಲಾಗದೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ, ಇದು ನಿಮ್ಮ ಕ್ಲೈಂಟ್ ಅನ್ನು ಮರುಬರೆಯದೆ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಇಂಟಿಗ್ರೇಶನ್‌ನ ಕೆಳಗೆ ಅಗ್ಗದ ಮಾಡೆಲ್ ಅನ್ನು A/B ಮಾಡುವ ವೇಗದ ಮಾರ್ಗ. ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು, ಸ್ಟ್ರೀಮಿಂಗ್ ಈವೆಂಟ್ ಆಕಾರಗಳು, ಟೂಲ್-ಕಾಲಿಂಗ್ ಸ್ಕೀಮಾಗಳು ಮತ್ತು ರೇಟ್ ಮಿತಿಗಳನ್ನು API ಉಲ್ಲೇಖದಲ್ಲಿ ದಾಖಲಿಸಲಾಗಿದೆ; ಕ್ಯಾಟಲಾಗ್‌ನಲ್ಲಿನ ಪ್ರತಿಯೊಂದು ಮಾಡೆಲ್ ಅನ್ನು Shannon Research ನಲ್ಲಿ ಪಟ್ಟಿ ಮಾಡಲಾಗಿದೆ.

10ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

---

ಮೂಲಗಳು: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · DeepSeek-V3 ತಾಂತ್ರಿಕ ವರದಿ (arXiv 2412.19437) · DeepSeek-V4 (arXiv 2606.19348) · DeepSeek-V4-Flash-0731 ಮತ್ತು DeepSeek-V4-Pro-0813 ಮಾಡೆಲ್ ಕಾರ್ಡ್‌ಗಳು · AutoRound (arXiv 2309.05516, Intel) · REAP (arXiv 2510.13999, Cerebras Systems) · AWQ (arXiv 2306.00978) · GPTQ (arXiv 2210.17323). ಎಲ್ಲಾ ಫೌಂಡೇಶನ್ ಮತ್ತು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅಂಕಿಅಂಶಗಳು ಅವರವರ ಲೇಖಕರು ಪ್ರಕಟಿಸಿದಂತೆ; Shannon AI ಬೆಲೆಗಳು ಮತ್ತು ಸೇವೆ ನೀಡಲಾದ ಸಂದರ್ಭ ಸೆಪ್ಟೆಂಬರ್ 2026 ರಂತೆ ನಮ್ಮ ಸ್ವಂತ ಪಟ್ಟಿ ಮೌಲ್ಯಗಳು.