ਅਸੀਂ ਕਿਸੇ ਵੀ ਯੂਜ਼ਰ ਦਾ ਡਾਟਾ ਨਾ ਰੱਖਦੇ ਹਾਂ ਨਾ ਉਸ ਤੱਕ ਪਹੁੰਚ ਕਰਦੇ ਹਾਂ, ਅਤੇ ਨਾ ਹੀ ਖਾਤੇ suspend ਕਰਦੇ ਹਾਂ ਜਦ ਤੱਕ ਕੋਈ ਕਾਨੂੰਨੀ ਅਥਾਰਟੀ enforcement action ਦੀ ਮੰਗ ਨਾ ਕਰੇ।

ਮਾਡਲ ਕਾਰਡ · ਬਿਨਾਂ ਸੈਂਸਰ ਸੂਚੀ

ਬਿਨਾਂ ਸੈਂਸਰ DeepSeek Flash API

DeepSeek-V4-Flash-0731 · W4A16-AUTOROUND-REAP — ਫ਼ਰਸ਼ ਵਾਲੀ ਕੀਮਤ, 262K ਸੰਦਰਭ, ਅਤੇ ਕੋਈ ਇਨਕਾਰ ਪਰਤ ਨਹੀਂ। ਉਹ ਮਾਡਲ ਜਿਸ ਵੱਲ ਤੁਸੀਂ ਉਹ ਕੰਮ ਮੋੜਦੇ ਹੋ ਜੋ ਦਿਨ ਵਿੱਚ ਦਸ ਹਜ਼ਾਰ ਵਾਰ ਚੱਲਦਾ ਹੈ।

5 ਸਤੰਬਰ 2026 ਨੂੰ ਅੱਪਡੇਟ ਕੀਤਾਮਾਡਲ ਕਾਰਡਬੁਨਿਆਦ: DeepSeek Flashਪ੍ਰਤੀ 1M $0.50 / $2.00

ਸਾਰ

DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP Shannon AI Gateway ਉੱਤੇ DeepSeek ਪਰਿਵਾਰ ਦਾ ਵੱਡੀ ਮਾਤਰਾ ਵਾਲਾ ਦਰਜਾ ਹੈ। ਇਹ ਸਾਡੇ ਆਪਣੇ GPU ਕਲੱਸਟਰ ਉੱਤੇ ਪ੍ਰਤੀ ਦਸ ਲੱਖ ਇਨਪੁੱਟ ਟੋਕਨ $0.50 ਅਤੇ ਪ੍ਰਤੀ ਦਸ ਲੱਖ ਆਊਟਪੁੱਟ ਟੋਕਨ $2.00 ਉੱਤੇ ਚੱਲਦਾ ਹੈ — ਸਾਡੀ ਸੂਚੀ ਦਾ ਫ਼ਰਸ਼ — 262,144-ਟੋਕਨ ਸੰਦਰਭ, 16,384 ਵੱਧ ਤੋਂ ਵੱਧ ਆਊਟਪੁੱਟ ਟੋਕਨ, ਸਟ੍ਰੀਮਿੰਗ, ਟੂਲ ਕਾਲਿੰਗ, reasoning_effort ਨਾਲ ਤਰਕ, ਅਤੇ ਸਖ਼ਤ json_schema ਢਾਂਚਾਗਤ ਆਊਟਪੁੱਟ ਸਮੇਤ। ਇੱਥੇ ਕੋਈ ਇਨਕਾਰ ਪਰਤ ਅਤੇ ਕੋਈ ਆਊਟਪੁੱਟ ਫਿਲਟਰਿੰਗ ਨਹੀਂ ਹੈ। ਇਹ DeepSeek-V4-Pro ਦਾ ਅਪਾਹਜ ਕੀਤਾ ਰੂਪ ਨਹੀਂ: Pro ਇੱਕ ਕਿਤੇ ਵੱਡੀ ਬੁਨਿਆਦ ਹੈ ਜਿਸਨੂੰ 3-ਬਿੱਟ ਤੱਕ ਨਿਚੋੜਿਆ ਗਿਆ ਹੈ, ਜਦਕਿ Flash ਇੱਕ ਛੋਟੀ ਬੁਨਿਆਦ ਹੈ ਜੋ ਵੱਧ ਵਫ਼ਾਦਾਰੀ ਵਾਲੀ 4-ਬਿੱਟ AutoRound ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਉੱਤੇ ਚੁੱਕੀ ਗਈ ਹੈ। ਇਹ ਇੱਕੋ ਵਕਰ ਉੱਤੇ ਦੋ ਵੱਖਰੇ ਬਿੰਦੂ ਹਨ, ਅਤੇ ਕਿਹੜਾ ਜਿੱਤਦਾ ਹੈ ਇਹ ਪੂਰੀ ਤਰ੍ਹਾਂ ਤੁਹਾਡੇ ਕੰਮ ਦੇ ਬੋਝ ਉੱਤੇ ਨਿਰਭਰ ਹੈ।

LLM API ਪਰਖਣ ਵਾਲੀਆਂ ਬਹੁਤੀਆਂ ਟੀਮਾਂ ਗ਼ਲਤ ਵੇਰੀਏਬਲ ਅਨੁਕੂਲ ਬਣਾਉਂਦੀਆਂ ਹਨ। ਉਹ ਸਭ ਤੋਂ ਔਖੇ ਵੀਹ ਪ੍ਰੌਂਪਟ ਸੋਚ ਕੇ ਉਨ੍ਹਾਂ ਉੱਤੇ ਬੈਂਚਮਾਰਕ ਕਰਦੀਆਂ ਹਨ, ਜੇਤੂ ਚੁਣ ਲੈਂਦੀਆਂ ਹਨ, ਅਤੇ ਛੇ ਹਫ਼ਤੇ ਬਾਅਦ ਪਤਾ ਲੱਗਦਾ ਹੈ ਕਿ ਉਨ੍ਹਾਂ ਦੀ ਪੰਜਾਨਵੇਂ ਫ਼ੀਸਦੀ ਆਵਾਜਾਈ ਛੋਟਾ, ਢਾਂਚਾਗਤ, ਦੁਹਰਾਊ ਕੰਮ ਹੈ ਜਿਸਨੂੰ ਚੌਥਾਈ ਕੀਮਤ ਵਾਲਾ ਮਾਡਲ ਬਿਲਕੁਲ ਓਵੇਂ ਹੀ ਨਿਬੇੜ ਦਿੰਦਾ। DeepSeek-V4-Flash ਉਸੇ ਪੰਜਾਨਵੇਂ ਫ਼ੀਸਦੀ ਲਈ ਹੈ। ਇਹ ਸਫ਼ਾ ਇਸ ਬਾਰੇ ਹੈ ਕਿ ਤੁਸੀਂ ਕਦੋਂ ਉਸ ਵਿੱਚ ਹੋ — ਅਤੇ ਕਦੋਂ ਨਹੀਂ।

01ਤੁਹਾਨੂੰ ਅਸਲ ਵਿੱਚ ਕੀ ਮਿਲਦਾ ਹੈ

$0.50

ਪ੍ਰਤੀ 1M ਇਨਪੁੱਟ

$2.00

ਪ੍ਰਤੀ 1M ਆਊਟਪੁੱਟ

262K

ਸੰਦਰਭ ਵਿੰਡੋ

16K

ਵੱਧ ਤੋਂ ਵੱਧ ਆਊਟਪੁੱਟ ਟੋਕਨ

ਗੁਣ	DeepSeek-V4-Flash-0731 · W4A16-AUTOROUND-REAP
ਮਾਡਲ id	DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP
ਸੰਦਰਭ / ਵੱਧ ਤੋਂ ਵੱਧ ਆਊਟਪੁੱਟ	262,144 ਟੋਕਨ / 16,384 ਟੋਕਨ
ਪ੍ਰਤੀ 1M ਕੀਮਤ (ਇਨਪੁੱਟ / ਆਊਟਪੁੱਟ)	$0.50 / $2.00
ਸਟ੍ਰੀਮਿੰਗ · ਟੂਲ ਕਾਲਿੰਗ · ਤਰਕ	ਹਾਂ — ਤਿੰਨੋਂ ਬੋਲੀਆਂ ਵਿੱਚ
ਢਾਂਚਾਗਤ ਆਊਟਪੁੱਟ	`json_schema` ਅਤੇ `response_format`
ਚਿੱਤਰ ਇਨਪੁੱਟ (ਵਿਜ਼ਨ)	ਨਹੀਂ — ਸਿਰਫ਼ ਲਿਖਤ
ਇਨਕਾਰ ਪਰਤ / ਆਊਟਪੁੱਟ ਫਿਲਟਰ	ਕੋਈ ਨਹੀਂ
ਕਿੱਥੇ ਪਰੋਸਿਆ ਜਾਂਦਾ ਹੈ	Shannon ਦਾ ਆਪਣਾ GPU ਕਲੱਸਟਰ

ਤਿੰਨ API ਬੋਲੀਆਂ ਉਨ੍ਹਾਂ ਹੀ ਵਜ਼ਨਾਂ ਤੱਕ ਪਹੁੰਚਦੀਆਂ ਹਨ: /v1/chat/completions (OpenAI ਵਾਲੀ ਸ਼ਕਲ), /v1/messages (Anthropic ਵਾਲੀ ਸ਼ਕਲ), ਅਤੇ /v1/responses। ਸਟ੍ਰੀਮਿੰਗ ਤਿੰਨਾਂ ਉੱਤੇ ਚੱਲਦੀ ਹੈ। ਪੂਰਾ ਪੈਰਾਮੀਟਰ ਹਵਾਲਾ API ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਹੈ।

02ਇਹ ਕਿੱਥੋਂ ਆਉਂਦਾ ਹੈ: DeepSeek ਵੰਸ਼ਾਵਲੀ

DeepSeek-AI ਨੇ ਪੰਜ ਮਾਡਲ ਪੀੜ੍ਹੀਆਂ ਇੱਕੋ ਧੁਨ ਉੱਤੇ ਲਾਈਆਂ ਹਨ: ਅਜਿਹੇ ਮਾਡਲ ਤੋਂ ਮੋਹਰਲੀ ਕਤਾਰ ਵਾਲਾ ਵਿਹਾਰ ਕੱਢਣਾ ਜਿਸਨੂੰ ਪਰੋਸਣਾ ਸਸਤਾ ਹੋਵੇ, ਸਿਰਫ਼ ਸਿਖਲਾਈ ਦੇਣਾ ਹੀ ਨਹੀਂ। ਇਸ ਲਾਈਨ ਦਾ ਲਗਭਗ ਹਰ ਢਾਂਚਾਗਤ ਫ਼ੈਸਲਾ ਇਸੇ ਵੱਲ ਮੁੜਦਾ ਹੈ, ਅਤੇ ਅਹਿਮ ਫ਼ੈਸਲੇ ਛਪ ਚੁੱਕੇ ਹਨ। ਤਿੰਨ ਗੱਲਾਂ ਦੱਸਦੀਆਂ ਹਨ ਕਿ ਇਸ ਐਂਡਪੁਆਇੰਟ ਉੱਤੇ ਤੁਸੀਂ ਸੱਦ ਕੀ ਰਹੇ ਹੋ।

DeepSeekMoE — ਬਰੀਕ ਮਾਹਰ, ਨਾਲ ਇੱਕ ਸਾਂਝਾ

ਮਾਹਰਾਂ-ਦੇ-ਮਿਸ਼ਰਣ ਵਾਲੀ ਪਰਤ ਇੱਕ ਵੱਡੇ ਫੀਡ-ਫਾਰਵਰਡ ਨੈੱਟਵਰਕ ਦੀ ਥਾਂ ਕਈ ਛੋਟੇ ਨੈੱਟਵਰਕ ਅਤੇ ਇੱਕ ਰਾਊਟਰ ਰੱਖ ਦਿੰਦੀ ਹੈ ਜੋ ਪ੍ਰਤੀ ਟੋਕਨ ਕੁਝ ਕੁ ਚੁਣਦਾ ਹੈ। DeepSeek ਦਾ ਰੂਪ ਮਾਹਰਾਂ ਨੂੰ ਰਿਵਾਇਤੀ ਅੱਠ-ਮਾਹਰ ਖਾਕੇ ਨਾਲੋਂ ਬਰੀਕ ਕੱਟਦਾ ਹੈ, ਸੋ ਉਹੀ ਸਰਗਰਮ FLOPs ਕਿਤੇ ਵੱਧ ਸੰਜੋਗੀ ਤੌਰ ਉੱਤੇ ਖ਼ਾਸ ਮਿਸ਼ਰਣ ਖ਼ਰੀਦਦੇ ਹਨ, ਅਤੇ ਇਹ ਇੱਕ ਸਾਂਝਾ ਮਾਹਰ ਵੱਖ ਕਰਦਾ ਹੈ ਜਿਸ ਵਿੱਚੋਂ ਹਰ ਟੋਕਨ ਲੰਘਦਾ ਹੈ, ਤਾਂ ਜੋ ਸਾਂਝਾ ਗਿਆਨ ਹਰ ਮਾਹਰ ਦੇ ਅੰਦਰ ਵਾਰ-ਵਾਰ ਨਾ ਸਿੱਖਿਆ ਜਾਵੇ। DeepSeek-V3 ਨੇ ਇਹ 256 ਰਾਊਟ ਕੀਤੇ ਮਾਹਰ ਨਾਲ 1 ਸਾਂਝਾ ਮਾਹਰ, ਪ੍ਰਤੀ ਟੋਕਨ 8 ਰਾਊਟ ਕੀਤੇ ਸਰਗਰਮ ਵਜੋਂ ਭੇਜਿਆ — ਕੁੱਲ 671B ਪੈਰਾਮੀਟਰ, 37B ਸਰਗਰਮ — ਨਾਲੇ ਸਹਾਇਕ-ਹਾਨੀ ਤੋਂ ਬਿਨਾਂ ਲੋਡ ਸੰਤੁਲਨ ਵੀ: ਗੁਣਵੱਤਾ ਵਿਗਾੜਨ ਵਾਲੇ ਜੁਰਮਾਨਾ ਪਦ ਦੀ ਥਾਂ, ਹਰ ਮਾਹਰ ਲਈ ਇੱਕ ਪੱਖਪਾਤ ਹਰ ਕਦਮ ਉੱਤੇ ਰਾਊਟਿੰਗ ਸਕੋਰ ਉੱਪਰ-ਹੇਠਾਂ ਖਿਸਕਾਉਂਦਾ ਹੈ, ਇਸ ਹਿਸਾਬ ਨਾਲ ਕਿ ਉਹ ਮਾਹਰ ਘੱਟ ਲੱਦਿਆ ਹੈ ਜਾਂ ਵੱਧ।

MLA — ਉਹ ਧਿਆਨ ਜੋ ਮੈਮੋਰੀ ਵਿੱਚ ਸਮਾ ਜਾਵੇ

ਪਰੋਸਣ ਦੀ ਲਾਗਤ ਵਾਲੀ ਸਮੱਸਿਆ ਦਾ ਦੂਜਾ ਅੱਧ KV ਕੈਸ਼ ਹੈ, ਜੋ ਸੰਦਰਭ ਨਾਲ ਸਿੱਧਾ ਵਧਦਾ ਹੈ ਅਤੇ ਲੰਮੀਆਂ ਲੜੀਆਂ ਉੱਤੇ ਮੈਮੋਰੀ ਉੱਤੇ ਹਾਵੀ ਹੋ ਜਾਂਦਾ ਹੈ। Multi-head Latent Attention, ਜੋ DeepSeek-V2 ਵਿੱਚ ਪੇਸ਼ ਹੋਇਆ, ਕੁੰਜੀਆਂ ਅਤੇ ਮੁੱਲਾਂ ਨੂੰ ਰਲਾ ਕੇ ਇੱਕ ਨੀਵੇਂ-ਦਰਜੇ ਦੇ ਲੇਟੈਂਟ ਵੈਕਟਰ ਵਿੱਚ ਸੰਕੁਚਿਤ ਕਰਦਾ ਹੈ ਅਤੇ ਉਹੀ ਕੈਸ਼ ਕਰਦਾ ਹੈ, ਵਰਤਣਯੋਗ K/V ਮੌਕੇ ਉੱਤੇ ਮੁੜ ਬਣਾ ਲੈਂਦਾ ਹੈ। DeepSeek ਦੇ ਛਾਪੇ V2 ਅੰਕੜੇ, ਉਨ੍ਹਾਂ ਦੇ ਪੁਰਾਣੇ ਸੰਘਣੇ DeepSeek 67B ਦੇ ਮੁਕਾਬਲੇ, KV ਕੈਸ਼ ਵਿੱਚ 93.3% ਕਟੌਤੀ ਅਤੇ 5.76× ਵੱਧ ਵੱਧ ਤੋਂ ਵੱਧ ਜਨਰੇਸ਼ਨ ਥਰੂਪੁੱਟ ਦੱਸਦੇ ਹਨ। ਇਸੇ ਕਰਕੇ ਇਸ ਪਰਿਵਾਰ ਵਿੱਚ 262K-ਟੋਕਨ ਵਿੰਡੋ ਕੋਈ ਵਾਧੂ ਪੈਸੇ ਵਾਲੀ ਚੀਜ਼ ਨਹੀਂ ਸਗੋਂ ਮੁੱਢਲੀ ਸ਼ਰਤ ਹੈ।

ਵਿਰਲਾ ਧਿਆਨ — ਅਤੇ ਸਸਤੇ ਟੋਕਨਾਂ ਦੀ ਮਿਸਾਲ

V3.2-Exp ਨੇ DeepSeek Sparse Attention ਜੋੜਿਆ: ਇੱਕ ਹਲਕਾ ਇੰਡੈਕਸਰ ਸਵਾਲ ਦੇ ਮੁਕਾਬਲੇ ਸੰਦਰਭ ਟੋਕਨਾਂ ਨੂੰ ਅੰਕ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਇੱਕ ਚੋਣਕਾਰ ਸਿਰਫ਼ ਸਭ ਤੋਂ ਵੱਧ ਅੰਕਾਂ ਵਾਲੇ ਰੱਖਦਾ ਹੈ। ਦਿਲਚਸਪ ਹਿੱਸਾ ਤਰੀਕਾ ਨਹੀਂ, ਰਸੀਦ ਹੈ। DeepSeek ਨੇ V3.1-Terminus ਦੇ ਨਾਲੋ-ਨਾਲ ਅੰਕੜੇ ਛਾਪੇ ਜਿੱਥੇ MMLU-Pro 85.0 ਉੱਤੇ ਬਿਲਕੁਲ ਇੱਕੋ ਜਿਹਾ ਰਿਹਾ, AIME 2025 ਉੱਪਰ ਗਿਆ (88.4 → 89.3), SWE-bench Verified ਥੋੜ੍ਹਾ ਹੇਠਾਂ (68.4 → 67.8) — ਯਾਨੀ ਗੁਣਵੱਤਾ ਲਗਭਗ ਸਪਾਟ — ਅਤੇ ਉਸੇ ਦਿਨ ਉਨ੍ਹਾਂ ਨੇ ਆਪਣੀਆਂ API ਕੀਮਤਾਂ 50% ਤੋਂ ਵੱਧ ਘਟਾ ਦਿੱਤੀਆਂ। ਢਾਂਚਾ, ਇਮਾਨਦਾਰੀ ਨਾਲ ਦੱਸਿਆ ਹੋਇਆ, ਸਿੱਧਾ ਕੀਮਤ ਵਿੱਚ ਬਦਲਦਾ ਹੋਇਆ। Flash ਉਹੀ ਦਲੀਲ ਇੱਕ ਕਦਮ ਹੋਰ ਅੱਗੇ ਲੈ ਗਿਆ ਹੈ।

V4 ਪੀੜ੍ਹੀ

V4, ਜੋ ਅਪ੍ਰੈਲ 2026 ਵਿੱਚ MIT ਲਾਇਸੰਸ ਹੇਠ ਪਹਿਲਾਂ ਵਿਖਾਇਆ ਗਿਆ, ਧਿਆਨ ਵਾਲਾ ਸਟੈਕ ਫਿਰ ਬਦਲ ਦਿੰਦਾ ਹੈ ਅਤੇ Compressed Sparse Attention ਤੇ Heavily Compressed Attention ਦਾ ਮਿਸ਼ਰਣ ਲਿਆਉਂਦਾ ਹੈ, 32T ਤੋਂ ਵੱਧ ਟੋਕਨਾਂ ਉੱਤੇ Muon ਆਪਟੀਮਾਈਜ਼ਰ ਨਾਲ ਸਿਖਲਾਈ ਲੈਂਦਾ ਹੈ, ਅਤੇ V3 ਦਾ ਬਹੁ-ਟੋਕਨ-ਭਵਿੱਖਬਾਣੀ ਵਾਲਾ ਮਕਸਦ ਕਾਇਮ ਰੱਖਦਾ ਹੈ — ਜੋ ਨਾਲੋ-ਨਾਲ ਅਟਕਲੀ ਡੀਕੋਡਿੰਗ ਦਾ ਕੰਮ ਵੀ ਕਰਦਾ ਹੈ, ਅਤੇ ਜਿਸਨੂੰ DeepSeek ਨੇ V3 ਵਿੱਚ 85–90% ਦੂਜੇ-ਟੋਕਨ ਸਵੀਕਾਰ ਦਰ ਉੱਤੇ ਮਾਪਿਆ, ਯਾਨੀ ਲਗਭਗ 1.8× ਡੀਕੋਡਿੰਗ ਤੇਜ਼ੀ। V4 ਦਾ ਸਾਰ ਦੱਸਦਾ ਹੈ ਕਿ V4-Pro V3.2 ਦੇ ਇੱਕ-ਟੋਕਨ ਇਨਫ਼ਰੈਂਸ FLOPs ਦੇ 27% ਅਤੇ ਉਸਦੇ KV ਕੈਸ਼ ਦੇ 10% ਉੱਤੇ ਚੱਲਦਾ ਹੈ। ਇਹ ਪਰਿਵਾਰ ਤਰਕ ਦੀ ਮਿਹਨਤ ਦੇ ਤਿੰਨ ਪੱਧਰ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਸਾਡਾ reasoning_effort ਪੈਰਾਮੀਟਰ ਇਨ੍ਹਾਂ ਉੱਤੇ ਹੀ ਢੁੱਕਦਾ ਹੈ।

ਸਰੋਤ: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · DeepSeek-V3 ਤਕਨੀਕੀ ਰਿਪੋਰਟ (arXiv 2412.19437) · DeepSeek-V3.2-Exp ਮਾਡਲ ਕਾਰਡ · DeepSeek-V4 (arXiv 2606.19348)। ਸਾਰੇ ਅੰਕੜੇ DeepSeek ਵੱਲੋਂ ਦੱਸੇ ਗਏ ਹਨ।

03"Flash" ਦਾ ਅਸਲ ਮਤਲਬ ਕੀ ਹੈ

ਬਹੁਤੀਆਂ ਤੁਲਨਾਵਾਂ ਇਹੀ ਗੱਲ ਗ਼ਲਤ ਸਮਝਦੀਆਂ ਹਨ, ਸੋ ਇਸਨੂੰ ਸਿੱਧਾ ਕਹਿ ਦੇਣਾ ਹੀ ਠੀਕ ਹੈ: DeepSeek ਦਾ Flash ਕੋਈ ਕੁਆਂਟਾਈਜ਼ ਕੀਤਾ, ਛਾਂਗਿਆ ਜਾਂ ਡਿਸਟਿਲ ਕੀਤਾ Pro ਨਹੀਂ ਹੈ। ਇਹ ਵੱਖਰੇ ਤੌਰ ਉੱਤੇ ਸਿਖਲਾਈ ਲਿਆ ਗਿਆ, ਛੋਟਾ ਮਾਹਰਾਂ-ਦਾ-ਮਿਸ਼ਰਣ ਮਾਡਲ ਹੈ ਜਿਸਦੀ ਆਪਣੀ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਦੌੜ ਹੈ। V4 ਦਾ ਪੂਰਵ-ਦਰਸ਼ਨ ਪੇਪਰ ਦੋਵੇਂ ਆਕਾਰ ਦਿੰਦਾ ਹੈ:

284B

Flash ਕੁੱਲ ਪੈਰਾਮੀਟਰ

13B

Flash ਸਰਗਰਮ / ਟੋਕਨ

1.6T

Pro ਕੁੱਲ ਪੈਰਾਮੀਟਰ

49B

Pro ਸਰਗਰਮ / ਟੋਕਨ

ਅੰਕੜੇ DeepSeek-V4 ਪੂਰਵ-ਦਰਸ਼ਨ ਪੇਪਰ ਤੋਂ। ਜੋ ਸਰਕਾਰੀ ਚੈੱਕਪੁਆਇੰਟ ਅਸੀਂ ਪਰੋਸਦੇ ਹਾਂ — V4-Flash-0731 ਅਤੇ V4-Pro-0813 — ਉਨ੍ਹਾਂ ਦੇ ਮਾਡਲ ਕਾਰਡਾਂ ਉੱਤੇ ਕੁੱਲ ਪੈਰਾਮੀਟਰ ਥੋੜ੍ਹੇ ਵੱਧ, 304B ਅਤੇ 1.7T, ਦਿੱਤੇ ਹਨ; ਇਨ੍ਹਾਂ ਬਿਲਡਾਂ ਲਈ DeepSeek ਸਰਗਰਮ ਪੈਰਾਮੀਟਰ ਦੁਬਾਰਾ ਨਹੀਂ ਦੱਸਦਾ।

ਇੱਥੇ ਸਾਰਾ ਕੰਮ ਦੋ ਅੰਕ ਕਰਦੇ ਹਨ। ਕੁੱਲ ਪੈਰਾਮੀਟਰ ਮੈਮੋਰੀ ਦਾ ਪੈਰ-ਨਿਸ਼ਾਨ ਤੈਅ ਕਰਦੇ ਹਨ, ਜਿਸ ਤੋਂ ਪਤਾ ਲੱਗਦਾ ਹੈ ਕਿ ਮਾਡਲ ਦੀ ਇੱਕ ਨਕਲ ਕਿੰਨਾ ਹਾਰਡਵੇਅਰ ਘੇਰਦੀ ਹੈ। ਸਰਗਰਮ ਪੈਰਾਮੀਟਰ ਪ੍ਰਤੀ ਟੋਕਨ ਗਣਿਤ ਤੈਅ ਕਰਦੇ ਹਨ, ਜਿਸ ਤੋਂ ਥਰੂਪੁੱਟ ਤੈਅ ਹੁੰਦੀ ਹੈ। Flash ਪਹਿਲੇ ਉੱਤੇ ਲਗਭਗ 5.6× ਛੋਟਾ ਹੈ ਅਤੇ ਦੂਜੇ ਉੱਤੇ 3.8× — ਅਤੇ ਇਸ ਪਾੜੇ ਵਿੱਚ ਇੱਕ ਬਾਰੀਕੀ ਧਿਆਨ ਦੇਣ ਯੋਗ ਹੈ: Flash 284 ਅਰਬ ਵਿੱਚੋਂ 13 ਅਰਬ ਪੈਰਾਮੀਟਰ ਸਰਗਰਮ ਕਰਦਾ ਹੈ, ਯਾਨੀ ਲਗਭਗ 4.6%, ਜਦਕਿ Pro 1,600 ਅਰਬ ਵਿੱਚੋਂ 49 ਅਰਬ, ਯਾਨੀ ਲਗਭਗ 3.1%। Flash ਘੱਟ ਵਿਰਲਾ ਮਾਡਲ ਹੈ। ਇਹ ਸਿਰਫ਼ ਘੱਟ ਮਾਹਰ ਚਾਲੂ ਕੀਤਾ ਹੋਇਆ Pro ਨਹੀਂ; ਇਹ ਸੰਘਣਾ, ਵੱਖਰੇ ਢੰਗ ਨਾਲ ਸੰਤੁਲਿਤ ਡਿਜ਼ਾਈਨ ਹੈ ਜੋ ਹਰ ਟੋਕਨ ਉੱਤੇ ਆਪਣਾ ਵੱਡਾ ਹਿੱਸਾ ਖ਼ਰਚਦਾ ਹੈ। ਇਹ ਇੱਕ ਅਸਲੀ ਇੰਜੀਨੀਅਰਿੰਗ ਚੋਣ ਹੈ, ਕੋਈ ਦਰਜਾ-ਘਟਾਈ ਨਹੀਂ।

DeepSeek ਦੇ ਆਪਣੇ ਅੰਕੜੇ ਕੀ ਕਹਿੰਦੇ ਹਨ

ਦੋਵੇਂ ਸਰਕਾਰੀ ਮਾਡਲ ਕਾਰਡ ਉਹੀ ਏਜੰਟ ਅਤੇ ਸਾਫ਼ਟਵੇਅਰ-ਇੰਜੀਨੀਅਰਿੰਗ ਬੈਂਚਮਾਰਕਾਂ ਉੱਤੇ ਅੰਕ ਛਾਪਦੇ ਹਨ, ਜਿਸ ਕਰਕੇ ਇਹ ਅਸਾਧਾਰਨ ਤੌਰ ਉੱਤੇ ਸਾਫ਼ ਤੁਲਨਾ ਬਣ ਜਾਂਦੀ ਹੈ — ਇੱਕੋ ਲੈਬ, ਇੱਕੋ ਪਰਖ ਦਾ ਢਾਂਚਾ, ਦੋ ਆਕਾਰ:

ਬੈਂਚਮਾਰਕ (DeepSeek ਵੱਲੋਂ ਦੱਸਿਆ)	V4-Flash-0731	V4-Pro-0813
Terminal Bench 2.1	82.7	87.9
Toolathlon-Verified	70.3	74.1
DeepSWE	54.4	62.7
NL2Repo	54.2	61.5
DSBench-FullStack	68.7	71.1

Pro ਹਰ ਕਤਾਰ ਜਿੱਤਦਾ ਹੈ। ਇਹੀ ਇਮਾਨਦਾਰ ਸੁਰਖੀ ਹੈ, ਅਤੇ ਸਾਨੂੰ ਚੰਗਾ ਲੱਗਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਇਹ ਇੱਥੇ ਪੜ੍ਹੋ, ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ ਨਾ ਭਾਲੋ। ਪਰ ਫ਼ਾਸਲੇ ਪੜ੍ਹੋ, ਕਿਉਂਕਿ ਅਸਲ ਵਿੱਚ ਤੁਸੀਂ ਉਹੀ ਖ਼ਰੀਦ ਰਹੇ ਹੋ। Terminal Bench 2.1 ਉੱਤੇ ਪਾੜਾ 5.2 ਅੰਕ ਹੈ, ਉਸ ਮਾਡਲ ਲਈ ਜਿਸ ਵਿੱਚ ਪੱਚੀਵਾਂ ਹਿੱਸਾ ਪੈਰਾਮੀਟਰ ਹਨ; ਟੂਲ ਵਰਤੋਂ ਉੱਤੇ ਇਹ 3.8 ਅੰਕ ਹੈ। ਪਾੜਾ ਉੱਥੇ ਚੌੜਾ ਹੁੰਦਾ ਹੈ ਜਿੱਥੇ ਕੰਮ ਸਭ ਤੋਂ ਡੂੰਘਾ ਹੋ ਜਾਂਦਾ ਹੈ — DeepSWE ਉੱਤੇ 8.3 ਅੰਕ, NL2Repo ਉੱਤੇ 7.3, ਅਤੇ ਦੋਵੇਂ ਲਗਾਤਾਰ ਬਹੁ-ਕਦਮੀ ਕੋਡ ਤਰਕ ਨੂੰ ਇਨਾਮ ਦਿੰਦੇ ਹਨ। ਸੌਦੇ ਦੀ ਸ਼ਕਲ ਇੱਕੋ ਸਾਰਣੀ ਵਿੱਚ ਇਹੀ ਹੈ: Flash ਹੱਦਬੰਦ ਕੰਮਾਂ ਉੱਤੇ ਬਹੁਤਾ ਫ਼ਾਸਲਾ ਮੇਟ ਦਿੰਦਾ ਹੈ ਅਤੇ ਖੁੱਲ੍ਹੇ-ਸਿਰੇ ਵਾਲੇ ਕੰਮਾਂ ਉੱਤੇ ਥਾਂ ਛੱਡਦਾ ਹੈ।

DeepSeek ਦਾ ਆਪਣਾ Flash ਕਾਰਡ ਗੱਲ ਹੋਰ ਵੀ ਤਿੱਖੀ ਕਰਦਾ ਹੈ: ਆਪਣੇ ਕਿਤੇ ਘੱਟ ਸਰਗਰਮ ਪੈਰਾਮੀਟਰਾਂ ਦੇ ਬਾਵਜੂਦ, Flash-0731 ਦਿੱਤੇ ਬੈਂਚਮਾਰਕਾਂ ਉੱਤੇ V4-Pro ਪੂਰਵ-ਦਰਸ਼ਨ ਤੋਂ ਬਿਹਤਰ ਨਿਕਲਦਾ ਹੈ। ਨਵੇਂ ਛੋਟੇ ਮਾਡਲ ਦਾ ਪੁਰਾਣੇ ਵੱਡੇ ਨੂੰ ਹਰਾਉਣਾ ਇਸ ਖੇਤਰ ਵਿੱਚ ਆਮ ਹਾਲਤ ਹੈ, ਅਤੇ ਇਸੇ ਕਰਕੇ "ਵੱਡਾ ਦਰਜਾ" ਕਦੇ ਵੀ ਤੁਹਾਡਾ ਮੂਲ ਜਵਾਬ ਨਹੀਂ ਹੋਣਾ ਚਾਹੀਦਾ।

ਸੰਦਰਭ ਬਾਰੇ ਇੱਕ ਗੱਲ

DeepSeek V4 ਪਰਿਵਾਰ ਲਈ 1M-ਟੋਕਨ ਸੰਦਰਭ ਛਾਪਦਾ ਹੈ। Shannon AI Gateway ਇਹ ਮਾਡਲ 262,144 ਟੋਕਨ ਉੱਤੇ ਪਰੋਸਦਾ ਹੈ — ਸਾਡੀ ਸੂਚੀ ਦੇ ਸਾਰੇ ਬਾਰਾਂ ਮਾਡਲਾਂ ਵਿੱਚ ਇੱਕੋ ਜਿਹੀ ਵਿੰਡੋ, ਅਤੇ ਉਹੀ ਵਿੰਡੋ ਜੋ ਤੁਹਾਨੂੰ Pro ਉੱਤੇ ਮਿਲਦੀ ਹੈ। ਸਾਨੂੰ ਇਹ ਵੱਧ ਚੰਗਾ ਲੱਗਦਾ ਹੈ ਕਿ ਸੂਚੀ ਦਾ ਹਰ ਮਾਡਲ ਸੰਦਰਭ ਉੱਤੇ ਇੱਕੋ ਜਿਹਾ ਵਿਹਾਰ ਕਰੇ, ਨਾ ਕਿ ਤੁਹਾਨੂੰ ਹਰ ਮਾਡਲ id ਲਈ ਵੱਖਰੀ ਹੱਦ ਯਾਦ ਰੱਖਣੀ ਪਵੇ।

04ਪਿਛੇਤਰ ਪੜ੍ਹਨਾ: W4A16-AUTOROUND-REAP

ਸਾਡੇ ਮਾਡਲ id ਆਪਣੀ ਸੰਕੁਚਨ ਵਿਧੀ ਉੱਚੀ ਆਵਾਜ਼ ਵਿੱਚ ਦੱਸਦੇ ਹਨ, ਕਿਉਂਕਿ ਇਹੀ ਚੀਜ਼ ਆਊਟਪੁੱਟ ਦੀ ਗੁਣਵੱਤਾ ਉੱਤੇ ਸਭ ਤੋਂ ਵੱਧ ਅਸਰ ਪਾਉਂਦੀ ਹੈ ਅਤੇ ਲਗਭਗ ਕੋਈ ਵੀ ਇਸਨੂੰ ਜ਼ਾਹਰ ਨਹੀਂ ਕਰਦਾ। ਇਹ ਪਿਛੇਤਰ ਤਿੰਨ ਦਾਅਵਿਆਂ ਵਿੱਚ ਟੁੱਟਦਾ ਹੈ।

W4A16 — 4-ਬਿੱਟ ਵਜ਼ਨ, 16-ਬਿੱਟ ਐਕਟੀਵੇਸ਼ਨ

ਵਜ਼ਨ ਹਰ ਇੱਕ 4 ਬਿੱਟ ਉੱਤੇ ਸਾਂਭੇ ਜਾਂਦੇ ਹਨ; ਐਕਟੀਵੇਸ਼ਨ 16-ਬਿੱਟ ਸ਼ੁੱਧਤਾ ਉੱਤੇ ਵਗਦੀਆਂ ਹਨ। ਇਹ ਸਿਰਫ਼-ਵਜ਼ਨ ਵਾਲੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਹੈ, ਅਤੇ ਇਹ ਟੋਕਨ ਪੈਦਾ ਕਰਨ ਦੀ ਅਸਲ ਰੁਕਾਵਟ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦੀ ਹੈ, ਜੋ ਗਣਿਤ ਨਹੀਂ ਸਗੋਂ ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਹੈ। ਐਕਟੀਵੇਸ਼ਨ ਵੀ ਕੁਆਂਟਾਈਜ਼ ਕਰਨ ਨਾਲ ਥੋੜ੍ਹੀ ਹੋਰ ਤੇਜ਼ੀ ਮਿਲਦੀ ਪਰ ਸ਼ੁੱਧਤਾ ਦੇ ਕਿਤੇ ਵੱਡੇ ਖੱਡੇ ਦਾ ਖ਼ਤਰਾ ਬਣਦਾ; ਉਨ੍ਹਾਂ ਨੂੰ 16 ਬਿੱਟ ਉੱਤੇ ਛੱਡਣਾ ਸੰਭਲੀ ਹੋਈ, ਵੱਧ-ਵਫ਼ਾਦਾਰੀ ਵਾਲੀ ਚੋਣ ਹੈ। ਇਹ ਲਿਖਤ ਪਰੋਸਣ ਵਾਲੇ ਵਾਤਾਵਰਨ ਦੀ ਸੰਖੇਪ ਭਾਸ਼ਾ ਹੈ — ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਦਾ ਸਾਹਿਤ ਇਸੇ ਨੂੰ W4 ਅਤੇ ਇੱਕ ਸਮੂਹ ਆਕਾਰ ਵਜੋਂ ਲਿਖਦਾ ਹੈ।

AUTOROUND — ਸਿੱਖੀ ਹੋਈ ਰਾਊਂਡਿੰਗ, ਨੇੜਲੇ ਮੁੱਲ ਵਾਲੀ ਨਹੀਂ

ਸਾਦੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਹਰ ਵਜ਼ਨ ਨੂੰ ਨੇੜਲੇ ਦਰਸਾਉਣਯੋਗ ਮੁੱਲ ਉੱਤੇ ਗੋਲ ਕਰ ਦਿੰਦੀ ਹੈ। ਇਹ ਸਾਬਤ ਤੌਰ ਉੱਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਨਹੀਂ: ਇੱਕ ਵਜ਼ਨ ਨੂੰ "ਗ਼ਲਤ" ਪਾਸੇ ਗੋਲ ਕਰਨਾ ਉਸਦੇ ਗੁਆਂਢੀਆਂ ਵੱਲੋਂ ਪਾਈ ਗ਼ਲਤੀ ਰੱਦ ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਅਰਬਾਂ ਵਜ਼ਨਾਂ ਨਾਲ ਇਹੀ ਪਰਸਪਰ ਅਸਰ ਹਾਵੀ ਹੋ ਜਾਂਦੇ ਹਨ। Intel ਦਾ AutoRound ਰਾਊਂਡਿੰਗ ਦੇ ਫ਼ੈਸਲੇ ਨੂੰ ਹੀ ਸਿੱਖਣਯੋਗ ਚੀਜ਼ ਮੰਨਦਾ ਹੈ — ਹਰ ਵਜ਼ਨ ਲਈ ਇੱਕ ਸਿਖਲਾਈਯੋਗ ਵਿਗਾੜ ਜੋ ±0.5 ਤੱਕ ਬੰਨ੍ਹਿਆ ਹੈ, ਯਾਨੀ ਬਿਲਕੁਲ ਓਨਾ ਹੀ ਜਿੰਨਾ ਕਿਸੇ ਇੱਕ ਰਾਊਂਡਿੰਗ ਫ਼ੈਸਲੇ ਨੂੰ ਪਲਟਣ ਲਈ ਲੋੜੀਂਦਾ ਹੈ ਤੇ ਇਸ ਤੋਂ ਵੱਧ ਕਦੇ ਨਹੀਂ, ਨਾਲ ਸਿੱਖਣਯੋਗ ਕਲਿੱਪਿੰਗ ਹੱਦਾਂ, ਜੋ ਇੱਕ ਛੋਟੇ ਕੈਲੀਬ੍ਰੇਸ਼ਨ ਸੈੱਟ ਉੱਤੇ ਬਲਾਕ-ਪੱਧਰੀ ਆਊਟਪੁੱਟ-ਮੁੜ-ਉਸਾਰੀ ਦੇ ਮਕਸਦ ਖ਼ਿਲਾਫ਼ ਸਾਈਨਡ ਗਰੇਡੀਐਂਟ ਡਿਸੈਂਟ ਨਾਲ ਅਨੁਕੂਲ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਦੋ ਸੌ ਕਦਮ, ਤੇ ਬੱਸ।

Intel ਦੀਆਂ ਛਾਪੀਆਂ ਤੁਲਨਾਵਾਂ ਮੁਤਾਬਕ 4-ਬਿੱਟ ਸਿਰਫ਼-ਵਜ਼ਨ ਸੈਟਿੰਗਾਂ ਉੱਤੇ AutoRound 32 ਵਿੱਚੋਂ 30 ਪਰਖੇ ਹਾਲਾਤਾਂ ਵਿੱਚ GPTQ ਨੂੰ, 32 ਵਿੱਚੋਂ 27 ਵਿੱਚ AWQ ਨੂੰ ਅਤੇ 32 ਵਿੱਚੋਂ 29 ਵਿੱਚ OmniQuant ਨੂੰ ਹਰਾਉਂਦਾ ਹੈ, ਅਤੇ 2 ਬਿੱਟ ਉੱਤੇ ਸਾਦੀ ਨੇੜਲੇ-ਮੁੱਲ ਰਾਊਂਡਿੰਗ ਨਾਲੋਂ 6.9 ਤੋਂ 33.2 ਸ਼ੁੱਧਤਾ ਅੰਕ ਦਾ ਲਾਭ ਦਿੰਦਾ ਹੈ। ਇਨਫ਼ਰੈਂਸ ਵੇਲੇ ਇਸ ਵਿੱਚੋਂ ਕਿਸੇ ਦੀ ਕੋਈ ਕੀਮਤ ਨਹੀਂ ਪੈਂਦੀ: ਇਹ ਸਿਰਫ਼ ਅੰਕਾਂ ਦੀ ਬਿਹਤਰ ਚੋਣ ਹੈ, ਜੋ ਇੱਕ ਵਾਰ, ਔਫ਼ਲਾਈਨ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।

REAP — ਉਹ ਮਾਹਰ ਕੱਢਣੇ ਜਿਨ੍ਹਾਂ ਵੱਲ ਕੋਈ ਰਾਊਟ ਨਹੀਂ ਕਰਦਾ

Cerebras Systems ਅਤੇ ਯੂਨੀਵਰਸਿਟੀ ਆਫ਼ ਕੈਲਗਰੀ ਵੱਲੋਂ REAP (Router-weighted Expert Activation Pruning) MoE ਮਾਡਲਾਂ ਲਈ ਇੱਕ-ਵਾਰੀ ਸੰਕੁਚਨ ਹੈ। ਇਹ ਹਰ ਮਾਹਰ ਨੂੰ ਇਸ ਹਿਸਾਬ ਨਾਲ ਅੰਕ ਦਿੰਦਾ ਹੈ ਕਿ ਰਾਊਟਰ ਉਸ ਵੱਲ ਕਿੰਨੀ ਜ਼ੋਰ ਨਾਲ ਅਤੇ ਕਿੰਨੀ ਵਾਰ ਗੇਟ ਖੋਲ੍ਹਦਾ ਹੈ, ਉਸ ਮਾਹਰ ਦੀ ਆਊਟਪੁੱਟ ਦੇ ਪਰਿਮਾਣ ਨਾਲ ਗੁਣਾ ਕਰਕੇ, ਫਿਰ ਸਭ ਤੋਂ ਘੱਟ ਅਹਿਮ ਮਾਹਰ ਸਿੱਧੇ ਮਿਟਾ ਦਿੰਦਾ ਹੈ — ਬਾਅਦ ਵਿੱਚ ਕੋਈ ਮੁੜ-ਸਿਖਲਾਈ ਨਹੀਂ।

ਪੇਪਰ ਦੀ ਕੇਂਦਰੀ ਲੱਭਤ ਹੀ ਕੰਮ ਦੀ ਹੈ: ਉੱਚੇ ਸੰਕੁਚਨ ਅਨੁਪਾਤਾਂ ਉੱਤੇ, ਮਾਹਰ ਛਾਂਗਣਾ ਉਨ੍ਹਾਂ ਨੂੰ ਰਲਾਉਣ ਨਾਲੋਂ ਬਿਹਤਰ ਹੈ। ਕਾਰਜਸ਼ੀਲ ਤੌਰ ਉੱਤੇ ਵੱਖਰੇ ਮਾਹਰਾਂ ਨੂੰ ਰਲਾਉਣ ਨਾਲ ਉਹ ਹੁੰਦਾ ਹੈ ਜਿਸਨੂੰ ਲੇਖਕ ਕਾਰਜਸ਼ੀਲ ਉਪ-ਥਾਂ ਦਾ ਢਹਿ ਜਾਣਾ ਕਹਿੰਦੇ ਹਨ — ਰਾਊਟਰ ਉਹ ਬਰੀਕ, ਇਨਪੁੱਟ-ਅਧਾਰਿਤ ਕੰਟਰੋਲ ਗੁਆ ਬੈਠਦਾ ਹੈ ਜਿਸ ਕਰਕੇ MoE ਬਣਾਉਣ ਦਾ ਮਤਲਬ ਸੀ, ਅਤੇ ਸਿਰਫ਼ ਸਥਿਰ ਔਸਤਾਂ ਵਿਚਕਾਰ ਸਟੀਅਰਿੰਗ ਕਰਦਾ ਰਹਿ ਜਾਂਦਾ ਹੈ। 20B ਤੋਂ 1T ਪੈਰਾਮੀਟਰਾਂ ਤੱਕ ਦੇ ਮਾਡਲਾਂ ਉੱਤੇ ਉਨ੍ਹਾਂ ਦੇ ਅੰਕੜੇ: ਕੋਡਿੰਗ ਕੰਮਾਂ ਉੱਤੇ 25% ਮਾਹਰ ਸੰਕੁਚਨ ਉੱਤੇ REAP 2.8% ਔਸਤ ਸ਼ੁੱਧਤਾ ਗੁਆਉਂਦਾ ਹੈ ਜਿੱਥੇ ਰਲਾਉਣ ਵਾਲੇ ਤਰੀਕੇ 5% ਤੋਂ ਵੱਧ ਗੁਆਉਂਦੇ ਹਨ; 50% ਉੱਤੇ REAP 8.0% ਗੁਆਉਂਦਾ ਹੈ ਜਿੱਥੇ ਰਲਾਉਣਾ 20% ਤੋਂ ਵੱਧ ਗੁਆਉਂਦਾ ਹੈ। Qwen3-Coder-480B ਉੱਤੇ 50% ਛਾਂਗਣ ਨਾਲ ਗਿਰਾਵਟ 1.4% ਹੈ, ਜਦਕਿ ਸਾਦੀ ਬਾਰੰਬਾਰਤਾ-ਅਧਾਰਿਤ ਛਾਂਗਣ ਲਈ 39.3%। Cerebras ਨੇ ਹੋਰਨਾਂ ਸਮੇਤ DeepSeek ਲਾਈਨ ਲਈ ਵੀ REAP ਚੈੱਕਪੁਆਇੰਟ ਛਾਪੇ ਹਨ।

ਇੱਥੇ 4-ਬਿੱਟ ਕਿਉਂ ਅਤੇ Pro ਉੱਤੇ 3-ਬਿੱਟ

ਦੋਵਾਂ ਦਰਜਿਆਂ ਨੂੰ ਇੱਕੋ ਜਮਾਤ ਦੇ ਹਾਰਡਵੇਅਰ ਉੱਤੇ ਸਮਾਉਣਾ ਅਤੇ ਤੇਜ਼ ਰਹਿਣਾ ਪੈਂਦਾ ਹੈ। Pro 1.7 ਖਰਬ ਪੈਰਾਮੀਟਰ ਚੁੱਕਦਾ ਹੈ, ਸੋ ਉਸਨੂੰ ਸਮਾਉਣ ਲਈ ਹੀ ਵੱਧ ਸਖ਼ਤ 3-ਬਿੱਟ ਇਲਾਜ ਚਾਹੀਦਾ ਹੈ। Flash ਲਗਭਗ 300 ਅਰਬ ਚੁੱਕਦਾ ਹੈ, ਸੋ ਉਸਨੂੰ ਨਹੀਂ ਚਾਹੀਦਾ — ਅਤੇ ਜੋ ਬਿੱਟ ਬਚਦਾ ਹੈ ਉਹ ਸਮਾਉਣ ਦੀ ਥਾਂ ਵਫ਼ਾਦਾਰੀ ਉੱਤੇ ਖ਼ਰਚ ਹੁੰਦਾ ਹੈ।

ਇਹ ਵਾਧੂ ਬਿੱਟ ਆਪਣੇ ਗਣਿਤ ਤੋਂ ਕਿਤੇ ਵੱਧ ਮਾਅਨੇ ਰੱਖਦਾ ਹੈ, ਕਿਉਂਕਿ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਦਾ ਨੁਕਸਾਨ ਰੇਖਿਕ ਨਹੀਂ ਹੁੰਦਾ। AWQ ਪੇਪਰ ਦੀਆਂ WikiText-2 ਮਿਣਤੀਆਂ ਵਿੱਚ Llama-2-7B FP16 ਉੱਤੇ 5.47 ਪਰਪਲੈਕਸਿਟੀ ਤੋਂ 4-ਬਿੱਟ ਉੱਤੇ 5.60 ਜਾਂਦਾ ਹੈ — 2.4% ਜੁਰਮਾਨਾ — ਪਰ 3-ਬਿੱਟ ਉੱਤੇ 6.24, ਯਾਨੀ 14% ਜੁਰਮਾਨਾ। ਇਹ ਲਗਭਗ 25% ਵੱਧ ਸੰਕੁਚਨ ਲਈ ਛੇ ਗੁਣਾ ਵੱਧ ਵਿਗਾੜ ਹੈ, ਅਤੇ ਇਹੀ ਨਮੂਨਾ 70B ਉੱਤੇ ਵੀ ਬਣਿਆ ਰਹਿੰਦਾ ਹੈ। GPTQ ਪੇਪਰ ਹੋਰ ਵੀ ਸਪਸ਼ਟ ਹੈ: 3 ਬਿੱਟ ਉੱਤੇ, ਸਾਦੀ ਨੇੜਲੇ-ਮੁੱਲ ਰਾਊਂਡਿੰਗ 175B-ਜਮਾਤ ਦੇ ਮਾਡਲਾਂ ਉੱਤੇ ਢਹਿ ਜਾਂਦੀ ਹੈ, ਹਜ਼ਾਰਾਂ ਦੀ ਪਰਪਲੈਕਸਿਟੀ ਤੱਕ, ਜਦਕਿ 4 ਬਿੱਟ ਉੱਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵਰਤਣਯੋਗ ਰਹਿੰਦੀ ਹੈ। ਚਾਰ ਬਿੱਟ ਤੋਂ ਹੇਠਾਂ, ਚੰਗਾ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਐਲਗੋਰਿਦਮ ਸ਼ੌਕ ਨਹੀਂ ਰਹਿੰਦਾ ਸਗੋਂ ਇੱਕੋ ਚੀਜ਼ ਬਣ ਜਾਂਦਾ ਹੈ ਜੋ ਮਾਡਲ ਨੂੰ ਜੋੜ ਕੇ ਰੱਖ ਰਹੀ ਹੈ।

ਸੋ ਇਨ੍ਹਾਂ ਦੋ ਪਿਛੇਤਰਾਂ ਦਾ ਈਮਾਨਦਾਰ ਪਾਠ ਇਹ ਹੈ: Flash ਆਪਣੇ ਬਿਨਾਂ ਸੰਕੁਚਿਤ ਰੂਪ ਦੇ ਓਨਾ ਨੇੜੇ ਬੈਠਦਾ ਹੈ ਜਿੰਨਾ Pro ਆਪਣੇ ਰੂਪ ਦੇ ਨਹੀਂ ਬੈਠਦਾ। Pro ਫਿਰ ਵੀ ਤਕੜਾ ਮਾਡਲ ਹੈ — ਉੱਪਰਲੀ ਬੈਂਚਮਾਰਕ ਸਾਰਣੀ ਇਹ ਗੱਲ ਨਿਬੇੜ ਦਿੰਦੀ ਹੈ। ਬੱਸ ਇੱਥੇ ਪਹੁੰਚਣ ਲਈ ਉਸਨੇ ਵੱਧ ਕੁਰਬਾਨ ਕੀਤਾ, ਅਤੇ ਇਸ ਰੁਤਬੇ ਦੀ ਕੀਮਤ ਤੁਸੀਂ ਭਰਦੇ ਹੋ।

ਸਰੋਤ: AutoRound — "Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs" (arXiv 2309.05516), Intel, Findings of EMNLP 2024। REAP — "REAP the Experts: Why Pruning Prevails for One-Shot MoE Compression" (arXiv 2510.13999), Cerebras Systems। ਪਰਪਲੈਕਸਿਟੀ ਦੇ ਅੰਕੜੇ AWQ (arXiv 2306.00978) ਅਤੇ GPTQ (arXiv 2210.17323) ਤੋਂ।

05ਐਂਡਪੁਆਇੰਟ ਉੱਤੇ Flash ਬਨਾਮ Pro

ਭਾਗ 03 ਨੇ ਬੁਨਿਆਦਾਂ ਦੀ ਗੱਲ ਕੀਤੀ। ਇੱਥੇ ਵੇਖੋ ਕਿ ਸਾਡੇ ਗੇਟਵੇ ਉੱਤੇ ਉਤਪਾਦ ਵਜੋਂ ਇਹ ਦੋ ਦਰਜੇ ਕਿਹੋ ਜਿਹੇ ਲੱਗਦੇ ਹਨ:

	DeepSeek-V4-Flash-0731	DeepSeek-V4-Pro-0813
ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ	W4A16-AUTOROUND-REAP	3BIT-REAP
ਵਜ਼ਨ ਦੀ ਸ਼ੁੱਧਤਾ	4-ਬਿੱਟ, ਸਿੱਖੀ ਹੋਈ ਰਾਊਂਡਿੰਗ	3-ਬਿੱਟ
ਬੁਨਿਆਦ (ਕੁੱਲ / ਸਰਗਰਮ)	~304B / 13B	~1.7T / 49B
ਪ੍ਰਤੀ 1M ਟੋਕਨ ਇਨਪੁੱਟ	$0.50	$1.95
ਪ੍ਰਤੀ 1M ਟੋਕਨ ਆਊਟਪੁੱਟ	$2.00	$3.90
ਸੰਦਰਭ / ਵੱਧ ਤੋਂ ਵੱਧ ਆਊਟਪੁੱਟ	262,144 / 16,384	262,144 / 16,384
ਟੂਲ · ਢਾਂਚਾਗਤ ਆਊਟਪੁੱਟ · ਸਟ੍ਰੀਮਿੰਗ	ਹਾਂ	ਹਾਂ
ਵਿਜ਼ਨ	ਨਹੀਂ	ਨਹੀਂ
ਇਨਕਾਰ ਪਰਤ	ਕੋਈ ਨਹੀਂ	ਕੋਈ ਨਹੀਂ

ਧਿਆਨ ਦਿਓ ਕਿ ਕੀ ਨਹੀਂ ਬਦਲਦਾ: ਸੰਦਰਭ, ਆਊਟਪੁੱਟ ਦੀ ਹੱਦ, ਟੂਲ ਕਾਲਿੰਗ, ਢਾਂਚਾਗਤ ਆਊਟਪੁੱਟ, ਅਤੇ ਇਨਕਾਰ ਪਰਤ ਦੀ ਗ਼ੈਰ-ਹਾਜ਼ਰੀ — ਇਹ ਸਭ ਇੱਕੋ ਜਿਹੇ ਹਨ। ਸਿਰਫ਼ ਬੁਨਿਆਦ, ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਅਤੇ ਕੀਮਤ ਹੀ ਹਿੱਲਦੇ ਹਨ। ਇਸੇ ਕਰਕੇ ਇਨ੍ਹਾਂ ਵਿਚਕਾਰ ਬਦਲਣਾ ਤੁਹਾਡੇ ਕੋਡ ਵਿੱਚ ਇੱਕ ਸਤਰ ਦਾ ਕੰਮ ਹੈ ਅਤੇ ਤੁਹਾਡੇ ਢਾਂਚੇ ਵਿੱਚ ਨਿਰੋਲ ਆਰਥਿਕ ਫ਼ੈਸਲਾ।

ਵੱਧ ਤੋਂ ਵੱਧ ਆਕਾਰ ਵਾਲੀ ਇੱਕ ਕਾਲ ਦਾ ਖ਼ਰਚਾ

ਪੂਰਾ 262,144-ਟੋਕਨ ਸੰਦਰਭ ਭਰੋ ਅਤੇ ਪੂਰੀ 16,384-ਟੋਕਨ ਆਊਟਪੁੱਟ ਲਵੋ:

DeepSeek-V4-Pro$0.575

DeepSeek-V4-Flash$0.164

ਸੂਚੀ ਕੀਮਤ ਉੱਤੇ। Flash: $0.131 ਇਨਪੁੱਟ + $0.033 ਆਊਟਪੁੱਟ। Pro: $0.511 + $0.064। ਅਨੁਪਾਤ 3.51×। Flash $0.50 / $2.00 ਵਾਲਾ ਫ਼ਰਸ਼ MiniMax-M3, Laguna-S-2.1, MiMo-V2.5, MiMo-V2.5-Pro ਅਤੇ Hy3 ਨਾਲ ਵੀ ਸਾਂਝਾ ਕਰਦਾ ਹੈ — ਉਹ ਵਿਜ਼ਨ ਅਤੇ ਢਾਂਚਾਗਤ ਆਊਟਪੁੱਟ ਉੱਤੇ ਕਿਵੇਂ ਵੱਖਰੇ ਹਨ, ਇਸ ਲਈ ਪੂਰੀ ਸੂਚੀ ਵੇਖੋ।

06ਮਾਤਰਾ ਦਾ ਹਿਸਾਬ, ਕੱਢ ਕੇ

"3.9× ਸਸਤਾ" ਸਿਰਫ਼ ਇਨਪੁੱਟ ਉੱਤੇ ਸੱਚ ਹੈ। ਆਊਟਪੁੱਟ ਉੱਤੇ Flash 1.95× ਸਸਤਾ ਹੈ। ਸੋ ਤੁਹਾਡੀ ਅਸਲ ਬੱਚਤ ਤੁਹਾਡੇ ਇਨਪੁੱਟ-ਤੋਂ-ਆਊਟਪੁੱਟ ਅਨੁਪਾਤ ਉੱਤੇ ਨਿਰਭਰ ਹੈ, ਅਤੇ ਇਹ ਫ਼ਾਸਲਾ ਏਨਾ ਚੌੜਾ ਹੈ ਕਿ ਡਿਜ਼ਾਈਨ ਦੇ ਫ਼ੈਸਲੇ ਬਦਲ ਸਕਦਾ ਹੈ। ਚਾਰ ਅਸਲੀ ਕੰਮ ਦੇ ਬੋਝ, ਹਰ ਇੱਕ 100,000 ਬੇਨਤੀਆਂ ਉੱਤੇ:

ਕੰਮ ਦਾ ਬੋਝ	ਪ੍ਰਤੀ ਕਾਲ ਅੰਦਰ / ਬਾਹਰ	Flash	Pro	ਬੱਚਤ
ਟਿਕਟ ਵਰਗੀਕਰਨ	1,200 / 120	$84	$281	3.3×
RAG ਸਵਾਲ-ਜਵਾਬ	8,000 / 600	$520	$1,794	3.4×
ਲੰਮੇ ਦਸਤਾਵੇਜ਼ ਦਾ ਸਾਰ	60,000 / 1,500	$3,300	$12,285	3.7×
ਬਣਾਵਟੀ ਡੇਟਾ ਪੈਦਾ ਕਰਨਾ	500 / 2,000	$425	$878	2.1×

ਨਮੂਨਾ ਇਹ ਹੈ: ਤੁਸੀਂ ਜਿੰਨਾ ਵੱਧ ਸੰਦਰਭ ਧੱਕਦੇ ਹੋ ਅਤੇ ਜਿੰਨੀ ਘੱਟ ਲਿਖਤ ਪੈਦਾ ਕਰਦੇ ਹੋ, Flash ਤੁਹਾਡੇ ਓਨੇ ਵੱਧ ਪੈਸੇ ਬਚਾਉਂਦਾ ਹੈ। ਰੀਟ੍ਰੀਵਲ ਪਾਈਪਲਾਈਨਾਂ, ਦਸਤਾਵੇਜ਼ ਛਾਂਟੀ, ਲੌਗ ਅਤੇ ਲਿਖਤੀ ਰਿਕਾਰਡ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ, ਅਤੇ ਲੰਮੇ ਸੰਦਰਭ ਵਿੱਚੋਂ ਕੱਢਣਾ — ਇਹੀ ਮਿੱਠੀ ਥਾਂ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਇੱਕ ਦਰਜੇ ਦੀ ਹੱਦ ਤੱਕ ਇਨਪੁੱਟ-ਪ੍ਰਧਾਨ ਹਨ, ਅਤੇ 3.9× ਛੂਟ ਇਨਪੁੱਟ ਉੱਤੇ ਹੀ ਰਹਿੰਦੀ ਹੈ। ਜੇ ਇਸਦੀ ਥਾਂ ਤੁਹਾਡਾ ਕੰਮ ਛੋਟੇ ਪ੍ਰੌਂਪਟ ਤੋਂ ਹਜ਼ਾਰਾਂ ਟੋਕਨ ਵਾਰਤਕ ਪੈਦਾ ਕਰਨਾ ਹੈ, ਤਾਂ ਪਾੜਾ ਲਗਭਗ 2× ਤੱਕ ਸੁੰਗੜ ਜਾਂਦਾ ਹੈ ਅਤੇ Pro ਲਈ ਸਮਰੱਥਾ ਵਾਲੀ ਦਲੀਲ ਓਨੀ ਹੀ ਤਕੜੀ ਹੋ ਜਾਂਦੀ ਹੈ।

ਇੱਕ ਹੋਰ ਹਿਸਾਬ ਜੋ ਮਨ ਵਿੱਚ ਬਿਠਾ ਲੈਣਾ ਚਾਹੀਦਾ ਹੈ: ਪ੍ਰਤੀ ਦਸ ਲੱਖ ਇਨਪੁੱਟ ਟੋਕਨ $0.50 ਉੱਤੇ, ਪੂਰੀ 262,144-ਟੋਕਨ ਵਿੰਡੋ ਭਰਨ ਦਾ ਖ਼ਰਚਾ 13.1 ਸੈਂਟ ਹੈ। ਇਸ ਕੀਮਤ ਉੱਤੇ ਲੰਮੇ ਸੰਦਰਭ ਵਾਲੀ ਪ੍ਰੌਂਪਟਿੰਗ ਬਜਟ ਦਾ ਸਵਾਲ ਰਹਿ ਹੀ ਨਹੀਂ ਜਾਂਦੀ, ਜਿਸਦਾ ਕਈ ਵਾਰ ਮਤਲਬ ਹੁੰਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਰੀਟ੍ਰੀਵਲ ਪਰਤ ਬਣਾਉਣ ਦੀ ਲੋੜ ਹੀ ਛੱਡ ਸਕਦੇ ਹੋ ਅਤੇ ਕੰਮ ਸੰਦਰਭ ਵਿੰਡੋ ਨੂੰ ਕਰਨ ਦੇ ਸਕਦੇ ਹੋ — ਟੋਕਨਾਂ ਦੀ ਬੱਚਤ ਦੇ ਉੱਤੋਂ ਇੰਜੀਨੀਅਰਿੰਗ ਦੀ ਬੱਚਤ।

07ਇੱਥੇ "ਬਿਨਾਂ ਸੈਂਸਰ" ਦਾ ਸਹੀ-ਸਹੀ ਮਤਲਬ

ਇਹ ਸ਼ਬਦ ਢਿੱਲੇ ਢੰਗ ਨਾਲ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, ਸੋ ਇਹ ਰਹੀ ਸਾਡੀ ਪਰਿਭਾਸ਼ਾ, ਐਂਡਪੁਆਇੰਟ ਦੇ ਗੁਣ ਵਜੋਂ ਦੱਸੀ ਹੋਈ: ਮਾਡਲ ਦੇ ਅੱਗੇ ਕੋਈ ਇਨਕਾਰ ਵਰਗੀਕਾਰ ਨਹੀਂ ਹੈ ਅਤੇ ਉਸਦੀ ਆਊਟਪੁੱਟ ਉੱਤੇ ਕੋਈ ਸਮੱਗਰੀ ਫਿਲਟਰਿੰਗ ਨਹੀਂ ਲਾਈ ਜਾਂਦੀ। ਕੋਈ ਚੀਜ਼ ਪ੍ਰੌਂਪਟ ਵਿਚਾਲੇ ਰੋਕ ਕੇ ਡੱਬਾਬੰਦ ਇਨਕਾਰ ਨਹੀਂ ਮੋੜਦੀ; ਕੋਈ ਚੀਜ਼ ਜਵਾਬ ਦੀ ਜਾਂਚ ਕਰਕੇ ਉਸ ਵਿੱਚੋਂ ਹਿੱਸੇ ਨਹੀਂ ਕੱਟਦੀ। ਵੱਡੀ ਮਾਤਰਾ ਵਾਲੇ ਪ੍ਰੋਡਕਸ਼ਨ ਕੰਮ ਲਈ ਇਸਦੇ ਨਤੀਜੇ ਸ਼ਬਦ ਦੇ ਸੁਝਾਅ ਨਾਲੋਂ ਘੱਟ ਨਾਟਕੀ ਅਤੇ ਵੱਧ ਕੰਮ ਦੇ ਹਨ:

ਸਾਧਾਰਨ ਆਵਾਜਾਈ ਉੱਤੇ ਕੋਈ ਝੂਠੇ ਸਕਾਰਾਤਮਕ ਨਹੀਂ। ਫਿਲਟਰ ਵਾਲੇ ਐਂਡਪੁਆਇੰਟ ਆਮ ਤੌਰ ਉੱਤੇ ਮੈਡੀਕਲ ਸਾਰ, ਸੁਰੱਖਿਆ ਲਿਖਤਾਂ, ਕਾਨੂੰਨੀ ਖੋਜ, ਗਲਪ, ਨੁਕਸਾਨ-ਘਟਾਊ ਸਮੱਗਰੀ ਅਤੇ ਖ਼ੁਦ ਸੰਚਾਲਨ ਦਾ ਕੰਮ ਠੁਕਰਾ ਦਿੰਦੇ ਹਨ — ਬਿਲਕੁਲ ਉਹੀ ਵੰਨਗੀਆਂ ਜਿੱਥੇ ਇੱਕ ਥੋਕ ਕੰਮ ਕਿਸੇ ਸੰਵੇਦਨਸ਼ੀਲ ਵਿਸ਼ੇ ਬਾਰੇ ਲਿਖਤ ਪਰੋਸ ਰਿਹਾ ਹੁੰਦਾ ਹੈ, ਨਾ ਕਿ ਕੁਝ ਨੁਕਸਾਨਦੇਹ ਪੈਦਾ ਕਰ ਰਿਹਾ। ਇੱਕ ਲੱਖ ਬੇਨਤੀਆਂ ਉੱਤੇ, ਇੱਕ ਫ਼ੀਸਦੀ ਝੂਠੀ-ਇਨਕਾਰ ਦਰ ਦਾ ਮਤਲਬ ਹੈ ਇੱਕ ਹਜ਼ਾਰ ਟੁੱਟੀਆਂ ਕਤਾਰਾਂ।
ਪੱਕੇ ਇਕਰਾਰਨਾਮੇ। json_schema ਜਵਾਬ ਮੰਗੋ ਤਾਂ ਤੁਹਾਨੂੰ ਸਕੀਮੇ ਨਾਲ ਮੇਲ ਖਾਂਦਾ JSON ਮਿਲਦਾ ਹੈ, ਨਾ ਕਿ ਉੱਥੇ ਮਾਫ਼ੀ ਦਾ ਪੈਰਾ ਜਿੱਥੇ ਇੱਕ ਆਬਜੈਕਟ ਹੋਣਾ ਚਾਹੀਦਾ ਸੀ। ਤੁਹਾਡੇ ਪਾਰਸਰ ਨੂੰ ਇਨਕਾਰ ਵਾਲੀ ਸ਼ਾਖਾ ਦੀ ਲੋੜ ਨਹੀਂ, ਅਤੇ ਤੁਹਾਡੇ ਮੁੜ-ਕੋਸ਼ਿਸ਼ ਵਾਲੇ ਤਰਕ ਨੂੰ ਟ੍ਰਾਂਸਪੋਰਟ ਦੀ ਨਾਕਾਮੀ ਅਤੇ ਨੀਤੀ ਦੀ ਨਾਕਾਮੀ ਵਿੱਚ ਫ਼ਰਕ ਨਹੀਂ ਕਰਨਾ ਪੈਂਦਾ।
ਨੀਤੀ ਤੁਹਾਡੀ ਹੈ। ਸੌਦਾ ਇਹੀ ਹੈ। ਜੇ ਤੁਹਾਡੇ ਉਤਪਾਦ ਨੂੰ ਆਪਣੇ ਵਰਤੋਂਕਾਰਾਂ ਲਈ ਰੋਕਾਂ ਚਾਹੀਦੀਆਂ ਹਨ, ਤਾਂ ਤੁਸੀਂ ਉਹ ਆਪਣੀ ਪਰਤ ਉੱਤੇ ਬਣਾਉਂਦੇ ਹੋ, ਜਿੱਥੇ ਤੁਸੀਂ ਆਪਣੇ ਵਰਤੋਂਕਾਰ ਅਤੇ ਆਪਣਾ ਅਧਿਕਾਰ ਖੇਤਰ ਜਾਣਦੇ ਹੋ, ਨਾ ਕਿ ਦੋਵਾਂ ਬਾਰੇ ਕਿਸੇ ਪ੍ਰਦਾਤਾ ਦੇ ਅਨੁਮਾਨ ਵਿਰਸੇ ਵਿੱਚ ਲੈਂਦੇ ਹੋ। ਤੁਹਾਡਾ ਖਾਤਾ ਸਾਡੀ ਜ਼ਿੰਮੇਵਾਰ ਵਰਤੋਂ ਨੀਤੀ ਅਧੀਨ ਰਹਿੰਦਾ ਹੈ।

ਬਿਨਾਂ ਸੈਂਸਰ ਹੋਣਾ ਗ਼ੈਰ-ਅਲਾਈਨ ਜਾਂ ਗ਼ੈਰ-ਮਦਦਗਾਰ ਹੋਣ ਦੇ ਬਰਾਬਰ ਨਹੀਂ। ਮਾਡਲ ਫਿਰ ਵੀ ਹਦਾਇਤਾਂ ਮੰਨਦਾ ਹੈ ਅਤੇ ਸਿਸਟਮ ਪ੍ਰੌਂਪਟ ਦਾ ਲਿਹਾਜ਼ ਕਰਦਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਇਹ ਤੁਹਾਡੇ ਵਰਤੋਂਕਾਰਾਂ ਲਈ ਕੁਝ ਵੰਨਗੀਆਂ ਤੋਂ ਇਨਕਾਰ ਕਰੇ, ਤਾਂ ਉੱਥੇ ਲਿਖ ਦਿਓ — ਹੁਣ ਉਹ ਹਦਾਇਤ ਲਿਖਣੀ ਤੁਹਾਡਾ ਕੰਮ ਹੈ, ਸਾਡੇ ਵੱਲੋਂ ਥੋਪਣ ਵਾਲੀ ਚੀਜ਼ ਨਹੀਂ।

08ਸਮਰੱਥਾਵਾਂ ਅਤੇ ਈਮਾਨਦਾਰ ਹੱਦਾਂ

ਮਾਤਰਾ ਵਾਲੇ ਕੰਮ ਦਾ ਬਹੁਤਾ ਭਾਰ ਦੋ ਸਮਰੱਥਾਵਾਂ ਚੁੱਕਦੀਆਂ ਹਨ। ਸਖ਼ਤ json_schema ਆਊਟਪੁੱਟ ਇੱਕ ਜਵਾਬ ਨੂੰ ਬਿਨਾਂ ਪਾਰਸਿੰਗ ਪਰਤ ਅਤੇ ਬਿਨਾਂ ਇਨਕਾਰ ਸ਼ਾਖਾ ਦੇ ਸਿੱਧਾ ਡੇਟਾਬੇਸ ਦੀ ਕਤਾਰ ਬਣਾ ਦਿੰਦੀ ਹੈ। ਤਿੰਨਾਂ ਬੋਲੀਆਂ ਵਿੱਚ ਟੂਲ ਕਾਲਿੰਗ Flash ਨੂੰ ਅਜਿਹੇ ਏਜੰਟ ਦੇ ਸਸਤੇ ਉਪ-ਕਦਮਾਂ ਲਈ ਸਮਝਦਾਰ ਇੰਜਣ ਬਣਾਉਂਦੀ ਹੈ ਜਿਸਦਾ ਉੱਪਰਲਾ ਯੋਜਨਾਕਾਰ ਕਿਸੇ ਤਕੜੇ ਮਾਡਲ ਉੱਤੇ ਚੱਲਦਾ ਹੈ। ਨਾਲ reasoning_effort ਜੋੜੋ, ਜੋ ਤੁਹਾਨੂੰ ਵਾਧੂ ਟੋਕਨ ਸਿਰਫ਼ ਉਸ ਹਿੱਸੇ ਦੀ ਆਵਾਜਾਈ ਉੱਤੇ ਖ਼ਰਚਣ ਦਿੰਦਾ ਹੈ ਜਿਸਨੂੰ ਲੋੜ ਹੈ, ਅਤੇ Pro ਵਰਗਾ ਹੀ 262,144-ਟੋਕਨ ਸੰਦਰਭ — ਸਸਤਾ ਦਰਜਾ ਚੁਣ ਕੇ ਤੁਸੀਂ ਸੰਦਰਭ ਨਹੀਂ ਗੁਆਉਂਦੇ, ਜੋ ਅਸਾਧਾਰਨ ਗੱਲ ਹੈ।

ਹੱਦਾਂ ਵੀ ਓਨੀਆਂ ਹੀ ਠੋਸ ਹਨ:

ਕੋਈ ਵਿਜ਼ਨ ਨਹੀਂ। Flash ਸਿਰਫ਼ ਲਿਖਤ ਲਈ ਹੈ ਅਤੇ ਸੁਨੇਹੇ ਵਿਚਲੇ ਚਿੱਤਰ ਹਿੱਸੇ ਠੁਕਰਾ ਦੇਵੇਗਾ। ਇਸੇ $0.50 / $2.00 ਫ਼ਰਸ਼ ਉੱਤੇ ਬਿਨਾਂ ਸੈਂਸਰ ਮਾਡਲ ਵਿੱਚ ਚਿੱਤਰਾਂ ਲਈ MiniMax-M3 ਅਤੇ MiMo-V2.5 ਵਿਜ਼ਨ ਵਾਲੇ ਵਿਕਲਪ ਹਨ; Kimi-K2.6 ਅਤੇ Kimi-K3 ਉਸ ਦਰਜੇ ਤੋਂ ਉੱਤੇ ਤਕੜੇ ਵਿਜ਼ਨ ਮਾਡਲ ਹਨ।
ਪੌੜੀ ਦਾ ਸਿਖਰ ਨਹੀਂ। DeepSeek ਦੇ ਆਪਣੇ ਅੰਕੜੇ ਹਰ ਛਾਪੇ ਹੋਏ ਏਜੰਟ ਬੈਂਚਮਾਰਕ ਉੱਤੇ Pro ਨੂੰ ਅੱਗੇ ਰੱਖਦੇ ਹਨ, ਅਤੇ ਪਾੜਾ ਲਗਾਤਾਰ ਬਹੁ-ਕਦਮੀ ਕੋਡ ਤਰਕ ਉੱਤੇ ਸਭ ਤੋਂ ਚੌੜਾ ਹੈ। ਜਿੱਥੇ ਇੱਕ ਗ਼ਲਤ ਜਵਾਬ ਹਜ਼ਾਰ ਸਸਤੇ ਜਵਾਬਾਂ ਨਾਲੋਂ ਮਹਿੰਗਾ ਪੈਂਦਾ ਹੈ, ਉੱਥੇ ਪ੍ਰਤੀ ਦਸ ਲੱਖ ਵਾਧੂ $1.45 DeepSeek-V4-Pro ਉੱਤੇ ਖ਼ਰਚੋ।
ਪ੍ਰਤੀ ਬੇਨਤੀ 16,384 ਆਊਟਪੁੱਟ ਟੋਕਨ। ਲੰਮੀਆਂ ਲਿਖਤਾਂ ਕਈ ਕਾਲਾਂ ਵਿੱਚ ਟੁਕੜੇ ਕਰਕੇ ਲੈਣੀਆਂ ਪੈਣਗੀਆਂ। ਇਹ ਹੱਦ ਸਾਡੇ ਪਰੋਸੇ ਹਰ ਮਾਡਲ ਉੱਤੇ ਇੱਕੋ ਹੈ, ਅਤੇ ਇਹ ਸੰਦਰਭ ਵਿੰਡੋ ਤੋਂ ਕਿਤੇ ਪਹਿਲਾਂ ਬੰਨ੍ਹ ਪਾਉਂਦੀ ਹੈ।

09ਇਸਨੂੰ ਸੱਦਣਾ

ਕੋਈ ਵੀ OpenAI-ਅਨੁਕੂਲ ਕਲਾਇੰਟ ਗੇਟਵੇ ਵੱਲ ਮੋੜੋ ਅਤੇ ਮਾਡਲ ਦੀ ਸਤਰ ਬਦਲ ਦਿਓ। ਤੁਹਾਡੇ ਸਟੈਕ ਵਿੱਚ ਹੋਰ ਕੁਝ ਹਿਲਾਉਣ ਦੀ ਲੋੜ ਨਹੀਂ।

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP",
    "messages": [
      {"role": "system", "content": "Label the ticket. Reply only with the schema."},
      {"role": "user", "content": "The invoice PDF renders blank on Safari 18."}
    ],
    "response_format": {
      "type": "json_schema",
      "json_schema": {
        "name": "ticket_label",
        "schema": {
          "type": "object",
          "properties": {
            "category": {"type": "string"},
            "severity": {"type": "integer"},
            "needs_human": {"type": "boolean"}
          },
          "required": ["category", "severity", "needs_human"],
          "additionalProperties": false
        }
      }
    }
  }'

ਇਹੀ ਮਾਡਲ id /v1/messages ਅਤੇ /v1/responses ਉੱਤੇ ਬਿਨਾਂ ਬਦਲੇ ਚੱਲਦੀ ਹੈ, ਜੋ ਮੌਜੂਦਾ ਏਕੀਕਰਨ ਦੇ ਹੇਠਾਂ ਕਿਸੇ ਸਸਤੇ ਮਾਡਲ ਨੂੰ ਆਪਣਾ ਕਲਾਇੰਟ ਦੁਬਾਰਾ ਲਿਖੇ ਬਿਨਾਂ A/B ਪਰਖਣ ਦਾ ਸਭ ਤੋਂ ਤੇਜ਼ ਤਰੀਕਾ ਹੈ। ਪੈਰਾਮੀਟਰ, ਸਟ੍ਰੀਮਿੰਗ ਘਟਨਾਵਾਂ ਦੀ ਸ਼ਕਲ, ਟੂਲ-ਕਾਲਿੰਗ ਸਕੀਮੇ ਅਤੇ ਦਰ ਦੀਆਂ ਹੱਦਾਂ API ਹਵਾਲੇ ਵਿੱਚ ਦਰਜ ਹਨ; ਸੂਚੀ ਦਾ ਹਰ ਮਾਡਲ Shannon Research ਉੱਤੇ ਦਿੱਤਾ ਹੈ।

ਫ਼ਰਸ਼ ਨਹੀਂ, ਛੱਤ ਚਾਹੀਦੀ ਹੈ? ਉਹੀ ਪਰਿਵਾਰ, 1.7T ਪੈਰਾਮੀਟਰਾਂ ਵਾਲੀ ਬੁਨਿਆਦ, 3-ਬਿੱਟ REAP, $1.95 / $3.90 — ਬਿਨਾਂ ਸੈਂਸਰ DeepSeek-V4-Pro ਮਾਡਲ ਕਾਰਡ ਪੜ੍ਹੋ। ਬਹੁਤੀਆਂ ਪ੍ਰੋਡਕਸ਼ਨ ਪ੍ਰਣਾਲੀਆਂ ਅਖ਼ੀਰ ਦੋਵੇਂ ਚਲਾਉਂਦੀਆਂ ਹਨ: ਫੈਲਾਅ ਲਈ Flash, ਅਤੇ ਜੋ ਕਾਲਾਂ ਕੁਝ ਤੈਅ ਕਰਦੀਆਂ ਹਨ ਉਨ੍ਹਾਂ ਲਈ Pro।

10ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਬਿਨਾਂ ਸੈਂਸਰ DeepSeek Flash API ਕੀ ਹੈ?

ਇਹ DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP ਲਈ Shannon AI Gateway ਦਾ ਐਂਡਪੁਆਇੰਟ ਹੈ: DeepSeek ਦੀ 13B-ਸਰਗਰਮ V4-Flash ਬੁਨਿਆਦ ਦਾ 4-ਬਿੱਟ AutoRound ਬਿਲਡ, ਜੋ ਸਾਡੇ ਆਪਣੇ GPU ਕਲੱਸਟਰ ਉੱਤੇ ਬਿਨਾਂ ਕਿਸੇ ਇਨਕਾਰ ਪਰਤ ਅਤੇ ਬਿਨਾਂ ਕਿਸੇ ਆਊਟਪੁੱਟ ਫਿਲਟਰਿੰਗ ਦੇ ਪਰੋਸਿਆ ਜਾਂਦਾ ਹੈ, ਪ੍ਰਤੀ ਦਸ ਲੱਖ ਇਨਪੁੱਟ ਟੋਕਨ $0.50 ਅਤੇ ਪ੍ਰਤੀ ਦਸ ਲੱਖ ਆਊਟਪੁੱਟ ਟੋਕਨ $2.00 ਉੱਤੇ, 262,144-ਟੋਕਨ ਸੰਦਰਭ ਨਾਲ।

DeepSeek V4 Flash ਦੀ ਪ੍ਰਤੀ ਦਸ ਲੱਖ ਟੋਕਨ ਕੀਮਤ ਕਿੰਨੀ ਹੈ?

$0.50 ਇਨਪੁੱਟ ਅਤੇ $2.00 ਆਊਟਪੁੱਟ, ਜੋ Shannon ਗੇਟਵੇ ਉੱਤੇ ਫ਼ਰਸ਼ ਕੀਮਤ ਹੈ। DeepSeek-V4-Pro-0813 $1.95 ਅਤੇ $3.90 ਹੈ, ਸੋ Flash ਇਨਪੁੱਟ ਉੱਤੇ 3.9× ਅਤੇ ਆਊਟਪੁੱਟ ਉੱਤੇ 1.95× ਸਸਤਾ ਹੈ। ਪੂਰਾ 262,144-ਟੋਕਨ ਸੰਦਰਭ ਭਰਨ ਦਾ ਖ਼ਰਚਾ Flash ਉੱਤੇ ਲਗਭਗ $0.13 ਹੈ, ਜਦਕਿ Pro ਉੱਤੇ $0.51।

ਮੈਂ DeepSeek V4 Flash ਵਰਤਾਂ ਜਾਂ DeepSeek V4 Pro?

Flash ਉਦੋਂ ਜਦੋਂ ਕਾਲਾਂ ਦੀ ਗਿਣਤੀ ਹੀ ਹੱਦ ਹੋਵੇ: ਵਰਗੀਕਰਨ, ਕੱਢਣਾ, ਸਾਰ ਬਣਾਉਣਾ, ਬਣਾਵਟੀ ਡੇਟਾ, RAG ਜਵਾਬ, ਏਜੰਟ ਦੇ ਉਪ-ਕਦਮ। Pro ਉਦੋਂ ਜਦੋਂ ਇੱਕੋ ਕਾਲ ਦੀ ਔਖ ਹੀ ਹੱਦ ਹੋਵੇ। Flash ਕੋਈ ਘਟਾਇਆ ਹੋਇਆ Pro ਨਹੀਂ; ਇਹ ਵੱਧ ਵਫ਼ਾਦਾਰੀ ਵਾਲੀ 4-ਬਿੱਟ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਉੱਤੇ ਇੱਕ ਛੋਟੀ ਬੁਨਿਆਦ ਹੈ, ਜਦਕਿ Pro 3-ਬਿੱਟ ਉੱਤੇ 1.7T ਪੈਰਾਮੀਟਰਾਂ ਵਾਲੀ ਬੁਨਿਆਦ ਹੈ।

ਕੀ DeepSeek-V4-Flash-0731 ਵਿਜ਼ਨ ਅਤੇ JSON ਸਕੀਮਾ ਆਊਟਪੁੱਟ ਸਮਰਥਿਤ ਕਰਦਾ ਹੈ?

ਇਹ ਸਖ਼ਤ json_schema ਢਾਂਚਾਗਤ ਆਊਟਪੁੱਟ ਅਤੇ response_format ਸਮਰਥਿਤ ਕਰਦਾ ਹੈ, ਨਾਲੇ ਟੂਲ ਕਾਲਿੰਗ, ਸਟ੍ਰੀਮਿੰਗ ਅਤੇ reasoning_effort ਵੀ। ਇਹ ਚਿੱਤਰ ਇਨਪੁੱਟ ਨਹੀਂ ਲੈਂਦਾ। ਇਸੇ ਫ਼ਰਸ਼ ਕੀਮਤ ਉੱਤੇ ਬਿਨਾਂ ਸੈਂਸਰ ਮਾਡਲ ਵਿੱਚ ਚਿੱਤਰਾਂ ਲਈ MiniMax-M3 ਅਤੇ MiMo-V2.5 ਵਿਜ਼ਨ ਵਾਲੇ ਵਿਕਲਪ ਹਨ।

W4A16-AUTOROUND-REAP ਦਾ ਕੀ ਮਤਲਬ ਹੈ?

W4A16 ਦਾ ਮਤਲਬ ਹੈ 4-ਬਿੱਟ ਵਜ਼ਨ ਅਤੇ 16-ਬਿੱਟ ਐਕਟੀਵੇਸ਼ਨ। AutoRound Intel ਦਾ ਸਿੱਖਿਆ ਹੋਇਆ ਰਾਊਂਡਿੰਗ ਤਰੀਕਾ ਹੈ, ਜੋ ਨੇੜਲੇ ਮੁੱਲ ਉੱਤੇ ਗੋਲ ਕਰਨ ਦੀ ਥਾਂ ਸਾਈਨਡ ਗਰੇਡੀਐਂਟ ਡਿਸੈਂਟ ਨਾਲ ਰਾਊਂਡਿੰਗ ਦੇ ਫ਼ੈਸਲੇ ਅਨੁਕੂਲ ਬਣਾਉਂਦਾ ਹੈ। REAP, Cerebras Systems ਦਾ ਮਾਹਰਾਂ-ਦੇ-ਮਿਸ਼ਰਣ ਵਾਲੇ ਮਾਡਲਾਂ ਲਈ ਇੱਕ-ਵਾਰੀ ਮਾਹਰ-ਛਾਂਗਣ ਦਾ ਤਰੀਕਾ ਹੈ, ਜੋ ਬਿਨਾਂ ਮੁੜ-ਸਿਖਲਾਈ ਦੇ ਸਭ ਤੋਂ ਘੱਟ ਵਰਤੇ ਜਾਂਦੇ ਮਾਹਰ ਕੱਢ ਦਿੰਦਾ ਹੈ।

ਕੀ ਮਾਡਲ ਸੱਚਮੁੱਚ ਬਿਨਾਂ ਸੈਂਸਰ ਹੈ, ਬਿਨਾਂ ਕਿਸੇ ਇਨਕਾਰ ਪਰਤ ਦੇ?

ਹਾਂ। ਮਾਡਲ ਦੇ ਅੱਗੇ ਕੋਈ ਇਨਕਾਰ ਵਰਗੀਕਾਰ ਨਹੀਂ ਬੈਠਦਾ ਅਤੇ ਉਸਦੀ ਆਊਟਪੁੱਟ ਉੱਤੇ ਕੋਈ ਫਿਲਟਰਿੰਗ ਨਹੀਂ ਲਾਈ ਜਾਂਦੀ, ਸੋ ਤੁਹਾਨੂੰ ਮਾਡਲ ਦੀ ਆਪਣੀ ਵੰਡ ਮਿਲਦੀ ਹੈ। ਇਸਦਾ ਇਹ ਵੀ ਮਤਲਬ ਹੈ ਕਿ ਤੁਹਾਡੇ ਉਤਪਾਦ ਦੀ ਸੁਰੱਖਿਆ ਦਾ ਰਵੱਈਆ ਤੁਹਾਡਾ ਆਪਣਾ ਹੈ ਅਤੇ ਰੋਕਾਂ ਤੁਸੀਂ ਆਪਣੀ ਪਰਤ ਉੱਤੇ ਬਣਾਉਂਦੇ ਹੋ; ਖਾਤਾ ਫਿਰ ਵੀ ਸਾਡੀ ਜ਼ਿੰਮੇਵਾਰ ਵਰਤੋਂ ਨੀਤੀ ਅਧੀਨ ਰਹਿੰਦਾ ਹੈ।

ਆਪਣੀ ਮਾਤਰਾ Flash ਉੱਤੇ ਚਲਾਓ

$0.50 ਅੰਦਰ, $2.00 ਬਾਹਰ, 262K ਸੰਦਰਭ, ਕੋਈ ਇਨਕਾਰ ਨਹੀਂ। ਬੱਸ ਇੱਕ ਮਾਡਲ ਸਤਰ ਬਦਲੋ।

API ਦਸਤਾਵੇਜ਼ ਪੜ੍ਹੋ ਸਾਰੇ 12 ਮਾਡਲ ਵੇਖੋ

Shannon Lab LLC · New Mexico, USA · ਸਾਡੀ ਜ਼ਿੰਮੇਵਾਰ ਵਰਤੋਂ ਨੀਤੀ ਅਧੀਨ

ਸਰੋਤ: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · DeepSeek-V3 ਤਕਨੀਕੀ ਰਿਪੋਰਟ (arXiv 2412.19437) · DeepSeek-V4 (arXiv 2606.19348) · DeepSeek-V4-Flash-0731 ਅਤੇ DeepSeek-V4-Pro-0813 ਮਾਡਲ ਕਾਰਡ · AutoRound (arXiv 2309.05516, Intel) · REAP (arXiv 2510.13999, Cerebras Systems) · AWQ (arXiv 2306.00978) · GPTQ (arXiv 2210.17323)। ਬੁਨਿਆਦ ਅਤੇ ਬੈਂਚਮਾਰਕ ਦੇ ਸਾਰੇ ਅੰਕੜੇ ਉਨ੍ਹਾਂ ਦੇ ਆਪਣੇ ਲੇਖਕਾਂ ਵੱਲੋਂ ਛਾਪੇ ਗਏ ਹਨ; Shannon AI ਦੀਆਂ ਕੀਮਤਾਂ ਅਤੇ ਪਰੋਸਿਆ ਜਾਂਦਾ ਸੰਦਰਭ ਸਤੰਬਰ 2026 ਤੱਕ ਸਾਡੇ ਆਪਣੇ ਸੂਚੀ ਮੁੱਲ ਹਨ।

ਸਾਰੇ research links