സെൻസർ ചെയ്യാത്ത DeepSeek Flash API

ഒരു LLM API വിലയിരുത്തുന്ന മിക്ക ടീമുകളും തെറ്റായ വേരിയബിളാണ് ഒപ്റ്റിമൈസ് ചെയ്യുന്നത്. അവർക്ക് ചിന്തിക്കാൻ കഴിയുന്ന ഏറ്റവും കടുപ്പമുള്ള ഇരുപത് പ്രോംപ്റ്റുകളിൽ ബെഞ്ച്മാർക്ക് ചെയ്ത്, ജയിക്കുന്നത് തിരഞ്ഞെടുക്കുന്നു, ആറാഴ്ച കഴിഞ്ഞ് അവരുടെ ട്രാഫിക്കിന്റെ തൊണ്ണൂറ്റഞ്ച് ശതമാനവും ഹ്രസ്വവും ഘടനാപരവും ആവർത്തനപരവുമായ ജോലിയാണെന്ന് കണ്ടെത്തുന്നു, കാൽ ഭാഗം വിലയുള്ള ഒരു മോഡലിന് അതേപോലെ കൈകാര്യം ചെയ്യാമായിരുന്നു. ആ തൊണ്ണൂറ്റഞ്ച് ശതമാനത്തിന് വേണ്ടിയാണ് DeepSeek-V4-Flash നിലനിൽക്കുന്നത്. നിങ്ങൾ അതിലാണോ എന്ന് അറിയുന്നതിനെക്കുറിച്ചാണ് ഈ പേജ് — അല്ലാത്തപ്പോൾ എപ്പോഴെന്നും.

01നിങ്ങൾക്ക് യഥാർത്ഥത്തിൽ ലഭിക്കുന്നത്

ഗുണം	DeepSeek-V4-Flash-0731 · W4A16-AUTOROUND-REAP
മോഡൽ ഐഡി	DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP
സന്ദർഭം / പരമാവധി ഔട്ട്പുട്ട്	262,144 ടോക്കൺ / 16,384 ടോക്കൺ
1M-ന് വില (ഇൻപുട്ട് / ഔട്ട്പുട്ട്)	$0.50 / $2.00
സ്ട്രീമിംഗ് · ടൂൾ കോളിംഗ് · യുക്തിചിന്ത	ഉവ്വ് — മൂന്ന് ഭാഷാഭേദങ്ങളിലും
ഘടനാപരമായ ഔട്ട്പുട്ട്	json_schema, response_format
ഇമേജ് ഇൻപുട്ട് (വിഷൻ)	ഇല്ല — ടെക്സ്റ്റ് മാത്രം
നിരസന പാളി / ഔട്ട്പുട്ട് ഫിൽട്ടർ	ഇല്ല
നൽകുന്നത്	Shannon-ന്റെ സ്വന്തം GPU ക്ലസ്റ്ററിൽ

അതേ വെയ്റ്റുകളിലേക്ക് മൂന്ന് API ഭാഷാഭേദങ്ങൾ എത്തുന്നു: /v1/chat/completions (OpenAI-രൂപത്തിൽ), /v1/messages (Anthropic-രൂപത്തിൽ), /v1/responses. മൂന്നിലും സ്ട്രീമിംഗ് പ്രവർത്തിക്കുന്നു. പൂർണ്ണ പാരാമീറ്റർ റഫറൻസ് API ഡോക്യുമെന്റേഷനിൽ ഉണ്ട്.

02ഇത് എവിടെ നിന്നാണ്: DeepSeek പരമ്പര

DeepSeek-AI അഞ്ച് മോഡൽ തലമുറകൾ ഒരൊറ്റ ആസക്തിക്കായി ചെലവഴിച്ചു: നൽകാൻ വിലകുറഞ്ഞ ഒരു മോഡലിൽ നിന്ന് ഫ്രോണ്ടിയർ പെരുമാറ്റം നേടുക, പരിശീലിപ്പിക്കാൻ വിലകുറഞ്ഞത് മാത്രം പോരാ. ആ നിരയിലെ മിക്കവാറും എല്ലാ ആർക്കിടെക്ചർ തീരുമാനവും അതിലേക്ക് തിരികെപ്പോകുന്നു, പ്രധാനപ്പെട്ടവ പ്രസിദ്ധീകരിക്കപ്പെട്ടിട്ടുമുണ്ട്. ഈ എൻഡ്‌പോയിന്റ് അമർത്തുമ്പോൾ നിങ്ങൾ വിളിക്കുന്നത് എന്താണെന്ന് മൂന്നെണ്ണം വിശദീകരിക്കുന്നു.

DeepSeekMoE — സൂക്ഷ്മതല എക്സ്പെർട്ടുകളും ഒരു പങ്കിട്ടതും

ഒരു Mixture-of-Experts ലെയർ ഒരു വലിയ ഫീഡ്-ഫോർവേഡ് നെറ്റ്‌വർക്കിനെ പല ചെറിയവയാക്കി മാറ്റുന്നു, ടോക്കണിന് ഏതാനും എണ്ണം തിരഞ്ഞെടുക്കുന്ന ഒരു റൂട്ടറും. DeepSeek-ന്റെ വകഭേദം എക്സ്പെർട്ടുകളെ പരമ്പരാഗത എട്ട്-എക്സ്പെർട്ട് ലേഔട്ടിനെക്കാൾ സൂക്ഷ്മമായി മുറിക്കുന്നു, അതിനാൽ അതേ ആക്ടിവേറ്റ് ചെയ്ത FLOP-കൾ വളരെ കൂടുതൽ കോമ്പിനറ്റോറിയലായി നിർദ്ദിഷ്ടമായ ഒരു മിശ്രിതം വാങ്ങുന്നു, ഒപ്പം ഓരോ ടോക്കണും കടന്നുപോകുന്ന ഒരു പങ്കിട്ട എക്സ്പെർട്ടിനെ അത് വേർതിരിക്കുന്നു, അതിനാൽ പൊതു അറിവ് ഓരോ സ്പെഷ്യലിസ്റ്റിനുള്ളിലും ആവർത്തിച്ച് വീണ്ടും പഠിക്കപ്പെടുന്നില്ല. DeepSeek-V3 അത് 256 റൂട്ട് ചെയ്യപ്പെട്ട എക്സ്പെർട്ടുകൾ, പുറമേ 1 പങ്കിട്ട എക്സ്പെർട്ട്, ടോക്കണിന് 8 റൂട്ട് ചെയ്യപ്പെട്ടത് സജീവമാക്കുന്നു എന്ന നിലയിലാണ് നൽകിയത് — ആകെ 671B പാരാമീറ്റർ, 37B സജീവം — ഒപ്പം ഓക്സിലിയറി-ലോസ്-ഫ്രീ ലോഡ് ബാലൻസിംഗും: ഗുണനിലവാരം കുറയ്ക്കുന്ന ഒരു പെനാൽറ്റി ടേമിന് പകരം, ഓരോ ഘട്ടത്തിലും ആ എക്സ്പെർട്ട് കുറച്ചോ കൂടുതലോ ലോഡ് ചെയ്യപ്പെടുന്നതനുസരിച്ച് ഒരു per-expert ബയാസ് റൂട്ടിംഗ് സ്കോറുകളെ മുകളിലേക്കോ താഴേക്കോ തള്ളുന്നു.

MLA — മെമ്മറിയിൽ ഒതുങ്ങുന്ന അറ്റൻഷൻ

സേവന-ചെലവ് പ്രശ്നത്തിന്റെ മറ്റേ പകുതി KV കാഷാണ്, ഇത് സന്ദർഭത്തിനൊപ്പം ലീനിയറായി വളരുകയും നീണ്ട സീക്വൻസ് നീളങ്ങളിൽ മെമ്മറിയിൽ ആധിപത്യം സ്ഥാപിക്കുകയും ചെയ്യുന്നു. DeepSeek-V2-ൽ അവതരിപ്പിച്ച Multi-head Latent Attention, കീകളെയും വാല്യുകളെയും ഒരു ലോ-റാങ്ക് ലേറ്റന്റ് വെക്റ്ററിലേക്ക് സംയുക്തമായി കംപ്രസ് ചെയ്യുന്നു, അതിനെ കാഷെ ചെയ്യുന്നു, ഉപയോഗിക്കാവുന്ന K/V ഓൺ-ദ-ഫ്ലൈ പുനർനിർമ്മിക്കുന്നു. അവരുടെ മുൻകാല ഡെൻസ് DeepSeek 67B-യെ അപേക്ഷിച്ച്, DeepSeek-ന്റെ പ്രസിദ്ധീകരിച്ച V2 കണക്കുകൾ KV കാഷിൽ 93.3% കുറവും 5.76× ഉയർന്ന പരമാവധി ജനറേഷൻ ത്രൂപുട്ടും റിപ്പോർട്ട് ചെയ്യുന്നു. അതുകൊണ്ടാണ് ഈ കുടുംബത്തിൽ 262K-ടോക്കൺ ജാലക ഒരു പ്രീമിയം ആഡ്-ഓൺ അല്ല, മറിച്ച് അടിസ്ഥാന ഓഹരി.

സ്പാഴ്സ് അറ്റൻഷൻ — വിലകുറഞ്ഞ ടോക്കണുകൾക്കുള്ള മുൻമാതൃകയും

V3.2-Exp DeepSeek Sparse Attention ചേർത്തു: ക്വറിക്കെതിരെ സന്ദർഭ ടോക്കണുകളെ സ്കോർ ചെയ്യുന്ന ഒരു ഭാരം കുറഞ്ഞ ഇൻഡെക്സറും, ഏറ്റവും ഉയർന്ന സ്കോർ ചെയ്യുന്നവ മാത്രം നിലനിർത്തുന്ന ഒരു സെലക്ടറും. കൗതുകകരമായ ഭാഗം സംവിധാനമല്ല, രസീതാണ്. V3.1-Terminus-നൊപ്പം ഒരു സൈഡ്-ബൈ-സൈഡ് DeepSeek പ്രസിദ്ധീകരിച്ചു, MMLU-Pro 85.0-ൽ അതേപടി, AIME 2025 ഉയർന്നു (88.4 → 89.3), SWE-bench Verified ചെറുതായി താഴ്ന്നു (68.4 → 67.8) — ഏകദേശം സ്ഥിരതയുള്ള ഗുണനിലവാരം — അതേ ദിവസം തന്നെ അവരുടെ API വിലകൾ 50%-ത്തിലധികം വെട്ടിക്കുറച്ചു. ആർക്കിടെക്ചർ, സത്യസന്ധമായി റിപ്പോർട്ട് ചെയ്തത്, നേരിട്ട് വിലയായി മാറുന്നു. Flash ആ വാദം ഒരു പടി കൂടി മുന്നോട്ട് കൊണ്ടുപോകുന്നു.

V4 തലമുറ

2026 ഏപ്രിലിൽ ഒരു MIT ലൈസൻസിന് കീഴിൽ പ്രിവ്യൂ ചെയ്ത V4, അറ്റൻഷൻ സ്റ്റാക്കിനെ വീണ്ടും Compressed Sparse Attention-ന്റെയും Heavily Compressed Attention-ന്റെയും ഒരു ഹൈബ്രിഡ് ഉപയോഗിച്ച് മാറ്റിസ്ഥാപിക്കുന്നു, 32T-ലധികം ടോക്കണുകളിൽ Muon ഒപ്റ്റിമൈസർ ഉപയോഗിച്ച് പരിശീലിപ്പിക്കുന്നു, V3-ന്റെ multi-token-prediction ലക്ഷ്യം നിലനിർത്തുന്നു — ഇത് സ്പെക്യുലേറ്റീവ് ഡീകോഡിംഗ് ആയും പ്രവർത്തിക്കുന്നു, V3-ൽ ഏകദേശം 1.8× ഡീകോഡിംഗ് വേഗതയ്ക്കായി 85–90% രണ്ടാം-ടോക്കൺ സ്വീകാര്യതാ നിരക്ക് DeepSeek അളന്നു. V4-Pro V3.2-യുടെ ഒറ്റ-ടോക്കൺ അനുമാന FLOP-കളുടെ 27%-ഉം അതിന്റെ KV കാഷിന്റെ 10%-ഉം ഉപയോഗിച്ചാണ് പ്രവർത്തിക്കുന്നതെന്ന് V4 അബ്‌സ്ട്രാക്റ്റ് റിപ്പോർട്ട് ചെയ്യുന്നു. കുടുംബം മൂന്ന് reasoning-effort തലങ്ങൾ തുറന്നുനൽകുന്നു, ഞങ്ങളുടെ reasoning_effort പാരാമീറ്റർ അതിലേക്കാണ് മാപ്പ് ചെയ്യുന്നത്.

സ്രോതസ്സുകൾ: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · DeepSeek-V3 സാങ്കേതിക റിപ്പോർട്ട് (arXiv 2412.19437) · DeepSeek-V3.2-Exp മോഡൽ കാർഡ് · DeepSeek-V4 (arXiv 2606.19348). എല്ലാ കണക്കുകളും DeepSeek-റിപ്പോർട്ട് ചെയ്തത്.

03"Flash" യഥാർത്ഥത്തിൽ എന്താണ് അർത്ഥമാക്കുന്നത്

മിക്ക താരതമ്യങ്ങളും തെറ്റാവുന്ന പോയിന്റാണ് ഇത്, അതിനാൽ വ്യക്തമായി പറയേണ്ടതാണ്: DeepSeek-ന്റെ Flash ഒരു ക്വാണ്ടൈസ് ചെയ്ത, പ്രൂൺ ചെയ്ത അല്ലെങ്കിൽ ഡിസ്റ്റിൽ ചെയ്ത Pro അല്ല. അതിന്റെ സ്വന്തം പ്രീ-ട്രെയിനിംഗ് ഓട്ടത്തോടെ പ്രത്യേകം പരിശീലിപ്പിച്ച, ചെറിയ ഒരു Mixture-of-Experts മോഡലാണ്. V4 പ്രിവ്യൂ പേപ്പർ രണ്ട് വലുപ്പങ്ങൾ നൽകുന്നു:

DeepSeek-V4 പ്രിവ്യൂ പേപ്പറിൽ നിന്നുള്ള കണക്കുകൾ. ഞങ്ങൾ നൽകുന്ന ഔദ്യോഗിക ചെക്ക്‌പോയിന്റുകൾ — V4-Flash-0731-ഉം V4-Pro-0813-ഉം — അവയുടെ മോഡൽ കാർഡുകളിൽ 304B, 1.7T എന്നിങ്ങനെ അല്പം വലിയ ആകെ കണക്കുകൾ പട്ടികപ്പെടുത്തുന്നു; ആ ബിൽഡുകൾക്ക് സജീവമായ പാരാമീറ്ററുകൾ DeepSeek വീണ്ടും പറയുന്നില്ല.

ഇവിടെ രണ്ട് സംഖ്യകളാണ് ജോലി ചെയ്യുന്നത്. ആകെ പാരാമീറ്ററുകൾ മെമ്മറി ഫുട്‌പ്രിന്റ് നിശ്ചയിക്കുന്നു, മോഡലിന്റെ ഒരു കോപ്പി എത്ര ഹാർഡ്‌വെയർ എടുക്കുന്നു എന്ന് അത് തീരുമാനിക്കുന്നു. സജീവമായ പാരാമീറ്ററുകൾ ടോക്കണിന്റെ ഗണിതം നിശ്ചയിക്കുന്നു, ത്രൂപുട്ട് അത് തീരുമാനിക്കുന്നു. ആദ്യത്തേതിൽ Flash ഏകദേശം 5.6× ചെറുതും രണ്ടാമത്തേതിൽ 3.8× ചെറുതുമാണ് — ആ വിടവിൽ ശ്രദ്ധിക്കേണ്ട ഒരു സൂക്ഷ്മതയുണ്ട്: Flash 284 ബില്യണിൽ 13 ബില്യൺ സജീവമാക്കുന്നു, ഏകദേശം 4.6%, Pro 1,600 ബില്യണിൽ 49 ബില്യൺ സജീവമാക്കുന്നു, ഏകദേശം 3.1%. Flash കുറച്ച് സ്പാഴ്സായ മോഡലാണ്. ഇത് വെറും കുറച്ച് എക്സ്പെർട്ടുകൾ ഓണാക്കിയ Pro അല്ല; അത് ഉണ്ടാക്കുന്ന ഓരോ ടോക്കണിനും തന്നിലെ വലിയൊരു ഭാഗം ചെലവഴിക്കുന്ന, കൂടുതൽ ഡെൻസും വ്യത്യസ്തമായി ബാലൻസ് ചെയ്തതുമായ ഒരു രൂപകൽപ്പനയാണ്. അത് ഒരു യഥാർത്ഥ എഞ്ചിനീയറിംഗ് തിരഞ്ഞെടുപ്പാണ്, ഒരു ഡൗൺഗ്രേഡ് അല്ല.

DeepSeek-ന്റെ സ്വന്തം കണക്കുകൾ പറയുന്നത്

രണ്ട് ഔദ്യോഗിക മോഡൽ കാർഡുകളും അതേ ഏജന്റിക്, സോഫ്റ്റ്‌വെയർ-എഞ്ചിനീയറിംഗ് ബെഞ്ച്മാർക്കുകളിലെ സ്കോറുകൾ പ്രസിദ്ധീകരിക്കുന്നു, ഇത് ഒരു അസാധാരണമായി ശുദ്ധമായ താരതമ്യമാക്കുന്നു — അതേ ലാബ്, അതേ മൂല്യനിർണ്ണയ ഹാർനെസ്സ്, രണ്ട് വലുപ്പങ്ങൾ:

ബെഞ്ച്മാർക്ക് (DeepSeek-റിപ്പോർട്ട് ചെയ്തത്)	V4-Flash-0731	V4-Pro-0813
Terminal Bench 2.1	82.7	87.9
Toolathlon-Verified	70.3	74.1
DeepSWE	54.4	62.7
NL2Repo	54.2	61.5
DSBench-FullStack	68.7	71.1

എല്ലാ വരിയിലും Pro ജയിക്കുന്നു. അതാണ് സത്യസന്ധമായ ഹെഡ്‌ലൈൻ, പ്രൊഡക്ഷനിൽ കണ്ടെത്തുന്നതിനെക്കാൾ ഇവിടെ നിങ്ങൾ അത് വായിക്കുന്നതാണ് ഞങ്ങൾ ഇഷ്ടപ്പെടുന്നത്. പക്ഷേ മാർജിനുകൾ വായിക്കുക, കാരണം അതാണ് നിങ്ങൾ യഥാർത്ഥത്തിൽ വാങ്ങുന്നത്. Terminal Bench 2.1-ൽ ഇരുപത്തിയഞ്ചിലൊന്ന് പാരാമീറ്ററുള്ള ഒരു മോഡലിൽ വിടവ് 5.2 പോയിന്റാണ്; ടൂൾ-ഉപയോഗത്തിൽ 3.8 പോയിന്റ്. ജോലി ഏറ്റവും ആഴത്തിലാകുന്നിടത്ത് വിടവ് വീതികൂടുന്നു — DeepSWE-ൽ 8.3 പോയിന്റ്, NL2Repo-ൽ 7.3, രണ്ടും തുടർച്ചയായ ബഹുഘട്ട കോഡ് യുക്തിചിന്തയ്ക്ക് പ്രതിഫലം നൽകുന്നവയാണ്. ഒരൊറ്റ പട്ടികയിലെ വ്യാപാരത്തിന്റെ രൂപം അതാണ്: പരിമിതമായ ജോലികളിൽ Flash മിക്ക ദൂരവും അടയ്ക്കുന്നു, തുറന്ന ജോലികളിൽ അത് വഴങ്ങുന്നു.

DeepSeek-ന്റെ സ്വന്തം Flash കാർഡ് ആ പോയിന്റ് കൂടുതൽ മൂർച്ചയോടെ ഉണ്ടാക്കുന്നു: അതിന്റെ വളരെ ചെറിയ സജീവ പാരാമീറ്റർ എണ്ണം ഉണ്ടായിട്ടും, ലിസ്റ്റ് ചെയ്ത ബെഞ്ച്മാർക്കുകളിൽ Flash-0731 V4-Pro പ്രിവ്യൂവിനെ മറികടക്കുന്നു. ഒരു പഴയ വലിയ മോഡലിനെ പുതിയ ചെറിയ മോഡൽ തോൽപ്പിക്കുന്നത് ഈ മേഖലയിലെ സാധാരണ അവസ്ഥയാണ്, "വലിയ തട്ട്" ഒരിക്കലും നിങ്ങളുടെ സ്ഥിരസ്ഥിതി ഉത്തരമാകരുത് എന്നതിന്റെ കാരണവുമാണ്.

04ഉപസർഗ്ഗം വായിക്കൽ: W4A16-AUTOROUND-REAP

ഞങ്ങളുടെ മോഡൽ ഐഡികൾ അവയുടെ കംപ്രഷൻ സ്കീം ഉറക്കെ പറയുന്നു, കാരണം ഔട്ട്പുട്ട് ഗുണനിലവാരത്തെ ഏറ്റവും കൂടുതൽ ബാധിക്കുന്ന കാര്യമാണ് അത്, ഏതാണ്ട് ആരും അത് വെളിപ്പെടുത്താറില്ല. ഇത് മൂന്ന് അവകാശവാദങ്ങളായി വിഭജിക്കുന്നു.

W4A16 — 4-ബിറ്റ് വെയ്റ്റുകൾ, 16-ബിറ്റ് ആക്ടിവേഷനുകൾ

വെയ്റ്റുകൾ ഓരോന്നും 4 ബിറ്റിലാണ് സൂക്ഷിക്കുന്നത്; ആക്ടിവേഷനുകൾ 16-ബിറ്റ് കൃത്യതയിലൂടെ ഒഴുകുന്നു. ഇത് വെയ്റ്റ്-മാത്രം ക്വാണ്ടൈസേഷനാണ്, ടോക്കൺ ജനറേഷനിലെ യഥാർത്ഥ തടസ്സത്തെയാണ് ഇത് ലക്ഷ്യമിടുന്നത്, ഗണിതത്തെക്കാൾ മെമ്മറി ബാൻഡ്‌വിഡ്ത്താണ് അത്. ആക്ടിവേഷനുകൾ കൂടി ക്വാണ്ടൈസ് ചെയ്യുന്നത് അല്പം കൂടുതൽ വേഗത നേടുകയും വളരെ വലിയ ഒരു കൃത്യതാ കൊക്കയ്ക്ക് സാധ്യതയുണ്ടാക്കുകയും ചെയ്യും; അവയെ 16 ബിറ്റിൽ വിടുന്നത് യാഥാസ്ഥിതികവും ഉയർന്ന-കൃത്യതയുള്ളതുമായ തിരഞ്ഞെടുപ്പാണ്. നൊട്ടേഷൻ സേവന-ആവാസവ്യവസ്ഥയുടെ ചുരുക്കെഴുത്താണ് — ക്വാണ്ടൈസേഷൻ സാഹിത്യം ഒരു ഗ്രൂപ്പ് വലുപ്പത്തോടെ W4 എന്ന് തന്നെയാണ് ഇതിനെ എഴുതുന്നത്.

AUTOROUND — ഏറ്റവും അടുത്ത മൂല്യമല്ല, പഠിച്ചെടുത്ത റൗണ്ടിംഗ്

നിഷ്കളങ്കമായ ക്വാണ്ടൈസേഷൻ ഓരോ വെയ്റ്റിനെയും ഏറ്റവും അടുത്ത പ്രതിനിധാന മൂല്യത്തിലേക്ക് റൗണ്ട് ചെയ്യുന്നു. അത് ഒപ്റ്റിമൽ അല്ലെന്ന് പ്രകടമായി തെളിയിക്കപ്പെട്ടതാണ്: ഒരു വെയ്റ്റിനെ "തെറ്റായ" രീതിയിൽ റൗണ്ട് ചെയ്യുന്നത് അതിന്റെ അയൽക്കാർ അവതരിപ്പിക്കുന്ന പിശകിനെ റദ്ദാക്കാം, ബില്യൺ കണക്കിന് വെയ്റ്റുകൾക്കൊപ്പം ആ പ്രതിപ്രവർത്തനങ്ങൾ ആധിപത്യം സ്ഥാപിക്കുന്നു. Intel-ന്റെ AutoRound, റൗണ്ടിംഗ് തീരുമാനത്തെ തന്നെ പഠിക്കേണ്ട ഒന്നായി കാണുന്നു — ±0.5-ലേക്ക് പരിമിതപ്പെടുത്തിയ, ഏതൊരു ഒറ്റ റൗണ്ടിംഗ് തീരുമാനത്തെയും മറിച്ചിടാൻ കൃത്യമായി മതിയായ, ഒരു പരിശീലിക്കാവുന്ന per-weight അസ്വസ്ഥത, പുറമേ പഠിക്കാവുന്ന ക്ലിപ്പിംഗ് പരിധികളും, ഒരു ചെറിയ കാലിബ്രേഷൻ സെറ്റിനുമേൽ ബ്ലോക്ക്-വൈസ് ഔട്ട്പുട്ട്-റീകൺസ്ട്രക്ഷൻ ലക്ഷ്യത്തിനെതിരെ സൈൻഡ് ഗ്രേഡിയന്റ് ഡിസെന്റ് വഴി ഒപ്റ്റിമൈസ് ചെയ്യുന്നു. ഇരുനൂറ് സ്റ്റെപ്പുകൾ, പിന്നെ കഴിഞ്ഞു.

Intel-ന്റെ പ്രസിദ്ധീകരിച്ച താരതമ്യങ്ങളിൽ, 4-ബിറ്റ് വെയ്റ്റ്-മാത്രം ക്രമീകരണങ്ങളിൽ AutoRound 32-ൽ 30 പരീക്ഷിച്ച സാഹചര്യങ്ങളിൽ GPTQ-യെയും 32-ൽ 27-ൽ AWQ-യെയും 32-ൽ 29-ൽ OmniQuant-നെയും തോൽപ്പിക്കുന്നു, 2 ബിറ്റിൽ നിഷ്കളങ്കമായ round-to-nearest-നെക്കാൾ 6.9 മുതൽ 33.2 വരെ കൃത്യതാ പോയിന്റ് നേട്ടത്തോടെ. അതൊന്നും അനുമാന സമയത്ത് ഒന്നും ചെലവാക്കുന്നില്ല: ഒരു തവണ, ഓഫ്‌ലൈനിൽ എടുത്ത, സംഖ്യകളുടെ മെച്ചപ്പെട്ട ഒരു തിരഞ്ഞെടുപ്പ് മാത്രമാണത്.

REAP — ആരും റൂട്ട് ചെയ്യാത്ത എക്സ്പെർട്ടുകളെ ഒഴിവാക്കൽ

Cerebras Systems-ഉം University of Calgary-യും ചേർന്നുള്ള REAP (Router-weighted Expert Activation Pruning), MoE മോഡലുകൾക്കുള്ള ഒറ്റത്തവണ കംപ്രഷനാണ്. റൂട്ടർ എത്ര ശക്തിയോടെയും എത്ര തവണയും ഒരു എക്സ്പെർട്ടിലേക്ക് ഗേറ്റ് ചെയ്യുന്നു എന്നതിനെ, ആ എക്സ്പെർട്ടിന്റെ ഔട്ട്പുട്ടിന്റെ വ്യാപ്തി കൊണ്ട് ഗുണിച്ച്, ഓരോ എക്സ്പെർട്ടിനെയും അത് സ്കോർ ചെയ്യുന്നു, പിന്നീട് ഏറ്റവും കുറഞ്ഞ പ്രാധാന്യമുള്ളവയെ പുനഃപരിശീലനമില്ലാതെ പൂർണ്ണമായി ഇല്ലാതാക്കുന്നു.

പേപ്പറിന്റെ കേന്ദ്ര കണ്ടെത്തലാണ് ഉപകാരപ്രദമായത്: ഉയർന്ന കംപ്രഷൻ അനുപാതങ്ങളിൽ, എക്സ്പെർട്ടുകളെ ലയിപ്പിക്കുന്നതിനെക്കാൾ പ്രൂൺ ചെയ്യുന്നത് മെച്ചമാണ്. പ്രവർത്തനപരമായി വ്യത്യസ്തമായ എക്സ്പെർട്ടുകളെ ലയിപ്പിക്കുന്നത് രചയിതാക്കൾ ഫങ്ഷണൽ സബ്സ്പേസ് കൊളാപ്സ് എന്ന് വിളിക്കുന്നതിന് കാരണമാകുന്നു — MoE നിർമ്മിക്കുന്നത് വിലയുള്ളതാക്കിയ, ഇൻപുട്ട്-ആശ്രിതമായ സൂക്ഷ്മ നിയന്ത്രണം റൂട്ടറിന് നഷ്ടപ്പെടുന്നു, സ്ഥിരമായ ശരാശരികൾക്കിടയിൽ നയിക്കാൻ മാത്രം അത് ബാക്കിയാകുന്നു. 20B മുതൽ 1T പാരാമീറ്റർ വരെയുള്ള മോഡലുകളിലുടനീളമുള്ള അവരുടെ കണക്കുകൾ: കോഡിംഗ് ജോലികളിൽ 25% എക്സ്പെർട്ട് കംപ്രഷനിൽ, ലയന ബേസ്‌ലൈനുകൾക്ക് 5%-ത്തിലധികം നഷ്ടപ്പെടുമ്പോൾ REAP-ന് ശരാശരി കൃത്യതയിൽ 2.8% മാത്രം നഷ്ടപ്പെടുന്നു; 50%-ൽ, ലയനത്തിന് 20%-ത്തിലധികം നഷ്ടപ്പെടുമ്പോൾ REAP-ന് 8.0% നഷ്ടപ്പെടുന്നു. Qwen3-Coder-480B-ൽ 50% പ്രൂണിംഗിൽ ഇടിവ് 1.4% ആണ്, നിഷ്കളങ്കമായ ഫ്രീക്വൻസി-അടിസ്ഥാന പ്രൂണിംഗിന് 39.3%-നെതിരെ. DeepSeek നിരയ്ക്കുള്ളവ ഉൾപ്പെടെ REAP ചെക്ക്‌പോയിന്റുകൾ Cerebras പ്രസിദ്ധീകരിച്ചിട്ടുണ്ട്.

ഇവിടെ 4-ബിറ്റ്, Pro-യിൽ 3-ബിറ്റ് ആകുന്നത് എന്തുകൊണ്ട്

രണ്ട് തട്ടുകളും അതേ തരം ഹാർഡ്‌വെയറിൽ ഒതുങ്ങുകയും വേഗതയോടെ നിൽക്കുകയും വേണം. Pro 1.7 ട്രില്യൺ പാരാമീറ്റർ വഹിക്കുന്നു, അതിനാൽ ഒട്ടും ഒതുങ്ങാൻ കൂടുതൽ ശക്തമായ 3-ബിറ്റ് ചികിത്സ അതിന് ആവശ്യമാണ്. Flash ഏകദേശം 300 ബില്യൺ വഹിക്കുന്നു, അതിനാൽ അതിന് ആവശ്യമില്ല — അത് ലാഭിക്കുന്ന ബിറ്റ് ഒതുങ്ങുന്നതിന് പകരം കൃത്യതയ്ക്കായി ചെലവഴിക്കുന്നു.

ക്വാണ്ടൈസേഷൻ കേട് ലീനിയർ അല്ലാത്തതിനാൽ ആ അധിക ബിറ്റ് അതിന്റെ ഗണിതം സൂചിപ്പിക്കുന്നതിനെക്കാൾ പ്രധാനമാണ്. AWQ പേപ്പറിന്റെ WikiText-2 അളവുകളിൽ, Llama-2-7B FP16-ൽ 5.47 പെർപ്ലെക്സിറ്റിയിൽ നിന്ന് 4-ബിറ്റിൽ 5.60-ലേക്ക് പോകുന്നു — 2.4% പെനാൽറ്റി — പക്ഷേ 3-ബിറ്റിൽ 6.24-ലേക്ക്, 14% പെനാൽറ്റി. 25% കൂടുതൽ കംപ്രഷന് ഏകദേശം ആറിരട്ടി കൂടുതൽ അപചയം ആണ് അത്, 70B-യിലും അതേ പാറ്റേൺ നിലനിൽക്കുന്നു. GPTQ പേപ്പർ കൂടുതൽ വ്യക്തമായി പറയുന്നു: 3 ബിറ്റിൽ, നിഷ്കളങ്കമായ round-to-nearest 175B-ക്ലാസ് മോഡലുകളിൽ ആയിരക്കണക്കിന് പെർപ്ലെക്സിറ്റിയിലേക്ക് തകർന്നുവീഴുന്നു, 4 ബിറ്റിൽ പൂർണ്ണമായി ഉപയോഗിക്കാവുന്നതായി തുടരുമ്പോൾ. നാല് ബിറ്റിന് താഴെ, ഒരു നല്ല ക്വാണ്ടൈസേഷൻ അൽഗോരിതം ഒരു സൗകര്യമായി നിലയ്ക്കുന്നത് നിർത്തി, മോഡലിനെ ഒരുമിച്ച് പിടിക്കുന്ന ഒരേയൊരു കാര്യമായി മാറുന്നു.

അതിനാൽ ഈ രണ്ട് ഉപസർഗ്ഗങ്ങളുടെയും സത്യസന്ധമായ വായന ഇതാണ്: Pro അതിന്റെ സ്വന്തം സ്വയത്തിലേക്ക് നിൽക്കുന്നതിനെക്കാൾ Flash അതിന്റെ സ്വന്തം ക്വാണ്ടൈസ് ചെയ്യാത്ത സ്വയത്തോട് അടുത്താണ്. Pro ഇപ്പോഴും ശക്തമായ മോഡലാണ് — മുകളിലെ ബെഞ്ച്മാർക്ക് പട്ടിക അത് തീർപ്പാക്കുന്നു. ഇവിടെ എത്താൻ അത് കൂടുതൽ ഉപേക്ഷിച്ചു എന്ന് മാത്രം, ആ പ്രത്യേകാവകാശത്തിന് നിങ്ങൾ പണം നൽകുന്നു.

സ്രോതസ്സുകൾ: AutoRound — "Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs" (arXiv 2309.05516), Intel, Findings of EMNLP 2024. REAP — "REAP the Experts: Why Pruning Prevails for One-Shot MoE Compression" (arXiv 2510.13999), Cerebras Systems. AWQ (arXiv 2306.00978), GPTQ (arXiv 2210.17323) എന്നിവയിൽ നിന്നുള്ള പെർപ്ലെക്സിറ്റി കണക്കുകൾ.

05എൻഡ്‌പോയിന്റിൽ Flash vs Pro

03-ാം വിഭാഗം അടിത്തറകൾ ഉൾക്കൊണ്ടു. ഞങ്ങളുടെ ഗേറ്റ്‌വേയിൽ ഉൽപ്പന്നങ്ങളായി രണ്ട് തട്ടുകൾ എങ്ങനെയിരിക്കുന്നു എന്നത് ഇതാ:

	DeepSeek-V4-Flash-0731	DeepSeek-V4-Pro-0813
ക്വാണ്ടൈസേഷൻ	W4A16-AUTOROUND-REAP	3BIT-REAP
വെയ്റ്റ് കൃത്യത	4-ബിറ്റ്, പഠിച്ചെടുത്ത റൗണ്ടിംഗ്	3-ബിറ്റ്
അടിത്തറ (ആകെ / സജീവം)	~304B / 13B	~1.7T / 49B
1M ടോക്കണിന് ഇൻപുട്ട്	$0.50	$1.95
1M ടോക്കണിന് ഔട്ട്പുട്ട്	$2.00	$3.90
സന്ദർഭം / പരമാവധി ഔട്ട്പുട്ട്	262,144 / 16,384	262,144 / 16,384
ടൂളുകൾ · ഘടനാപരമായ ഔട്ട്പുട്ട് · സ്ട്രീമിംഗ്	ഉവ്വ്	ഉവ്വ്
വിഷൻ	ഇല്ല	ഇല്ല
നിരസന പാളി	ഇല്ല	ഇല്ല

മാറാത്തത് എന്താണെന്ന് ശ്രദ്ധിക്കുക: സന്ദർഭം, ഔട്ട്പുട്ട് പരിധി, ടൂൾ കോളിംഗ്, ഘടനാപരമായ ഔട്ട്പുട്ട്, നിരസന പാളിയുടെ അഭാവം എന്നിവ ഒരേപോലെയാണ്. അടിത്തറ, ക്വാണ്ടൈസേഷൻ, വില എന്നിവ മാത്രമേ മാറുന്നുള്ളൂ. അതിനാൽ ഇവയ്ക്കിടയിൽ മാറുന്നത് നിങ്ങളുടെ കോഡിൽ ഒരു സ്ട്രിംഗ് മാറ്റം മാത്രവും നിങ്ങളുടെ ആർക്കിടെക്ചറിൽ പൂർണ്ണമായും സാമ്പത്തിക തീരുമാനവുമാണ്.

ഒരു പരമാവധി-വലുപ്പ കോളിന് ചെലവാകുന്നത്

മുഴുവൻ 262,144-ടോക്കൺ സന്ദർഭം നിറച്ച് പൂർണ്ണ 16,384-ടോക്കൺ ഔട്ട്പുട്ട് എടുക്കുക:

ലിസ്റ്റ് വിലയിൽ. Flash: $0.131 ഇൻപുട്ട് + $0.033 ഔട്ട്പുട്ട്. Pro: $0.511 + $0.064. അനുപാതം 3.51×. MiniMax-M3, Laguna-S-2.1, MiMo-V2.5, MiMo-V2.5-Pro, Hy3 എന്നിവയുമായി Flash-ഉം $0.50 / $2.00 തറ പങ്കിടുന്നു — വിഷനിലും ഘടനാപരമായ ഔട്ട്പുട്ടിലും അവ എങ്ങനെ വ്യത്യാസപ്പെടുന്നു എന്നറിയാൻ പൂർണ്ണ കാറ്റലോഗ് കാണുക.

06അളവിന്റെ കണക്ക്, വേർതിരിച്ചത്

"3.9× വിലകുറവ്" ഇൻപുട്ടിൽ മാത്രമേ ശരിയാവുന്നുള്ളൂ. ഔട്ട്പുട്ടിൽ Flash 1.95× വിലകുറവാണ്. നിങ്ങളുടെ യഥാർത്ഥ ലാഭം അതിനാൽ നിങ്ങളുടെ ഇൻപുട്ട്-ടു-ഔട്ട്പുട്ട് അനുപാതത്തെ ആശ്രയിച്ചിരിക്കുന്നു, വ്യാപ്തി രൂപകൽപ്പന തീരുമാനങ്ങൾ മാറ്റാൻ പോന്ന വീതിയുള്ളതാണ്. ഓരോന്നും 100,000 അഭ്യർത്ഥനകളിലുള്ള നാല് യാഥാർത്ഥ്യബോധമുള്ള ജോലിഭാരങ്ങൾ:

ജോലിഭാരം	കോളിന് ഇൻ / ഔട്ട്	Flash	Pro	ലാഭം
ടിക്കറ്റ് വർഗ്ഗീകരണം	1,200 / 120	$84	$281	3.3×
RAG ചോദ്യോത്തരം	8,000 / 600	$520	$1,794	3.4×
ദീർഘ-ഡോക്യുമെന്റ് സംഗ്രഹം	60,000 / 1,500	$3,300	$12,285	3.7×
സിന്തറ്റിക് ഡാറ്റ ജനറേഷൻ	500 / 2,000	$425	$878	2.1×

പാറ്റേൺ: നിങ്ങൾ എത്ര കൂടുതൽ സന്ദർഭം തള്ളുന്നുവോ, എത്ര കുറച്ച് ടെക്സ്റ്റ് ജനറേറ്റ് ചെയ്യുന്നുവോ, അത്രയും കൂടുതൽ Flash ലാഭിക്കുന്നു. റിട്രീവൽ പൈപ്പ്‌ലൈനുകൾ, ഡോക്യുമെന്റ് ട്രയാജ്, ലോഗ്, ട്രാൻസ്ക്രിപ്റ്റ് വിശകലനം, ദീർഘ-സന്ദർഭ എക്സ്ട്രാക്ഷൻ എന്നിവയാണ് മധുരബിന്ദു — അവ ഒരു ഓർഡർ ഓഫ് മാഗ്നിറ്റ്യൂഡ് ഇൻപുട്ട്-ആധിപത്യമുള്ളവയാണ്, 3.9× കിഴിവ് ഇൻപുട്ടിലാണ് ജീവിക്കുന്നത്. പകരം നിങ്ങളുടെ ജോലിഭാരം ആയിരക്കണക്കിന് ടോക്കൺ ഗദ്യം ഉണ്ടാക്കുന്ന ഒരു ഹ്രസ്വ പ്രോംപ്റ്റാണെങ്കിൽ, വിടവ് ഏകദേശം 2×-ലേക്ക് ചുരുങ്ങുന്നു, Pro-യ്ക്കുള്ള ശേഷി വാദം അതിനനുസരിച്ച് ശക്തമാകുന്നു.

ഉൾക്കൊള്ളേണ്ട ഒരു കണക്ക് കൂടി: ദശലക്ഷം ഇൻപുട്ട് ടോക്കണിന് $0.50-ൽ, മുഴുവൻ 262,144-ടോക്കൺ ജാലക നിറയ്ക്കാൻ 13.1 സെന്റ് ചെലവാകുന്നു. ആ വിലയിൽ ദീർഘ-സന്ദർഭ പ്രോംപ്റ്റിംഗ് ഒരു ബജറ്റ് ചോദ്യമായി നിർത്തുന്നു, ചിലപ്പോൾ ഒരു റിട്രീവൽ പാളി നിർമ്മിക്കുന്നത് പൂർണ്ണമായി ഒഴിവാക്കി സന്ദർഭ ജാലക ജോലി ചെയ്യാൻ അനുവദിക്കാം എന്നാണ് അതിനർത്ഥം — ടോക്കൺ ലാഭത്തിനു മേൽ ഒരു എഞ്ചിനീയറിംഗ് ലാഭം.

07ഇവിടെ "സെൻസർ ചെയ്യാത്തത്" എന്നാൽ കൃത്യമായി എന്താണ്

ഈ വാക്ക് അയഞ്ഞ രീതിയിൽ ഉപയോഗിക്കപ്പെടുന്നു, അതിനാൽ ഇതാ എൻഡ്‌പോയിന്റിന്റെ ഒരു ഗുണമായി പ്രസ്താവിച്ച ഞങ്ങളുടെ നിർവചനം: മോഡലിന് മുന്നിൽ ഒരു നിരസന ക്ലാസിഫയറില്ല, അതിന്റെ ഔട്ട്പുട്ടിന് ഒരു ഉള്ളടക്ക ഫിൽട്ടറിംഗും പ്രയോഗിക്കുന്നില്ല. ഒരു പ്രോംപ്റ്റ് തടയുകയും ഒരു തയ്യാറാക്കിയ നിരസനം തിരികെ നൽകുകയും ചെയ്യുന്നതൊന്നുമില്ല; പൂർത്തീകരണം പരിശോധിച്ച് അതിനെ എഡിറ്റ് ചെയ്യുന്നതൊന്നുമില്ല. ഉയർന്ന-അളവ് പ്രൊഡക്ഷൻ ജോലിക്ക്, അനന്തരഫലങ്ങൾ ആ വാക്ക് സൂചിപ്പിക്കുന്നതിനെക്കാൾ കുറച്ച് നാടകീയവും കൂടുതൽ ഉപകാരപ്രദവുമാണ്:

• നിരുപദ്രവ ട്രാഫിക്കിൽ തെറ്റായ പോസിറ്റീവുകളില്ല. ഫിൽട്ടർ ചെയ്ത എൻഡ്‌പോയിന്റുകൾ പതിവായി മെഡിക്കൽ സംഗ്രഹങ്ങൾ, സുരക്ഷാ റൈറ്റ്-അപ്പുകൾ, നിയമ ഡിസ്കവറി, ഫിക്ഷൻ, ദോഷം-കുറയ്ക്കൽ വസ്തുക്കൾ, മോഡറേഷൻ ജോലി തന്നെയും നിരസിക്കുന്നു — അപകടകരമായ എന്തെങ്കിലും ഉണ്ടാക്കുന്നതിന് പകരം ഒരു ബാച്ച് ജോലി ഒരു സെൻസിറ്റീവ് വിഷയത്തെക്കുറിച്ച് ടെക്സ്റ്റ് പ്രോസസ്സ് ചെയ്യുന്ന കൃത്യമായ വിഭാഗങ്ങൾ. ഒരു ലക്ഷം അഭ്യർത്ഥനകളിൽ, ഒരു ശതമാനം തെറ്റായ-നിരസന നിരക്ക് ആയിരം തകർന്ന വരികളാണ്.
• നിർണ്ണായക കരാറുകൾ. ഒരു json_schema പ്രതികരണം ചോദിക്കുക, ഒരു ഒബ്ജക്റ്റ് ഉണ്ടാകേണ്ടിടത്ത് ഒരു ക്ഷമാപണ ഖണ്ഡികയല്ല, സ്കീമയോട് യോജിക്കുന്ന JSON നിങ്ങൾക്ക് ലഭിക്കുന്നു. നിങ്ങളുടെ പാഴ്സറിന് ഒരു നിരസന ശാഖ വേണ്ട, ഒരു ട്രാൻസ്പോർട്ട് പരാജയത്തെ ഒരു നയപരാജയത്തിൽ നിന്ന് വേർതിരിക്കേണ്ടതും നിങ്ങളുടെ റീട്രൈ ലോജിക്കിന് ഇല്ല.
• നയം നിങ്ങളുടേതാണ്. അതാണ് വ്യാപാരം. നിങ്ങളുടെ ഉൽപ്പന്നത്തിന് നിങ്ങളുടെ അന്തിമ ഉപയോക്താക്കൾക്കായി ഗാർഡ്‌റെയിലുകൾ വേണമെങ്കിൽ, രണ്ടിനെക്കുറിച്ചും ഒരു പ്രൊവൈഡറുടെ ഊഹങ്ങൾ പാരമ്പര്യമായി സ്വീകരിക്കുന്നതിന് പകരം, നിങ്ങളുടെ ഉപയോക്താക്കളെയും അധികാരപരിധിയെയും അറിയാവുന്ന നിങ്ങളുടെ പാളിയിൽ അവ നിർമ്മിക്കുക. നിങ്ങളുടെ അക്കൗണ്ട് ഇപ്പോഴും ഞങ്ങളുടെ ഉത്തരവാദിത്ത ഉപയോഗ നയത്തിന് വിധേയമായി തുടരും.

സെൻസർ ചെയ്യാത്തത് അലൈൻ ചെയ്യപ്പെടാത്തതോ ഉപകാരപ്രദമല്ലാത്തതോ പോലെയല്ല. മോഡൽ ഇപ്പോഴും നിർദ്ദേശങ്ങൾ പിന്തുടരുന്നു, ഇപ്പോഴും ഒരു സിസ്റ്റം പ്രോംപ്റ്റിനെ ബഹുമാനിക്കുന്നു. നിങ്ങളുടെ ഉപയോക്താക്കൾക്കായി ചില വിഭാഗങ്ങൾ നിരസിക്കണമെന്ന് നിങ്ങൾക്ക് വേണമെങ്കിൽ, അത് അവിടെ പറയുക — ആ നിർദ്ദേശം ഇപ്പോൾ എഴുതേണ്ടത് നിങ്ങളാണ്, ഞങ്ങൾ അടിച്ചേൽപ്പിക്കേണ്ടതല്ല.

08ശേഷിയും സത്യസന്ധമായ പരിധികളും

അളവ് ജോലിക്ക് രണ്ട് ശേഷികളാണ് ഭൂരിഭാഗം ഭാരം വഹിക്കുന്നത്. കർശനമായ json_schema ഔട്ട്പുട്ട് ഒരു പാഴ്സിംഗ് പാളിയോ നിരസന ശാഖയോ ഇല്ലാതെ ഒരു പൂർത്തീകരണത്തെ ഒരു ഡാറ്റാബേസ് വരിയാക്കി മാറ്റുന്നു. മൂന്ന് ഭാഷാഭേദങ്ങളിലുമുള്ള ടൂൾ കോളിംഗ് ശക്തമായ ഒരു മോഡലിൽ പ്രവർത്തിക്കുന്ന ടോപ്പ്-ലെവൽ പ്ലാനർ ഉള്ള ഒരു ഏജന്റിന്റെ വിലകുറഞ്ഞ ഉപ-ഘട്ടങ്ങൾക്കുള്ള ഒരു യുക്തിസഹമായ എഞ്ചിനായി Flash-നെ മാറ്റുന്നു. reasoning_effort കൂടി ചേർക്കുക, ഇത് ആവശ്യമുള്ള ട്രാഫിക്കിന്റെ ഭാഗത്ത് മാത്രം അധിക ടോക്കണുകൾ ചെലവഴിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു, Pro-യുടേതിന് സമാനമായ 262,144-ടോക്കൺ സന്ദർഭവും — വിലകുറഞ്ഞ തട്ട് തിരഞ്ഞെടുക്കുന്നതിലൂടെ നിങ്ങൾ സന്ദർഭം അടിയറ വയ്ക്കുന്നില്ല, അത് അസാധാരണമാണ്.

പരിധികളും ഒരുപോലെ വ്യക്തമാണ്:

• വിഷൻ ഇല്ല. Flash ടെക്സ്റ്റ്-മാത്രമാണ്, ഒരു സന്ദേശത്തിലെ ഇമേജ് ഭാഗങ്ങൾ അത് നിരസിക്കും. അതേ $0.50 / $2.00 തറയിൽ ഒരു സെൻസർ ചെയ്യാത്ത മോഡലിൽ ഇമേജുകൾ വേണമെങ്കിൽ, MiniMax-M3-ഉം MiMo-V2.5-ഉം ആണ് വിഷൻ ശേഷിയുള്ള ഓപ്ഷനുകൾ; ആ തട്ടിനു മുകളിൽ Kimi-K2.6-ഉം Kimi-K3-ഉം ശക്തമായ വിഷൻ മോഡലുകളാണ്.
• ഏണിയുടെ മുകൾത്തട്ടല്ല. പ്രസിദ്ധീകരിച്ച എല്ലാ ഏജന്റിക് ബെഞ്ച്മാർക്കിലും Pro-യാണ് മുന്നിലെന്ന് DeepSeek-ന്റെ സ്വന്തം കണക്കുകൾ പറയുന്നു, തുടർച്ചയായ ബഹുഘട്ട കോഡ് യുക്തിചിന്തയിലാണ് വിടവ് ഏറ്റവും വീതിയുള്ളത്. ഒരു തെറ്റായ ഉത്തരത്തിന് ആയിരം വിലകുറഞ്ഞവയെക്കാൾ ചെലവാകുന്നിടത്ത്, DeepSeek-V4-Pro-യിൽ ദശലക്ഷത്തിന് അധിക $1.45 ചെലവഴിക്കുക.
• അഭ്യർത്ഥനയ്ക്ക് 16,384 ഔട്ട്പുട്ട് ടോക്കൺ. ദീർഘ ജനറേഷനുകൾ കോളുകൾക്കിടയിൽ ചങ്കുകളാക്കി മുറിക്കണം. ഞങ്ങൾ നൽകുന്ന എല്ലാ മോഡലിലും ഇത് അതേ പരിധിയാണ്, സന്ദർഭ ജാലക ചെയ്യുന്നതിന് മുമ്പേ ഇത് ബന്ധിക്കുന്നു.

09ഇത് വിളിക്കുന്നത്

ഏതൊരു OpenAI-അനുയോജ്യ ക്ലയന്റും ഗേറ്റ്‌വേയിലേക്ക് ചൂണ്ടിക്കാണിച്ച് മോഡൽ സ്ട്രിംഗ് മാറ്റുക. നിങ്ങളുടെ സ്റ്റാക്കിലെ മറ്റൊന്നും നീങ്ങേണ്ടതില്ല.

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP",
    "messages": [
      {"role": "system", "content": "Label the ticket. Reply only with the schema."},
      {"role": "user", "content": "The invoice PDF renders blank on Safari 18."}
    ],
    "response_format": {
      "type": "json_schema",
      "json_schema": {
        "name": "ticket_label",
        "schema": {
          "type": "object",
          "properties": {
            "category": {"type": "string"},
            "severity": {"type": "integer"},
            "needs_human": {"type": "boolean"}
          },
          "required": ["category", "severity", "needs_human"],
          "additionalProperties": false
        }
      }
    }
  }'

അതേ മോഡൽ ഐഡി /v1/messages-ലും /v1/responses-ലും മാറ്റമില്ലാതെ പ്രവർത്തിക്കുന്നു, നിങ്ങളുടെ ക്ലയന്റ് വീണ്ടും എഴുതാതെ നിലവിലുള്ള ഒരു ഇന്റഗ്രേഷനുള്ളിൽ വിലകുറഞ്ഞ ഒരു മോഡൽ A/B ചെയ്യാനുള്ള ഏറ്റവും വേഗതയേറിയ വഴിയാണ് അത്. പാരാമീറ്ററുകൾ, സ്ട്രീമിംഗ് ഇവന്റ് രൂപങ്ങൾ, ടൂൾ-കോളിംഗ് സ്കീമകൾ, നിരക്ക് പരിധികൾ എന്നിവ API റഫറൻസിൽ രേഖപ്പെടുത്തിയിരിക്കുന്നു; കാറ്റലോഗിലെ എല്ലാ മോഡലും Shannon Research-ൽ ലിസ്റ്റ് ചെയ്തിരിക്കുന്നു.

10പതിവ് ചോദ്യങ്ങൾ

---

സ്രോതസ്സുകൾ: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · DeepSeek-V3 സാങ്കേതിക റിപ്പോർട്ട് (arXiv 2412.19437) · DeepSeek-V4 (arXiv 2606.19348) · DeepSeek-V4-Flash-0731, DeepSeek-V4-Pro-0813 മോഡൽ കാർഡുകൾ · AutoRound (arXiv 2309.05516, Intel) · REAP (arXiv 2510.13999, Cerebras Systems) · AWQ (arXiv 2306.00978) · GPTQ (arXiv 2210.17323). എല്ലാ അടിത്തറ, ബെഞ്ച്മാർക്ക് കണക്കുകളും അതത് രചയിതാക്കൾ പ്രസിദ്ധീകരിച്ചത് പോലെയാണ്; Shannon AI വിലകളും നൽകുന്ന സന്ദർഭവും 2026 സെപ്റ്റംബർ വരെയുള്ള ഞങ്ങളുടെ സ്വന്തം ലിസ്റ്റ് മൂല്യങ്ങളാണ്.