సెన్సార్ లేని DeepSeek Flash API

ఒక LLM APIని మూల్యాంకనం చేసే చాలా బృందాలు తప్పు వేరియబుల్‌ను ఆప్టిమైజ్ చేస్తాయి. వారు ఆలోచించగలిగే అత్యంత కష్టమైన ఇరవై ప్రాంప్ట్‌లపై బెంచ్‌మార్క్ చేసి, విజేతను ఎంచుకుని, ఆరు వారాల తర్వాత తమ ట్రాఫిక్‌లో తొంభై ఐదు శాతం చిన్నది, నిర్మాణాత్మకమైనది, పునరావృత పనిగా ఉండి, నాలుగవ వంతు ఖరీదైన ఒక మోడల్ దాన్ని అదేలా నిర్వహించి ఉండేదని కనుగొంటారు. ఆ తొంభై ఐదు శాతం కోసమే DeepSeek-V4-Flash ఉంది. మీరు ఎప్పుడు దానిలో ఉన్నారో — మరియు ఎప్పుడు లేరో — తెలుసుకోవడం గురించే ఈ పేజీ.

01మీకు నిజంగా ఏమి లభిస్తుంది

లక్షణం	DeepSeek-V4-Flash-0731 · W4A16-AUTOROUND-REAP
మోడల్ id	DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP
సందర్భం / గరిష్ఠ అవుట్‌పుట్	262,144 టోకెన్‌లు / 16,384 టోకెన్‌లు
ఒక్కో 1M ధర (ఇన్‌పుట్ / అవుట్‌పుట్)	$0.50 / $2.00
స్ట్రీమింగ్ · టూల్ కాలింగ్ · తర్కం	అవును — మూడు మాండలికాలూ
నిర్మాణాత్మక అవుట్‌పుట్	json_schema మరియు response_format
చిత్ర ఇన్‌పుట్ (విజన్)	లేదు — కేవలం టెక్స్ట్
తిరస్కరణ పొర / అవుట్‌పుట్ ఫిల్టర్	ఏదీ లేదు
అందించబడేది	Shannon సొంత GPU క్లస్టర్‌పై

మూడు API మాండలికాలు అదే వెయిట్‌లను చేరుకుంటాయి: /v1/chat/completions (OpenAI-ఆకారం), /v1/messages (Anthropic-ఆకారం), మరియు /v1/responses. మూడింటిపైనా స్ట్రీమింగ్ పనిచేస్తుంది. పూర్తి పారామీటర్ సూచన API డాక్యుమెంటేషన్లో ఉంది.

02ఇది ఎక్కడి నుండి వచ్చింది: DeepSeek వంశం

DeepSeek-AI ఐదు మోడల్ తరాలను ఒకే వ్యామోహంపై గడిపింది: అందించడానికి చౌకైన ఒక మోడల్ నుండి ఫ్రాంటియర్ ప్రవర్తనను పొందడం, కేవలం శిక్షణకు చౌకైనది కాక. ఈ శ్రేణిలోని దాదాపు ప్రతి ఆర్కిటెక్చర్ నిర్ణయమూ దానికి తిరిగి వెళ్తుంది, మరియు ముఖ్యమైనవి ప్రచురించబడ్డాయి. ఈ ఎండ్‌పాయింట్‌ను మీరు తాకినప్పుడు మీరు దేన్ని పిలుస్తున్నారో మూడు వివరిస్తాయి.

DeepSeekMoE — సూక్ష్మ-గ్రాన్ నిపుణులు, పైగా ఒక భాగస్వామ్యమైనవాడు

ఒక నిపుణుల-మిశ్రమ పొర ఒక పెద్ద ఫీడ్-ఫార్వర్డ్ నెట్‌వర్క్‌ను చాలా చిన్నవాటితో మరియు ఒక్కో టోకెన్‌కు కొందరిని ఎంచుకునే ఒక రౌటర్‌తో భర్తీ చేస్తుంది. DeepSeek యొక్క వేరియంట్ నిపుణులను సాంప్రదాయిక ఎనిమిది-నిపుణుల నమూనా కంటే సూక్ష్మంగా ముక్కలు చేస్తుంది, కాబట్టి అదే క్రియాశీలం చేయబడిన FLOPలు చాలా కలయిక-పరంగా నిర్దిష్టమైన మిశ్రమాన్ని కొంటాయి, మరియు ఇది ప్రతి టోకెనూ దాటే ఒక భాగస్వామ్య నిపుణుడిని వేరు చేస్తుంది, కాబట్టి సాధారణ జ్ఞానం ప్రతి నిపుణుడి లోపల పునరావృతంగా మళ్ళీ నేర్చుకోబడదు. DeepSeek-V3 దాన్ని 256 రూట్ చేయబడే నిపుణులు పైగా 1 భాగస్వామ్య నిపుణుడు, ఒక్కో టోకెన్‌కు 8 రూట్ చేయబడినవి క్రియాశీలం చేస్తూ — 671B మొత్తం పారామీటర్లు, 37B క్రియాశీలం — సహాయక-నష్టం-లేని లోడ్ బ్యాలెన్సింగ్‌తో పాటుగా విడుదల చేసింది: నాణ్యతను దిగజార్చే ఒక జరిమానా పదానికి బదులు, ఒక్కో-నిపుణుడి పక్షపాతం ఆ నిపుణుడు తక్కువ-లోడ్ లేదా ఎక్కువ-లోడ్‌గా నడుస్తున్నప్పుడు ప్రతి దశలో రూటింగ్ స్కోర్‌లను పైకి లేదా కిందికి నెడుతుంది.

MLA — జ్ఞాపకంలో ఇమిడే అటెన్షన్

సేవా-ఖర్చు సమస్యలో మరో సగం KV కాష్, ఇది సందర్భంతో పాటు సరళంగా పెరుగుతుంది మరియు దీర్ఘ క్రమ పొడవుల వద్ద జ్ఞాపకాన్ని ఆధిపత్యం చేస్తుంది. DeepSeek-V2లో ప్రవేశపెట్టిన Multi-head Latent Attention, కీలు మరియు వేల్యూలను జాయింట్‌గా ఒక తక్కువ-ర్యాంక్ లేటెంట్ వెక్టార్‌గా కుదిస్తుంది మరియు దాన్ని కాష్ చేస్తుంది, ఉపయోగపడే K/Vను తక్షణమే పునర్నిర్మిస్తుంది. వారి ముందటి దట్టమైన DeepSeek 67Bతో పోలిస్తే, DeepSeek యొక్క ప్రచురించిన V2 గణాంకాలు KV కాష్‌లో 93.3% తగ్గింపు మరియు 5.76× అధిక గరిష్ఠ ఉత్పత్తి త్రూపుట్‌ను నివేదిస్తాయి. అందుకే ఈ కుటుంబంలో 262K-టోకెన్ విండో ఒక ప్రీమియం జోడింపు కాక ప్రమాణం.

విరళ అటెన్షన్ — మరియు చౌక టోకెన్‌లకు ముందస్తు ఉదాహరణ

V3.2-Exp DeepSeek Sparse Attentionను జోడించింది: ఒక తేలికపాటి ఇండెక్సర్ సందర్భ టోకెన్‌లను క్వెరీకి వ్యతిరేకంగా స్కోర్ చేస్తుంది, మరియు ఒక సెలెక్టర్ అత్యధిక-స్కోర్ చేసినవాటిని మాత్రమే ఉంచుతుంది. ఆసక్తికరమైన భాగం రసీదు, మెకానిజం కాదు. DeepSeek V3.1-Terminusకు వ్యతిరేకంగా ఒక వైపు-పక్క పోలికను ప్రచురించింది, MMLU-Pro 85.0 వద్ద ఒకేలా, AIME 2025 పెరిగింది (88.4 → 89.3), SWE-bench Verified స్వల్పంగా తగ్గింది (68.4 → 67.8) — తప్పనిసరిగా చదునైన నాణ్యత — మరియు అదే రోజు తమ API ధరలను 50% కంటే ఎక్కువ తగ్గించారు. ఆర్కిటెక్చర్, నిజాయితీగా నివేదించబడింది, నేరుగా ధరగా మారుతుంది. Flash ఆ వాదననే ఒక అడుగు ముందుకు తీసుకువెళ్ళింది.

V4 తరం

ఏప్రిల్ 2026లో MIT లైసెన్స్ కింద ప్రివ్యూ చేయబడిన V4, Compressed Sparse Attention మరియు Heavily Compressed Attention యొక్క ఒక హైబ్రిడ్‌తో అటెన్షన్ స్టాక్‌ను మళ్ళీ భర్తీ చేస్తుంది, 32T కంటే ఎక్కువ టోకెన్‌లపై Muon ఆప్టిమైజర్‌తో శిక్షణ ఇస్తుంది, మరియు V3 యొక్క మల్టీ-టోకెన్-ప్రిడిక్షన్ లక్ష్యాన్ని కొనసాగిస్తుంది — ఇది ఊహాజనిత డీకోడింగ్‌గా కూడా పనిచేస్తుంది, మరియు V3లో సుమారు 1.8× డీకోడింగ్ వేగం కోసం DeepSeek దీన్ని 85–90% రెండో-టోకెన్ ఆమోద రేటుగా కొలిచింది. V4 సారాంశం V4-Pro V3.2 యొక్క ఒక్క-టోకెన్ ఇన్ఫరెన్స్ FLOPలలో 27% మరియు దాని KV కాష్‌లో 10% వద్ద నడుస్తున్నట్టు నివేదిస్తుంది. ఈ కుటుంబం మూడు తర్క-ప్రయత్న స్థాయిలను బహిర్గతం చేస్తుంది, మా reasoning_effort పారామీటర్ మ్యాప్ అయ్యేది దానికే.

మూలాలు: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · DeepSeek-V3 Technical Report (arXiv 2412.19437) · DeepSeek-V3.2-Exp మోడల్ కార్డు · DeepSeek-V4 (arXiv 2606.19348). అన్ని గణాంకాలూ DeepSeek-నివేదించినవి.

03"Flash" నిజంగా అంటే ఏమిటి

చాలా పోలికలు తప్పు చేసేది ఇక్కడే, కాబట్టి దీన్ని స్పష్టంగా చెప్పడం విలువైనది: DeepSeek యొక్క Flash క్వాంటైజ్ చేయబడిన, కత్తిరించబడిన లేదా డిస్టిల్ చేయబడిన Pro కాదు. ఇది తన సొంత ప్రీ-ట్రైనింగ్ రన్‌తో వేరుగా శిక్షణ పొందిన, చిన్న నిపుణుల-మిశ్రమ మోడల్. V4 ప్రివ్యూ పత్రం రెండు పరిమాణాలనూ ఇస్తుంది:

DeepSeek-V4 ప్రివ్యూ పత్రం నుండి గణాంకాలు. మేము అందించే అధికారిక చెక్‌పాయింట్‌లు — V4-Flash-0731 మరియు V4-Pro-0813 — వాటి మోడల్ కార్డులలో కొద్దిగా పెద్ద మొత్తాలైన 304B మరియు 1.7Tను జాబితా చేస్తాయి; DeepSeek ఆ బిల్డ్‌లకు క్రియాశీల పారామీటర్‌లను మళ్ళీ చెప్పదు.

ఇక్కడ రెండు సంఖ్యలు పని చేస్తాయి. మొత్తం పారామీటర్లు జ్ఞాపక పాదముద్రను నిర్ణయిస్తాయి, ఇది మోడల్ యొక్క ఒక కాపీ ఎంత హార్డ్‌వేర్‌ను ఆక్రమిస్తుందో నిర్ణయిస్తుంది. క్రియాశీలం చేయబడిన పారామీటర్లు ఒక్కో టోకెన్‌కు గణితాన్ని నిర్ణయిస్తాయి, ఇది త్రూపుట్‌ను నిర్ణయిస్తుంది. Flash మొదటిదానిపై సుమారు 5.6× చిన్నది మరియు రెండోదానిపై 3.8× చిన్నది — మరియు ఆ అంతరంలో గమనించదగిన ఒక సూక్ష్మత ఉంది: Flash 284 బిలియన్‌లలో 13ను క్రియాశీలం చేస్తుంది, సుమారు 4.6%, Pro 1,600 బిలియన్‌లలో 49ను క్రియాశీలం చేస్తుండగా, సుమారు 3.1%. Flash తక్కువ విరళ మోడల్. ఇది తక్కువ నిపుణులు ఆన్ చేయబడిన కేవలం Pro కాదు; ఇది ఒక దట్టమైన, భిన్నంగా సమతుల్యం చేయబడిన డిజైన్, ఇది ఉత్పత్తి చేసే ప్రతి టోకెన్‌పైనా తన సొంత పెద్ద వాటాను ఖర్చు చేస్తుంది. అది ఒక నిజమైన ఇంజనీరింగ్ ఎంపిక, ఒక దిగజారుదల కాదు.

DeepSeek సొంత సంఖ్యలు ఏమి చెబుతాయి

రెండు అధికారిక మోడల్ కార్డులూ అదే ఏజెంటిక్ మరియు సాఫ్ట్‌వేర్-ఇంజనీరింగ్ బెంచ్‌మార్క్‌లపై స్కోర్‌లను ప్రచురిస్తాయి, ఇది దీన్ని అసాధారణంగా శుభ్రమైన పోలికగా చేస్తుంది — అదే ల్యాబ్, అదే మూల్యాంకన హార్నెస్, రెండు పరిమాణాలు:

బెంచ్‌మార్క్ (DeepSeek-నివేదించినది)	V4-Flash-0731	V4-Pro-0813
Terminal Bench 2.1	82.7	87.9
Toolathlon-Verified	70.3	74.1
DeepSWE	54.4	62.7
NL2Repo	54.2	61.5
DSBench-FullStack	68.7	71.1

ప్రతి వరుసలోనూ Pro గెలుస్తుంది. అదే నిజాయితీ గల ముఖ్యాంశం, మరియు మీరు దీన్ని ప్రొడక్షన్‌లో కనుగొనడం కంటే ఇక్కడ చదవడం మేము ఇష్టపడతాము. కానీ మార్జిన్‌లు చదవండి, ఎందుకంటే మీరు నిజంగా కొంటున్నది అవే. Terminal Bench 2.1పై పారామీటర్లలో ఇరవై ఐదవ వంతు ఉన్న ఒక మోడల్‌పై అంతరం 5.2 పాయింట్లు; టూల్-వాడకంపై అది 3.8 పాయింట్లు. పని అత్యంత లోతుగా ఉన్నచోట అంతరం విస్తరిస్తుంది — DeepSWEపై 8.3 పాయింట్లు, NL2Repoపై 7.3, రెండూ నిరంతర బహుళ-దశల కోడ్ తర్కానికి ప్రతిఫలమిచ్చేవే. అదే ఒక్క పట్టికలో వర్తక ఆకారం: పరిమిత పనులపై Flash చాలా దూరాన్ని మూసివేస్తుంది మరియు బహిరంగ-ముగింపు పనులపై నేలను వదులుకుంటుంది.

DeepSeek సొంత Flash కార్డు ఈ విషయాన్ని మరింత పదునుగా చెబుతుంది: దాని చాలా చిన్న క్రియాశీల పారామీటర్ సంఖ్య ఉన్నప్పటికీ, జాబితా చేయబడిన బెంచ్‌మార్క్‌లపై Flash-0731 V4-Pro ప్రివ్యూను మించిపోతుంది. ఒక పాతదైన పెద్ద మోడల్‌ను ఓడించే ఒక కొత్త చిన్న మోడల్ ఈ రంగంలో సాధారణ స్థితి, మరియు అందుకే "పెద్ద శ్రేణి" మీ డిఫాల్ట్ సమాధానంగా ఎప్పుడూ ఉండకూడదు.

04ప్రత్యయాన్ని చదవడం: W4A16-AUTOROUND-REAP

మా మోడల్ idలు తమ కుదింపు పథకాన్ని బిగ్గరగా చెబుతాయి, ఎందుకంటే అదే అవుట్‌పుట్ నాణ్యతను అత్యధికంగా ప్రభావితం చేసేది మరియు దాదాపు ఎవరూ దాన్ని బహిర్గతం చేయరు. ఇది మూడు వాదనలుగా విడిపోతుంది.

W4A16 — 4-బిట్ వెయిట్‌లు, 16-బిట్ యాక్టివేషన్‌లు

వెయిట్‌లు ఒక్కొక్కటి 4 బిట్‌ల వద్ద నిల్వ చేయబడతాయి; యాక్టివేషన్‌లు 16-బిట్ కచ్చితత్వంతో ప్రవహిస్తాయి. ఇది వెయిట్-మాత్రమే క్వాంటైజేషన్, మరియు ఇది టోకెన్ ఉత్పత్తిలో అసలైన అడ్డంకిని లక్ష్యంగా చేసుకుంటుంది, అది గణితం కంటే జ్ఞాపక బ్యాండ్‌విడ్త్. యాక్టివేషన్‌లను కూడా క్వాంటైజ్ చేయడం కొంచెం ఎక్కువ వేగాన్ని కొంటుంది మరియు చాలా పెద్ద కచ్చితత్వపు అగాధాన్ని ప్రమాదంలో పెడుతుంది; వాటిని 16 బిట్‌ల వద్దే ఉంచడం సంప్రదాయవాద, అధిక-విశ్వసనీయత ఎంపిక. నొటేషన్ సర్వింగ్-పర్యావరణ సంక్షిప్తీకరణ — క్వాంటైజేషన్ సాహిత్యం అదే విషయాన్ని ఒక గ్రూప్ పరిమాణంతో W4గా రాస్తుంది.

AUTOROUND — నేర్చుకున్న రౌండింగ్, దగ్గరి రౌండింగ్ కాదు

అమాయక క్వాంటైజేషన్ ప్రతి వెయిట్‌ను దగ్గరి ప్రాతినిధ్య విలువకు రౌండ్ చేస్తుంది. అది స్పష్టంగా సరైనది కాదు: ఒక వెయిట్‌ను "తప్పు" మార్గంలో రౌండ్ చేయడం దాని పొరుగువారు ప్రవేశపెట్టిన లోపాన్ని రద్దు చేయగలదు, మరియు బిలియన్ల వెయిట్‌లతో ఆ పరస్పర చర్యలు ఆధిపత్యం చెలాయిస్తాయి. Intel నుండి వచ్చిన AutoRound, రౌండింగ్ నిర్ణయాన్నే నేర్చుకోవలసిన దానిగా పరిగణిస్తుంది — ఏ ఒక్క రౌండింగ్ నిర్ణయాన్నైనా తిప్పికొట్టడానికి సరిగ్గా సరిపోయేలా ±0.5కు పరిమితం చేయబడిన ఒక శిక్షణ పొందదగిన ఒక్కో-వెయిట్ కదలిక, పైగా నేర్చుకోదగిన క్లిప్పింగ్ శ్రేణులు, ఒక చిన్న క్రమాంకన సెట్‌పై ఒక బ్లాక్-వైజ్ అవుట్‌పుట్-పునర్నిర్మాణ లక్ష్యానికి వ్యతిరేకంగా సంకేత గ్రేడియంట్ డీసెంట్‌తో ఆప్టిమైజ్ చేయబడింది. రెండు వందల దశలు, తర్వాత పూర్తి.

Intel యొక్క ప్రచురించిన పోలికలలో, 4-బిట్ వెయిట్-మాత్రమే సెట్టింగ్‌లలో AutoRound పరీక్షించిన 32లో 30 దృశ్యాలలో GPTQని, 32లో 27లో AWQని మరియు 32లో 29లో OmniQuantని ఓడిస్తుంది, 2 బిట్‌ల వద్ద అమాయక దగ్గరి-సంఖ్యకు-రౌండ్ కంటే 6.9 నుండి 33.2 కచ్చితత్వ పాయింట్ల లాభాలతో. దేనికీ ఇన్ఫరెన్స్ సమయంలో ఎలాంటి ఖర్చూ లేదు: ఇది సంఖ్యల యొక్క మెరుగైన ఎంపిక, ఒకసారి ఆఫ్‌లైన్‌లో చేయబడింది.

REAP — ఎవరూ రూట్ చేయని నిపుణులను తొలగించడం

Cerebras Systems మరియు University of Calgary నుండి వచ్చిన REAP (Router-weighted Expert Activation Pruning), MoE మోడల్‌ల కోసం ఒక్క-షాట్ కుదింపు. ఇది ప్రతి నిపుణుడిని రౌటర్ ఎంత బలంగా మరియు ఎంత తరచుగా దానికి గేట్ చేస్తుందో దాన్ని ఆ నిపుణుడి అవుట్‌పుట్ పరిమాణంతో గుణించి స్కోర్ చేస్తుంది, తర్వాత అత్యంత తక్కువ ప్రాముఖ్యత గల నిపుణులను నేరుగా తొలగిస్తుంది — తర్వాత ఎలాంటి పునఃశిక్షణా లేకుండా.

పత్రం యొక్క ప్రధాన కనుగొనడం ఉపయోగపడేది: అధిక కుదింపు నిష్పత్తుల వద్ద, నిపుణులను విలీనం చేయడం కంటే కత్తిరించడం మెరుగు. క్రియాత్మకంగా విభిన్నమైన నిపుణులను విలీనం చేయడం రచయితలు క్రియాత్మక ఉపస్థల పతనం అని పిలిచేదానికి కారణమవుతుంది — MoEను నిర్మించడాన్ని విలువైనదిగా చేసిన సూక్ష్మ-గ్రాన్, ఇన్‌పుట్-ఆధారిత నియంత్రణను రౌటర్ కోల్పోతుంది, మరియు స్థిర సగటుల మధ్య నడిపించడానికి మిగిలిపోతుంది. 20B నుండి 1T పారామీటర్ల వరకు ఉన్న మోడల్‌ల అంతటా వారి సంఖ్యలు: కోడింగ్ పనులపై 25% నిపుణుల కుదింపు వద్ద, విలీన బేస్‌లైన్‌లు 5% కంటే ఎక్కువ కోల్పోతుండగా REAP సగటున 2.8% కచ్చితత్వం కోల్పోతుంది; 50% వద్ద, విలీనం 20% కంటే ఎక్కువ కోల్పోతుండగా REAP 8.0% కోల్పోతుంది. Qwen3-Coder-480Bపై 50% కత్తిరింపు వద్ద, అమాయక ఫ్రీక్వెన్సీ-ఆధారిత కత్తిరింపుకు 39.3%తో పోలిస్తే తగ్గుదల 1.4%. Cerebras ఇతరులతో పాటు DeepSeek శ్రేణి కోసం REAP చెక్‌పాయింట్‌లను ప్రచురించింది.

ఇక్కడ 4-బిట్ మరియు Proపై 3-బిట్ ఎందుకు

రెండు శ్రేణులూ ఒకే తరగతి హార్డ్‌వేర్‌పై ఇమిడి వేగంగా ఉండాలి. Pro 1.7 ట్రిలియన్ పారామీటర్లను మోసుకెళ్తుంది, కాబట్టి దానికి ఇమడటానికే మరింత దూకుడైన 3-బిట్ చికిత్స అవసరం. Flash సుమారు 300 బిలియన్‌లను మోసుకెళ్తుంది, కాబట్టి దానికి అది అవసరం లేదు — మరియు అది ఆదా చేసే బిట్ ఇమిడేలా చేయడానికి బదులు విశ్వసనీయతపై ఖర్చవుతుంది.

క్వాంటైజేషన్ నష్టం సరళరేఖ కానందున ఆ అదనపు బిట్ దాని గణితం సూచించే దానికంటే ఎక్కువ ముఖ్యమైనది. AWQ పత్రం యొక్క WikiText-2 కొలతలలో, Llama-2-7B FP16 వద్ద 5.47 పెర్‌ప్లెక్సిటీ నుండి 4-బిట్ వద్ద 5.60కి వెళ్తుంది — 2.4% జరిమానా — కానీ 3-బిట్ వద్ద 6.24కి — 14% జరిమానా. అది 25% ఎక్కువ కుదింపుకు సుమారు ఆరు రెట్లు దిగజారుదల, మరియు అదే నమూనా 70B వద్ద కూడా కొనసాగుతుంది. GPTQ పత్రం మరింత నేరుగా చెబుతుంది: 3 బిట్‌ల వద్ద, 175B-తరగతి మోడల్‌లపై అమాయక దగ్గరి-సంఖ్యకు-రౌండ్ వేల పెర్‌ప్లెక్సిటీలోకి కూలిపోతుంది, 4 బిట్‌ల వద్ద పూర్తిగా వాడదగినదిగా ఉంటూనే. నాలుగు బిట్‌ల కింద, ఒక మంచి క్వాంటైజేషన్ అల్గారిథమ్ ఒక అందమైన ఆప్షన్ కావడం మానేసి మోడల్‌ను కలిపి ఉంచే ఏకైక విషయం అవుతుంది.

కాబట్టి ఈ రెండు ప్రత్యయాల నిజాయితీ గల చదువు: Flash Pro తన సొంతదానికి కంటే తన సొంత కుదించని రూపానికి దగ్గరగా కూర్చుంటుంది. Pro ఇప్పటికీ బలమైన మోడల్ — పైన ఉన్న బెంచ్‌మార్క్ పట్టిక దాన్ని స్థిరపరుస్తుంది. ఇది ఇక్కడికి రావడానికి కేవలం ఎక్కువ వదులుకుంది, మరియు మీరు ఆ ప్రత్యేకాధికారం కోసం చెల్లిస్తారు.

మూలాలు: AutoRound — "Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs" (arXiv 2309.05516), Intel, Findings of EMNLP 2024. REAP — "REAP the Experts: Why Pruning Prevails for One-Shot MoE Compression" (arXiv 2510.13999), Cerebras Systems. AWQ (arXiv 2306.00978) మరియు GPTQ (arXiv 2210.17323) నుండి పెర్‌ప్లెక్సిటీ గణాంకాలు.

05ఎండ్‌పాయింట్ వద్ద Flash vs Pro

సెక్షన్ 03 పునాదులను కవర్ చేసింది. మా గేట్‌వేపై ఉత్పత్తులుగా ఈ రెండు శ్రేణులూ ఎలా కనిపిస్తాయో ఇక్కడ ఉంది:

	DeepSeek-V4-Flash-0731	DeepSeek-V4-Pro-0813
క్వాంటైజేషన్	W4A16-AUTOROUND-REAP	3BIT-REAP
వెయిట్ కచ్చితత్వం	4-బిట్, నేర్చుకున్న రౌండింగ్	3-బిట్
పునాది (మొత్తం / క్రియాశీలం)	~304B / 13B	~1.7T / 49B
ఒక్కో 1M టోకెన్‌లకు ఇన్‌పుట్	$0.50	$1.95
ఒక్కో 1M టోకెన్‌లకు అవుట్‌పుట్	$2.00	$3.90
సందర్భం / గరిష్ఠ అవుట్‌పుట్	262,144 / 16,384	262,144 / 16,384
టూల్స్ · నిర్మాణాత్మక అవుట్‌పుట్ · స్ట్రీమింగ్	అవును	అవును
విజన్	లేదు	లేదు
తిరస్కరణ పొర	ఏదీ లేదు	ఏదీ లేదు

ఏమి మారదో గమనించండి: సందర్భం, అవుట్‌పుట్ హద్దు, టూల్ కాలింగ్, నిర్మాణాత్మక అవుట్‌పుట్, మరియు తిరస్కరణ పొర లేకపోవడం ఒకేలా ఉంటాయి. మారేవి పునాది, క్వాంటైజేషన్, మరియు ధర మాత్రమే. అది వాటి మధ్య మారడాన్ని మీ కోడ్‌లో ఒక్క-స్ట్రింగ్ మార్పుగా మరియు మీ ఆర్కిటెక్చర్‌లో పూర్తిగా ఆర్థిక నిర్ణయంగా చేస్తుంది.

ఒక గరిష్ఠ-పరిమాణ కాల్ ఎంత ఖరీదు చేస్తుంది

మొత్తం 262,144-టోకెన్ సందర్భాన్ని నింపి పూర్తి 16,384-టోకెన్ అవుట్‌పుట్‌ను తీసుకోండి:

జాబితా ధర వద్ద. Flash: $0.131 ఇన్‌పుట్ + $0.033 అవుట్‌పుట్. Pro: $0.511 + $0.064. నిష్పత్తి 3.51×. Flash MiniMax-M3, Laguna-S-2.1, MiMo-V2.5, MiMo-V2.5-Pro మరియు Hy3తో $0.50 / $2.00 అట్టడుగును కూడా పంచుకుంటుంది — విజన్ మరియు నిర్మాణాత్మక అవుట్‌పుట్‌పై అవి ఎలా భిన్నంగా ఉంటాయో పూర్తి జాబితా చూడండి.

06పరిమాణ లెక్క, పని చేయబడింది

"3.9× చౌక" ఇన్‌పుట్‌పై మాత్రమే నిజం. అవుట్‌పుట్‌పై Flash 1.95× చౌక. కాబట్టి మీ నిజమైన పొదుపు మీ ఇన్‌పుట్-టు-అవుట్‌పుట్ నిష్పత్తిపై ఆధారపడి ఉంటుంది, మరియు వ్యాప్తి డిజైన్ నిర్ణయాలను మార్చేంత విస్తృతంగా ఉంది. నాలుగు వాస్తవిక పనిభారాలు, ఒక్కొక్కటి 100,000 అభ్యర్థనల వద్ద:

పనిభారం	కాల్‌కు ఇన్ / అవుట్	Flash	Pro	పొదుపు
టికెట్ వర్గీకరణ	1,200 / 120	$84	$281	3.3×
RAG ప్రశ్న సమాధానం	8,000 / 600	$520	$1,794	3.4×
దీర్ఘ-పత్ర సారాంశం	60,000 / 1,500	$3,300	$12,285	3.7×
సింథటిక్ డేటా జనరేషన్	500 / 2,000	$425	$878	2.1×

నమూనా: మీరు ఎంత ఎక్కువ సందర్భాన్ని నెట్టితే మరియు ఎంత తక్కువ టెక్స్ట్‌ను ఉత్పత్తి చేస్తే, Flash మీకు అంత ఎక్కువ ఆదా చేస్తుంది. రిట్రీవల్ పైప్‌లైన్‌లు, పత్ర ట్రయాజ్, లాగ్ మరియు ట్రాన్స్క్రిప్ట్ విశ్లేషణ, మరియు దీర్ఘ-సందర్భ వెలికితీత అనేవి తీపి బిందువు — అవి ఒక పరిమాణ క్రమంలో ఇన్‌పుట్-ఆధిపత్యం కలిగినవి, మరియు 3.9× తగ్గింపు ఉండేది ఇన్‌పుట్‌లోనే. బదులుగా మీ పనిభారం వేల టోకెన్‌ల గద్యాన్ని ఉత్పత్తి చేసే ఒక చిన్న ప్రాంప్ట్ అయితే, అంతరం సుమారు 2×కు కుంచించుకుపోతుంది మరియు Pro కోసం సామర్థ్య వాదన తదనుగుణంగా బలంగా అవుతుంది.

అంతర్గతం చేసుకోవడం విలువైన మరో గణిత భాగం: మిలియన్ ఇన్‌పుట్ టోకెన్‌లకు $0.50 వద్ద, మొత్తం 262,144-టోకెన్ విండోను నింపడానికి 13.1 సెంట్లు ఖర్చవుతుంది. ఆ ధర వద్ద దీర్ఘ-సందర్భ ప్రాంప్టింగ్ ఒక బడ్జెట్ ప్రశ్న కావడం మానేస్తుంది, ఇది కొన్నిసార్లు మీరు ఒక రిట్రీవల్ పొరను నిర్మించడాన్నే పూర్తిగా దాటవేసి సందర్భ విండో పని చేయనివ్వగలరని అర్థం — టోకెన్ పొదుపుపై ఒక ఇంజనీరింగ్ పొదుపు.

07ఇక్కడ "సెన్సార్ లేనిది" అంటే ఖచ్చితంగా ఏమిటి

ఈ పదం వదులుగా వాడబడుతుంది, కాబట్టి ఇక్కడ ఎండ్‌పాయింట్ యొక్క లక్షణంగా చెప్పబడిన మా నిర్వచనం ఉంది: మోడల్ ముందు ఏ తిరస్కరణ వర్గీకరణి లేదు మరియు దాని అవుట్‌పుట్‌పై ఎలాంటి కంటెంట్ ఫిల్టరింగ్ వర్తింపజేయబడదు. ఏదీ ఒక ప్రాంప్ట్‌ను అడ్డగించి ఒక తయారుచేసిన తిరస్కరణను తిరిగి ఇవ్వదు; ఏదీ పూర్తిని పరిశీలించి దాన్ని సవరించదు. అధిక-పరిమాణ ప్రొడక్షన్ పని కోసం, పరిణామాలు పదం సూచించే దానికంటే తక్కువ నాటకీయమైనవి మరియు ఎక్కువ ఉపయోగపడేవి:

• నిరపాయకరమైన ట్రాఫిక్‌పై తప్పుడు పాజిటివ్‌లు లేవు. ఫిల్టర్ చేయబడిన ఎండ్‌పాయింట్‌లు వైద్య సారాంశాలు, భద్రతా రాతలు, న్యాయ ఆవిష్కరణ, కల్పన, హాని-తగ్గింపు సామగ్రి, మరియు మోడరేషన్ పని దాన్నే క్రమం తప్పకుండా తిరస్కరిస్తాయి — సరిగ్గా ఒక బ్యాచ్ జాబ్ ఒక సున్నితమైన అంశం గురించి టెక్స్ట్‌ను ప్రాసెస్ చేస్తున్న వర్గాలు, హానికరమైన దేనినైనా ఉత్పత్తి చేయడం కాదు. లక్ష అభ్యర్థనల వద్ద, ఒక శాతం తప్పుడు-తిరస్కరణ రేటు వెయ్యి విరిగిన వరుసలు.
• నిర్ణీత ఒప్పందాలు. ఒక json_schema ప్రతిస్పందనను అడగండి మరియు మీకు స్కీమాకు సరిపోయే JSON లభిస్తుంది, ఒక వస్తువు ఉండాల్సిన చోట క్షమాపణ వాక్యం కాదు. మీ పార్సర్‌కు తిరస్కరణ శాఖ అవసరం లేదు, మరియు మీ రిట్రై లాజిక్ ఒక రవాణా వైఫల్యాన్ని ఒక విధాన వైఫల్యం నుండి వేరు చేయనవసరం లేదు.
• విధానం మీది. అదే వర్తకం. మీ ఉత్పత్తికి మీ చివరి-వినియోగదారుల కోసం రక్షణ కంచెలు అవసరమైతే, మీరు వాటిని మీ పొరలో నిర్మిస్తారు, అక్కడ మీకు మీ వినియోగదారులు మరియు మీ న్యాయపరిధి తెలుసు, ఒక ప్రొవైడర్ యొక్క రెంటిపైనా ఊహలను వారసత్వంగా పొందడానికి బదులు. మీ ఖాతా ఇప్పటికీ మా బాధ్యతాయుత వినియోగ విధాన కింద నిర్వహించబడుతుంది.

సెన్సార్ లేనిది అనేది సమలేఖనం లేనిది లేదా సహాయం చేయనిది అని కాదు. మోడల్ ఇప్పటికీ సూచనలను అనుసరిస్తుంది మరియు ఇప్పటికీ ఒక సిస్టమ్ ప్రాంప్ట్‌ను గౌరవిస్తుంది. మీ వినియోగదారుల కోసం కొన్ని వర్గాలను తిరస్కరించాలని మీరు కోరుకుంటే, అక్కడ అలా చెప్పండి — ఆ సూచన ఇప్పుడు మేము విధించేది కాక మీరు రాయాల్సినది.

08సామర్థ్యాలు మరియు నిజాయితీ గల పరిమితులు

పరిమాణ పని కోసం రెండు సామర్థ్యాలు చాలా భారాన్ని మోస్తాయి. కఠినమైన json_schema అవుట్‌పుట్ ఒక పూర్తిని ఏ పార్సింగ్ పొర లేకుండా మరియు ఏ తిరస్కరణ శాఖ లేకుండా ఒక డేటాబేస్ వరుసగా మారుస్తుంది. మూడు మాండలికాలలోనూ టూల్ కాలింగ్ Flashను తన అగ్ర-స్థాయి ప్లానర్ ఒక బలమైన మోడల్‌పై నడిచే ఒక ఏజెంట్ యొక్క చౌక ఉప-దశలకు ఒక సహేతుకమైన ఇంజిన్‌గా చేస్తుంది. అవసరమైన ట్రాఫిక్‌లో ఒక వాటాపైనే మాత్రమే మీరు అదనపు టోకెన్‌లను ఖర్చు చేయనిచ్చే reasoning_effortను జోడించండి, మరియు Pro దానితో సమానమైన 262,144-టోకెన్ సందర్భాన్ని — మీరు చౌక శ్రేణిని ఎంచుకోవడం ద్వారా సందర్భాన్ని వదులుకోరు, ఇది అసాధారణం.

పరిమితులు కూడా అంతే నిర్దిష్టం:

• విజన్ లేదు. Flash కేవలం-టెక్స్ట్ మరియు ఒక సందేశంలో చిత్ర భాగాలను తిరస్కరిస్తుంది. అదే $0.50 / $2.00 అట్టడుగు వద్ద ఒక సెన్సార్ లేని మోడల్‌పై చిత్రాల కోసం, MiniMax-M3 మరియు MiMo-V2.5 విజన్-సామర్థ్యం గల ఎంపికలు; Kimi-K2.6 మరియు Kimi-K3 ఆ శ్రేణి కంటే పైన బలమైన విజన్ మోడల్‌లు.
• నిచ్చెన అగ్రస్థానం కాదు. DeepSeek సొంత సంఖ్యలు ప్రచురించిన ప్రతి ఏజెంటిక్ బెంచ్‌మార్క్‌పైనా Proను ముందుంచుతాయి, నిరంతర బహుళ-దశల కోడ్ తర్కంపై అంతరం అత్యంత విస్తృతంగా ఉంటుంది. ఒక తప్పు సమాధానం వెయ్యి చౌక వాటి కంటే ఎక్కువ ఖర్చవుతున్నచోట, మిలియన్‌కు అదనపు $1.45ను DeepSeek-V4-Proపై ఖర్చు చేయండి.
• అభ్యర్థనకు 16,384 అవుట్‌పుట్ టోకెన్‌లు. పొడవైన ఉత్పత్తులను కాల్‌ల అంతటా ముక్కలు చేయాలి. మేము అందించే ప్రతి మోడల్‌పైనా ఇదే హద్దు, మరియు ఇది సందర్భ విండో కంటే బాగా ముందే బిగుసుకుపోతుంది.

09దీన్ని పిలవడం

ఏదైనా OpenAI-అనుకూల క్లయింట్‌ను గేట్‌వేపై పెట్టి మోడల్ స్ట్రింగ్‌ను మార్చండి. మీ స్టాక్‌లో మరేదీ కదలాల్సిన అవసరం లేదు.

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP",
    "messages": [
      {"role": "system", "content": "Label the ticket. Reply only with the schema."},
      {"role": "user", "content": "The invoice PDF renders blank on Safari 18."}
    ],
    "response_format": {
      "type": "json_schema",
      "json_schema": {
        "name": "ticket_label",
        "schema": {
          "type": "object",
          "properties": {
            "category": {"type": "string"},
            "severity": {"type": "integer"},
            "needs_human": {"type": "boolean"}
          },
          "required": ["category", "severity", "needs_human"],
          "additionalProperties": false
        }
      }
    }
  }'

అదే మోడల్ id /v1/messages మరియు /v1/responsesపై మార్పు లేకుండా పనిచేస్తుంది, ఇది మీ క్లయింట్‌ను తిరిగి రాయకుండా ఒక ఇప్పటికే ఉన్న ఇంటిగ్రేషన్ కింద ఒక చౌక మోడల్‌ను A/B చేయడానికి అత్యంత వేగవంతమైన మార్గం. పారామీటర్లు, స్ట్రీమింగ్ ఈవెంట్ ఆకారాలు, టూల్-కాలింగ్ స్కీమాలు మరియు రేటు పరిమితులు API సూచనలో డాక్యుమెంట్ చేయబడ్డాయి; జాబితాలోని ప్రతి మోడల్ Shannon Researchలో జాబితా చేయబడింది.

10తరచుగా అడిగే ప్రశ్నలు

---

మూలాలు: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · DeepSeek-V3 Technical Report (arXiv 2412.19437) · DeepSeek-V4 (arXiv 2606.19348) · DeepSeek-V4-Flash-0731 మరియు DeepSeek-V4-Pro-0813 మోడల్ కార్డులు · AutoRound (arXiv 2309.05516, Intel) · REAP (arXiv 2510.13999, Cerebras Systems) · AWQ (arXiv 2306.00978) · GPTQ (arXiv 2210.17323). అన్ని పునాది మరియు బెంచ్‌మార్క్ గణాంకాలు వాటి సంబంధిత రచయితలు ప్రచురించినట్టు ఉన్నాయి; Shannon AI ధరలు మరియు అందించే సందర్భం సెప్టెంబర్ 2026 నాటికి మా సొంత జాబితా విలువలు.