Onzenséiert DeepSeek-Flash-API

Déi meescht Equipen déi eng LLM-API evaluéieren optiméieren déi falsch Variabel. Si benchmarken op deenen zwanzeg schwéiersten Prompten déi hinnen afalen, wielen de Gewënner, a stellen sechs Wochen drop fest, datt fënnefannonzeg Prozent vun hirem Trafic kuerz, strukturéiert, repetitiv Aarbecht ass déi e Modell fir e Véierel vum Präis identesch erleedegt hätt. DeepSeek-V4-Flash gëtt et fir déi fënnefannonzeg Prozent. Dës Säit geet dorëms ze wëssen, wéini s du dran bass — a wéini net.

01Wat s du tatsächlech kriss

Eegeschaft	DeepSeek-V4-Flash-0731 · W4A16-AUTOROUND-REAP
Modell-Id	DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP
Kontext / max. Output	262,144 Token / 16,384 Token
Präis pro 1M (eran / eraus)	$0.50 / $2.00
Streaming · Tool-Calling · Raisonnéieren	Jo — all dräi Dialekter
Strukturéierten Output	json_schema an response_format
Billerinput (Vision)	Nee — nëmmen Text
Refus-Schicht / Output-Filter	Keng
Servéiert op	Dem Shannon sengem eegene GPU-Cluster

Dräi API-Dialekter erreechen déi selwecht Gewiichter: /v1/chat/completions (OpenAI-Form), /v1/messages (Anthropic-Form), an /v1/responses. Streaming funktionéiert op allen dräi. Déi voll Parameterreferenz steet an der API-Dokumentatioun.

02Wou et hierkënnt: d'DeepSeek-Ofstamung

DeepSeek-AI huet fënnef Modellgeneratioune laang un enger eenzeger Obsessioun geschafft: Verhalen op Spëtzenniveau aus engem Modell erauszekréien deen bëlleg ze servéieren ass an net just bëlleg ze trainéieren. Bal all architektonesch Entscheedung an der Rei geet dorop zréck, an déi wichteg si publizéiert. Dräi erklären, wat s du uruffs wann s du dësen Endpunkt trëffs.

DeepSeekMoE — feinkäreg Experten plus e gedeelten

Eng Mixture-of-Experts-Schicht ersetzt ee grousst Feed-Forward-Netz duerch vill méi kleng an e Router deen der eng Handvoll pro Token auswielt. Dem DeepSeek seng Variant schneit d'Experte méi fein wéi d'konventionell Uerdnung mat aacht Experten, sou datt déi selwecht aktivéiert FLOPs eng vill méi kombinatoresch spezifesch Mëschung kafen, a se isoléiert e gedeelten Expert duerch deen all Token geet, sou datt allgemengt Wësse net redundant an all Spezialist nei geléiert gëtt. DeepSeek-V3 huet dat als 256 geroutet Experte plus 1 gedeelten Expert, mat 8 gerouteten aktiv pro Token geliwwert — 671B Parameter total, 37B aktiv — zesumme mat Laaschtausgläich ouni Hilleftsverloscht: amplaz engem Strofterm deen d'Qualitéit verschlechtert, hieft oder senkt e Bias pro Expert d'Routingpunkten all Schrëtt, jee no deem ob deen Expert ënner- oder iwwerlaascht leeft.

MLA — Attention déi an de Späicher passt

Déi aner Halschent vum Problem mat de Servéierkäschten ass de KV-Cache, dee linear mam Kontext wiisst an de Späicher bei laange Sequenzen dominéiert. Multi-head Latent Attention, am DeepSeek-V2 agefouert, komprinéiert d'Schlëssel an d'Wäerter gemeinsam an e Latentvektor mat niddregem Rang a cachet deen, a rekonstruéiert benotzbar K/V am Fluch. Dem DeepSeek seng publizéiert V2-Zuelen, géint hire fréieren dichte DeepSeek 67B, berichten eng Reduktioun vum KV-Cache ëm 93.3 % an en 5.76× méi héije maximale Generatiounsduerchsaz. Dofir ass e Fënster vun 262K Token an dëser Famill Standard a kee Premiumzousaz.

Spuersam Attention — an de Presedenzfall fir bëlleg Token

V3.2-Exp huet DeepSeek Sparse Attention derbäigesat: en liichten Indexéierer bewäert d'Kontexttoken géint d'Ufro, an e Selektor behält nëmmen déi mat de beschte Punkten. Den interessanten Deel ass de Beleg an net de Mechanismus. DeepSeek huet e Verglach niewentenee mat V3.1-Terminus publizéiert, mat MMLU-Pro identesch op 85.0, AIME 2025 erop (88.4 → 89.3), SWE-bench Verified liicht erof (68.4 → 67.8) — am Prinzip flaach Qualitéit — an huet dee selwechten Dag hir API-Präisser ëm méi wéi 50 % gekierzt. Architektur, éierlech bericht, déi direkt zum Präis gëtt. Flash ass dat Argument nach e Schrëtt méi wäit.

D'V4-Generatioun

V4, am Abrëll 2026 ënner enger MIT-Lizenz virgestallt, ersetzt de Attention-Stack nach eng Kéier duerch en Hybrid aus Compressed Sparse Attention an Heavily Compressed Attention, trainéiert mam Muon-Optimeierer op méi wéi 32T Token, a behält dem V3 säin Zil vun der Multi-Token-Prediktioun — dat dobäi och als spekulativen Decode déngt, a wat DeepSeek am V3 mat enger Akzeptanzquot vum zweeten Token vun 85–90 % fir ronn e 1.8× méi séieren Decode gemooss huet. D'V4-Zesummefaassung bericht, datt V4-Pro mat 27 % vun de Single-Token-Inferenz-FLOPs vum V3.2 an 10 % vu sengem KV-Cache leeft. D'Famill stellt dräi Stufe vum Raisonnéierungsopwand zur Verfügung, an dorop bilt eise Parameter reasoning_effort of.

Quellen: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · Techneschen Bericht zu DeepSeek-V3 (arXiv 2412.19437) · Modellkaart DeepSeek-V3.2-Exp · DeepSeek-V4 (arXiv 2606.19348). All Zuele si vum DeepSeek bericht.

03Wat „Flash“ tatsächlech heescht

Dat ass de Punkt bei deem déi meescht Verglächer falsch leien, also lount et sech en direkt ze soen: dem DeepSeek säi Flash ass kee quantiséierten, geprunten oder destilléierte Pro. Et ass e separat trainéierten, méi klenge Mixture-of-Experts-Modell mat sengem eegene Virtrainingslaf. De V4-Virstellungspabeier gëtt déi zwou Gréissten un:

Zuelen aus dem Virstellungspabeier zu DeepSeek-V4. Déi offiziell Checkpointen déi mir servéieren — V4-Flash-0731 an V4-Pro-0813 — lëschten op hire Modellkaarte liicht méi grouss Zuele vun 304B an 1.7T; DeepSeek gëtt fir déi Builds keng aktivéiert Parameteren nei un.

Zwou Zuele maachen hei d'Aarbecht. D'Gesamtparameter setzen de Späicherbedarf, an dat entscheet wéi vill Hardware eng Kopie vum Modell besetzt. D'aktivéiert Parameter setzen d'Rechnerei pro Token, an dat entscheet den Duerchsaz. Flash ass beim éischte ronn 5.6× méi kleng a beim zweete 3.8× méi kleng — an an där Lück stécht eng Feinheet déi ee mierke soll: Flash aktivéiert 13 vun 284 Milliarde Parameter, ronn 4.6 %, wärend Pro 49 vun 1,600 Milliarden aktivéiert, ronn 3.1 %. Flash ass de manner spuersame Modell. Et ass net einfach Pro mat manner ugeschalten Experten; et ass en dichteren, anescht ausbalancéierten Design deen e gréisseren Deel vu sech selwer op all Token verwennt deen en erausgëtt. Dat ass eng richteg Ingenieursentscheedung a keng Ofstufung.

Wat dem DeepSeek seng eege Zuele soen

Béid offiziell Modellkaarte publizéieren Punkten op de selwechten agenteschen a softwaretechneschen Benchmarken, an dat mécht dat hei zu engem ongewéinlech proppere Verglach — dat selwecht Labo, dat selwecht Evaluatiounsgeschir, zwou Gréissten:

Benchmark (vum DeepSeek bericht)	V4-Flash-0731	V4-Pro-0813
Terminal Bench 2.1	82.7	87.9
Toolathlon-Verified	70.3	74.1
DeepSWE	54.4	62.7
NL2Repo	54.2	61.5
DSBench-FullStack	68.7	71.1

Pro gewënnt all Zeil. Dat ass déi éierlech Schlagzeil, a mir hunn et léiwer datt s du se hei liess wéi datt s du se an der Produktioun entdecks. Mä lies d'Ofstänn, well dat ass wat s du tatsächlech kaafs. Op Terminal Bench 2.1 ass d'Lück 5.2 Punkte bei engem Modell mat engem Fënnefanzwanzegstel vun de Parameteren; bei der Tool-Notzung sinn et 3.8 Punkten. D'Lück gëtt do méi grouss, wou d'Aarbecht am déifsten ass — 8.3 Punkten op DeepSWE, 7.3 op NL2Repo, an déi zwee belounen dauerhaft Coderaisonnéieren iwwer méi Schrëtt. Dat ass d'Form vum Tosch an enger Tabell: Flash mécht de gréissten Deel vun der Distanz op agegrenzten Aufgaben zou a gëtt op offenen Terrain no.

Dem DeepSeek seng eege Flash-Kaart mécht de Punkt nach méi schaarf: Flash-0731 iwwertrëfft d'V4-Pro-Virstellung op de gelëschte Benchmarken, trotz senger vill méi klenger Zuel un aktivéierte Parameteren. Datt e méi neie klenge Modell en eeleren grousse schléit ass an dësem Feld den normalen Zoustand, an et ass de Grond firwat „déi méi grouss Stuf“ ni deng Standardäntwert soll sinn.

04De Suffix liesen: W4A16-AUTOROUND-REAP

Eis Modell-Ids soen hire Kompressiounsschema haart eraus, well dat ass wat d'Outputqualitéit am meeschten beaflosst a bal keen offenleet. Dëse leet sech an dräi Behaaptungen op.

W4A16 — 4-Bit-Gewiichter, 16-Bit-Aktivéierungen

D'Gewiichter gi mat jee 4 Bit gespäichert; d'Aktivéierunge lafe mat 16-Bit-Präzisioun duerch. Dat ass eng Quantiséierung nëmme vun de Gewiichter, an se zielt op de richtege Flaschenhals bei der Tokengeneratioun, an dat ass d'Späicherbandbreet an net d'Rechnerei. D'Aktivéierungen och ze quantiséieren géif e bësse méi Tempo bréngen an eng vill méi grouss Genauegkeetsklipp riskéieren; se bei 16 Bit ze loossen ass déi konservativ, tréi Wiel. D'Notatioun ass Kierzel aus dem Servéierëmfeld — d'Literatur zur Quantiséierung schreift déiselwecht Saach als W4 mat enger Gruppegréisst.

AUTOROUND — geléiert Rondung amplaz Ronne op de nächste Wäert

Naiiv Quantiséierung ronnt all Gewiicht op de nooste representéierbare Wäert. Dat ass nowäisbar net optimal: e Gewiicht op déi „falsch“ Manéier ze ronnen ka Feeler ausgläichen déi seng Noperen erabruecht hunn, a bei Milliarde vu Gewiichter dominéieren déi Interaktiounen. AutoRound, vun Intel, behandelt d'Rondungsentscheedung selwer als eppes wat ee léiere kann — eng trainéierbar Stéierung pro Gewiicht, op ±0.5 begrenzt, genee genuch fir all eenzel Rondungsentscheedung ze kippen an ni méi, plus léierbar Ofschneidberäicher, optiméiert mat virzeechenbehaftetem Gradientofstig géint en blockweist Zil vun der Outputrekonstruktioun iwwer e klenge Kalibréierungssaz. Zweehonnert Schrëtt, dann ass et gemaach.

Dem Intel seng publizéiert Verglächer hunn AutoRound an 30 vun 32 gepréifte Szenarie viru GPTQ, an 27 vun 32 viru AWQ an an 29 vun 32 viru OmniQuant bei 4-Bit-Astellungen nëmme fir d'Gewiichter, mat Gewënner vun 6.9 bis 33.2 Genauegkeetspunkten géint dat naiivt Ronne op de nächste Wäert bei 2 Bit. Näischt dovunner kascht eppes zum Zäitpunkt vun der Inferenz: et ass eng besser Wiel vun Zuelen, eemol offline gemaach.

REAP — Experte falen ze loossen op déi keen routet

REAP (Router-weighted Expert Activation Pruning), vu Cerebras Systems an der University of Calgary, ass eng eemoleg Kompressioun fir MoE-Modeller. Se bewäert all Expert no deem, wéi staark a wéi dacks de Router op en gate, multiplizéiert mat der Gréisst vun deem Expert sengem Output, a läscht duerno déi mannst salient Experte ganz — ouni Nachtraining duerno.

Dem Pabeier säin zentraalt Resultat ass dat nëtzlecht: bei héije Kompressiounsverhältnisser schléit d'Prunen vun Experten d'Zesummeleeën. Funktionell ënnerschiddlech Experten zesummenzeleeë verursaacht wat d'Auteure funktionelle Subraumkollaps nennen — de Router verléiert déi feinkäreg, inputofhängeg Kontroll déi de MoE iwwerhaapt lount huet, a steiert nach just tëscht statesche Moyennen. Hir Zuelen iwwer Modeller vun 20B bis 1T Parameter: bei 25 % Expertekompressioun op Programméieraufgabe verléiert REAP 2.8 % mëttler Genauegkeet, wou Zesummeleeungsbasislinne méi wéi 5 % verléieren; bei 50 % verléiert REAP 8.0 %, wou d'Zesummeleeë méi wéi 20 % verléiert. Op Qwen3-Coder-480B bei 50 % Pruning ass den Ofbau 1.4 %, géint 39.3 % beim naiive frequenzbaséierte Pruning. Cerebras huet ënner anerem REAP-Checkpointe fir d'DeepSeek-Rei publizéiert.

Firwat hei 4 Bit an op Pro 3 Bit

Béid Stufe musse méi op déiselwecht Klass vun Hardware passen a séier bleiwen. Pro dréit 1.7 Billiounen Parameter, an dofir brauch en déi méi aggressiv 3-Bit-Behandlung, fir iwwerhaapt ze passen. Flash dréit ronn 300 Milliarden, an dofir brauch en et net — an dat Bit dat en spuert gëtt fir Tréischtheet ausgëtt an net fir ze passen.

Dat zousätzlecht Bit zielt méi wéi seng Rechnerei suggeréiert, well de Schued vun der Quantiséierung net linear ass. An de WikiText-2-Miessunge vum AWQ-Pabeier geet Llama-2-7B vu 5.47 Perplexitéit bei FP16 op 5.60 bei 4 Bit — eng Strof vun 2.4 % — mä op 6.24 bei 3 Bit, eng Strof vu 14 %. Dat ass ronn de sechsfache Ofbau fir 25 % méi Kompressioun, an datselwecht Muster hält bei 70B. De GPTQ-Pabeier ass nach méi direkt: bei 3 Bit kollabéiert dat naiivt Ronne op de nächste Wäert bei Modeller vun der 175B-Klass, an d'Dausende vu Perplexitéit, wärend et bei 4 Bit perfekt benotzbar bleift. Ënner véier Bit hält en gudden Quantiséierungsalgorithmus op eng Nettegkeet ze sinn a gëtt dat eenzegt wat de Modell nach zesummenhält.

Also ass déi éierlech Liesung vun deenen zwee Suffixen: Flash sëtzt méi no bei sengem eegenen onkompriméierte Selwer wéi Pro bei sengem. Pro ass ëmmer nach dee stäerkere Modell — d'Benchmarktabell hei uewen entscheet dat. Et huet just méi opginn, fir hei ze kommen, an s du bezuels fir dee Privileg.

Quellen: AutoRound — „Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs“ (arXiv 2309.05516), Intel, Findings of EMNLP 2024. REAP — „REAP the Experts: Why Pruning Prevails for One-Shot MoE Compression“ (arXiv 2510.13999), Cerebras Systems. D'Perplexitéitszuele kommen aus AWQ (arXiv 2306.00978) a GPTQ (arXiv 2210.17323).

05Flash géint Pro um Endpunkt

Sektioun 03 huet d'Basen ofgedeckt. Hei ass, wéi déi zwou Stufen als Produkter op eisem Gateway ausgesinn:

	DeepSeek-V4-Flash-0731	DeepSeek-V4-Pro-0813
Quantiséierung	W4A16-AUTOROUND-REAP	3BIT-REAP
Gewiichtspräzisioun	4 Bit, geléiert Rondung	3 Bit
Basis (total / aktiv)	~304B / 13B	~1.7T / 49B
Input pro 1M Token	$0.50	$1.95
Output pro 1M Token	$2.00	$3.90
Kontext / max. Output	262,144 / 16,384	262,144 / 16,384
Tools · strukturéierten Output · Streaming	Jo	Jo
Vision	Nee	Nee
Refus-Schicht	Keng	Keng

Kuck wat sech net ännert: Kontext, Outputubierstgrenz, Tool-Calling, strukturéierten Output an d'Ofwiesenheet vun enger Refus-Schicht sinn identesch. Dat eenzegt wat sech réckelt sinn d'Basis, d'Quantiséierung an de Präis. Dat mécht d'Wiessele tëscht hinnen zu enger Ännerung vun enger Zeechenkette an dengem Code an zu enger reng ekonomescher Entscheedung an denger Architektur.

Wat een eenzegen Opruff a maximaler Gréisst kascht

Fëll de ganze Kontext vun 262,144 Token a huel de vollen Output vun 16,384 Token:

Zum Lëschtepräis. Flash: $0.131 Input + $0.033 Output. Pro: $0.511 + $0.064. Verhältnis 3.51×. Flash deelt de Buedem vun $0.50 / $2.00 och mat MiniMax-M3, Laguna-S-2.1, MiMo-V2.5, MiMo-V2.5-Pro an Hy3 — kuck de komplette Katalog fir wéi déi sech bei Vision a strukturéiertem Output ënnerscheeden.

06D'Rechnung fir de Volumen, duerchgespillt

„3.9× bëlleger“ stëmmt nëmme beim Input. Um Output ass Flash 1.95× bëlleger. Deng richteg Spuernes hänkt also vun dengem Verhältnis vun Input zu Output of, an d'Spann ass breet genuch fir Designentscheedungen ze änneren. Véier realistesch Aarbechtslaaschten, all mat 100,000 Ufroen:

Aarbechtslaascht	Eran / eraus pro Opruff	Flash	Pro	Spuernes
Klassifikatioun vun Ticketen	1,200 / 120	$84	$281	3.3×
Froebeäntwerte mat RAG	8,000 / 600	$520	$1,794	3.4×
Resumé vun engem laangen Dokument	60,000 / 1,500	$3,300	$12,285	3.7×
Generéiere vu syntetesche Donnéeën	500 / 2,000	$425	$878	2.1×

D'Muster: wat s du méi Kontext eranschécks a wat s du manner Text generéiers, wat Flash dir méi spuert. Ofruffpipelinen, Dokumenttriage, Analys vu Logbicher an Transkriptiounen, an Extraktioun mat laangem Kontext sinn de Sweet Spot — si si vun enger Gréisstenuerdnung inputdominéiert, an den Input ass do wou de Rabatt vun 3.9× sëtzt. Wann deng Aarbechtslaascht amplaz e kuerze Prompt ass deen Dausende vun Textoken produzéiert, da schrompt d'Lück op ronn 2× an d'Fäegkeetsargument fir Pro gëtt entspriechend méi staark.

Nach e Stéck Rechnung dat ee sech verinnerleche soll: bei $0.50 pro Millioun Input-Token kascht dat ganzt Fënster vun 262,144 Token 13.1 Cent fir ze fëllen. Prompten mat laangem Kontext ass zu deem Präis keng Budgetfro méi, an dat heescht heiansdo, datt s du guer keng Ofruffschicht bauen muss a de Kontextfenster d'Aarbecht maache léisst — eng Ingenieursspuernes uewendrop op der Tokenspuernes.

07Wat „onzenséiert“ hei genee heescht

D'Wuert gëtt locker benotzt, also hei ass eis Definitioun, als Eegeschaft vum Endpunkt formuléiert: et sëtzt kee Refusklassifikateur virum Modell a säin Output gëtt net inhaltlech gefiltert. Näischt fänkt e Prompt of a gëtt eng fäerdeg Ofsoen zréck; näischt kuckt d'Fäerdegstellung un a schwäerzt se. Fir Produktiounsaarbecht mat groussem Volumen sinn d'Konsequenzen manner dramatesch a méi nëtzlech wéi d'Wuert suggeréiert:

• Keng Falschpositiver op harmlosem Trafic. Gefiltert Endpunkte leene routinéiert medizinesch Resuméen, Sécherheetsberichter, juristesch Beweisféierung, Fiktioun, Material zur Schuedensminderung an d'Moderatiounsaarbecht selwer of — genee déi Kategorien, wou e Batch-Job Text iwwer e sensibele Sujet veraarbecht amplaz eppes Schiedlechs ze produzéieren. Bei honnertdausend Ufroen ass eng Quot vu falsche Refusen vun engem Prozent dausend futtis Zeilen.
• Deterministesch Kontrakter. Frot eng json_schema-Äntwert un a s du kriss JSON dat zum Schema passt, a keng Paragraph mat Entschëllegungen do wou en Objet stoe soll. Däi Parser brauch keen Refuszweig, an deng Neiversuchslogik muss e Transportfeeler net vun engem Politikfeeler ënnerscheeden.
• D'Politik gehéiert dir. Dat ass den Tosch. Wann däi Produkt Leetplanke fir deng Endbenotzer brauch, da baus du se op denger Schicht, wou s du deng Benotzer an deng Juridictioun kenns, amplaz dem Ubidder seng Vermuddungen iwwer béid ze ierwen. Däi Kont bleift vun eiser Politik fir verantwortlech Notzung reglementéiert.

Onzenséiert ass net datselwecht wéi onalignéiert oder onhëllefräich. De Modell follegt ëmmer nach den Instruktiounen a respektéiert ëmmer nach e Systemprompt. Wann s du wëlls datt en fir deng Benotzer bestëmmte Kategorien ofleent, da schreif et do eran — déi Instruktioun ass elo deng ze schreiwen an net eis dir opzezwéngen.

08Fäegkeeten an éierlech Grenzen

Zwou Fäegkeete droen de gréissten Deel vun der Aarbecht bei Volumen. Strenge json_schema-Output mécht aus enger Fäerdegstellung eng Datebankzeil ouni Parsingschicht an ouni Refuszweig. Tool-Calling an allen dräi Dialekter mécht Flash zu enger verstänneger Maschinn fir déi bëlleg Ënnerschrëtt vun engem Agent deem säin ieweschte Planer op engem stäerkere Modell leeft. Setz reasoning_effort dobäi, wat dir erlaabt zousätzlech Token nëmmen op dee Brochdeel vum Trafic auszeginn deen se brauch, an e Kontext vun 262,144 Token identesch mat deem vum Pro — s du gëss kee Kontext op wann s du déi bëlleg Stuf wiels, an dat ass ongewéinlech.

D'Grenze si genee esou konkret:

• Keng Vision. Flash ass nëmmen Text a refuséiert Billerdeeler an enger Noriicht. Fir Biller op engem onzenséierte Modell zu deem selwechte Buedem vun $0.50 / $2.00 sinn MiniMax-M3 an MiMo-V2.5 déi vision-fäeg Optiounen; Kimi-K2.6 an Kimi-K3 si stäerkste Vision-Modeller iwwer där Stuf.
• Net d'Spëtzt vun der Leeder. Dem DeepSeek seng eege Zuele setzen Pro op all publizéierten agenteschen Benchmark viraus, mat der gréisster Lück beim dauerhafte Coderaisonnéieren iwwer méi Schrëtt. Wou eng falsch Äntwert méi kascht wéi dausend bëlleg, gëff déi extra $1.45 pro Millioun fir DeepSeek-V4-Pro aus.
• 16,384 Output-Token pro Ufro. Laang Generatioune musse iwwer méi Opruff opgedeelt ginn. Dat ass déi selwecht Ubierstgrenz op all Modell dee mir servéieren, a se gräift wäit ier de Kontextfenster et mécht.

09En uruffen

Riicht en beliebege OpenAI-kompatibele Client op de Gateway a wiessel d'Modellzeechenkette. Soss muss näischt an dengem Stack sech réckelen.

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP",
    "messages": [
      {"role": "system", "content": "Label the ticket. Reply only with the schema."},
      {"role": "user", "content": "The invoice PDF renders blank on Safari 18."}
    ],
    "response_format": {
      "type": "json_schema",
      "json_schema": {
        "name": "ticket_label",
        "schema": {
          "type": "object",
          "properties": {
            "category": {"type": "string"},
            "severity": {"type": "integer"},
            "needs_human": {"type": "boolean"}
          },
          "required": ["category", "severity", "needs_human"],
          "additionalProperties": false
        }
      }
    }
  }'

Déi selwecht Modell-Id funktionéiert onverännert op /v1/messages an /v1/responses, an dat ass de séierste Wee fir e bëllegere Modell ënner enger bestoender Integratioun ze A/B-testen ouni däi Client nei ze schreiwen. D'Parameteren, d'Formen vun de Streamingevenementer, d'Schemae fir Tool-Calling an d'Ratelimite sinn an der API-Referenz dokumentéiert; all Modell am Katalog ass op Shannon Research gelëscht.

10Dacks gestallte Froen

---

Quellen: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · Techneschen Bericht zu DeepSeek-V3 (arXiv 2412.19437) · DeepSeek-V4 (arXiv 2606.19348) · Modellkaarte vum DeepSeek-V4-Flash-0731 a vum DeepSeek-V4-Pro-0813 · AutoRound (arXiv 2309.05516, Intel) · REAP (arXiv 2510.13999, Cerebras Systems) · AWQ (arXiv 2306.00978) · GPTQ (arXiv 2210.17323). All Basis- a Benchmarkzuele si sou wéi vun hire jeeweilegen Auteure publizéiert; d'Shannon-AI-Präisser an de servéierte Kontext sinn eis eege Lëschtewäerter mam Stand vu September 2026.