API e pacensuruar DeepSeek Flash

Shumica e ekipeve që vlerësojnë një API LLM optimizojnë variablin e gabuar. Bëjnë benchmark mbi njëzet promptet më të vështira që u vijnë ndër mend, zgjedhin fituesin, dhe gjashtë javë më vonë zbulojnë se nëntëdhjetë e pesë përqind e trafikut të tyre është punë e shkurtër, e strukturuar dhe e përsëritur, të cilën një model që kushton një të katërtën do ta kishte trajtuar njësoj. DeepSeek-V4-Flash ekziston për atë nëntëdhjetë e pesë përqind. Kjo faqe është për të ditur kur ndodheni brenda tij — dhe kur jo.

01Çfarë merrni në të vërtetë

Vetia	DeepSeek-V4-Flash-0731 · W4A16-AUTOROUND-REAP
Id-ja e modelit	DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP
Konteksti / dalja maksimale	262.144 tokena / 16.384 tokena
Çmimi për 1M (hyrje / dalje)	$0.50 / $2.00
Transmetim · thirrje mjetesh · arsyetim	Po — të tri dialektet
Dalje e strukturuar	json_schema dhe response_format
Hyrje me imazh (pamje)	Jo — vetëm tekst
Shtresë refuzimi / filtër daljeje	Asnjë
Shërbehet në	Grupin e vet të GPU-ve të Shannon-it

Tri dialekte API-je arrijnë te po ato pesha: /v1/chat/completions (në formën e OpenAI-t), /v1/messages (në formën e Anthropic-ut) dhe /v1/responses. Transmetimi punon në të tria. Referenca e plotë e parametrave gjendet te dokumentacioni i API-t.

02Nga vjen: linja DeepSeek

DeepSeek-AI ka shpenzuar pesë breza modelesh mbi një ngulmim të vetëm: të nxjerrë sjellje të vijës së parë nga një model që është i lirë për t'u shërbyer, jo thjesht i lirë për t'u stërvitur. Thuajse çdo vendim arkitekturor në këtë linjë kthehet te ajo, dhe të rëndësishmit janë publikuar. Tre prej tyre shpjegojnë çfarë po thërrisni kur godisni këtë endpoint.

DeepSeekMoE — ekspertë të imët plus një i përbashkët

Një shtresë Mixture-of-Experts zëvendëson një rrjet të vetëm të madh feed-forward me shumë rrjete më të vogla dhe një drejtues që zgjedh një grusht prej tyre për token. Varianti i DeepSeek-ut i pret ekspertët më imët se skema konvencionale me tetë ekspertë, kështu që po ato FLOP të aktivizuara blejnë një përzierje shumë më specifike kombinatorisht, dhe izolon një ekspert të përbashkët nëpër të cilin kalon çdo token, që dija e përbashkët të mos rimësohet tepricë brenda çdo specialisti. DeepSeek-V3 e nxori atë si 256 ekspertë të drejtuar plus 1 ekspert i përbashkët, me 8 të drejtuar aktivë për token — 671B parametra në total, 37B aktivë — bashkë me balancim ngarkese pa humbje ndihmëse: në vend të një termi ndëshkimi që e degradon cilësinë, një anësi për ekspert i shtyn pikët e drejtimit lart ose poshtë në çdo hap, sipas asaj se sa i nën- ose i mbingarkuar është ai ekspert.

MLA — vëmendje që hyn në memorie

Gjysma tjetër e problemit të kostos së shërbimit është cache-i KV, që rritet në mënyrë lineare me kontekstin dhe e sundon memorien me sekuenca të gjata. Multi-head Latent Attention, e prezantuar në DeepSeek-V2, i ngjesh çelësat dhe vlerat bashkërisht në një vektor latent me rang të ulët dhe e ruan atë në cache, duke rindërtuar K/V të përdorshme në fluturim. Shifrat e publikuara nga DeepSeek për V2, kundrejt DeepSeek 67B të tyre të mëparshëm të dendur, raportojnë një zvogëlim prej 93.3% të cache-it KV dhe kapacitet maksimal gjenerimi 5.76× më të lartë. Prandaj një dritare prej 262K tokenash është minimumi i pranueshëm në këtë familje e jo një shtesë premium.

Vëmendja e rrallë — dhe precedenti për tokena të lirë

V3.2-Exp shtoi DeepSeek Sparse Attention: një indeksues i lehtë i vlerëson tokenat e kontekstit kundrejt pyetjes, dhe një përzgjedhës mban vetëm ata me pikët më të larta. Pjesa interesante është dëftesa, jo mekanizmi. DeepSeek publikoi një krahasim krah për krah me V3.1-Terminus me MMLU-Pro identik me 85.0, AIME 2025 në rritje (88.4 → 89.3), SWE-bench Verified paksa në rënie (68.4 → 67.8) — cilësi në thelb e pandryshuar — dhe i uli çmimet e API-t të tyre me më shumë se 50% po atë ditë. Arkitekturë, e raportuar ndershmërisht, që kthehet drejtpërdrejt në çmim. Flash-i është ai argument i çuar një hap më tej.

Brezi V4

V4, i parapamë në prill 2026 nën një licencë MIT, e zëvendëson sërish stivën e vëmendjes me një hibrid të Compressed Sparse Attention dhe Heavily Compressed Attention, stërvitet me optimizuesin Muon mbi më shumë se 32T tokena dhe e mban objektivin e parashikimit shumë-tokenash të V3-shit — që shërben njëkohësisht si dekodim spekulativ, dhe të cilin DeepSeek e mati me një normë pranimi 85–90% të tokenit të dytë për një përshpejtim dekodimi rreth 1.8× te V3. Abstrakti i V4-ës raporton se V4-Pro ekzekutohet me 27% të FLOP-eve të nxjerrjes për një token të V3.2-shit dhe 10% të cache-it të tij KV. Familja ekspozon tri nivele përpjekjeje arsyetimi, dhe pikërisht mbi këto hartohet parametri ynë reasoning_effort.

Burimet: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · Raporti teknik i DeepSeek-V3 (arXiv 2412.19437) · karta e modelit DeepSeek-V3.2-Exp · DeepSeek-V4 (arXiv 2606.19348). Të gjitha shifrat janë të raportuara nga DeepSeek.

03Çfarë do të thotë vërtet "Flash"

Këtu është pika ku shumica e krahasimeve gabojnë, prandaj ia vlen thënë hapur: Flash-i i DeepSeek-ut nuk është një Pro i kuantizuar, i krasitur ose i distiluar. Është një model Mixture-of-Experts më i vogël dhe i stërvitur veçmas, me para-stërvitjen e vet. Punimi i parapamjes së V4-ës jep të dyja përmasat:

Shifrat nga punimi i parapamjes së DeepSeek-V4. Pikat zyrtare të kontrollit që shërbejmë — V4-Flash-0731 dhe V4-Pro-0813 — rendisin totale paksa më të mëdha prej 304B dhe 1.7T në kartat e tyre të modelit; DeepSeek nuk i ripohon parametrat e aktivizuar për ato ndërtime.

Dy numra e bëjnë punën këtu. Parametrat në total përcaktojnë gjurmën e memories, e cila vendos sa harduer zë një kopje e modelit. Parametrat e aktivizuar përcaktojnë aritmetikën për token, e cila vendos kapacitetin. Flash-i është rreth 5.6× më i vogël te i pari dhe 3.8× më i vogël te i dyti — dhe ka një hollësi që ia vlen të vihet re në atë hendek: Flash aktivizon 13 nga 284 miliardë parametra, rreth 4.6%, ndërsa Pro aktivizon 49 nga 1.600 miliardë, rreth 3.1%. Flash është modeli më pak i rrallë. Nuk është thjesht Pro me më pak ekspertë të ndezur; është një projektim më i dendur dhe i balancuar ndryshe, që shpenzon një pjesë më të madhe të vetes mbi çdo token që prodhon. Kjo është një zgjedhje e vërtetë inxhinierike, jo një ulje niveli.

Çfarë thonë shifrat e vetë DeepSeek-ut

Të dyja kartat zyrtare të modeleve publikojnë pikë mbi po ato benchmark-e agjentike dhe të inxhinierisë së programeve, gjë që e bën këtë një krahasim pazakonisht të pastër — i njëjti laborator, i njëjti skelet vlerësimi, dy përmasa:

Benchmark (i raportuar nga DeepSeek)	V4-Flash-0731	V4-Pro-0813
Terminal Bench 2.1	82.7	87.9
Toolathlon-Verified	70.3	74.1
DeepSWE	54.4	62.7
NL2Repo	54.2	61.5
DSBench-FullStack	68.7	71.1

Pro fiton çdo rresht. Ky është titulli i ndershëm, dhe do të parapëlqenim ta lexonit këtu e jo ta zbulonit në prodhim. Por lexoni diferencat, sepse ato janë ajo që po blini vërtet. Te Terminal Bench 2.1 hendeku është 5.2 pikë për një model me një të njëzetepesëtën e parametrave; te përdorimi i mjeteve është 3.8 pikë. Hendeku zgjerohet aty ku puna thellohet — 8.3 pikë te DeepSWE, 7.3 te NL2Repo, të dyja shpërblejnë arsyetim të qëndrueshëm shumëhapësh mbi kod. Kjo është forma e shkëmbimit në një tabelë të vetme: Flash e mbyll pjesën më të madhe të distancës te detyrat e kufizuara dhe lëshon terren te ato të hapura.

Karta e vetë Flash-it nga DeepSeek e thekson pikën edhe më fort: Flash-0731 e kalon parapamjen e V4-Pro te benchmark-et e listuara, pavarësisht numrit shumë më të vogël të parametrave të aktivizuar. Një model i ri i vogël që mund një model të vjetër të madh është gjendja normale e punëve në këtë fushë, dhe është arsyeja pse "niveli më i madh" nuk duhet të jetë kurrë përgjigjja juaj e parazgjedhur.

04Si lexohet prapashtesa: W4A16-AUTOROUND-REAP

Id-të tona të modeleve e deklarojnë me zë të lartë skemën e ngjeshjes, sepse ajo është gjëja që ndikon më shumë te cilësia e daljes dhe pothuajse askush nuk e zbulon. Kjo zbërthehet në tri pohime.

W4A16 — pesha 4-bitëshe, aktivizime 16-bitëshe

Peshat ruhen me nga 4 bita; aktivizimet rrjedhin me saktësi 16-bitëshe. Ky është kuantizim vetëm i peshave, dhe godet ngushticën e vërtetë në gjenerimin e tokenave, që është gjerësia e brezit të memories e jo aritmetika. Kuantizimi edhe i aktivizimeve do të blinte pak më shumë shpejtësi dhe do të rrezikonte një rënie shumë më të madhe saktësie; lënia e tyre me 16 bita është zgjedhja konservatore e me besnikëri të lartë. Shënimi është shkurtim i ekosistemit të shërbimit — literatura e kuantizimit e shkruan të njëjtën gjë si W4 me një përmasë grupi.

AUTOROUND — rrumbullakim i mësuar, jo rrumbullakim te më i afërti

Kuantizimi naiv e rrumbullakos çdo peshë te vlera më e afërt e paraqitshme. Kjo në mënyrë të provueshme nuk është optimale: rrumbullakimi i një peshe në mënyrën "e gabuar" mund ta anulojë gabimin e futur nga fqinjët e saj, dhe me miliarda pesha ato ndërveprime sundojnë. AutoRound, nga Intel, e trajton vetë vendimin e rrumbullakimit si diçka që mësohet — një trazim i stërvitshëm për peshë i kufizuar në ±0.5, saktësisht aq sa të përmbysë çdo vendim të vetëm rrumbullakimi dhe kurrë më shumë, plus rangje kufizimi të mësueshme, të optimizuara me zbritje gradienti me shenjë kundrejt një objektivi rindërtimi të daljes bllok për bllok mbi një grup të vogël kalibrimi. Dyqind hapa, dhe gati.

Krahasimet e publikuara nga Intel e kanë AutoRound-in duke mundur GPTQ-në në 30 nga 32 skenarë të testuar, AWQ-në në 27 nga 32 dhe OmniQuant-in në 29 nga 32 me cilësime 4-bitëshe vetëm për peshat, me përfitime kundrejt rrumbullakimit naiv te më i afërti prej 6.9 deri në 33.2 pikë saktësie me 2 bita. Asgjë prej saj nuk kushton në kohën e nxjerrjes: është një zgjedhje më e mirë numrash, e bërë një herë, jashtë linje.

REAP — heqja e ekspertëve që askush nuk i drejton

REAP (Router-weighted Expert Activation Pruning), nga Cerebras Systems dhe Universiteti i Calgary-t, është ngjeshje me një hedhje për modelet MoE. E vlerëson çdo ekspert sipas asaj se sa fort dhe sa shpesh e porton drejtuesi drejt tij, shumëzuar me madhësinë e daljes së atij eksperti, pastaj i fshin krejtësisht ekspertët më pak të rëndësishëm — pa asnjë ristërvitje pas.

Gjetja qendrore e punimit është ajo e dobishmja: me raporte të larta ngjeshjeje, krasitja e ekspertëve ia kalon bashkimit të tyre. Bashkimi i ekspertëve funksionalisht të dallueshëm shkakton atë që autorët e quajnë kolaps i nënhapësirës funksionale — drejtuesi humbet kontrollin e imët e të varur nga hyrja që e bënte MoE-në të vlefshme për t'u ndërtuar, dhe i mbetet të drejtojë mes mesatareve statike. Shifrat e tyre përgjatë modeleve nga 20B në 1T parametra: me ngjeshje ekspertësh 25% mbi detyra programimi, REAP humbet 2.8% saktësi mesatare aty ku bazat me bashkim humbin mbi 5%; me 50%, REAP humbet 8.0% aty ku bashkimi humbet mbi 20%. Te Qwen3-Coder-480B me krasitje 50% rënia është 1.4%, kundrejt 39.3% për krasitjen naive sipas frekuencës. Cerebras ka publikuar pika kontrolli REAP edhe për linjën DeepSeek, mes të tjerash.

Pse 4 bita këtu dhe 3 bita te Pro

Të dy nivelet duhet të hyjnë dhe të mbeten të shpejta mbi të njëjtën klasë harduerësh. Pro mbart 1.7 trilion parametra, kështu që i duhet trajtimi më agresiv 3-bitësh që të hyjë fare. Flash mbart rreth 300 miliardë, kështu që nuk i duhet — dhe biti që kursen shpenzohet për besnikëri e jo për të hyrë.

Ai bit shtesë ka më shumë rëndësi se sa sugjeron aritmetika e tij, sepse dëmi i kuantizimit nuk është linear. Në matjet WikiText-2 të punimit të AWQ-së, Llama-2-7B kalon nga 5.47 hutim me FP16 në 5.60 me 4 bita — një ndëshkim prej 2.4% — por në 6.24 me 3 bita, një ndëshkim prej 14%. Kjo është afërsisht gjashtëfishi i degradimit për 25% më shumë ngjeshje, dhe i njëjti model vlen edhe me 70B. Punimi i GPTQ-së është edhe më i prerë: me 3 bita, rrumbullakimi naiv te më i afërti kolapson te modelet e klasës 175B, në mijëra njësi hutimi, ndërsa mbetet krejtësisht i përdorshëm me 4 bita. Nën katër bita, një algoritëm i mirë kuantizimi pushon së qeni hollësi e këndshme dhe bëhet e vetmja gjë që e mban modelin bashkë.

Prandaj leximi i ndershëm i këtyre dy prapashtesave është: Flash qëndron më afër vetvetes së pangjeshur sesa Pro qëndron ndaj së vetes. Pro mbetet modeli më i fortë — tabela e benchmark-eve më sipër e zgjidh këtë. Ai thjesht dorëzoi më shumë për të mbërritur këtu, dhe ju paguani për privilegjin.

Burimet: AutoRound — "Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs" (arXiv 2309.05516), Intel, Findings of EMNLP 2024. REAP — "REAP the Experts: Why Pruning Prevails for One-Shot MoE Compression" (arXiv 2510.13999), Cerebras Systems. Shifrat e hutimit nga AWQ (arXiv 2306.00978) dhe GPTQ (arXiv 2210.17323).

05Flash kundrejt Pro te endpoint-i

Seksioni 03 mbuloi themelet. Ja si duken dy nivelet si produkte në portën tonë:

	DeepSeek-V4-Flash-0731	DeepSeek-V4-Pro-0813
Kuantizimi	W4A16-AUTOROUND-REAP	3BIT-REAP
Saktësia e peshave	4-bitëshe, rrumbullakim i mësuar	3-bitëshe
Themeli (total / aktivë)	~304B / 13B	~1.7T / 49B
Hyrje për 1M tokena	$0.50	$1.95
Dalje për 1M tokena	$2.00	$3.90
Konteksti / dalja maksimale	262.144 / 16.384	262.144 / 16.384
Mjete · dalje e strukturuar · transmetim	Po	Po
Pamje	Jo	Jo
Shtresë refuzimi	Asnjë	Asnjë

Vini re çfarë nuk ndryshon: konteksti, tavani i daljes, thirrja e mjeteve, dalja e strukturuar dhe mungesa e një shtrese refuzimi janë identike. Të vetmet gjëra që lëvizin janë themeli, kuantizimi dhe çmimi. Kjo e bën kalimin mes tyre një ndryshim vargu të vetëm në kodin tuaj dhe një vendim thjesht ekonomik në arkitekturën tuaj.

Sa kushton një thirrje me përmasë maksimale

Mbushni krejt kontekstin prej 262.144 tokenash dhe merrni daljen e plotë prej 16.384 tokenash:

Me çmimin e listës. Flash: 0.131 $ hyrje + 0.033 $ dalje. Pro: 0.511 $ + 0.064 $. Raporti 3.51×. Flash e ndan gjithashtu dyshemenë 0.50 $ / 2.00 $ me MiniMax-M3, Laguna-S-2.1, MiMo-V2.5, MiMo-V2.5-Pro dhe Hy3 — shihni katalogun e plotë për të parë si ndryshojnë ata te pamja dhe dalja e strukturuar.

06Aritmetika e volumit, e punuar

"3.9× më i lirë" është e vërtetë vetëm për hyrjen. Për daljen Flash është 1.95× më i lirë. Kursimi juaj i vërtetë varet pra nga raporti juaj hyrje-dalje, dhe hapësira është mjaftueshëm e gjerë sa të ndryshojë vendime projektimi. Katër ngarkesa pune realiste, secila me 100.000 kërkesa:

Ngarkesa e punës	Hyrje / dalje për thirrje	Flash	Pro	Kursimi
Klasifikim biletash	1,200 / 120	$84	$281	3.3×
Përgjigje pyetjesh me RAG	8,000 / 600	$520	$1,794	3.4×
Përmbledhje dokumentesh të gjata	60,000 / 1,500	$3,300	$12,285	3.7×
Gjenerim të dhënash sintetike	500 / 2,000	$425	$878	2.1×

Modeli është ky: sa më shumë kontekst shtyni dhe sa më pak tekst gjeneroni, aq më shumë ju kursen Flash. Tubacionet e rikthimit, triazhi i dokumenteve, analiza e regjistrave dhe e transkripteve, si dhe nxjerrja me kontekst të gjatë janë vendi i ëmbël — sunduar nga hyrja me një rend madhësie, dhe hyrja është aty ku jeton zbritja 3.9×. Nëse në vend të kësaj ngarkesa juaj është një prompt i shkurtër që prodhon mijëra tokena prozë, hendeku ngushtohet në rreth 2× dhe argumenti i aftësisë për Pro-n forcohet përkatësisht.

Edhe një copëz aritmetike që ia vlen të përvetësohet: me 0.50 $ për milion tokena hyrjeje, krejt dritarja prej 262.144 tokenash kushton 13.1 cent për t'u mbushur. Promptimi me kontekst të gjatë pushon së qeni pyetje buxheti me atë çmim, gjë që ndonjëherë do të thotë se mund ta anashkaloni fare ndërtimin e një shtrese rikthimi dhe ta lini dritaren e kontekstit ta bëjë punën — një kursim inxhinierik mbi kursimin në tokena.

07Çfarë do të thotë "i pacensuruar" këtu, saktësisht

Fjala përdoret lirshëm, prandaj ja përkufizimi ynë, i deklaruar si veti e endpoint-it: nuk ka klasifikues refuzimi para modelit dhe nuk zbatohet filtrim përmbajtjeje mbi daljen e tij. Asgjë nuk e ndërpret një prompt për të kthyer një refuzim të konservuar; asgjë nuk e shqyrton përfundimin për ta redaktuar. Për punë prodhimi me volum të lartë pasojat janë më pak dramatike dhe më të dobishme se sa sugjeron fjala:

• Pa alarme të rreme mbi trafikun e padëmshëm. Endpoint-et e filtruara refuzojnë rregullisht përmbledhje mjekësore, shkrime sigurie, zbulim ligjor, trillim, material për zvogëlim dëmi dhe vetë punën e moderimit — pikërisht kategoritë ku një punë masive po përpunon tekst rreth një teme të ndjeshme e jo po prodhon ndonjë gjë të dëmshme. Me njëqind mijë kërkesa, një normë refuzimi të rremë prej një përqindje janë një mijë rreshta të prishur.
• Kontrata deterministe. Kërkoni një përgjigje me json_schema dhe merrni JSON që përputhet me skemën, jo një paragraf falje aty ku duhej të ishte një objekt. Analizuesi juaj nuk ka nevojë për degë refuzimi, dhe logjika juaj e riprovës nuk duhet ta dallojë një dështim transporti nga një dështim politike.
• Politika është e juaja. Ky është shkëmbimi. Nëse produkti juaj ka nevojë për mbrojtëse për përdoruesit tuaj fundorë, i ndërtoni ju te shtresa juaj, ku i njihni përdoruesit dhe juridiksionin tuaj, në vend që të trashëgoni hamendjet e një ofruesi mbi të dyja. Llogaria juaj mbetet e rregulluar nga Politika jonë e Përdorimit të Përgjegjshëm.

I pacensuruar nuk është e njëjta gjë me i papërafruar ose i padobishëm. Modeli i ndjek ende udhëzimet dhe e respekton ende një prompt sistemi. Nëse doni që të refuzojë disa kategori për përdoruesit tuaj, thojeni atje — ai udhëzim tani është i juaji për ta shkruar e jo yni për ta imponuar.

08Aftësitë dhe kufijtë e ndershëm

Dy aftësi e mbajnë pjesën më të madhe të peshës për punën me volum. Dalja e rreptë me json_schema e kthen një përfundim në një rresht baze të dhënash pa shtresë analize dhe pa degë refuzimi. Thirrja e mjeteve në të tri dialektet e bën Flash-in një motor të arsyeshëm për nënhapat e lira të një agjenti, planifikuesi i të cilit në nivelin e sipërm ekzekutohet mbi një model më të fortë. Shtoni reasoning_effort, që ju lejon të shpenzoni tokena shtesë vetëm mbi pjesën e trafikut që i ka nevojë, dhe një kontekst prej 262.144 tokenash identik me atë të Pro-s — nuk e dorëzoni kontekstin duke zgjedhur nivelin e lirë, gjë që është e pazakontë.

Kufijtë janë po aq konkretë:

• Pa pamje. Flash është vetëm tekst dhe do t'i hedhë poshtë pjesët me imazh në një mesazh. Për imazhe mbi një model të pacensuruar me po atë dysheme 0.50 $ / 2.00 $, MiniMax-M3 dhe MiMo-V2.5 janë mundësitë me pamje; Kimi-K2.6 dhe Kimi-K3 janë modele më të forta me pamje mbi atë nivel.
• Jo maja e shkallares. Shifrat e vetë DeepSeek-ut e vendosin Pro-n përpara në çdo benchmark agjentik të publikuar, me hendekun më të gjerë te arsyetimi i qëndrueshëm shumëhapësh mbi kod. Aty ku një përgjigje e gabuar kushton më shumë se një mijë të lira, shpenzoni 1.45 $ shtesë për milion te DeepSeek-V4-Pro.
• 16.384 tokena dalje për kërkesë. Gjenerimet e gjata duhen copëzuar nëpër thirrje. Ky është i njëjti tavan te çdo model që shërbejmë, dhe ai kufizon shumë përpara dritares së kontekstit.

09Si ta thërrisni

Drejtoni cilindo klient të pajtueshëm me OpenAI drejt portës dhe ndryshoni vargun e modelit. Asgjë tjetër në stivën tuaj nuk duhet të lëvizë.

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP",
    "messages": [
      {"role": "system", "content": "Label the ticket. Reply only with the schema."},
      {"role": "user", "content": "The invoice PDF renders blank on Safari 18."}
    ],
    "response_format": {
      "type": "json_schema",
      "json_schema": {
        "name": "ticket_label",
        "schema": {
          "type": "object",
          "properties": {
            "category": {"type": "string"},
            "severity": {"type": "integer"},
            "needs_human": {"type": "boolean"}
          },
          "required": ["category", "severity", "needs_human"],
          "additionalProperties": false
        }
      }
    }
  }'

E njëjta id modeli funksionon pa ndryshime te /v1/messages dhe /v1/responses, që është mënyra më e shpejtë për të bërë A/B me një model më të lirë nën një integrim ekzistues pa rishkruar klientin. Parametrat, format e ngjarjeve të transmetimit, skemat e thirrjes së mjeteve dhe kufijtë e shpejtësisë dokumentohen te referenca e API-t; çdo model në katalog është i listuar te Shannon Research.

10Pyetje të bëra shpesh

---

Burimet: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · Raporti teknik i DeepSeek-V3 (arXiv 2412.19437) · DeepSeek-V4 (arXiv 2606.19348) · kartat e modeleve DeepSeek-V4-Flash-0731 dhe DeepSeek-V4-Pro-0813 · AutoRound (arXiv 2309.05516, Intel) · REAP (arXiv 2510.13999, Cerebras Systems) · AWQ (arXiv 2306.00978) · GPTQ (arXiv 2210.17323). Të gjitha shifrat e themeleve dhe të benchmark-eve janë siç i kanë publikuar autorët përkatës; çmimet e Shannon AI dhe konteksti i shërbyer janë vlerat tona të listës më shtator 2026.