API DeepSeek Flash không kiểm duyệt

Phần lớn các nhóm khi đánh giá một API LLM đều tối ưu sai biến số. Họ đo trên hai mươi prompt khó nhất họ nghĩ ra được, chọn cái thắng, rồi sáu tuần sau phát hiện ra chín mươi lăm phần trăm lưu lượng của mình là những việc ngắn, có cấu trúc, lặp đi lặp lại mà một mô hình rẻ bằng một phần tư đã xử lý y hệt. DeepSeek-V4-Flash tồn tại cho chín mươi lăm phần trăm đó. Trang này nói về việc biết khi nào bạn đang ở trong đó — và khi nào thì không.

01Bạn thực sự nhận được gì

Thuộc tính	DeepSeek-V4-Flash-0731 · W4A16-AUTOROUND-REAP
Model id	DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP
Ngữ cảnh / đầu ra tối đa	262.144 token / 16.384 token
Giá mỗi 1M (vào / ra)	$0.50 / $2.00
Streaming · gọi tool · suy luận	Có — cả ba phương ngữ
Đầu ra có cấu trúc	json_schema và response_format
Đầu vào ảnh (thị giác)	Không — chỉ văn bản
Lớp từ chối / lọc đầu ra	Không có
Phục vụ trên	Cụm GPU của riêng Shannon

Ba phương ngữ API cùng chạm tới một bộ trọng số: /v1/chat/completions (dạng OpenAI), /v1/messages (dạng Anthropic), và /v1/responses. Streaming hoạt động trên cả ba. Tham chiếu tham số đầy đủ nằm trong tài liệu API.

02Nó đến từ đâu: phả hệ DeepSeek

DeepSeek-AI đã dành năm thế hệ mô hình cho một nỗi ám ảnh: lấy được hành vi ở biên giới công nghệ từ một mô hình rẻ để phục vụ, chứ không chỉ rẻ để huấn luyện. Gần như mọi quyết định kiến trúc trong dòng này đều truy về đó, và những quyết định quan trọng đều được công bố. Ba trong số đó giải thích thứ bạn đang gọi khi chạm vào endpoint này.

DeepSeekMoE — expert mịn cộng thêm một expert dùng chung

Một lớp Mixture-of-Experts thay một mạng feed-forward lớn bằng nhiều mạng nhỏ hơn cùng một router chọn ra vài cái cho mỗi token. Biến thể của DeepSeek chia expert mịn hơn so với bố cục tám expert thông thường, nên cùng số FLOPs kích hoạt lại mua được một hỗn hợp cụ thể hơn nhiều về mặt tổ hợp, và nó tách riêng một expert dùng chung mà mọi token đều đi qua, để tri thức phổ thông không bị học lại thừa thãi bên trong từng chuyên gia. DeepSeek-V3 phát hành điều đó dưới dạng 256 expert định tuyến cộng 1 expert dùng chung, kích hoạt 8 expert định tuyến mỗi token — 671 tỷ tham số tổng, 37 tỷ kích hoạt — cùng với cân bằng tải không cần hàm mất mát phụ: thay vì một số hạng phạt làm giảm chất lượng, một độ lệch riêng cho từng expert đẩy điểm định tuyến lên hoặc xuống ở mỗi bước tùy expert đó đang thiếu tải hay quá tải.

MLA — attention vừa trong bộ nhớ

Nửa còn lại của bài toán chi phí phục vụ là bộ nhớ đệm KV, vốn tăng tuyến tính theo ngữ cảnh và chiếm phần lớn bộ nhớ ở độ dài chuỗi lớn. Multi-head Latent Attention, giới thiệu trong DeepSeek-V2, nén key và value chung lại thành một vector tiềm ẩn hạng thấp rồi lưu đệm cái đó, dựng lại K/V dùng được ngay lúc chạy. Số liệu V2 mà DeepSeek công bố, so với mô hình dày đặc DeepSeek 67B trước đó của họ, báo cáo giảm 93.3% bộ nhớ đệm KV và thông lượng sinh tối đa cao hơn 5.76×. Đó là lý do một cửa sổ 262K token là chuyện đương nhiên trong dòng này chứ không phải một khoản cao cấp phải mua thêm.

Sparse attention — và tiền lệ cho token giá rẻ

V3.2-Exp bổ sung DeepSeek Sparse Attention: một bộ lập chỉ mục nhẹ chấm điểm các token ngữ cảnh so với truy vấn, và một bộ chọn chỉ giữ lại những token điểm cao nhất. Phần thú vị là biên lai, không phải cơ chế. DeepSeek công bố một bảng so sánh trực tiếp với V3.1-Terminus, trong đó MMLU-Pro giữ nguyên ở 85.0, AIME 2025 tăng (88.4 → 89.3), SWE-bench Verified giảm nhẹ (68.4 → 67.8) — về cơ bản là chất lượng đi ngang — và cắt giá API của họ hơn 50% ngay trong ngày hôm đó. Kiến trúc, được báo cáo trung thực, biến trực tiếp thành giá. Flash là lập luận đó đẩy thêm một bước nữa.

Thế hệ V4

V4, giới thiệu trước vào tháng 4 năm 2026 theo giấy phép MIT, lại thay chồng attention bằng một kiểu lai giữa Compressed Sparse Attention và Heavily Compressed Attention, huấn luyện bằng bộ tối ưu Muon trên hơn 32T token, và giữ mục tiêu dự đoán đa token của V3 — thứ vốn kiêm luôn giải mã suy đoán, và được DeepSeek đo ở mức chấp nhận token thứ hai 85–90% cho khoảng 1.8× tăng tốc giải mã trong V3. Phần tóm tắt của V4 báo cáo V4-Pro chạy ở 27% số FLOPs suy diễn trên một token của V3.2 và 10% bộ nhớ đệm KV của nó. Dòng này mở ra ba mức nỗ lực suy luận, và đó chính là thứ mà tham số reasoning_effort của chúng tôi ánh xạ tới.

Nguồn: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · Báo cáo kỹ thuật DeepSeek-V3 (arXiv 2412.19437) · thẻ mô hình DeepSeek-V3.2-Exp · DeepSeek-V4 (arXiv 2606.19348). Tất cả các con số đều do DeepSeek báo cáo.

03“Flash” thực sự nghĩa là gì

Đây là điểm mà phần lớn các bài so sánh hiểu sai, nên đáng nói thẳng: Flash của DeepSeek không phải một bản Pro đã lượng tử hóa, cắt tỉa hay chưng cất. Nó là một mô hình Mixture-of-Experts nhỏ hơn, được huấn luyện riêng, với lượt tiền huấn luyện của chính nó. Bài báo giới thiệu V4 đưa ra hai kích cỡ:

Các con số lấy từ bài báo giới thiệu DeepSeek-V4. Các checkpoint chính thức mà chúng tôi phục vụ — V4-Flash-0731 và V4-Pro-0813 — ghi tổng tham số nhỉnh hơn một chút là 304B và 1.7T trên thẻ mô hình của chúng; DeepSeek không nêu lại số tham số kích hoạt cho các bản dựng đó.

Hai con số làm hết phần việc ở đây. Tổng tham số quyết định dung lượng bộ nhớ, tức quyết định một bản sao của mô hình chiếm bao nhiêu phần cứng. Tham số kích hoạt quyết định lượng số học trên mỗi token, tức quyết định thông lượng. Flash nhỏ hơn khoảng 5.6× ở con số thứ nhất và 3.8× ở con số thứ hai — và trong khoảng chênh đó có một điều tinh tế đáng chú ý: Flash kích hoạt 13 trên 284 tỷ tham số, khoảng 4.6%, trong khi Pro kích hoạt 49 trên 1.600 tỷ, khoảng 3.1%. Flash là mô hình ít thưa hơn. Nó không đơn giản là Pro với ít expert được bật hơn; nó là một thiết kế dày hơn, cân bằng theo cách khác, dùng một tỷ lệ lớn hơn của chính nó cho mỗi token nó sinh ra. Đó là một lựa chọn kỹ thuật thật sự, không phải một sự hạ cấp.

Số liệu của chính DeepSeek nói gì

Cả hai thẻ mô hình chính thức đều công bố điểm trên cùng những benchmark agent và kỹ thuật phần mềm, khiến đây là một phép so sánh sạch một cách hiếm thấy — cùng phòng lab, cùng bộ khung đánh giá, hai kích cỡ:

Benchmark (DeepSeek báo cáo)	V4-Flash-0731	V4-Pro-0813
Terminal Bench 2.1	82.7	87.9
Toolathlon-Verified	70.3	74.1
DeepSWE	54.4	62.7
NL2Repo	54.2	61.5
DSBench-FullStack	68.7	71.1

Pro thắng mọi dòng. Đó là tiêu đề trung thực, và chúng tôi muốn bạn đọc nó ở đây hơn là tự phát hiện khi đã lên production. Nhưng hãy đọc khoảng cách, vì đó mới là thứ bạn thực sự đang mua. Trên Terminal Bench 2.1, chênh lệch là 5.2 điểm với một mô hình chỉ có một phần hai mươi lăm số tham số; ở dùng tool là 3.8 điểm. Khoảng cách nới rộng ở nơi công việc sâu nhất — 8.3 điểm trên DeepSWE, 7.3 trên NL2Repo, cả hai đều tưởng thưởng cho suy luận mã nhiều bước bền bỉ. Đó là hình dạng của cuộc đánh đổi gói trong một bảng: Flash rút gần hết khoảng cách trên các tác vụ có giới hạn và nhường sân trên các tác vụ mở.

Chính thẻ Flash của DeepSeek còn nói sắc hơn: Flash-0731 vượt bản preview của V4-Pro trên những benchmark được liệt kê dù số tham số kích hoạt nhỏ hơn nhiều. Một mô hình nhỏ mới hơn đánh bại một mô hình lớn cũ hơn là chuyện bình thường trong lĩnh vực này, và đó là lý do “bậc lớn hơn” không bao giờ nên là câu trả lời mặc định của bạn.

04Đọc hậu tố: W4A16-AUTOROUND-REAP

Các model id của chúng tôi nói to sơ đồ nén của chúng, vì đó là thứ ảnh hưởng nhiều nhất tới chất lượng đầu ra mà gần như không ai công bố. Hậu tố này tách thành ba tuyên bố.

W4A16 — trọng số 4-bit, kích hoạt 16-bit

Trọng số được lưu ở 4 bit mỗi cái; kích hoạt chạy qua ở độ chính xác 16-bit. Đây là lượng tử hóa chỉ trên trọng số, và nó nhắm đúng nút thắt thật sự trong việc sinh token, vốn là băng thông bộ nhớ chứ không phải phép tính. Lượng tử hóa cả kích hoạt sẽ mua thêm chút tốc độ và chuốc lấy nguy cơ rơi độ chính xác lớn hơn nhiều; giữ chúng ở 16 bit là lựa chọn thận trọng, trung thực cao. Cách ký hiệu này là tiếng lóng của hệ sinh thái phục vụ mô hình — giới nghiên cứu lượng tử hóa viết cùng một thứ dưới dạng W4 kèm kích thước nhóm.

AUTOROUND — làm tròn học được, không phải làm tròn gần nhất

Lượng tử hóa ngây thơ làm tròn mọi trọng số về giá trị biểu diễn được gần nhất. Điều đó chứng minh được là không tối ưu: làm tròn một trọng số theo hướng “sai” có thể triệt tiêu sai số do các trọng số lân cận gây ra, và với hàng tỷ trọng số thì những tương tác đó chiếm ưu thế. AutoRound, của Intel, coi chính quyết định làm tròn là thứ có thể học — một nhiễu động huấn luyện được cho từng trọng số, bị ràng buộc trong ±0.5, vừa đủ để lật bất kỳ quyết định làm tròn đơn lẻ nào và không hơn, cộng thêm các khoảng cắt học được, tối ưu bằng hạ gradient có dấu theo một mục tiêu tái dựng đầu ra theo khối trên một tập hiệu chuẩn nhỏ. Hai trăm bước, rồi xong.

Các bảng so sánh Intel công bố cho thấy AutoRound thắng GPTQ ở 30 trên 32 kịch bản thử nghiệm, thắng AWQ ở 27 trên 32 và OmniQuant ở 29 trên 32 với thiết lập 4-bit chỉ trên trọng số, với mức cải thiện so với làm tròn gần nhất ngây thơ là 6.9 đến 33.2 điểm độ chính xác ở 2 bit. Không phần nào trong đó tốn thêm gì lúc suy diễn: nó chỉ là một lựa chọn số tốt hơn, làm một lần, ngoại tuyến.

REAP — bỏ đi những expert không ai định tuyến tới

REAP (Router-weighted Expert Activation Pruning), từ Cerebras Systems và Đại học Calgary, là kỹ thuật nén một lần cho các mô hình MoE. Nó chấm điểm từng expert theo việc router mở cổng tới nó mạnh và thường xuyên đến đâu, nhân với độ lớn đầu ra của expert đó, rồi xóa thẳng những expert ít quan trọng nhất — không huấn luyện lại sau đó.

Phát hiện trung tâm của bài báo mới là thứ hữu ích: ở tỷ lệ nén cao, cắt tỉa expert tốt hơn gộp chúng. Gộp những expert khác biệt về chức năng gây ra thứ mà các tác giả gọi là sụp đổ không gian con chức năng — router mất đi khả năng điều khiển tinh vi, phụ thuộc đầu vào, vốn là lý do người ta dựng MoE, và chỉ còn lái giữa các giá trị trung bình tĩnh. Các con số của họ trên những mô hình từ 20 tỷ đến 1 nghìn tỷ tham số: ở mức nén 25% số expert trên tác vụ lập trình, REAP mất 2.8% độ chính xác trung bình trong khi các phương án gộp mất hơn 5%; ở 50%, REAP mất 8.0% còn gộp mất hơn 20%. Trên Qwen3-Coder-480B ở mức cắt tỉa 50%, mức tụt là 1.4%, so với 39.3% của cắt tỉa ngây thơ dựa trên tần suất. Cerebras đã công bố các checkpoint REAP cho dòng DeepSeek cùng nhiều dòng khác.

Vì sao 4-bit ở đây và 3-bit trên Pro

Cả hai bậc đều phải vừa vặn và giữ được tốc độ trên cùng một lớp phần cứng. Pro mang 1,7 nghìn tỷ tham số, nên nó cần cách xử lý 3-bit quyết liệt hơn thì mới vừa. Flash mang khoảng 300 tỷ, nên nó không cần — và cái bit tiết kiệm được thì đem tiêu cho độ trung thực thay vì cho việc nhét vừa.

Một bit thêm đó quan trọng hơn phép tính số học gợi ý, vì thiệt hại do lượng tử hóa không tuyến tính. Trong các phép đo WikiText-2 của bài báo AWQ, Llama-2-7B đi từ perplexity 5.47 ở FP16 lên 5.60 ở 4-bit — phạt 2.4% — nhưng lên 6.24 ở 3-bit, phạt 14%. Đó là khoảng gấp sáu lần mức suy giảm để đổi lấy 25% nén thêm, và mẫu hình đó vẫn giữ nguyên ở quy mô 70B. Bài báo GPTQ còn nói thẳng hơn: ở 3 bit, làm tròn gần nhất ngây thơ sụp đổ trên các mô hình cỡ 175B, perplexity lên tới hàng nghìn, trong khi vẫn hoàn toàn dùng được ở 4 bit. Dưới bốn bit, một thuật toán lượng tử hóa tốt thôi không còn là thứ có thì hay mà trở thành thứ duy nhất giữ cho mô hình khỏi rã.

Vậy nên cách đọc trung thực hai hậu tố này là: Flash gần với phiên bản chưa nén của chính nó hơn là Pro gần với phiên bản chưa nén của Pro. Pro vẫn là mô hình mạnh hơn — bảng benchmark ở trên đã kết luận điều đó. Nó chỉ đơn giản là đã phải từ bỏ nhiều hơn để đến được đây, và bạn trả tiền cho đặc quyền ấy.

Nguồn: AutoRound — “Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs” (arXiv 2309.05516), Intel, Findings of EMNLP 2024. REAP — “REAP the Experts: Why Pruning Prevails for One-Shot MoE Compression” (arXiv 2510.13999), Cerebras Systems. Các con số perplexity lấy từ AWQ (arXiv 2306.00978) và GPTQ (arXiv 2210.17323).

05Flash so với Pro tại endpoint

Mục 03 đã bàn về các nền tảng. Đây là hình hài của hai bậc đó với tư cách sản phẩm trên gateway của chúng tôi:

	DeepSeek-V4-Flash-0731	DeepSeek-V4-Pro-0813
Lượng tử hóa	W4A16-AUTOROUND-REAP	3BIT-REAP
Độ chính xác trọng số	4-bit, làm tròn học được	3-bit
Nền tảng (tổng / kích hoạt)	~304B / 13B	~1.7T / 49B
Đầu vào mỗi 1M token	$0.50	$1.95
Đầu ra mỗi 1M token	$2.00	$3.90
Ngữ cảnh / đầu ra tối đa	262.144 / 16.384	262.144 / 16.384
Tool · đầu ra có cấu trúc · streaming	Có	Có
Thị giác	Không	Không
Lớp từ chối	Không có	Không có

Hãy để ý những gì không đổi: ngữ cảnh, trần đầu ra, gọi tool, đầu ra có cấu trúc, và việc không có lớp từ chối đều giống hệt nhau. Những thứ duy nhất thay đổi là nền tảng, mức lượng tử hóa, và giá. Điều đó biến việc chuyển qua lại giữa chúng thành một thay đổi một chuỗi ký tự trong mã của bạn và một quyết định thuần kinh tế trong kiến trúc của bạn.

Một lệnh gọi cỡ tối đa tốn bao nhiêu

Lấp đầy toàn bộ ngữ cảnh 262.144 token và lấy trọn 16.384 token đầu ra:

Theo giá niêm yết. Flash: $0.131 đầu vào + $0.033 đầu ra. Pro: $0.511 + $0.064. Tỷ lệ 3.51×. Flash cũng dùng chung mức sàn $0.50 / $2.00 với MiniMax-M3, Laguna-S-2.1, MiMo-V2.5, MiMo-V2.5-Pro và Hy3 — xem toàn bộ danh mục để biết chúng khác nhau ra sao về thị giác và đầu ra có cấu trúc.

06Bài toán khối lượng, tính ra cụ thể

“Rẻ hơn 3.9×” chỉ đúng ở đầu vào. Ở đầu ra, Flash rẻ hơn 1.95×. Vậy nên mức tiết kiệm thật của bạn phụ thuộc vào tỷ lệ đầu vào trên đầu ra, và biên độ đủ rộng để thay đổi cả quyết định thiết kế. Bốn khối lượng công việc thực tế, mỗi cái ở mức 100.000 yêu cầu:

Khối lượng công việc	Vào / ra mỗi lệnh	Flash	Pro	Tiết kiệm
Phân loại ticket	1,200 / 120	$84	$281	3.3×
Trả lời câu hỏi kiểu RAG	8,000 / 600	$520	$1,794	3.4×
Tóm tắt tài liệu dài	60,000 / 1,500	$3,300	$12,285	3.7×
Sinh dữ liệu tổng hợp	500 / 2,000	$425	$878	2.1×

Mẫu hình ở đây: bạn đẩy càng nhiều ngữ cảnh vào và sinh ra càng ít chữ, Flash càng tiết kiệm cho bạn nhiều. Các pipeline truy hồi, phân loại tài liệu, phân tích log và bản ghi hội thoại, và trích xuất ngữ cảnh dài là điểm ngọt — chúng bị đầu vào chi phối tới cả một bậc độ lớn, và đầu vào chính là nơi khoản giảm 3.9× sinh sống. Ngược lại, nếu khối lượng công việc của bạn là một prompt ngắn sinh ra hàng nghìn token văn xuôi, khoảng cách thu về còn khoảng 2× và lập luận về năng lực của Pro cũng mạnh lên tương ứng.

Còn một phép tính nữa đáng ghi nhớ: ở mức $0.50 mỗi triệu token đầu vào, lấp đầy toàn bộ cửa sổ 262.144 token tốn 13.1 xu. Ở mức giá đó, prompt ngữ cảnh dài thôi không còn là một câu hỏi ngân sách, nghĩa là đôi khi bạn có thể bỏ hẳn việc dựng một lớp truy hồi và để cửa sổ ngữ cảnh làm việc đó — một khoản tiết kiệm kỹ thuật chồng lên khoản tiết kiệm token.

07“Không kiểm duyệt” ở đây nghĩa là gì, một cách chính xác

Từ này bị dùng lỏng lẻo, nên đây là định nghĩa của chúng tôi, phát biểu như một thuộc tính của endpoint: không có bộ phân loại từ chối nào đứng trước mô hình và không có bộ lọc nội dung nào áp lên đầu ra của nó. Không gì chặn một prompt rồi trả về lời từ chối đóng hộp; không gì soi phần hoàn thành rồi bôi đen nó. Với công việc production khối lượng lớn, hệ quả ít kịch tính và hữu dụng hơn cái từ đó gợi ra:

• Không có dương tính giả trên lưu lượng vô hại. Các endpoint có lọc thường xuyên từ chối tóm tắt y khoa, bài viết bảo mật, tài liệu tố tụng, hư cấu, tài liệu giảm thiểu tác hại và chính công việc kiểm duyệt nội dung — đúng những mảng mà một job hàng loạt đang xử lý văn bản nói về một chủ đề nhạy cảm chứ không sinh ra thứ gì có hại. Ở một trăm nghìn yêu cầu, tỷ lệ từ chối sai một phần trăm là một nghìn dòng hỏng.
• Hợp đồng tất định. Yêu cầu một phản hồi json_schema và bạn nhận về JSON khớp schema, không phải một đoạn xin lỗi ở chỗ lẽ ra phải là một đối tượng. Bộ phân tích cú pháp của bạn không cần nhánh xử lý từ chối, và logic thử lại không phải phân biệt lỗi truyền tải với lỗi chính sách.
• Bạn sở hữu chính sách. Đó là cuộc đánh đổi. Nếu sản phẩm của bạn cần rào chắn cho người dùng cuối, bạn dựng chúng ở lớp của mình, nơi bạn biết người dùng và biết pháp lý áp dụng, thay vì thừa hưởng những phỏng đoán của nhà cung cấp về cả hai. Tài khoản của bạn vẫn chịu sự điều chỉnh của Chính sách Sử dụng Có trách nhiệm của chúng tôi.

Không kiểm duyệt không đồng nghĩa với không căn chỉnh hay không hữu ích. Mô hình vẫn tuân theo chỉ dẫn và vẫn tôn trọng system prompt. Nếu bạn muốn nó từ chối một số mảng nội dung với người dùng của bạn, hãy nói điều đó ở đó — chỉ dẫn ấy giờ là của bạn để viết, chứ không phải của chúng tôi để áp đặt.

08Năng lực và những giới hạn trung thực

Hai năng lực gánh phần lớn sức nặng cho công việc khối lượng lớn. Đầu ra json_schema nghiêm ngặt biến một phần hoàn thành thành một dòng cơ sở dữ liệu, không cần lớp phân tích cú pháp và không cần nhánh xử lý từ chối. Gọi tool trên cả ba phương ngữ khiến Flash thành một động cơ hợp lý cho các bước con rẻ tiền của một agent mà bộ lập kế hoạch cấp cao chạy trên một mô hình mạnh hơn. Thêm reasoning_effort, cho phép bạn chỉ tiêu thêm token cho phần lưu lượng thực sự cần, và một ngữ cảnh 262.144 token giống hệt của Pro — bạn không phải hy sinh ngữ cảnh khi chọn bậc rẻ, điều này khá hiếm.

Các giới hạn cũng cụ thể không kém:

• Không thị giác. Flash chỉ xử lý văn bản và sẽ từ chối các phần ảnh trong một tin nhắn. Nếu cần ảnh trên một mô hình không kiểm duyệt ở cùng mức sàn $0.50 / $2.00, MiniMax-M3 và MiMo-V2.5 là các lựa chọn có thị giác; Kimi-K2.6 và Kimi-K3 là những mô hình thị giác mạnh hơn ở bậc trên đó.
• Không phải đỉnh thang. Số liệu của chính DeepSeek đặt Pro dẫn trước trên mọi benchmark agent đã công bố, với khoảng cách rộng nhất ở suy luận mã nhiều bước bền bỉ. Ở nơi một câu trả lời sai đắt hơn một nghìn câu trả lời rẻ, hãy tiêu thêm $1.45 mỗi triệu cho DeepSeek-V4-Pro.
• 16.384 token đầu ra mỗi yêu cầu. Những lượt sinh dài phải chia nhỏ qua nhiều lệnh gọi. Đây là cùng một mức trần trên mọi mô hình chúng tôi phục vụ, và nó ràng buộc từ rất lâu trước khi cửa sổ ngữ cảnh ràng buộc.

09Gọi nó

Trỏ bất kỳ client tương thích OpenAI nào vào gateway và đổi chuỗi model. Không có gì khác trong hệ thống của bạn phải thay đổi.

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP",
    "messages": [
      {"role": "system", "content": "Label the ticket. Reply only with the schema."},
      {"role": "user", "content": "The invoice PDF renders blank on Safari 18."}
    ],
    "response_format": {
      "type": "json_schema",
      "json_schema": {
        "name": "ticket_label",
        "schema": {
          "type": "object",
          "properties": {
            "category": {"type": "string"},
            "severity": {"type": "integer"},
            "needs_human": {"type": "boolean"}
          },
          "required": ["category", "severity", "needs_human"],
          "additionalProperties": false
        }
      }
    }
  }'

Cùng một model id chạy nguyên vẹn trên /v1/messages và /v1/responses, đó là cách nhanh nhất để A/B một mô hình rẻ hơn bên dưới một tích hợp sẵn có mà không phải viết lại client. Tham số, hình dạng sự kiện streaming, schema gọi tool và giới hạn tốc độ đều được ghi trong tham chiếu API; mọi mô hình trong danh mục được liệt kê tại Shannon Research.

10Câu hỏi thường gặp

---

Nguồn: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · Báo cáo kỹ thuật DeepSeek-V3 (arXiv 2412.19437) · DeepSeek-V4 (arXiv 2606.19348) · thẻ mô hình DeepSeek-V4-Flash-0731 và DeepSeek-V4-Pro-0813 · AutoRound (arXiv 2309.05516, Intel) · REAP (arXiv 2510.13999, Cerebras Systems) · AWQ (arXiv 2306.00978) · GPTQ (arXiv 2210.17323). Mọi con số về nền tảng và benchmark đều đúng như các tác giả tương ứng công bố; giá và ngữ cảnh phục vụ của Shannon AI là các giá trị niêm yết của chúng tôi tính đến tháng 9 năm 2026.