API DeepSeek Flash ບໍ່ເຊັນເຊີ

ທີມສ່ວນຫຼາຍທີ່ປະເມີນ API LLM ປັບໃຫ້ເໝາະສົມກັບຕົວແປທີ່ຜິດ. ພວກເຂົາເບັນມາກເທິງພຣອມຍາກທີ່ສຸດຊາວອັນທີ່ພວກເຂົາຄິດອອກ, ເລືອກຜູ້ຊະນະ, ແລ້ວພົບພາຍຫຼັງຫົກອາທິດວ່າແປດສິບຫ້າສ່ວນຮ້ອຍຂອງ traffic ຂອງພວກເຂົາຄືວຽກສັ້ນ, ມີໂຄງສ້າງ, ຊ້ຳໆທີ່ໂມເດວທີ່ລາຄາໜຶ່ງສ່ວນສີ່ຈະຈັດການໄດ້ຄືກັນ. DeepSeek-V4-Flash ມີໄວ້ສຳລັບເກົ້າສິບຫ້າສ່ວນຮ້ອຍນັ້ນ. ໜ້ານີ້ຄືເລື່ອງການຮູ້ວ່າເມື່ອໃດທ່ານຢູ່ໃນນັ້ນ — ແລະ ເມື່ອໃດທ່ານບໍ່ຢູ່.

01ສິ່ງທີ່ທ່ານໄດ້ຮັບແທ້

ຄຸນສົມບັດ	DeepSeek-V4-Flash-0731 · W4A16-AUTOROUND-REAP
Model id	DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP
Context / ຜົນຜະລິດສູງສຸດ	262,144 token / 16,384 token
ລາຄາຕໍ່ 1M (ເຂົ້າ / ອອກ)	$0.50 / $2.00
ການສະຕຣີມ · ການເອີ້ນເຄື່ອງມື · ການໃຫ້ເຫດຜົນ	ມີ — ທັງສາມພາສາ
ຜົນຜະລິດແບບມີໂຄງສ້າງ	json_schema ແລະ response_format
Input ຮູບພາບ (ການເບິ່ງເຫັນ)	ບໍ່ມີ — ຂໍ້ຄວາມເທົ່ານັ້ນ
ຊັ້ນປະຕິເສດ / ການກັ່ນຕອງຜົນຜະລິດ	ບໍ່ມີ
ໃຫ້ບໍລິການເທິງ	ຄລັດສເຕີ GPU ຂອງ Shannon ເອງ

ພາສາ API ສາມແບບເອື້ອມເຖິງນ້ຳໜັກດຽວກັນ: /v1/chat/completions (ຮູບແບບ OpenAI), /v1/messages (ຮູບແບບ Anthropic), ແລະ /v1/responses. ການສະຕຣີມເຮັດວຽກໃນທັງສາມ. ເອກະສານພາຣາມິເຕີເຕັມຢູ່ໃນ ເອກະສານ API.

02ມັນມາຈາກໃສ: ຕະກູນ DeepSeek

DeepSeek-AI ໄດ້ໃຊ້ຫ້າລຸ້ນໂມເດວກັບຄວາມຫຼົງໄຫຼອັນດຽວ: ການດຶງເອົາພຶດຕິກຳລະດັບຊັ້ນນຳອອກຈາກໂມເດວທີ່ໃຫ້ບໍລິການລາຄາຖືກ, ບໍ່ພຽງແຕ່ຝຶກລາຄາຖືກ. ເກືອບທຸກການຕັດສິນໃຈທາງໂຄງສ້າງໃນສາຍນີ້ຍ້ອນກັບໄປຫານັ້ນ, ແລະ ອັນສຳຄັນຖືກເຜີຍແຜ່. ສາມອັນອະທິບາຍວ່າທ່ານກຳລັງເອີ້ນຫຍັງເມື່ອທ່ານແຕະ endpoint ນີ້.

DeepSeekMoE — ຜູ້ຊ່ຽວຊານແບບລະອຽດບວກກັບຜູ້ໜຶ່ງທີ່ໃຊ້ຮ່ວມກັນ

ຊັ້ນ Mixture-of-Experts ແທນທີ່ເຄືອຂ່າຍ feed-forward ໃຫຍ່ໜຶ່ງອັນດ້ວຍອັນນ້ອຍຫຼາຍອັນ ແລະ router ທີ່ເລືອກໜ້ອຍໆອັນຕໍ່ token. ຮູບແບບຂອງ DeepSeek ຕັດຜູ້ຊ່ຽວຊານໃຫ້ລະອຽດກວ່າໂຄງຮ່າງແປດຜູ້ຊ່ຽວຊານແບບທຳມະດາ, ດັ່ງນັ້ນ FLOPs ທີ່ເປີດໃຊ້ດຽວກັນຈຶ່ງໄດ້ຊຸດປະສົມທີ່ສະເພາະທາງກົມບິນຫຼາຍກວ່າ, ແລະ ມັນແຍກຜູ້ຊ່ຽວຊານທີ່ໃຊ້ຮ່ວມກັນທີ່ທຸກ token ຜ່ານ, ດັ່ງນັ້ນຄວາມຮູ້ທົ່ວໄປຈຶ່ງບໍ່ຖືກຮຽນຊ້ຳຢູ່ພາຍໃນຜູ້ຊ່ຽວຊານແຕ່ລະຄົນ. DeepSeek-V3 ອອກມາເປັນ ຜູ້ຊ່ຽວຊານທີ່ຈັດເສັ້ນທາງ 256 ຄົນບວກກັບຜູ້ຊ່ຽວຊານທີ່ໃຊ້ຮ່ວມກັນ 1 ຄົນ, ເປີດໃຊ້ 8 ຄົນທີ່ຈັດເສັ້ນທາງຕໍ່ token — ພາຣາມິເຕີລວມ 671B, ເປີດໃຊ້ 37B — ພ້ອມກັບ ການດຸນດ່ຽງພາລະງານແບບບໍ່ມີການສູນເສຍ auxiliary-loss: ແທນທີ່ຈະໃຊ້ຄຳໂທດທີ່ເຮັດໃຫ້ຄຸນນະພາບເສຍ, ຄວາມລຽງໜ້າຕໍ່ຜູ້ຊ່ຽວຊານແຕ່ລະຄົນຊຸກຄະແນນການຈັດເສັ້ນທາງຂຶ້ນ ຫຼືລົງໃນແຕ່ລະຂັ້ນຕອນຕາມວ່າຜູ້ຊ່ຽວຊານນັ້ນເຮັດວຽກໜ້ອຍ ຫຼືຫຼາຍໂພດ.

MLA — attention ທີ່ພໍດີກັບໜ່ວຍຄວາມຈຳ

ອີກເຄິ່ງໜຶ່ງຂອງບັນຫາຄ່າໃຊ້ຈ່າຍການໃຫ້ບໍລິການຄື KV cache, ຊຶ່ງເຕີບໃຫຍ່ຂຶ້ນເປັນເສັ້ນຊື່ຕາມ context ແລະ ຄອບຄອງໜ່ວຍຄວາມຈຳຢູ່ຄວາມຍາວລຳດັບຍາວ. Multi-head Latent Attention, ນຳສະເໜີໃນ DeepSeek-V2, ບີບອັດ key ແລະ value ຮ່ວມກັນເປັນ vector latent ແບບ low-rank ແລະ cache vector ນັ້ນ, ສ້າງ K/V ທີ່ໃຊ້ໄດ້ຄືນໃໝ່ໃນທັນທີ. ຕົວເລກ V2 ທີ່ DeepSeek ເຜີຍແຜ່, ທຽບກັບ DeepSeek 67B dense ຮຸ້ນເກົ່າຂອງພວກເຂົາ, ລາຍງານການລົດລົງ KV cache 93.3% ແລະ throughput ການສ້າງສູງສຸດເພີ່ມຂຶ້ນ 5.76 ເທົ່າ. ນັ້ນຄືເຫດຜົນທີ່ໜ້າຕ່າງ 262K token ຄືມາດຕະຖານໃນຕະກູນນີ້ ບໍ່ແມ່ນສ່ວນເສີມພິເສດ.

Sparse attention — ແລະ ຕົວຢ່າງສຳລັບ token ລາຄາຖືກ

V3.2-Exp ເພີ່ມ DeepSeek Sparse Attention: indexer ນ້ຳໜັກເບົາໃຫ້ຄະແນນ token context ທຽບກັບ query, ແລະ selector ຮັກສາໄວ້ພຽງອັນທີ່ໄດ້ຄະແນນສູງສຸດ. ພາກສ່ວນທີ່ໜ້າສົນໃຈຄືໃບຮັບເງິນ, ບໍ່ແມ່ນກົນໄກ. DeepSeek ເຜີຍແຜ່ການປຽບທຽບຄຽງຄູ່ກັບ V3.1-Terminus ດ້ວຍ MMLU-Pro ຄືກັນທຸກຢ່າງທີ່ 85.0, AIME 2025 ຂຶ້ນ (88.4 → 89.3), SWE-bench Verified ລົງເລັກໜ້ອຍ (68.4 → 67.8) — ຄຸນນະພາບເກືອບຄົງທີ່ — ແລະ ຫຼຸດລາຄາ API ຂອງພວກເຂົາລົງຫຼາຍກວ່າ 50% ໃນວັນດຽວກັນ. ໂຄງສ້າງ, ລາຍງານຢ່າງຊື່ສັດ, ປ່ຽນເປັນລາຄາໂດຍກົງ. Flash ຄືຂໍ້ໂຕ້ແຍ້ງນັ້ນທີ່ຖືກຂະຫຍາຍໄປອີກຂັ້ນໜຶ່ງ.

ລຸ້ນ V4

V4, ເປີດຕົວທົດລອງໃນເດືອນເມສາ 2026 ພາຍໃຕ້ໃບອະນຸຍາດ MIT, ແທນທີ່ໂຄງຮ່າງ attention ອີກຄັ້ງດ້ວຍການປະສົມຂອງ Compressed Sparse Attention ແລະ Heavily Compressed Attention, ຝຶກດ້ວຍ optimizer Muon ເທິງ token ຫຼາຍກວ່າ 32T, ແລະ ຮັກສາຈຸດປະສົງ multi-token-prediction ຂອງ V3 ໄວ້ — ຊຶ່ງເຮັດໜ້າທີ່ speculative decoding ນຳ, ແລະ ຊຶ່ງ DeepSeek ວັດແທກໄດ້ອັດຕາການຮັບຮອງ token ທີສອງ 85-90% ສຳລັບຄວາມໄວ decoding ປະມານ 1.8 ເທົ່າໃນ V3. ບົດຄວາມສະຫຼຸບ V4 ລາຍງານວ່າ V4-Pro ແລ່ນທີ່ 27% ຂອງ FLOPs ການອະນຸມານ token ດຽວຂອງ V3.2 ແລະ 10% ຂອງ KV cache ຂອງມັນ. ຕະກູນນີ້ເປີດເຜີຍລະດັບຄວາມພະຍາຍາມການໃຫ້ເຫດຜົນສາມລະດັບ, ຊຶ່ງເປັນສິ່ງທີ່ພາຣາມິເຕີ reasoning_effort ຂອງພວກເຮົາແມບໃສ່.

ແຫຼ່ງຂໍ້ມູນ: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · ບົດລາຍງານເທັກນິກ DeepSeek-V3 (arXiv 2412.19437) · ບັດໂມເດວ DeepSeek-V3.2-Exp · DeepSeek-V4 (arXiv 2606.19348). ຕົວເລກທັງໝົດແມ່ນຂໍ້ມູນທີ່ DeepSeek ລາຍງານ.

03"Flash" ໝາຍຄວາມວ່າຫຍັງແທ້

ນີ້ຄືຈຸດທີ່ການປຽບທຽບສ່ວນຫຼາຍຜິດພາດ, ຈຶ່ງຄຸ້ມຄ່າທີ່ຈະບອກຢ່າງກົງໄປກົງມາ: Flash ຂອງ DeepSeek ບໍ່ແມ່ນ Pro ທີ່ຖືກ quantize, ຕັດ, ຫຼື distill. ມັນຄືໂມເດວ Mixture-of-Experts ທີ່ນ້ອຍກວ່າທີ່ຖືກຝຶກແຍກຕ່າງຫາກດ້ວຍການຝຶກລ່ວງໜ້າຂອງຕົນເອງ. ບົດຄວາມສະຫຼຸບ V4 ໃຫ້ຂະໜາດທັງສອງ:

ຕົວເລກຈາກບົດຄວາມສະຫຼຸບ DeepSeek-V4. Checkpoint ທາງການທີ່ພວກເຮົາໃຫ້ບໍລິການ — V4-Flash-0731 ແລະ V4-Pro-0813 — ລະບຸຈຳນວນລວມໃຫຍ່ກວ່າເລັກໜ້ອຍທີ່ 304B ແລະ 1.7T ໃນບັດໂມເດວຂອງພວກເຂົາ; DeepSeek ບໍ່ໄດ້ລະບຸພາຣາມິເຕີເປີດໃຊ້ຄືນສຳລັບຮູບແບບເຫຼົ່ານັ້ນ.

ຕົວເລກສອງອັນເຮັດວຽກທີ່ນີ້. ພາຣາມິເຕີລວມກຳນົດຮອຍພິມໜ່ວຍຄວາມຈຳ, ຊຶ່ງຕັດສິນວ່າສຳເນົາໜຶ່ງຂອງໂມເດວຄອບຄອງຮາດແວຫຼາຍປານໃດ. ພາຣາມິເຕີເປີດໃຊ້ກຳນົດການຄິດໄລ່ຕໍ່ token, ຊຶ່ງຕັດສິນ throughput. Flash ນ້ອຍກວ່າປະມານ 5.6 ເທົ່າໃນອັນທຳອິດ ແລະ ນ້ອຍກວ່າ 3.8 ເທົ່າໃນອັນທີສອງ — ແລະ ມີຄວາມລະອຽດອ່ອນທີ່ຄວນສັງເກດໃນຊ່ອງຫ່າງນັ້ນ: Flash ເປີດໃຊ້ 13 ຈາກ 284 ຕື້ພາຣາມິເຕີ, ປະມານ 4.6%, ໃນຂະນະທີ່ Pro ເປີດໃຊ້ 49 ຈາກ 1,600 ຕື້, ປະມານ 3.1%. Flash ຄືໂມເດວທີ່ບໍ່ sparse ເທົ່າ. ມັນບໍ່ແມ່ນພຽງແຕ່ Pro ທີ່ມີຜູ້ຊ່ຽວຊານໜ້ອຍກວ່າຖືກເປີດໄວ້; ມັນຄືການອອກແບບທີ່ໜາແໜ້ນກວ່າ, ດຸນດ່ຽງຕ່າງກັນ ທີ່ໃຊ້ສ່ວນຫຼາຍຂອງຕົນເອງໃນທຸກ token ທີ່ມັນຜະລິດ. ນັ້ນຄືທາງເລືອກທາງວິສະວະກຳຈິງ, ບໍ່ແມ່ນການຫຼຸດຄຸນນະພາບ.

ຕົວເລກຂອງ DeepSeek ເອງເວົ້າວ່າຫຍັງ

ບັດໂມເດວທາງການທັງສອງເຜີຍແຜ່ຄະແນນເທິງເບັນມາກຕົວແທນ ແລະ ວິສະວະກຳຊອບແວດຽວກັນ, ຊຶ່ງເຮັດໃຫ້ນີ້ຄືການປຽບທຽບທີ່ສະອາດຜິດປົກກະຕິ — ແລບດຽວກັນ, ຊຸດການປະເມີນດຽວກັນ, ສອງຂະໜາດ:

ເບັນມາກ (ຂໍ້ມູນທີ່ DeepSeek ລາຍງານ)	V4-Flash-0731	V4-Pro-0813
Terminal Bench 2.1	82.7	87.9
Toolathlon-Verified	70.3	74.1
DeepSWE	54.4	62.7
NL2Repo	54.2	61.5
DSBench-FullStack	68.7	71.1

Pro ຊະນະທຸກແຖວ. ນັ້ນຄືຫົວຂໍ້ຂ່າວທີ່ຊື່ສັດ, ແລະ ພວກເຮົາຢາກໃຫ້ທ່ານອ່ານມັນທີ່ນີ້ຫຼາຍກວ່າຈະໄປພົບມັນຢູ່ໃນການໃຊ້ງານຈິງ. ແຕ່ອ່ານຊ່ອງຫ່າງ, ຍ້ອນວ່າມັນຄືສິ່ງທີ່ທ່ານກຳລັງຊື້ແທ້. ໃນ Terminal Bench 2.1 ຊ່ອງຫ່າງຄື 5.2 ຈຸດເທິງໂມເດວທີ່ມີພາຣາມິເຕີໜຶ່ງສ່ວນຊາວຫ້າ; ໃນການໃຊ້ເຄື່ອງມືມັນຄື 3.8 ຈຸດ. ຊ່ອງຫ່າງກວ້າງຂຶ້ນຢູ່ບ່ອນທີ່ວຽກເລິກທີ່ສຸດ — 8.3 ຈຸດໃນ DeepSWE, 7.3 ໃນ NL2Repo, ທັງສອງໃຫ້ລາງວັນການໃຫ້ເຫດຜົນໂຄດຫຼາຍຂັ້ນຕອນຢ່າງຕໍ່ເນື່ອງ. ນັ້ນຄືຮູບຮ່າງຂອງການແລກປ່ຽນໃນຕາຕະລາງດຽວ: Flash ປິດຊ່ອງຫ່າງສ່ວນຫຼາຍໃນວຽກທີ່ມີຂອບເຂດ ແລະ ໃຫ້ພື້ນທີ່ໃນວຽກແບບເປີດ.

ບັດ Flash ຂອງ DeepSeek ເອງເຮັດໃຫ້ຈຸດນັ້ນຄົມຊັດຂຶ້ນອີກ: Flash-0731 ດີກວ່າການທົດລອງ V4-Pro ໃນເບັນມາກທີ່ລະບຸໄວ້ ເຖິງແມ່ນວ່າຈຳນວນພາຣາມິເຕີເປີດໃຊ້ຂອງມັນນ້ອຍກວ່າຫຼາຍ. ໂມເດວນ້ອຍໃໝ່ກວ່າຊະນະໂມເດວໃຫຍ່ເກົ່າກວ່າຄືສະພາບປົກກະຕິໃນສາຂານີ້, ແລະ ນັ້ນຄືເຫດຜົນທີ່ "ລະດັບໃຫຍ່ກວ່າ" ບໍ່ຄວນເປັນຄຳຕອບຄ່າຕັ້ງຕົ້ນຂອງທ່ານ.

04ອ່ານຄຳຕໍ່ທ້າຍ: W4A16-AUTOROUND-REAP

Model id ຂອງພວກເຮົາລະບຸແຜນການບີບອັດຢ່າງເປີດເຜີຍ, ຍ້ອນວ່າມັນຄືສິ່ງທີ່ມີຜົນຕໍ່ຄຸນນະພາບຜົນຜະລິດຫຼາຍທີ່ສຸດ ແລະ ເກືອບບໍ່ມີໃຜເປີດເຜີຍມັນ. ອັນນີ້ແຍກອອກເປັນສາມຄຳອ້າງ.

W4A16 — ນ້ຳໜັກ 4-bit, ການເປີດໃຊ້ 16-bit

ນ້ຳໜັກຖືກເກັບໄວ້ທີ່ 4 bit ແຕ່ລະອັນ; ການເປີດໃຊ້ໄຫຼຜ່ານດ້ວຍຄວາມແມ່ນຢຳ 16-bit. ນີ້ຄື quantization ແບບນ້ຳໜັກເທົ່ານັ້ນ, ແລະ ມັນເລັງໃສ່ຄໍຂວດແທ້ໃນການສ້າງ token, ຊຶ່ງຄືແບນວິດໜ່ວຍຄວາມຈຳ ບໍ່ແມ່ນການຄິດໄລ່. ການ quantize ການເປີດໃຊ້ນຳຈະຊື້ຄວາມໄວເພີ່ມນ້ອຍໜຶ່ງ ແລະ ສ່ຽງກັບໜ້າຜາຄວາມແມ່ນຢຳທີ່ໃຫຍ່ກວ່າຫຼາຍ; ການປະໄວ້ທີ່ 16 bit ຄືທາງເລືອກອະນຸລັກນິຍົມ, ຄວາມແມ່ນຢຳສູງ. ສັນຍາລັກນີ້ຄືຄຳຫຍໍ້ຂອງລະບົບການໃຫ້ບໍລິການ — ວັນນະຄະດີ quantization ຂຽນສິ່ງດຽວກັນເປັນ W4 ພ້ອມຂະໜາດກຸ່ມ.

AUTOROUND — ການປັດເສດທີ່ຮຽນຮູ້ໄດ້, ບໍ່ແມ່ນການປັດເສດໃກ້ທີ່ສຸດ

Quantization ແບບທຳມະດາປັດເສດທຸກນ້ຳໜັກໄປສູ່ຄ່າທີ່ໃກ້ທີ່ສຸດທີ່ສະແດງໄດ້. ນັ້ນພິສູດໄດ້ວ່າບໍ່ດີທີ່ສຸດ: ການປັດເສດນ້ຳໜັກໜຶ່ງໄປທາງ "ຜິດ" ອາດຫັກລ້າງຄວາມຜິດພາດທີ່ນຳສະເໜີໂດຍເພື່ອນບ້ານຂອງມັນ, ແລະ ດ້ວຍນ້ຳໜັກຫຼາຍພັນລ້ານ ຄວາມສຳພັນເຫຼົ່ານັ້ນຄອບຄອງ. AutoRound, ຈາກ Intel, ຖືວ່າການຕັດສິນໃຈປັດເສດເອງເປັນສິ່ງທີ່ຄວນຮຽນຮູ້ — ການລົບກວນທີ່ຝຶກໄດ້ຕໍ່ນ້ຳໜັກ ຖືກຈຳກັດໄວ້ທີ່ ±0.5, ພຽງພໍທີ່ຈະປີ້ນການຕັດສິນໃຈປັດເສດອັນດຽວ ແລະ ບໍ່ຫຼາຍກວ່ານັ້ນ, ບວກກັບຂອບເຂດການຕັດທີ່ຮຽນຮູ້ໄດ້, ຖືກປັບໃຫ້ເໝາະສົມໂດຍ signed gradient descent ຕໍ່ຈຸດປະສົງການສ້າງຄືນຜົນຜະລິດແບບ block-wise ເໜືອຊຸດການປັບຄ່ານ້ອຍໆ. ສອງຮ້ອຍຂັ້ນຕອນ, ແລ້ວກໍແລ້ວ.

ການປຽບທຽບທີ່ Intel ເຜີຍແຜ່ໃຫ້ AutoRound ຊະນະ GPTQ ໃນ 30 ຈາກ 32 ສະຖານະການທົດສອບ, AWQ ໃນ 27 ຈາກ 32 ແລະ OmniQuant ໃນ 29 ຈາກ 32 ທີ່ການຕັ້ງຄ່ານ້ຳໜັກເທົ່ານັ້ນ 4-bit, ດ້ວຍຜົນໄດ້ຮັບເໜືອການປັດເສດໃກ້ທີ່ສຸດແບບທຳມະດາ 6.9 ຫາ 33.2 ຈຸດຄວາມແມ່ນຢຳທີ່ 2 bit. ບໍ່ມີອັນໃດເສຍຄ່າໃຊ້ຈ່າຍໃນເວລາອະນຸມານ: ມັນຄືການເລືອກຕົວເລກທີ່ດີກວ່າ, ເຮັດຄັ້ງດຽວ, ແບບ offline.

REAP — ລຶບຜູ້ຊ່ຽວຊານທີ່ບໍ່ມີໃຜຈັດເສັ້ນທາງໄປຫາ

REAP (Router-weighted Expert Activation Pruning), ຈາກ Cerebras Systems ແລະ University of Calgary, ຄືການບີບອັດຄັ້ງດຽວສຳລັບໂມເດວ MoE. ມັນໃຫ້ຄະແນນແຕ່ລະຜູ້ຊ່ຽວຊານດ້ວຍວ່າ router ໃຊ້ gate ໄປຫາມັນແຮງ ແລະ ເລື້ອຍປານໃດ, ຄູນດ້ວຍຂະໜາດຂອງຜົນຜະລິດຂອງຜູ້ຊ່ຽວຊານນັ້ນ, ຈາກນັ້ນລຶບຜູ້ຊ່ຽວຊານທີ່ໂດດເດັ່ນໜ້ອຍທີ່ສຸດອອກໂດຍກົງ — ບໍ່ມີການຝຶກຄືນພາຍຫຼັງ.

ການຄົ້ນພົບຫຼັກຂອງບົດຄວາມນີ້ຄືອັນທີ່ເປັນປະໂຫຍດ: ທີ່ອັດຕາການບີບອັດສູງ, ການຕັດຜູ້ຊ່ຽວຊານຊະນະການລວມພວກມັນ. ການລວມຜູ້ຊ່ຽວຊານທີ່ແຕກຕ່າງກັນທາງໜ້າທີ່ເຮັດໃຫ້ເກີດສິ່ງທີ່ຜູ້ຂຽນເອີ້ນວ່າການພັງທະລາຍພື້ນທີ່ຍ່ອຍທາງໜ້າທີ່ — router ເສຍການຄວບຄຸມແບບລະອຽດ, ຂຶ້ນກັບ input ທີ່ເຮັດໃຫ້ MoE ຄຸ້ມຄ່າທີ່ຈະສ້າງ, ແລະ ຖືກປະໄວ້ໃຫ້ຄວບຄຸມລະຫວ່າງຄ່າສະເລ່ຍທີ່ຄົງທີ່. ຕົວເລກຂອງພວກເຂົາໃນໂມເດວຕັ້ງແຕ່ 20B ຫາ 1T ພາຣາມິເຕີ: ທີ່ 25% ການບີບອັດຜູ້ຊ່ຽວຊານໃນວຽກຂຽນໂຄດ, REAP ເສຍຄວາມແມ່ນຢຳສະເລ່ຍ 2.8% ໃນຂະນະທີ່ເສັ້ນຖານການລວມເສຍຫຼາຍກວ່າ 5%; ທີ່ 50%, REAP ເສຍ 8.0% ໃນຂະນະທີ່ການລວມເສຍຫຼາຍກວ່າ 20%. ເທິງ Qwen3-Coder-480B ທີ່ 50% pruning ການລົດລົງຄື 1.4%, ທຽບກັບ 39.3% ສຳລັບການຕັດອີງຄວາມຖີ່ແບບທຳມະດາ. Cerebras ໄດ້ເຜີຍແຜ່ checkpoint REAP ສຳລັບຕະກູນ DeepSeek ໃນບັນດາໂມເດວອື່ນ.

ເປັນຫຍັງ 4-bit ຢູ່ນີ້ ແລະ 3-bit ຢູ່ Pro

ທັງສອງລະດັບຕ້ອງພໍດີ ແລະ ຍັງໄວເທິງຊັ້ນຮາດແວດຽວກັນ. Pro ຖື 1.7 ລ້ານລ້ານພາຣາມິເຕີ, ດັ່ງນັ້ນມັນຕ້ອງການການປະຕິບັດ 3-bit ທີ່ຮຸນແຮງກວ່າເພື່ອໃຫ້ພໍດີເລີຍ. Flash ຖືປະມານ 300 ຕື້, ດັ່ງນັ້ນມັນບໍ່ຕ້ອງການ — ແລະ bit ທີ່ມັນປະຢັດໄດ້ຖືກໃຊ້ໄປກັບຄວາມແມ່ນຢຳແທນທີ່ຈະໃຊ້ໃສ່ການໃຫ້ພໍດີ.

Bit ພິເສດນັ້ນສຳຄັນຫຼາຍກວ່າທີ່ການຄິດໄລ່ຂອງມັນຊີ້ໃຫ້ເຫັນ, ຍ້ອນວ່າຄວາມເສຍຫາຍຈາກ quantization ບໍ່ເປັນເສັ້ນຊື່. ໃນການວັດແທກ WikiText-2 ຂອງບົດຄວາມ AWQ, Llama-2-7B ໄປຈາກ perplexity 5.47 ທີ່ FP16 ໄປສູ່ 5.60 ທີ່ 4-bit — ຄ່າປັບ 2.4% — ແຕ່ໄປສູ່ 6.24 ທີ່ 3-bit, ຄ່າປັບ 14%. ນັ້ນຄືປະມານ ຫົກເທົ່າຂອງການເສື່ອມສະພາບສຳລັບການບີບອັດເພີ່ມ 25%, ແລະ ຮູບແບບດຽວກັນຄົງຢູ່ທີ່ 70B. ບົດຄວາມ GPTQ ຍັງກົງໄປກົງມາກວ່າ: ທີ່ 3 bit, ການປັດເສດໃກ້ທີ່ສຸດແບບທຳມະດາຫຼົ້ມລົງໃນໂມເດວລະດັບ 175B, ໄປສູ່ perplexity ຫຼາຍພັນ, ໃນຂະນະທີ່ຍັງໃຊ້ໄດ້ຢ່າງສົມບູນທີ່ 4 bit. ຕ່ຳກວ່າສີ່ bit, ວິທີການ quantization ທີ່ດີຢຸດເປັນສິ່ງດີ ແລະ ກາຍເປັນສິ່ງດຽວທີ່ຮັກສາໂມເດວໄວ້ດ້ວຍກັນ.

ດັ່ງນັ້ນການອ່ານທີ່ຊື່ສັດຂອງຄຳຕໍ່ທ້າຍທັງສອງນີ້ຄື: Flash ຢູ່ໃກ້ກັບຕົນເອງແບບບໍ່ບີບອັດຫຼາຍກວ່າ Pro ຢູ່ໃກ້ກັບຕົນເອງ. Pro ຍັງເປັນໂມເດວທີ່ແຂງແກ່ນກວ່າ — ຕາຕະລາງເບັນມາກຂ້າງເທິງຢືນຢັນນັ້ນ. ມັນພຽງແຕ່ຍອມເສຍຫຼາຍກວ່າເພື່ອມາຮອດຈຸດນີ້, ແລະ ທ່ານຈ່າຍສຳລັບສິດທິພິເສດນັ້ນ.

ແຫຼ່ງຂໍ້ມູນ: AutoRound — "Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs" (arXiv 2309.05516), Intel, Findings of EMNLP 2024. REAP — "REAP the Experts: Why Pruning Prevails for One-Shot MoE Compression" (arXiv 2510.13999), Cerebras Systems. ຕົວເລກ Perplexity ຈາກ AWQ (arXiv 2306.00978) ແລະ GPTQ (arXiv 2210.17323).

05Flash ທຽບກັບ Pro ຢູ່ endpoint

ພາກ 03 ຄອບຄຸມພື້ນຖານແລ້ວ. ນີ້ຄືສິ່ງທີ່ສອງລະດັບເບິ່ງຄືເປັນຜະລິດຕະພັນເທິງເກດເວय์ຂອງພວກເຮົາ:

	DeepSeek-V4-Flash-0731	DeepSeek-V4-Pro-0813
Quantization	W4A16-AUTOROUND-REAP	3BIT-REAP
ຄວາມແມ່ນຢຳນ້ຳໜັກ	4-bit, ການປັດເສດທີ່ຮຽນຮູ້ໄດ້	3-bit
ພື້ນຖານ (ລວມ / ເປີດໃຊ້)	~304B / 13B	~1.7T / 49B
ເຂົ້າຕໍ່ 1M token	$0.50	$1.95
ອອກຕໍ່ 1M token	$2.00	$3.90
Context / ຜົນຜະລິດສູງສຸດ	262,144 / 16,384	262,144 / 16,384
ເຄື່ອງມື · ຜົນຜະລິດແບບມີໂຄງສ້າງ · ການສະຕຣີມ	ມີ	ມີ
ການເບິ່ງເຫັນ	ບໍ່ມີ	ບໍ່ມີ
ຊັ້ນປະຕິເສດ	ບໍ່ມີ	ບໍ່ມີ

ສັງເກດວ່າຫຍັງບໍ່ປ່ຽນ: context, ເພດານຜົນຜະລິດ, ການເອີ້ນເຄື່ອງມື, ຜົນຜະລິດແບບມີໂຄງສ້າງ, ແລະ ການບໍ່ມີຊັ້ນປະຕິເສດ ຄືກັນໝົດ. ສິ່ງດຽວທີ່ປ່ຽນຄືພື້ນຖານ, quantization, ແລະ ລາຄາ. ນັ້ນເຮັດໃຫ້ການປ່ຽນລະຫວ່າງພວກມັນເປັນການປ່ຽນສາຍດຽວໃນໂຄດຂອງທ່ານ ແລະ ການຕັດສິນໃຈທາງເສດຖະກິດລ້ວນໆໃນໂຄງສ້າງຂອງທ່ານ.

ການເອີ້ນຂະໜາດສູງສຸດອັນດຽວລາຄາເທົ່າໃດ

ເຕີມ context 262,144 token ທັງໝົດ ແລະ ໃຊ້ຜົນຜະລິດ 16,384 token ເຕັມ:

ທີ່ລາຄາລິດ. Flash: $0.131 ເຂົ້າ + $0.033 ອອກ. Pro: $0.511 + $0.064. ອັດຕາສ່ວນ 3.51 ເທົ່າ. Flash ຍັງໃຊ້ພື້ນ $0.50 / $2.00 ຮ່ວມກັບ MiniMax-M3, Laguna-S-2.1, MiMo-V2.5, MiMo-V2.5-Pro ແລະ Hy3 — ເບິ່ງ ແຄຕາລັອກເຕັມ ວ່າພວກມັນຕ່າງກັນແນວໃດເລື່ອງການເບິ່ງເຫັນ ແລະ ຜົນຜະລິດແບບມີໂຄງສ້າງ.

06ເລກຄະນິດປະລິມານ, ຄິດອອກມາ

"ຖືກກວ່າ 3.9 ເທົ່າ" ຄືຄວາມຈິງພຽງໃນ input. ໃນ output Flash ຖືກກວ່າ 1.95 ເທົ່າ. ການປະຢັດຈິງຂອງທ່ານຈຶ່ງຂຶ້ນກັບອັດຕາສ່ວນ input ຕໍ່ output ຂອງທ່ານ, ແລະ ຄວາມແຜ່ກວ້າງພຽງພໍທີ່ຈະປ່ຽນການຕັດສິນໃຈການອອກແບບ. ວຽກຈິງສີ່ອັນ, ແຕ່ລະອັນທີ່ 100,000 ຄຳຂໍ:

ວຽກ	ເຂົ້າ / ອອກ ຕໍ່ຄັ້ງ	Flash	Pro	ການປະຢັດ
ການຈັດປະເພດ ticket	1,200 / 120	$84	$281	3.3 ເທົ່າ
ການຕອບຄຳຖາມ RAG	8,000 / 600	$520	$1,794	3.4 ເທົ່າ
ການສະຫຼຸບເອກະສານຍາວ	60,000 / 1,500	$3,300	$12,285	3.7 ເທົ່າ
ການສ້າງຂໍ້ມູນສັງເຄາະ	500 / 2,000	$425	$878	2.1 ເທົ່າ

ຮູບແບບ: ຍິ່ງທ່ານດັນ context ຫຼາຍ ແລະ ສ້າງຂໍ້ຄວາມນ້ອຍ, Flash ຍິ່ງປະຢັດໃຫ້ທ່ານຫຼາຍ. Pipeline ການດຶງຂໍ້ມູນ, ການຄັດແຍກເອກະສານ, ການວິເຄາະ log ແລະ transcript, ແລະ ການດຶງຂໍ້ມູນ context ຍາວຄືຈຸດຫວານ — ພວກມັນໜັກໄປທາງ input ຫຼາຍລະດັບ, ແລະ input ຄືບ່ອນທີ່ສ່ວນຫຼຸດ 3.9 ເທົ່າຢູ່. ຖ້າວຽກຂອງທ່ານແທນທີ່ຈະເປັນພຣອມສັ້ນທີ່ຜະລິດ token ຫຼາຍພັນຂອງຄວາມຮຽງ, ຊ່ອງຫ່າງແຄບລົງເປັນປະມານ 2 ເທົ່າ ແລະ ຂໍ້ໂຕ້ແຍ້ງດ້ານຄວາມສາມາດສຳລັບ Pro ແຂງແກ່ນຂຶ້ນຕາມສ່ວນ.

ອີກໜຶ່ງເລກຄະນິດທີ່ຄຸ້ມຄ່າຈື່ໄວ້: ທີ່ $0.50 ຕໍ່ລ້ານ token ເຂົ້າ, ໜ້າຕ່າງ 262,144 token ທັງໝົດລາຄາ 13.1 ເຊັນທີ່ຈະເຕີມ. ການໃຊ້ພຣອມ context ຍາວຢຸດເປັນຄຳຖາມງົບປະມານທີ່ລາຄານັ້ນ, ຊຶ່ງບາງເທື່ອໝາຍຄວາມວ່າທ່ານສາມາດຂ້າມການສ້າງຊັ້ນການດຶງຂໍ້ມູນທັງໝົດ ແລະ ໃຫ້ໜ້າຕ່າງ context ເຮັດວຽກແທນ — ການປະຢັດທາງວິສະວະກຳເທິງການປະຢັດ token.

07"ບໍ່ເຊັນເຊີ" ໝາຍຄວາມວ່າຫຍັງທີ່ນີ້, ຢ່າງແມ່ນຢຳ

ຄຳນີ້ຖືກໃຊ້ຢ່າງບໍ່ແມ່ນຢຳເລື້ອຍໆ, ດັ່ງນັ້ນນີ້ຄືຄຳນິຍາມຂອງພວກເຮົາ, ບອກເປັນຄຸນສົມບັດຂອງ endpoint: ບໍ່ມີຕົວຈັດປະເພດການປະຕິເສດຢູ່ໜ້າໂມເດວ ແລະ ບໍ່ມີການກັ່ນຕອງເນື້ອຫານຳໃຊ້ໃສ່ຜົນຜະລິດຂອງມັນ. ບໍ່ມີຫຍັງດັກພຣອມແລ້ວສົ່ງຄືນການປະຕິເສດແບບສຳເລັດຮູບ; ບໍ່ມີຫຍັງກວດການສ້າງແລ້ວແກ້ໄຂມັນ. ສຳລັບວຽກການຜະລິດປະລິມານສູງ ຜົນຕາມມາໜ້ອຍໜັກໜ່ວງ ແລະ ເປັນປະໂຫຍດຫຼາຍກວ່າທີ່ຄຳນັ້ນຊີ້ໃຫ້ເຫັນ:

• ບໍ່ມີຜົນບວກລວງເທິງ traffic ບໍ່ເປັນອັນຕະລາຍ. Endpoint ທີ່ຖືກກັ່ນຕອງປະຕິເສດບົດສະຫຼຸບທາງການແພດ, ບົດຂຽນຄວາມປອດໄພ, ການພິສູດຫຼັກຖານທາງກົດໝາຍ, ນິຍາຍ, ອຸປະກອນຫຼຸດຜ່ອນອັນຕະລາຍ ແລະ ວຽກການຄວບຄຸມເອງເປັນປະຈຳ — ພຽງແຕ່ໝວດທີ່ວຽກ batch ກຳລັງປະມວນຜົນຂໍ້ຄວາມກ່ຽວກັບຫົວຂໍ້ອ່ອນໄຫວ ບໍ່ແມ່ນຜະລິດຫຍັງທີ່ເປັນອັນຕະລາຍ. ທີ່ໜຶ່ງແສນຄຳຂໍ, ອັດຕາການປະຕິເສດຜິດພາດໜຶ່ງເປີເຊັນຄືພັນແຖວທີ່ເສຍຫາຍ.
• ສັນຍາທີ່ກຳນົດແນ່ນອນ. ຂໍຄຳຕອບ json_schema ແລ້ວທ່ານໄດ້ JSON ທີ່ກົງກັບ schema, ບໍ່ແມ່ນຫຍໍ້ໜ້າຄຳຂໍໂທດຢູ່ບ່ອນທີ່ຄວນເປັນ object. Parser ຂອງທ່ານບໍ່ຕ້ອງການ branch ການປະຕິເສດ, ແລະ ຕັກກະການລອງໃໝ່ຂອງທ່ານບໍ່ຕ້ອງແຍກຄວາມລົ້ມເຫຼວການຂົນສົ່ງອອກຈາກຄວາມລົ້ມເຫຼວນະໂຍບາຍ.
• ທ່ານເປັນເຈົ້າຂອງນະໂຍບາຍ. ນັ້ນຄືການແລກປ່ຽນ. ຖ້າຜະລິດຕະພັນຂອງທ່ານຕ້ອງການການປ້ອງກັນສຳລັບຜູ້ໃຊ້ປາຍທາງຂອງທ່ານ, ທ່ານສ້າງມັນຢູ່ຊັ້ນຂອງທ່ານເອງ, ບ່ອນທີ່ທ່ານຮູ້ຈັກຜູ້ໃຊ້ ແລະ ເຂດອຳນາດຂອງທ່ານ, ແທນທີ່ຈະສືບທອດການຄາດເດົາຂອງຜູ້ໃຫ້ບໍລິການກ່ຽວກັບທັງສອງອັນ. ບັນຊີຂອງທ່ານຍັງຢູ່ພາຍໃຕ້ນະໂຍບາຍການໃຊ້ຢ່າງມີຄວາມຮັບຜິດຊອບຂອງພວກເຮົາ.

ບໍ່ເຊັນເຊີບໍ່ຄືກັນກັບບໍ່ຖືກປັບແຕ່ງ ຫຼືບໍ່ເປັນປະໂຫຍດ. ໂມເດວຍັງປະຕິບັດຕາມຄຳສັ່ງ ແລະ ຍັງເຄົາລົບ system prompt. ຖ້າທ່ານຕ້ອງການໃຫ້ມັນປະຕິເສດບາງໝວດສຳລັບຜູ້ໃຊ້ຂອງທ່ານ, ບອກໄວ້ຢູ່ນັ້ນ — ຄຳສັ່ງນັ້ນຕອນນີ້ເປັນຂອງທ່ານທີ່ຈະຂຽນ ບໍ່ແມ່ນຂອງພວກເຮົາທີ່ຈະບັງຄັບໃຊ້.

08ຄວາມສາມາດ ແລະ ຂໍ້ຈຳກັດຢ່າງຊື່ສັດ

ຄວາມສາມາດສອງອັນຮັບໜ້າວຽກສ່ວນຫຼາຍສຳລັບວຽກປະລິມານ. ຜົນຜະລິດ json_schema ແບບເຂັ້ມງວດ ປ່ຽນຄຳຕອບໃຫ້ເປັນແຖວຖານຂໍ້ມູນໂດຍບໍ່ຕ້ອງມີຊັ້ນ parse ຫຼື branch ການປະຕິເສດ. ການເອີ້ນເຄື່ອງມືໃນທັງສາມພາສາ ເຮັດໃຫ້ Flash ເປັນເຄື່ອງຈັກທີ່ສົມເຫດສົມຜົນສຳລັບຂັ້ນຕອນຍ່ອຍລາຄາຖືກຂອງຕົວແທນທີ່ຜູ້ວາງແຜນລະດັບເທິງແລ່ນເທິງໂມເດວທີ່ແຂງແກ່ນກວ່າ. ເພີ່ມ reasoning_effort, ຊຶ່ງໃຫ້ທ່ານໃຊ້ token ພິເສດພຽງແຕ່ກັບເສດສ່ວນ traffic ທີ່ຕ້ອງການພວກມັນ, ແລະ context 262,144 token ດຽວກັນກັບ Pro — ທ່ານບໍ່ໄດ້ຍອມສະລະ context ໂດຍການເລືອກລະດັບລາຄາຖືກ, ຊຶ່ງຜິດປົກກະຕິ.

ຂໍ້ຈຳກັດກໍຊັດເຈນເທົ່າກັນ:

• ບໍ່ມີການເບິ່ງເຫັນ. Flash ເປັນຂໍ້ຄວາມເທົ່ານັ້ນ ແລະ ຈະປະຕິເສດສ່ວນຮູບພາບໃນຂໍ້ຄວາມ. ສຳລັບຮູບພາບເທິງໂມເດວບໍ່ເຊັນເຊີທີ່ພື້ນ $0.50 / $2.00 ດຽວກັນ, MiniMax-M3 ແລະ MiMo-V2.5 ຄືຕົວເລືອກທີ່ເບິ່ງເຫັນໄດ້; Kimi-K2.6 ແລະ Kimi-K3 ຄືໂມເດວການເບິ່ງເຫັນທີ່ແຂງແກ່ນກວ່າເໜືອລະດັບນັ້ນ.
• ບໍ່ແມ່ນຍອດຂອງຂັ້ນໄດ. ຕົວເລກຂອງ DeepSeek ເອງໃຫ້ Pro ນຳໜ້າໃນທຸກເບັນມາກຕົວແທນທີ່ເຜີຍແຜ່, ດ້ວຍຊ່ອງຫ່າງກວ້າງທີ່ສຸດເທິງການໃຫ້ເຫດຜົນໂຄດຫຼາຍຂັ້ນຕອນຢ່າງຕໍ່ເນື່ອງ. ບ່ອນທີ່ຄຳຕອບຜິດອັນໜຶ່ງແພງກວ່າອັນທີ່ຖືກພັນອັນ, ໃຊ້ $1.45 ພິເສດຕໍ່ລ້ານກັບ DeepSeek-V4-Pro.
• 16,384 token ຜົນຜະລິດຕໍ່ຄຳຂໍ. ການສ້າງຍາວຕ້ອງຖືກແບ່ງເປັນຫຼາຍການເອີ້ນ. ນີ້ຄືເພດານດຽວກັນເທິງທຸກໂມເດວທີ່ພວກເຮົາໃຫ້ບໍລິການ, ແລະ ມັນຈຳກັດກ່ອນໜ້າຕ່າງ context ຫຼາຍ.

09ການເອີ້ນມັນ

ຊີ້ client ທີ່ເຂົ້າກັນໄດ້ກັບ OpenAI ໃດກໍໄດ້ໄປຫາເກດເວय් ແລ້ວປ່ຽນ string ຊື່ໂມເດວ. ບໍ່ມີຫຍັງອື່ນໃນ stack ຂອງທ່ານທີ່ຕ້ອງເຄື່ອນຍ້າຍ.

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "DeepSeek-V4-Flash-0731-W4A16-AUTOROUND-REAP",
    "messages": [
      {"role": "system", "content": "Label the ticket. Reply only with the schema."},
      {"role": "user", "content": "The invoice PDF renders blank on Safari 18."}
    ],
    "response_format": {
      "type": "json_schema",
      "json_schema": {
        "name": "ticket_label",
        "schema": {
          "type": "object",
          "properties": {
            "category": {"type": "string"},
            "severity": {"type": "integer"},
            "needs_human": {"type": "boolean"}
          },
          "required": ["category", "severity", "needs_human"],
          "additionalProperties": false
        }
      }
    }
  }'

Model id ດຽວກັນເຮັດວຽກໂດຍບໍ່ປ່ຽນເທິງ /v1/messages ແລະ /v1/responses, ຊຶ່ງເປັນວິທີໄວທີ່ສຸດທີ່ຈະ A/B ໂມເດວທີ່ຖືກກວ່າພາຍໃຕ້ການເຊື່ອມຕໍ່ທີ່ມີຢູ່ໂດຍບໍ່ຕ້ອງຂຽນ client ຄືນ. ພາຣາມິເຕີ, ຮູບຮ່າງເຫດການສະຕຣີມ, schema ການເອີ້ນເຄື່ອງມື ແລະ ຂອບເຂດອັດຕາຖືກບັນທຶກໄວ້ໃນ ເອກະສານອ້າງອີງ API; ໂມເດວທຸກອັນໃນແຄຕາລັອກຢູ່ໃນລາຍການທີ່ Shannon Research.

10ຄຳຖາມທີ່ພົບເລື້ອຍ

---

ແຫຼ່ງຂໍ້ມູນ: DeepSeek-V2 (arXiv 2405.04434) · DeepSeekMoE (arXiv 2401.06066) · ບົດລາຍງານເທັກນິກ DeepSeek-V3 (arXiv 2412.19437) · DeepSeek-V4 (arXiv 2606.19348) · ບັດໂມເດວ DeepSeek-V4-Flash-0731 ແລະ DeepSeek-V4-Pro-0813 · AutoRound (arXiv 2309.05516, Intel) · REAP (arXiv 2510.13999, Cerebras Systems) · AWQ (arXiv 2306.00978) · GPTQ (arXiv 2210.17323). ຕົວເລກພື້ນຖານ ແລະ ເບັນມາກທັງໝົດແມ່ນຕາມທີ່ຜູ້ຂຽນແຕ່ລະຄົນເຜີຍແຜ່; ລາຄາ ແລະ context ທີ່ໃຫ້ບໍລິການຂອງ Shannon AI ຄືຄ່າລາຍການຂອງພວກເຮົາເອງ ນັບຮອດເດືອນກັນຍາ 2026.