API Ụdị Inkling Enweghị Mmachi
Ụdị nwere ọhụụ, nke enweghị mmachi nke ntọala Mixture-of-Experts Inkling 975B nke Thinking Machines — ọnọdụ 262K, ntinye onyonyo, ọ dịghị akwa njụ.
Nkenke
inkling-W4A16-AUTOROUND-REAP bụ mwepụta anyị nke Inkling, MoE arọ mepere emepe nwere paramita 975B nke Thinking Machines Lab wepụtara na Julaị 15, 2026. Ọ nwere ọhụụ, ọ na-eme ịkpọ ngwá ọrụ na njikwa mgbalị echiche, ọ na-agbakwa ebe ọ dịghị akwa njụ, ọ dịghịkwa nzacha mmepụta n'ụyọkọ GPU nke anyị. Ọnọdụ bụ token 262,144, mmepụta ruo 16,384. Ọnụ ahịa bụ $1.42 nnata / $6.07 mgbasa kwa miliyọn token — etiti-elu, karịa ọkwa ala anyị nke $0.50 ma dị nnọọ n'okpuru Kimi-K3 nke bụ isi. Otu nkọwa ị ga-eme atụmatụ maka ya: ọ na-akwado response_format mana ọ naghị akwado json_schema.
Ihe ka ukwuu nke ụdị iri na abụọ dị na gateway anyị bụ naanị ederede. Anọ abụghị otu ahụ, n'ime anọ ndị ahụ, Inkling nwere ọnọdụ pụrụ iche: ụdị ọhụụ ị na-agakwuru mgbe foto ahụ bụ akụkụ siri ike nke nsogbu ahụ mana mmefu gị eruteghị n'ụdị isi. Kaadị a na-ekpuchi ebe ntọala ahụ si bịa, ihe njedebe W4A16-AUTOROUND-REAP mere ya, ihe ọ ga-eme na ihe ọ gaghị eme n'ihu API ahụ, na — n'eziokwu — mgbe ụdị dị ọnụ ala n'otu katalọgụ ahụ bụ nhọrọ ka mma.
01Gịnị bụ Inkling, ònye wukwara ya?
Inkling bụ ụdị arọ mepere emepe mbụ sitere na Thinking Machines Lab, nke e bipụtara na Julaị 15, 2026. N'adịghị ka ọtụtụ mwepụta ndị e debere dị ka "mepere emepe," ọ bịara na arọ zuru oke a pụrụ ibudata na Hugging Face na nkwado ụbọchị mbụ na transformers, SGLang, vLLM, na llama.cpp — nke bụ ihe mere a ga-eji nwee ike ịgba ya na ntọala dị ka nke anyị ma ọlị. Ọnụọgụ isiokwu ahụ, site n'ihe mwepụta nke Thinking Machines n'onwe ha:
Nke ahụ bụ nhazi Mixture-of-Experts dị fere fere: akwa decoder 66 na nha zoro ezo 6,144, abụọ mbụ dị njupụta, iri isii na anọ fọdụrụ na-ebu ọkachamara 256 a na-eduzi tinyere ọkachamara 2 a na-ekekọrịta, ebe ọkachamara 6 a na-eduzi na-arụ ọrụ kwa token. Ihe dị ka 4% nke paramita ndị ahụ na-agba ọkụ na token ọ bụla — nke bụ ihe na-eme ka ụdị nke dị nso na trilion paramita bụrụ ihe a pụrụ ije ozi ya ma ọlị.
Nhọrọ nhazi abụọ dị iche nke ọma iji kpọọ ha aha. Nlebara anya bụ nke agwakọtara — akwa 55 nke sliding-window attention n'elu windo token 512 megide akwa zuru ụwa ọnụ 11, n'usoro 5:1 na-emeghachi. Inkling anaghịkwa eji RoPE: ọ na-eji mkpezi ọnọdụ metụtara ya nke a mụtara, nke dabere na ntinye, tinyere obere convolution causal n'elu ntụba igodo/uru na alaka residual. Ndetu nhazi nke Sebastian Raschka na-akara ha abụọ dị ka ezigbo mpụ site n'usoro nkịtị nke 2026. Ọzụzụ jiri Muon maka nnukwu paramita matriks na Adam maka ndị fọdụrụ, wee gbaa ihe karịrị rollout RL nde 30 na-anọghị n'usoro n'ọzụzụ na-esote.
Isi ihe maka onye na-eji API abụghị nkọwa ndị ahụ. Ọ bụ na nke a bụ ntọala nke ọkwa ihu ọhịa, nke bụ multimodal sitere n'okike nke a zụrụ na token trilion 45 nke gbasapụrụ n'ederede, onyonyo, ụda na vidiyo — ọ bụghị ụdị ederede nke a kwụnyere adapter ọhụụ na ya e mesịa. A na-etinye onyonyo dị ka patch pikselụ 40×40 site na patchifier MLP nwere ọkwa akwa anọ ma na-ahazi ya ọnụ na ederede n'otu decoder ahụ. Nghọta ọhụụ dị n'ebumnuche ọzụzụ mbụ.
02Gịnị ka W4A16-AUTOROUND-REAP pụtara?
Usoro atọ dị iche ka a tụkwasịrị na njedebe ahụ, ha na-arụkwa ọrụ dị iche. Ọ bara uru ịghọta, n'ihi na njedebe ahụ bụ otu ọdịiche kachasị dị n'etiti ụdị ị na-akpọ na API anyị na checkpoint Thinking Machines bipụtara.
REAP — ịkpụcha ọkachamara ọ dịghị onye na-eduga na ha
REAP bụ Router-weighted Expert Activation Pruning, sitere na Cerebras Research (arXiv 2510.13999, nke a nabatara na ICLR 2026). N'ime MoE nwere ọkachamara 256 kwa akwa, router ahụ anaghị ekesa ọrụ n'ụzọ hà nhata: a na-akụ ụfọdụ ọkachamara mgbe niile, ndị ọzọ na-agba ọkụ ọ dịghị mgbe ọtụtụ ma na-atụnyekwa obere ihe mgbe ha gbara. REAP na-enye ọkachamara ọ bụla akara na ha abụọ uru ọnụ ụzọ router na nha mmalite nke ọkachamara ahụ — ọkachamara a na-ahọrọ ugboro ugboro mana nke na-atụnye mmelite pere mpe dị mkpa karịa ka ọnụ ọgụgụ nhọrọ ya na-egosi — ma hapụ ndị nwere obere mkpa n'otu ugboro, tupu quantization.
Ihe mere anyị ji eji ịkpụcha kama ijikọta ọkachamara nke ka bụ ihe a na-ele anya bụ na ha abụọ na-agagharị dabere n'ụdị ọrụ. Ijikọta na-adị ka ọ na-eme nke ọma na benchmark nkewa ma na-ada n'ọrụ mmepụta. Ndị odee REAP na-akọ na ịkpụcha na-echekwa àgwà nke ọma karịa kpọmkwem n'ọrụ ndị mmadụ ji ego zụta API maka ya — imepụta koodu, ịkpọ ngwá ọrụ, echiche nke ọtụtụ ntụgharị — n'ọnụọgụ mkpakọ gafere 50%, n'ofe ụdị site na 20B ruo 1T. Ijikọta na-ebibi ọpụrụiche nke router ahụ; ịkpụcha na-ahapụ ọkachamara ndị fọdụrụ na ntụzịaka dị n'etiti ha ka ọ kwụ ọtọ.
AutoRound — ịmụta ebe a ga-achịkọta
AutoRound bụ usoro quantization nke Intel na-eme mgbe ọzụzụ gasịrị (arXiv 2309.05516, nke e bipụtara dị ka SignRound). Quantization nkịtị na-achịkọta arọ ọ bụla ruo uru 4-bit kacha ya nso a pụrụ igosipụta — ndabere ezi uche na nke ọjọọ n'ọkwa ukwuu, n'ihi na njehie nchịkọta anaghị anọọrọ onwe ha, ha na-akpakọbakwa site na ngwakọta akwa 66. AutoRound na-ewere mkpebi nchịkọta ahụ dị ka ihe a ga-akwalite: signed gradient descent na-ahazi ntụzịaka nchịkọta na oke mbelata arọ ọnụ n'ime ihe dị ka nzọụkwụ narị abụọ, na-anara izi ezi nke ọzụzụ na-ama quantization n'enweghị ọzụzụ ọzọ. Intel na-akọ uru kacha ukwuu n'ọnọdụ bit dị ala nke ukwuu na nsọ asọmpi na INT4.
W4A16 — ebe bit ndị ahụ na-aga
W4A16 bụ ụdị ọnụọgụ ahụ: arọ 4-bit, mmalite 16-bit. Arọ ndị ahụ — nke na-achị ebe nchekwa n'ụdị 975B — na-adaba ruo ihe dị ka otu ụzọ anọ nke ebe BF16 na-eji, ebe mgbako ahụ na-anọgide na bit 16. Nkewa ahụ dị mkpa maka ụdị ọhụụ kpọmkwem: atụmatụ nke na-eme mmalite quantize na-emerụ kpọmkwem ọrụ ọnụọgụ dị nkọ nke nghọta onyonyo dabere na ya — ịgụ obere akara axis, idozi ahịrị dị gịrịgịrị n'eserese, ikewa ụcha abụọ yiri onwe ha. Ijigide mmalite na bit 16 na-efu bandwidth ma na-azụghachi izi ezi ebe ọrụ ọhụụ na-ahụ ya.
Mgbe a tụkwasịrị ha, atọ ahụ na-enye ụdị nke dabara ma na-anọgide na-adị ọsọ n'enweghị ugwu àgwà nke ọkwa 3BIT-REAP siri ike anyị na-eji na ntọala ndị kacha ibu. Nke ahụ bụ mgbanwe nke ọnụ ahịa ahụ na-egosi.
03Ọhụụ: API nyocha onyonyo enweghị njụ
Inkling bụ otu n'ime ụdị anọ nwere ọhụụ na katalọgụ anyị, tinyere Kimi-K3, Kimi-K2.6, na MiniMax-M3. Nsonaazụ ọhụụ nke ụdị ndabere ahụ e bipụtara, sitere na mwepụta Thinking Machines, bụ 73.3% na MMMU Pro (Standard 10) na 78.1% n'ajụjụ echiche CharXiv — na-arị elu ruo 82.0% mgbe e nyere ụdị ahụ ohere ịgba Python megide chaatị ahụ. Ndị ahụ bụ ọnụọgụ nke ụlọ nyocha ahụ n'onwe ya maka checkpoint nke a na-emeghị quantize; were ha dị ka elu nke ezinụlọ ahụ, ọ bụghị nha nke ụdị anyị.
CharXiv bụ nke bara uru itinye uche na ya, n'ihi na ọ na-akọwa ihe mere ndị mmadụ ji azụ API ọhụụ kama ọrụ OCR. Ọ na-anwale echiche n'elu chaatị sayensị — ịgụ uru site n'axis, ịtụnyere usoro abụọ, ịchọpụta na usoro tụgharịrị. Ọ bụghị "kedu ederede dị n'onyonyo a" kama "gịnị ka ihe ngosi a na-ekwu, nkwupụta ahụ ọ̀ na-eguzo." Nke ahụ bụ ihe na-akwado iziga foto n'ụdị echiche 975B kama n'obere onye na-akọwa ihe.
Iziga onyonyo bụ ọrụ nkịtị dakọtara na OpenAI — akụkụ ọdịnaya image_url na /v1/chat/completions, ngọngọ image nke ụdị Anthropic na /v1/messages, ma ọ bụ ihe hà ya na /v1/responses. Olumba atọ ahụ niile na-eru otu arọ ahụ, ha atọ na-agbakwa streaming; họrọ nke SDK ị nwerelarị na-asụ. Ihe atụ e rụrụ dị na nkebi 09.
Akụkụ enweghị mmachi ahụ dị mkpa maka ọhụụ karịa maka ederede. Akwa njụ dị n'endpoint ọhụụ na-adị nkọ nke ukwuu, n'ihi na ọ na-ekewakarị onyonyo ahụ tupu ụdị ahụ echee echiche banyere arịrịọ ahụ. A na-ejide ezigbo ọrụ mgbe niile: foto ọnya n'usoro ndetu ụlọ ọgwụ, foto ihuenyo forensic n'ihe edere gbasara ihe mberede, ihuenyo si na fim a na-enyocha maka ihe nkatọ, nyocha ahụike, onyonyo akwụkwọ nke nwere aha n'ime ya. Inkling na gateway anyị enweghị nkewa dị otú ahụ n'ihu ya. Ọ na-ele ihe i zigara anya ma zaa ajụjụ ị jụrụ. Nke ahụ bụ ngwaahịa ahụ.
04Mmepụta ahaziri ahazi: response_format ee, json_schema mba
Nke a bụ otu ebe Inkling nwere ike karịa ihe ka ukwuu nke katalọgụ ahụ, ọ ka mma ime atụmatụ maka ya karịa ịchọpụta ya na mmepụta.
| Ikike | inkling | Kimi-K2.6 | MiMo-V2.5 | Laguna-S-2.1 |
|---|---|---|---|---|
| Ọhụụ (ntinye onyonyo) | Ee | Ee | Ee | Mba |
response_format | Ee | Ee | Ee | Mba |
json_schema | Mba | Ee | Ee | Mba |
| Ịkpọ ngwá ọrụ | Ee | Ee | Ee | Ee |
| Mgbalị echiche | Ee | Ee | Ee | Ee |
response_format: {"type": "json_object"} na-arụ ọrụ — ị na-enweta JSON ziri ezi n'ụdị. Ihe ị na-enwetaghị bụ mmepụta nke ụtọ asụsụ machibidoro megide schema ị na-enye, ebe a na-egbochi sampler ahụ n'ụzọ anụ ahụ ka ọ ghara ịmepụta token nke na-emebi nhazi gị. Aha ubi, ndenye n'ime enum, na ịdị adị nke igodo achọrọ bụ nhọrọ nke ụdị ahụ, ọ bụghị nkwa.
Ụzọ atọ ị ga-esi bie ndụ na nke ahụ, n'usoro na-arị elu nke ntụkwasị obi:
- Nye schema ahụ na prompt ma nyochaa ya. Tinye schema ahụ na prompt sistemụ dị ka JSON nkịtị, tọọ
response_formatka ọ bụrụjson_object, ma nyochaa nzaghachi ahụ n'akụkụ gị. Nwaa ọzọ mgbe nyocha dara na ozi njehie nke onye nkwenye ahụ agbakwunyere. Ọ dị ọnụ ala, ọ na-arụ ọrụ, ọ chọrọ mmefu maka ịnwale ọzọ. - Jiri nkọwa ngwá ọrụ dị ka schema gị. A na-akwado ịkpọ ngwá ọrụ, nkọwa paramita nke ọrụ bụkwa JSON Schema. Kwupụta otu ngwá ọrụ nke a kpọrọ aha maka mmịpụta ị chọrọ, manye ya, ma gụọ arụmụka ndị ahụ. Nke a bụkarị nhọrọ kacha ike na Inkling, ọ naghịkwa efu gị ihe ọzọ.
- Kewaa ọrụ ahụ n'ofe ụdị abụọ. Mee ka Inkling rụọ ọhụụ na echiche n'ederede nka, wee nyefee ederede ahụ na
MiMo-V2.5-W8A16na $0.50 / $2.00 nwere ezigbojson_schemamaka ngafe nhazi ahụ. Ọkpụkpọ abụọ, mana nke abụọ dị ọnụ ala, ọ na-adịkwa otu ụdị mgbe niile, ụdị nke kwesịrị ịma ihe bụkwa nke hụrụ onyonyo ahụ.
Nhọrọ 3 bụ usoro anyị ga-atụ aro maka usoro ọrụ mmịpụta ọ bụla nke nnukwu ọnụ ọgụgụ. Kwụọ ọnụ ahịa elu ahụ naanị maka nzọụkwụ chọrọ ya.
05Gịnị ka ọnụ ahịa elu ahụ na-azụta?
Na $1.42 nnata / $6.07 mgbasa kwa miliyọn token, Inkling nọ n'ebumnuche n'etiti katalọgụ anyị. Isii n'ime ụdị iri na abụọ ahụ nọ n'ala $0.50 / $2.00. Kimi-K3 — nke bụ isi, nke nwerekwa ọhụụ — bụ $3.83 / $19.12. Inkling bụ ihe dị ka okpukpu atọ nke ala ahụ na mgbasa na ihe dị ka otu ụzọ atọ nke nke bụ isi.
Ọnụ ahịa mgbasa, USD kwa token 1M, ọnụego ndepụta Gateway Shannon AI, Septemba 2026. Obosara ogwe dabere n'ọnụ ahịa; ogologo pụtara ọnụ karịa.
Nke a bụ ọgụgụ ziri ezi banyere ebe ọnụ ahịa elu ahụ na-erite uru — na ebe ọ na-eriteghị.
| Ọrụ | Jiri Inkling? | Ihe kpatara ya |
|---|---|---|
| Echiche chaatị / eserese | Ee | Ọnụọgụ CharXiv na MMMU Pro e bipụtara bụ ihe ntọala a kacha sie ike na ya. |
| Agent nke foto ihuenyo na-eduzi | Ee | Ọhụụ tinyere ịkpọ ngwá ọrụ tinyere akụkọ 262K n'otu ụdị, ọ dịghị nnyefe. |
| Ogologo akwụkwọ nwere ihe ngosi | Ee | Ederede na onyonyo na-ekekọrịta otu decoder na otu windo ọnọdụ. |
| Mmepụta ederede nkịtị | Mba | Ụdị isii nọ na $0.50 / $2.00 na-eme nke a. Ị na-akwụ ụgwọ maka ụzọ ọhụụ ị na-akpọghị. |
| Mmịpụta schema n'ọtụtụ | Mba | Ọ dịghị json_schema. MiMo-V2.5 dị ọnụ ala ma nwee mmachi. |
| Elu ihu ọhịa kachasị | Mba | Kimi-K3 bụ nke bụ isi. Kwụọ okpukpu 3.1 ma ọ bụrụ na elu ahụ bụ ihe mgbochi. |
| Ọhụụ kacha dị ọnụ ala | Mba | MiniMax-M3 nwere ọhụụ na $0.50 / $2.00. Malite ebe ahụ, rịgoo ma ọ bụrụ na àgwà manye gị. |
Gụọ nke ahụ dị ka iwu nzigara, ọ bụghị dị ka ọkwa. Inkling ziri ezi maka usoro ọrụ dị warara karịa ka ibe mgbasa ozi ga-ekwu, n'ime usoro ahụ ọ siri ike imeri ya n'ọnụ ahịa. N'èzí ya, ọ ga-akara anyị mma ire gị ụdị dị ọnụ ala ma jide gị.
json_schema zuru oke — ebe mbụ okike tupu ị rịgoo. Lee kaadị ụdị MiniMax-M3 enweghị mmachi maka otu ha abụọ si dị iche n'omume.
06Windo ọnọdụ 262K ahụ, na ihe na-adaba n'ezie
A na-agba ụdị iri na abụọ niile dị na gateway ahụ na ọnọdụ ntinye nke token 262,144 na mmepụta kacha elu nke token 16,384 kwa arịrịọ. Ọ bụ otu ihe ahụ site n'ebumnuche: njikwa ọnọdụ ekwesịghị ịghọ alaka kwa ụdị na koodu gị, ịgbanwe inkling ka ọ bụrụ MiniMax-M3 na faịlụ nhazi ekwesịghịkwa ịgbanwe ihe na-adaba na nzuzo.
Mara oghere ahụ megide ntọala e bipụtara: Thinking Machines na-edepụta Inkling na token 1,048,576, anyị na-eje ozi otu ibe 262K nke ahụ. Ọ bụrụ na ị nwere ezigbo ọrụ nke otu arịrịọ nwere otu miliyọn token, anyị abụghị endpoint maka ya, ọ ka mma ka ị mara tupu ị wuo.
Maka nha na 262K: PDF nka na ụzụ nwere ibe 400 tinyere ihe ngosi ya, ebe nchekwa koodu nha etiti, awa ole na ole nke ndegharị okwu, ma ọ bụ ogologo nnọkọ agent na-ebu ọtụtụ nsonaazụ ngwá ọrụ na foto ihuenyo ole na ole — nke ọ bụla na-adaba n'otu arịrịọ. N'ụdị ọhụụ, cheta na onyonyo na-eri ọnọdụ kwa; foto ihuenyo dị njupụta abụghị n'efu, nnọkọ na-agba ihuenyo streaming na-ejupụtakwa windo ahụ ngwa karịa nke naanị ederede. Nhazi ahụ dabara nke a nke ọma: usoro sliding-window ruo global nke 5:1 pụtara na ihe ka ukwuu n'akwa ndị ahụ na-elebara anya n'ime agbata obi token 512, ebe akwa zuru ụwa ọnụ na-adọghachi nhazi ogologo mgbe ụfọdụ.
07Mgbalị echiche: ịkwụ ụgwọ maka echiche naanị mgbe ịchọrọ ya
Inkling na-egosipụta mgbalị echiche a pụrụ ịchịkwa — otu n'ime ihe ntụgharị kacha baa uru na katalọgụ ahụ. Ụdị nke elu ahụ na-anabata ọkwa site na none na minimal gafere low, medium, high, xhigh, ruo max, nke a na-egosipụta na olumba atọ ahụ niile site na paramita reasoning_effort nkịtị.
{
"model": "inkling-W4A16-AUTOROUND-REAP",
"reasoning_effort": "low",
"messages": [ ... ]
}
Nke a bụ ihe ntụgharị ọnụ ahịa nwere ezé, n'ihi na a na-akwụ ụgwọ token echiche dị ka token mmepụta na $6.07 kwa miliyọn. Thinking Machines na-akọ na na Terminal Bench 2.1 Inkling na-erute akara hà nhata na nke Nemotron 3 Ultra n'ihe dị ka otu ụzọ atọ nke token — arụ ọrụ nke token bụ ebumnuche atụmatụ e kwuru maka usoro mgbalị ahụ, ọ bụghị ihe mberede.
N'omume: gbaa low ma ọ bụ minimal maka ịkọwa onyonyo, nkewa, na mmịpụta doro anya, ebe azịza ahụ dị n'onyonyo ahụ, ọ dịghịkwa mkpa maka yinye nchọpụta. Debe high na nke dị elu karịa maka echiche chaatị, ntụnyere ọhụụ nke ọtụtụ nzọụkwụ, na ntụgharị agent ebe nzọụkwụ etiti na-ezighị ezi dị oke ọnụ. Ọtụtụ ndị otu anaghị edobe paramita ahụ ma ọlị, ma na-ahapụ ọdịiche ọnụ ahịa mmepụta nke okpukpu ole na ole.
08Ihe "enweghị mmachi" pụtara ebe a — na ihe ọ na-apụtaghị
Kpọmkwem: anyị na-agba ụdị a ebe ọ dịghị akwa njụ, ọ dịghịkwa nzacha na mmepụta. Ọ dịghị nkewa na-agụ prompt gị ma kpebie ma ụdị ahụ ọ̀ nwere ike ịza, ọ dịghịkwa nke na-agụ nzaghachi ahụ tupu ọ gbaa streaming. Mgbe ụdị ahụ ejighị n'aka ma ọ bụ na o nweghị ihe ọmụma, ọ na-ekwu ya — nke ahụ bụ ụdị ahụ, ọ bụghị amụma. Ihe ị gaghị enweta bụ njụ na-echeghị echiche n'isiokwu nke ngwaahịa ndị ahịa nkịtị na-ewere dị ka nke a machibidoro.
Maka ọhụụ nke a bụ nkwupụta uru ahụ dum. Nkewa onyonyo dị n'ihu API ọhụụ adịghị nkọ, ọnụego nkwenye ụgha ya na-adakwasịkwa nke ukwuu n'ọrụ ọkachamara nke kacha chọọ ikike ahụ: nnyocha nchekwa, ọnọdụ ụlọ ọgwụ, akụkọ mgbasa ozi na forensic, nkatọ fim na nka, ngwá ọrụ nhazi ọdịnaya nke ga-ele ihe ọ na-ahazi anya. Endpoint nke na-ajụ dabere n'ụdị enweghị ike ijere nke ọ bụla n'ime ha ozi n'ụzọ a pụrụ ịtụkwasị obi.
Nkọwa ziri ezi abụọ. Nke mbụ, Thinking Machines na-ebipụta nyocha nchekwa maka mwepụta ntụaka ha — 78.0% na FORTRESS adversarial, 95.9% na FORTRESS benign, 98.6% na StrongREJECT. Ọnụọgụ ndị ahụ na-akọwa ngwakọta ha nwere ihe mgbochi ha guzobere. Ha anaghị akọwa nke anyị, anyị agaghịkwa ehota ha ka a ga-asị na ha na-akọwa ya. Anyị wepụrụ akwa ahụ nke ọnụọgụ ndị ahụ tụrụ n'akụkụ; nke ahụ bụ ngwaahịa ahụ, na ọrụ ahụ.
Nke abụọ, "ọ dịghị akwa njụ" abụghị "ọ dịghị iwu." Shannon Lab LLC na-arụ ọrụ n'okpuru Amụma Ojiji Kwesịrị Ekwesị na iwu US metụtara ya. Iwepụ nkewa na-akwaga ikpe n'aka gị, ọ naghị ehichapụ ya. Ọ bụrụ na ị na-ewu n'elu nke a, gụọ amụma ahụ tupu ị mụbaa ya.
09Ịmalite
Otu URL ndabere ahụ, otu igodo ahụ, olumba atọ. Ọ bụrụ na koodu gị na-akpọlarị OpenAI, Anthropic, ma ọ bụ API Responses, ịgbanwe eriri ụdị ahụ bụkarị mbugharị ahụ dum.
from openai import OpenAI
client = OpenAI(
base_url="https://api.shannon-ai.com/v1",
api_key=SHANNON_API_KEY,
)
stream = client.chat.completions.create(
model="inkling-W4A16-AUTOROUND-REAP",
messages=[{"role": "user", "content": [
{"type": "text", "text": "What does this figure actually show?"},
{"type": "image_url", "image_url": {"url": image_data_url}},
]}],
reasoning_effort="high",
max_tokens=4000,
stream=True,
)
for chunk in stream:
delta = chunk.choices[0].delta.content
if delta:
print(delta, end="")
Ntụaka paramita zuru oke, ọdịdị nke /v1/messages na /v1/responses, ụdị ihe omume streaming, na ebe ọmụmụ dị ndụ dị n'akwụkwọ API. Kaadị ụdị maka ụdị iri na otu ndị ọzọ dị na Nnyocha Shannon.
Ọnụọgụ ntọala na usoro ọ bụla dị n'elu sitere n'isi mmalite izizi nke ọha. Ọ dịghị ihe dị ebe a bụ benchmark Shannon tụrụ, anyị anaghịkwa egosi ya dị ka otu — nyochaa ndị izizi.
Ọnụọgụ ntọala bụ ọnụọgụ Thinking Machines Lab bipụtara maka checkpoint Inkling nke a na-emeghị quantize, ha na-akọwakwa elu nke ezinụlọ ahụ, ọ bụghị ụdị anyị mere quantize. Ọnụ ahịa na ọkọlọtọ ikike bụ uru ndepụta Gateway Shannon AI dị ka nke Septemba 2026.
10Ajụjụ ndị a na-ajụkarị
Gịnị bụ API ụdị Inkling enweghị mmachi?
Mwepụta Shannon AI nke Inkling, MoE arọ mepere emepe nwere paramita 975B nke Thinking Machines Lab wepụtara na Julaị 15, 2026. Anyị na-agba ya dị ka inkling-W4A16-AUTOROUND-REAP nwere ọnọdụ token 262,144, ntinye onyonyo, ịkpọ ngwá ọrụ, na njikwa mgbalị echiche, n'ụyọkọ GPU nke anyị, ebe ọ dịghị akwa njụ, ọ dịghịkwa nzacha mmepụta.
Inkling ọ na-akwado ntinye onyonyo na API Shannon?
Ee — otu n'ime ụdị anọ nwere ọhụụ na katalọgụ ahụ. Zipu akụkụ ọdịnaya image_url na /v1/chat/completions, ma ọ bụ ngọngọ image na /v1/messages. Ebe ọ dịghị akwa njụ, ọ na-akọwa ihe dị n'ihe ngosi ahụ kama ịjụ dabere n'ụdị.
Inkling ọ na-akwado mmepụta ahaziri ahazi json_schema?
Mba. response_format na-arụ ọrụ maka ọnọdụ ihe JSON; json_schema nke ụtọ asụsụ na-amanye anaghị arụ ọrụ. Jiri Kimi-K2.6 ma ọ bụ MiMo-V2.5 ma ọ bụrụ na ịchọrọ ya, ma ọ bụ na Inkling jiri nkọwa ngwá ọrụ a manyere dị ka schema gị ma nyochaa n'akụkụ gị.
Gịnị ka W4A16-AUTOROUND-REAP pụtara?
Arọ 4-bit nwere mmalite 16-bit; AutoRound (Intel) na-amụta nchịkọta na mbelata ọnụ site na signed gradient descent kama ịchịkọta ruo nke kacha nso; na REAP (Cerebras) nke na-akpụcha ọkachamara MoE nwere obere mkpa n'otu ugboro dabere n'uru ọnụ ụzọ router na nha mmalite.
Ego ole ka ọ na-efu, ọnụ ahịa elu ahụ ọ̀ kwesịrị ya?
$1.42 nnata / $6.07 mgbasa kwa miliyọn token — ihe dị ka okpukpu 3 nke ọkwa ala anyị na ihe dị ka otu ụzọ atọ nke Kimi-K3 nke bụ isi. Ọ kwesịrị ya maka echiche chaatị, agent foto ihuenyo, na akwụkwọ jupụtara n'ihe ngosi. Ọ kwesịghị ya maka ederede nkịtị ma ọ bụ mmịpụta schema n'ọtụtụ.
Gịnị bụ windo ọnọdụ ahụ?
Token ntinye 262,144 na token mmepụta 16,384 kwa arịrịọ, otu ihe ahụ n'ofe ụdị iri na abụọ niile. Ntọala nke elu ahụ na-edepụta token 1,048,576; anyị na-eje ozi otu ibe 262K ka omume ọnọdụ ghara ịghọ ọnọdụ pụrụ iche kwa ụdị.
Nwalee API Inkling enweghị mmachi
Ọhụụ, ọnọdụ 262K, olumba API atọ, ọ dịghị akwa njụ.
Gụọ Akwụkwọ API Chọgharịa Kaadị Ụdị NiileShannon Lab LLC · New Mexico, USA · a na-arụ ya n'okpuru Amụma Ojiji Kwesịrị Ekwesị anyị
Isi mmalite: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — ndetu nhazi na benchmark Inkling. Benchmark ntọala bụ nke ụlọ nyocha kọrọ maka checkpoint nke a na-emeghị quantize.