API ya Model ya Inkling e se nang Thibelo
Moaho o bonang, o se nang thibelo wa motheo wa Mixture-of-Experts wa Inkling ya 975B wa Thinking Machines — context ya 262K, kenyo ya setshwantsho, ha ho lera la ho hana.
Kakaretso e Kgutshwane
inkling-W4A16-AUTOROUND-REAP ke tshebediso ya rona ya Inkling, MoE ya di-parameter tse 975B ya di-weight tse bulehileng eo Thinking Machines Lab e e lokolotseng ka la 15 Phupu 2026. E a bona, e etsa ho bitsa disebediswa le taolo ya boiteko ba ho nahana, mme e sebetsa ntle le lera la ho hana le ntle le ho sefuwa ha tlhahiso sehlopheng sa rona sa di-GPU. Context ke di-token tse 262,144, tlhahiso e fihla ho tse 16,384. Theko ke $1.42 kenyo / $6.07 tlhahiso ka di-token tse milione — bohareng ba boemo bo phahameng, kaholimo ho boemo ba rona ba $0.50 mme ka tlase haholo ho Kimi-K3. Tlhokomediso e le nngwe eo o lokelang ho e rerela: e tshehetsa response_format empa ha e tshehetse json_schema.
Boholo ba di-model tse leshome le metso e mmedi ho gateway ya rona ke tsa mongolo feela. Tse nne ha di jwalo, mme har'a tseo tse nne Inkling e na le sebaka se ikgethileng: model e bonang eo o e sebedisang ha setshwantsho e le karolo e thata ya bothata empa tekanyetso e sa fihle boemong bo phahameng ka ho fetisisa. Karete ena e akaretsa moo motheo o tswang teng, seo moqetelo wa W4A16-AUTOROUND-REAP o o entseng ho wona, seo e tla se etsa le se sa tlong ho se etsa sebakeng sa API, le — ka nnete — hore na model e theko e tlase lenaneng le tshwanang ke kgetho e ntle neng.
01Inkling ke eng, mme e ahilwe ke mang?
Inkling ke model ya pele ya di-weight tse bulehileng e tswang ho Thinking Machines Lab, e phatlaladitsweng ka la 15 Phupu 2026. Ho fapana le ditokollo tse ngata tse behwang e le tse "bulehileng", e ile ya romelwa ka di-weight tse felletseng tse jarollohang ho Hugging Face le tshehetso ya letsatsi la pele ho transformers, SGLang, vLLM le llama.cpp — e leng kamoo e ileng ya kgoneha ho mathwa hodima meaho jwalo ka ya rona ho hang. Dipalo tsa sehlooho, ho tswa dintlheng tsa tokollo tsa Thinking Machines:
Seo ke sebopeho sa Mixture-of-Experts se hasaneng: marallo a 66 a decoder ka boholo bo patiloeng ba 6,144, a mabedi a pele a tiileng, a 64 a setseng a jere ditsebi tse 256 tse kgethuwang hammoho le ditsebi tse 2 tse arolelanwang, ka ditsebi tse 6 tse kgethuwang tse sebetsang ka token. Hoo e ka bang 4% ya di-parameter e sebetsa ho token e nngwe le e nngwe — e leng se etsang hore model e batlang e le ya di-parameter tse trilione e kgonehe ho sebediswa ho hang.
Dikgetho tse pedi tsa moaho ha di tlwaelehile hoo di lokelang ho boleluwa. Tlhokomelo e a kopanngwa — marallo a 55 a tlhokomelo ya fensetere e thellang hodima fensetere ya di-token tse 512 kgahlanong le marallo a 11 a akaretsang, ka mokgwa o pheta-phetwang wa 5:1. Mme Inkling ha e sebedise RoPE: e sebedisa leeme la sebaka le ithutilweng, le itshetlehileng ka kenyo, hammoho le di-convolution tse kgutshwane tsa causal hodima ditshupiso tsa key/value le makala a residual. Dintlha tsa moaho tsa Sebastian Raschka di tshwaya ka bobedi e le ho tloha ho ho hlakileng ho tsela e tlwaelehileng ya 2026. Koetliso e sebedisitse Muon bakeng sa di-parameter tse kgolo tsa mmatrikse le Adam bakeng sa tse ding, ebe ho ba le di-rollout tsa RL tse sa lekanngweng tse fetang dimilione tse 30 koetlisong ya morao.
Ntlha bakeng sa moreki wa API hase tlhahisoleseding e sa thuseng. Ke hore ona ke motheo o boemong bo hodimo, o nang le mefuta e mengata ka tlhaho o koetlisitsweng hodima di-token tse dikete tse 45 tsa dimilione tse akaretsang mongolo, ditshwantsho, molumo le video — e seng model ya mongolo e nang le adapter ya pono e kgomareditsweng hamorao. Ditshwantsho di ngolwa e le dikarolo tsa di-pixel tsa 40×40 ka patchifier ya MLP ya marallo a mane mme di sebetswa hammoho le mongolo ka har'a decoder e le nngwe. Ho utlwisisa ha pono e ne e le ka har'a sepheo sa koetliso ya pele.
02W4A16-AUTOROUND-REAP e bolelang?
Mekgwa e meraro e arohaneng e bokelletswe moqetelong oo, mme e etsa mesebetsi e fapaneng. Ho a lokela ho e utlwisisa, hobane moqetelo ke phapang e kgolo ka ho fetisisa pakeng tsa model eo o e bitsang ho API ya rona le checkpoint eo Thinking Machines e e phatlaladitseng.
REAP — ho poma ditsebi tseo ho seng ho keteha ho tsona
REAP ke Router-weighted Expert Activation Pruning, e tswang ho Cerebras Research (arXiv 2510.13999, e amohetswe ho ICLR 2026). Ho MoE e nang le ditsebi tse 256 lerallong le leng le le leng, router ha e abe mosebetsi ka ho lekana: ditsebi tse ding di otlwa kamehla, tse ding di sebetsa ka seoelo mme ha di kenye letsoho le leholo ha di sebetsa. REAP e beha setsebi se seng le se seng maemong hodima ka bobedi boleng ba heke ya router le ditekanyo tsa ho sebetsa ha setsebi — setsebi se kgethwang hangata empa se kenyang letsoho le lenyenyane ha se bohlokwa ho feta kamoo palo ya ho kgethwa ha sona e bontshang — mme e lahla tse bohlokwa ho fokolang ka mohato o le mong, pele ho pitikwa.
Lebaka la hore re sebedise ho poma ho ena le ho kopanya ha ditsebi ho ho tsebahalang haholo ke hore tse pedi di fapana ka mofuta wa mosebetsi. Ho kopanya ho shebahala ho lekana ditekanyetsong tsa ho kgetholla mme ho putlama ho tsa tlhahiso. Bangodi ba REAP ba tlaleha hore ho poma ho boloka boleng hantle mesebetsing eo batho ba rekang API ka lebaka la yona hantle — ho hlahisa khoutu, ho bitsa disebediswa, ho nahana ha mekgahlelo e mengata — ditekanyong tsa ho pitikwa tse fetang 50%, ho pholletsa le di-model ho tloha ho 20B ho isa ho 1T. Ho kopanya ho senya boitsebiso ba router; ho poma ho siya ditsebi tse setseng le ho keteha pakeng tsa tsona ho sa fetoha.
AutoRound — ho ithuta moo o potolohang teng
AutoRound ke mokgwa wa Intel wa ho pitika ka mora koetliso (arXiv 2309.05516, o phatlaladitsweng e le SignRound). Ho pitika ho tlwaelehileng ho potolohela weight e nngwe le e nngwe ho boleng bo haufi bo ka emelwang ka di-bit tse 4 — kgetho ya kamehla e utlwahalang mme e mpe boemong bo phahameng, hobane diphoso tsa ho potoloha ha di ikemetse mme di a bokellana ho pholletsa le mokoloko wa marallo a 66. AutoRound e nka qeto ya ho potoloha e le ntho e lokelang ho ntlafatswa: signed gradient descent e lokisa hammoho tsela ya ho potoloha le mefuta ya ho poma ha di-weight hodima mehato e ka bang makgolo a mabedi, e adima nepo ya koetliso e tsebang ho pitikwa ntle le ho koetlisa hape. Intel e tlaleha ho hola ho hoholo ka ho fetisisa ditlhophisong tsa di-bit tse tlase haholo le monyetla o lekanang ho INT4.
W4A16 — moo di-bit di eang teng
W4A16 ke sebopeho sa dipalo: di-weight tsa di-bit tse 4, ho sebetsa ha di-bit tse 16. Di-weight — tse busang memori ho model ya 975B — di fokotseha ho ba hoo e ka bang kotara ya sebaka sa BF16, ha dipalo di dula ho di-bit tse 16. Karohano eo e bohlokwa bakeng sa model e bonang ka ho toba: mekgwa e pitikang ho sebetsa e senya hantle mosebetsi wa dipalo o nepahetseng oo ho utlwisisa ha setshwantsho ho itshetlehileng ka wona — ho bala lebitso le lenyenyane la axis, ho tseba mola o mosesane setshwantshong sa moralo, ho arola meriri e mmedi e tshwanang. Ho boloka ho sebetsa ho di-bit tse 16 ho ja bophara ba marang-rang mme ho reka nepo moo mosebetsi wa pono o hlokomelang.
Ha di bokellane, tse tharo di fana ka model e lekanang mme e dula e le potlako ntle le lefika la boleng la boemo bo matla ba 3BIT-REAP boo re bo sebedisang hodima metheo e meholo ka ho fetisisa. Ke yona phapanyetsano eo theko e e bontshang.
03Pono: API ya tlhahlobo ya setshwantsho e se nang kgano
Inkling ke e nngwe ya di-model tse nne tse bonang lenaneng la rona, hammoho le Kimi-K3, Kimi-K2.6 le MiniMax-M3. Diphetho tsa pono tse phatlaladitsweng tsa model ya motheo, ho tswa tokollong ya Thinking Machines, ke 73.3% ho MMMU Pro (Standard 10) le 78.1% dipotsong tsa ho nahana tsa CharXiv — di nyoloha ho 82.0% ha model e dumelletswe ho matha Python kgahlanong le chate. Tseo ke dipalo tsa laboratori bakeng sa checkpoint e sa pitikwang; di nke e le sedulo se hodimo sa lelapa, e seng tekanyo ya moaho wa rona.
CharXiv ke yona e lokelang ho eluwa ka yona, hobane e supa lebaka la hore batho ba reke API ya pono ho ena le tshebeletso ya OCR. E leka ho nahana hodima dichate tsa saense — ho bala boleng ho tswa ho axis, ho bapisa maletsana a mabedi, ho hlokomela mokgwa o fetohang. E seng "ke mongolo ofe o setshwantshong sena" empa "setshwantsho sena se bolela eng, mme na tseko eo e a ema." Ke seo se lokafatsang ho romela setshwantsho ho model ya ho nahana ya 975B ho ena le sengodi se senyenyane sa ditlhaloso.
Ho romela setshwantsho ke mosebetsi o tlwaelehileng o tsamaellanang le OpenAI — karolo ya dikahare ya image_url ho /v1/chat/completions, block ya image ya mofuta wa Anthropic ho /v1/messages, kapa e lekanang ho /v1/responses. Dipuo tsohle tse tharo di fihla ho di-weight tse tshwanang mme tsohle tse tharo di a phalla; kgetha eo SDK ya hao e teng e seng e e bua. Mohlala o sebeditsweng o karolong ya 09.
Karolo e se nang thibelo e bohlokwa ho ponong ho feta ho mongolong. Lera la ho hana sebakeng sa pono le sa hlophiswa ka mokgwa o sa tlwaelehang, hobane hangata le hlophisa setshwantsho pele model e nahana ka kopo. Mosebetsi wa molao o tshwarwa kamehla: setshwantsho sa leqeba mokolokong wa dintlha tsa bongaka, screenshot ya forensic tlalehong ya ketsahalo, frame ya filimi e hlahlojwang bakeng sa sengolwa sa tshwaelo, tlhahlobo ya bongaka, setshwantsho sa tokomane se etsahalang se na le lebitso. Inkling ho gateway ya rona ha e na sehlophisi se jwalo ka pele ho yona. E sheba seo o se rometseng mme e araba potso eo o e botsitseng. Ke seo e leng sehlahiswa.
04Tlhahiso e hlophisitsweng: response_format e teng, json_schema ha e yo
Ke sebaka se le seng moo Inkling e nang le bokgoni bo tlase ho feta boholo ba lenane, mme ho molemo ho e rerela ho ena le ho e fumana tshebetsong.
| Bokgoni | inkling | Kimi-K2.6 | MiMo-V2.5 | Laguna-S-2.1 |
|---|---|---|---|---|
| Pono (kenyo ya setshwantsho) | E | E | E | Tjhe |
response_format | E | E | E | Tjhe |
json_schema | Tjhe | E | E | Tjhe |
| Ho bitsa disebediswa | E | E | E | E |
| Boiteko ba ho nahana | E | E | E | E |
response_format: {"type": "json_object"} e a sebetsa — o fumana JSON e nepahetseng sebopehong. Seo o sa se fumaneng ke ho hlahiswa ho tlangwang ke gramma kgahlanong le schema eo o e fanang, moo mokgethi o thibelwang ka nnete ho hlahisa token e tlolang sebopeho sa hao. Mabitso a masimo, boitsebiso ba enum, le ho ba teng ha dinotlolo tse hlokahalang ke kgetho ya model, e seng tiiso.
Ditsela tse tharo tsa ho phela le seo, ka tatellano e nyolohang ya botshepehi:
- Kopa schema ka prompt mme o netefatse. Beha schema promptong ya sistimi e le JSON ya sebele, o behe
response_formathojson_object, mme o netefatse karabo ka lehlakoreng la hao. Leka hape ha netefatso e hloleha, o kentse molaetsa wa phoso wa senetefatsi. Theko e tlase, e a sebetsa, e hloka tekanyetso ya ho leka hape. - Sebedisa tlhaloso ya sesebediswa e le schema. Ho bitsa disebediswa ho a tshehetswa, mme tlhaloso ya di-parameter tsa mosebetsi ke JSON Schema. Bolela sesebediswa se le seng se rehilweng ka ho ntsha hoo o ho batlang, o se qobelle, mme o bale dikgang. Hangata ena ke kgetho e matla ka ho fetisisa ho Inkling mme ha e o jese letho le eketsehileng.
- Arola mosebetsi ho di-model tse pedi. Etsa hore Inkling e etse pono le ho nahana ka mongolo, ebe o fa mongolo oo ho
MiMo-V2.5-W8A16ka $0.50 / $2.00 kajson_schemaya sebele bakeng sa mokgahlelo wa ho hlophisa. Dipitso tse pedi, empa ya bobedi e theko e tlase, e tsitsitseng sebopehong, mme model e lokelang ho ba bohlale ke eo e boneng setshwantsho.
Kgetho ya 3 ke mokgwa oo re ka o kgothalletsang mokolokong ofe kapa ofe wa ho ntsha wa palo e kgolo. Lefa theko e phahameng feela bakeng sa mohato o e hlokang.
05Theko e phahameng e reka eng?
Ka $1.42 kenyo / $6.07 tlhahiso ka di-token tse milione, Inkling e dula ka boomo bohareng ba lenane la rona. Tse tsheletseng ho tse leshome le metso e mmedi di moeding wa $0.50 / $2.00. Kimi-K3 — e ka pele, e boetseng e bona — ke $3.83 / $19.12. Inkling ke hoo e ka bang makgetlo a mararo a moedi tlhahisong mme ke hoo e ka bang karolo ya boraro ya e ka pele.
Theko ya tlhahiso, USD ka di-token tse 1M, ditekanyo tsa lenane tsa Shannon AI Gateway, Loetse 2026. Bophara ba bar bo lekana le theko; e telele e bolela theko e phahameng.
Bona ho bala ho tshepahalang ha moo theko eo e phahameng e lokelwang teng — le moo e sa lokelweng.
| Mosebetsi | Sebedisa Inkling? | Hobaneng |
|---|---|---|
| Ho nahana ka chate / setshwantsho sa moralo | E | Dipalo tse phatlaladitsweng tsa CharXiv le MMMU Pro ke tseo motheo ona o matla ka ho fetisisa ho tsona. |
| Di-agent tse tsamaiswang ke di-screenshot | E | Pono hammoho le ho bitsa disebediswa hammoho le nalane ya 262K ho model e le nngwe, ha ho ho fetisetsa. |
| Ditokomane tse telele tse nang le ditshwantsho | E | Mongolo le ditshwantsho di arolelana decoder e le nngwe le fensetere e le nngwe ya context. |
| Tlhahiso ya mongolo o tlwaelehileng | Tjhe | Di-model tse tsheletseng ka $0.50 / $2.00 di etsa sena. O lefella tsela ya pono eo o sa e biletseng. |
| Ho ntsha ka schema ka bongata | Tjhe | Ha ho json_schema. MiMo-V2.5 e theko e tlase mme e tlangwa. |
| Sedulo se phahameng ka ho fetisisa | Tjhe | Kimi-K3 ke e ka pele. Lefa makgetlo a 3.1 haeba sedulo e le tshitiso. |
| Pono e theko e tlase ka ho fetisisa | Tjhe | MiniMax-M3 e na le pono ka $0.50 / $2.00. Qala moo, o nyolohe haeba boleng bo o qobella. |
Bala seo e le molao wa ho keta, e seng maemo. Inkling e nepahetse bakeng sa sebaka se patisitseng sa mosebetsi ho feta kamoo leqephe la papatso le neng le tla bolela, mme ka hare ho sebaka seo ho thata ho e hlola ka theko. Ka ntle ho sona, re ka rata ho o rekisetsa model e theko e tlase mme ra o boloka.
json_schema — sebaka sa pele sa tlhaho pele o nyoloha. Sheba karete ya model ya MiniMax-M3 e se nang thibelo ho bona hore na tse pedi di fapana jwang tshebetsong.
06Fensetere ya context ya 262K, le se hlileng se lekanang
Di-model tsohle tse leshome le metso e mmedi ho gateway di fanwa ka context ya kenyo ya di-token tse 262,144 le tlhahiso e phahameng ya di-token tse 16,384 ka kopo. E tshwana ka boomo: ho sebetsa ha context ho lokela ho se ke ha eba lekala la model ka nngwe khoutung ya hao, mme ho fetola inkling ho ba MiniMax-M3 faeleng ya tlhophiso ho lokela ho se fetole seo se lekanang ka setu.
Hlokomela sekgeo kgahlanong le motheo o phatlaladitsweng: Thinking Machines e ngola Inkling ka di-token tse 1,048,576, mme rona re fana ka karolo ya 262K ya tsona. Haeba o na le mosebetsi wa sebele wa kopo e le nngwe ya di-token tse milione, ha re sebaka sa wona, mme ho molemo hore o tsebe pele o aha.
Bakeng sa boholo ho 262K: PDF ya boenjiniere ya maqephe a 400 le ditshwantsho tsa yona, sebokelli sa khoutu sa boholo bo bohareng, dihora tse mmalwa tsa mongolo wa puisano, kapa tshebetso e telele ya agent e jereng diphetho tsa disebediswa tse mashome le di-screenshot tse seng kae — se seng le se seng se lekana kopong e le nngwe. Ho model e bonang, hopola hore ditshwantsho le tsona di ja context; screenshot e teteaneng ha e mahala, mme tshebetso e phallisang di-frame e tlatsa fensetere ka potlako ho feta e ya mongolo feela. Moaho o tsamaellana le sena hantle: mokgwa wa 5:1 wa fensetere e thellang ho ya ho e akaretsang o bolela hore marallo a mangata a shebana le boahisani ba di-token tse 512, ka marallo a akaretsang a kgutlisang sebopeho sa sebaka se seholo ka nako le nako.
07Boiteko ba ho nahana: ho lefella ho nahana feela ha o ho hloka
Inkling e pepesa boiteko ba ho nahana bo laolehang — e nngwe ya diheke tse molemo ka ho fetisisa lenaneng. Model e kaholimo e amohela maemo ho tloha ho none le minimal ho feta ho low, medium, high, xhigh, ho fihla ho max, a pepeswa dipuong tsohle tse tharo ka parameter e tlwaelehileng ya reasoning_effort.
{
"model": "inkling-W4A16-AUTOROUND-REAP",
"reasoning_effort": "low",
"messages": [ ... ]
}Ena ke heke ya theko e nang le meno, hobane di-token tsa ho nahana di lefiswa e le di-token tsa tlhahiso ka $6.07 ka milione. Thinking Machines e tlaleha hore ho Terminal Bench 2.1 Inkling e fihla dintlheng tse lekanang le tsa Nemotron 3 Ultra ka hoo e ka bang karolo ya boraro ya di-token — tshebediso e ntle ya di-token ke sepheo se boletsweng sa moralo wa sistimi ya boiteko, e seng kotsi.
Tshebetsong: matha low kapa minimal bakeng sa ho ngola ditlhaloso, ho hlophisa, le ho ntsha ho bonolo, moo karabo e leng setshwantshong mme ho se na kgoele ya ho nahana e hlokahalang. Boloka high le tse kaholimo bakeng sa ho nahana ka dichate, papiso ya pono ya mehato e mengata, le mekgahlelo ya di-agent moo mohato o fosahetseng o bohareng o leng theko e phahameng. Dihlopha tse ngata ha di ke di behe parameter ho hang, mme di siya phapang ya theko ya tlhahiso ya makgetlo a mmalwa tafoleng.
08Seo "e se nang thibelo" e se bolelang mona — le seo e sa se bolelang
Ka ho hlaka: re matha model ena ntle le lera la ho hana le ntle le ho sefuwa ha tlhahiso. Ha ho sehlophisi se balang prompt ya hao mme se etsa qeto ya hore na model e ka araba, ebile ha ho se seng se balang karabo pele e phalla. Ha model e sa tsitsa kapa e hloka tsebo, e a bolela — eo ke model, e seng leano. Seo o sa tlong ho se fumana ke kgano e sa nahanweng hodima sehlooho seo sehlahiswa sa sechaba se se nkang se sa dumellwang.
Bakeng sa pono ena ke tseko yohle ya boleng. Dihlophisi tsa ditshwantsho ka pele ho di-API tsa pono ha di nepahala, mme sekgahla sa dipalo tse fosahetseng se wela ka matla mosebetsing wa ditsebi o hlokang bokgoni bona ka ho fetisisa: dipatlisiso tsa tshireletso, maemo a bongaka, boralitaba le forensic, tshwaelo ya difilimi le ya bonono, disebediswa tsa taolo ya dikahare tse tlamehang ho sheba ntho eo di e laolang. Sebaka se hanang ka mofuta se ke ke sa sebeletsa le e nngwe ya tsona ka botshepehi.
Ditlhokomediso tse pedi tse tshepahalang. Sa pele, Thinking Machines e phatlalatsa ditlhahlobo tsa tshireletso bakeng sa tshebediso ya bona ya tshupiso — 78.0% ho FORTRESS ya adversarial, 95.9% ho FORTRESS ya benign, 98.6% ho StrongREJECT. Dipalo tseo di hlalosa mokoloko wa bona ka diteho tsa bona di le teng. Ha di hlalose wa rona, mme re ke ke ra di qotsa jwalokaha eka di etsa jwalo. Re tlositse lera leo dipalo tseo di le lekanyang ka karolo e nngwe; ke seo e leng sehlahiswa, le boikarabelo.
Sa bobedi, "ha ho lera la ho hana" ha se "ha ho melao." Shannon Lab LLC e sebetsa tlasa Leano la Tshebediso e Nang le Boikarabelo le molao o sebetsang wa Amerika. Ho tlosa sehlophisi ho fetisetsa kahlolo ho wena, ha ho e hlakole. Haeba o aha hodima sena, bala leano pele o hola.
09Ho qala
Base URL e tshwanang, senotlolo se tshwanang, dipuo tse tharo. Haeba khoutu ya hao e se e bitsa OpenAI, Anthropic, kapa Responses API, ho fetola mohala wa model hangata ke phallo yohle.
from openai import OpenAI
client = OpenAI(
base_url="https://api.shannon-ai.com/v1",
api_key=SHANNON_API_KEY,
)
stream = client.chat.completions.create(
model="inkling-W4A16-AUTOROUND-REAP",
messages=[{"role": "user", "content": [
{"type": "text", "text": "What does this figure actually show?"},
{"type": "image_url", "image_url": {"url": image_data_url}},
]}],
reasoning_effort="high",
max_tokens=4000,
stream=True,
)
for chunk in stream:
delta = chunk.choices[0].delta.content
if delta:
print(delta, end="")Tshupiso e felletseng ya di-parameter, dibopeho tsa /v1/messages le /v1/responses, mefuta ya diketsahalo tsa ho phalla, le sebaka sa ho leka se phelang di ditokomaneng tsa API. Dikarete tsa di-model tse ding tse leshome le motso o mong di ho Dipatlisiso tsa Shannon.
Palo e nngwe le e nngwe ya motheo le ya mokgwa e ka hodimo e tswa mohloding wa mantlha wa sechaba. Ha ho letho mona e leng tekanyetso e lekantsweng ke Shannon, mme ha re le hlahise jwalo — sheba tsa mantlha.
Dipalo tsa motheo ke dipalo tse phatlaladitsweng tsa Thinking Machines Lab bakeng sa checkpoint ya Inkling e sa pitikwang mme di hlalosa sedulo sa lelapa, e seng moaho wa rona o pitikilweng. Ditheko le ditshwao tsa bokgoni ke ditekanyo tsa lenane tsa Shannon AI Gateway ho tloha ka Loetse 2026.
10Dipotso tse botswang hangata
API ya model ya Inkling e se nang thibelo ke eng?
Ke tshebediso ya Shannon AI ya Inkling, MoE ya di-parameter tse 975B ya di-weight tse bulehileng e lokollotsweng ke Thinking Machines Lab ka la 15 Phupu 2026. Re fana ka yona e le inkling-W4A16-AUTOROUND-REAP ka context ya di-token tse 262,144, kenyo ya setshwantsho, ho bitsa disebediswa, le taolo ya boiteko ba ho nahana, sehlopheng sa rona sa di-GPU, ntle le lera la ho hana le ntle le ho sefuwa ha tlhahiso.
Na Inkling e tshehetsa kenyo ya setshwantsho ho API ya Shannon?
E — ke e nngwe ya di-model tse nne tse bonang lenaneng. Romela karolo ya dikahare ya image_url ho /v1/chat/completions, kapa block ya image ho /v1/messages. Ka ho hloka lera la ho hana, e hlalosa se ka hare ho frame ho ena le ho hana ka mofuta.
Na Inkling e tshehetsa tlhahiso e hlophisitsweng ya json_schema?
Tjhe. response_format e a sebetsa bakeng sa mokgwa wa ntho ya JSON; json_schema e tiisitsweng ke gramma ha e sebetse. Sebedisa Kimi-K2.6 kapa MiMo-V2.5 haeba o e hloka, kapa ho Inkling o sebedise tlhaloso ya sesebediswa e qobellwang e le schema ya hao mme o netefatse ka lehlakoreng la hao.
W4A16-AUTOROUND-REAP e bolelang?
Di-weight tsa di-bit tse 4 le ho sebetsa ha di-bit tse 16; AutoRound (Intel) e ithuta ho potoloha le ho poma ka signed gradient descent ho ena le ho potolohela ho ho haufi; le REAP (Cerebras) ho poma ka mohato o le mong ha ditsebi tsa MoE tse bohlokwa ho fokolang tse behilweng maemong ka boleng ba heke ya router le ditekanyo tsa ho sebetsa.
E bitsa bokae, mme na theko e phahameng e a lokelwa?
$1.42 kenyo / $6.07 tlhahiso ka di-token tse milione — hoo e ka bang makgetlo a 3 a boemo ba rona bo tlase le hoo e ka bang karolo ya boraro ya Kimi-K3 e ka pele. E lokelwa bakeng sa ho nahana ka dichate, di-agent tsa di-screenshot, le ditokomane tse tletseng ditshwantsho. Ha e lokelwe bakeng sa mongolo o tlwaelehileng kapa ho ntsha ka schema ka bongata.
Fensetere ya context ke efe?
Di-token tsa kenyo tse 262,144 le di-token tsa tlhahiso tse 16,384 ka kopo, tse tshwanang ho pholletsa le di-model tsohle tse leshome le metso e mmedi. Motheo o kaholimo o ngola di-token tse 1,048,576; rona re fana ka karolo ya 262K hore boitshwaro ba context bo se ke ba fetoha taba e ikgethileng ya model ka nngwe.
Leka API ya Inkling e se nang thibelo
Pono, context ya 262K, dipuo tse tharo tsa API, ha ho lera la ho hana.
Bala Ditokomane tsa API Sheba Dikarete Tsohle tsa di-ModelShannon Lab LLC · New Mexico, USA · e sebetsa tlasa Leano la rona la Tshebediso e Nang le Boikarabelo
Mehlodi: Thinking Machines Lab — Ho hlahisa Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — dintlha tsa moaho le tsa ditekanyetso tsa Inkling. Ditekanyetso tsa motheo di tlalehilwe ke laboratori bakeng sa checkpoint e sa pitikwang.