L-API Bla Ċensura ta' Inkling

Il-biċċa l-kbira tat-tnax-il mudell fuq il-gateway tagħna huma test biss. Erbgħa mhumiex, u fost dawk l-erbgħa Inkling għandha pożizzjoni speċifika: il-mudell viżiv li tmur għalih meta l-istampa hi l-parti diffiċli tal-problema imma l-baġit ma jiflaħx flagship. Din il-karta tkopri minn fejn ġejja l-fondazzjoni, x'għamlilha s-suffiss W4A16-AUTOROUND-REAP, x'se tagħmel u ma tagħmilx fuq l-API, u — b'onestà — meta mudell irħas fl-istess katalgu hu l-għażla aħjar.

01X'inhi Inkling, u min bnieha?

Inkling hi l-ewwel mudell b'piżi miftuħa minn Thinking Machines Lab, ippubblikata fil-15 ta' Lulju 2026. B'differenza mill-biċċa l-kbira tar-rilaxxi ppożizzjonati bħala "miftuħa," ħarġet b'piżi kompluti li tista' tniżżel minn Hugging Face u appoġġ mill-ewwel jum fi transformers, SGLang, vLLM, u llama.cpp — li hu kif saret tista' taħdem fuq infrastruttura bħal tagħna. In-numri prinċipali, mill-materjal tar-rilaxx ta' Thinking Machines stess:

Dak hu layout spars ta' Taħlita ta' Esperti: 66 saff ta' decoder b'daqs moħbi ta' 6,144, l-ewwel tnejn densi, il-64 li fadal iġorru 256 espert routjati flimkien ma' 2 esperti kondiviżi, b'6 esperti routjati attivi għal kull token. Madwar 4% tal-parametri jaħdmu fuq kwalunkwe token — u dan hu li jagħmel mudell qrib it-triljun parametru trattabbli biex jinqeda bħala API.

Żewġ għażliet arkitettoniċi huma stramba biżżejjed biex jissemmew. L-attenzjoni hi interleaved — 55 saff ta' attenzjoni b'tieqa scorrevoli fuq tieqa ta' 512-token kontra 11-il saff globali, f'pattern ripetut ta' 5:1. U Inkling ma tużax RoPE: tuża bias ta' pożizzjoni relattiva mgħallem u dipendenti mill-input, flimkien ma' konvoluzzjonijiet kawżali qosra fuq il-projezzjonijiet key/value u l-fergħat residwi. In-noti arkitettoniċi ta' Sebastian Raschka jimmarkaw it-tnejn bħala tluq reali mir-riċetta standard tal-2026. It-taħriġ uża Muon għall-parametri tal-matriċi kbar u Adam għall-bqija, imbagħad aktar minn 30 miljun rollout asinkroni ta' RL fil-post-taħriġ.

Il-punt għal min juża l-API mhuwiex it-trivia. Hu li din hi fondazzjoni fuq skala tal-fruntiera, nattivament multimodali imħarrġa fuq 45 triljun token li jkopru test, immaġni, awdjo u vidjo — mhux mudell ta' test b'adapter viżiv miżjud aktar tard. L-immaġni huma kkodifikati bħala patches ta' pixels ta' 40×40 permezz ta' patchifier ta' MLP ġerarkiku b'erba' saffi u pproċessati flimkien mat-test fl-istess decoder. Il-fehim viżiv kien fl-objettiv tal-pretraining.

02X'ifisser W4A16-AUTOROUND-REAP?

Tliet tekniki separati huma stacked f'dak is-suffiss, u jagħmlu xogħlijiet differenti. Jiswa li tifhimhom, għax is-suffiss hu l-akbar differenza waħda bejn il-mudell li ssejjaħ fuq l-API tagħna u l-checkpoint li ppubblikat Thinking Machines.

REAP — tqaċċit tal-esperti li ħadd ma jibgħatlhom xogħol

REAP hu Router-weighted Expert Activation Pruning, minn Cerebras Research (arXiv 2510.13999, aċċettat għall-ICLR 2026). F'MoE b'256 espert għal kull saff ir-router ma jqassamx ix-xogħol b'mod ugwali: xi esperti jintlaqtu kontinwament, oħrajn jaħdmu rari u jikkontribwixxu ftit meta jagħmlu. REAP jiskorja kull espert fuq iż-żewġ il-valuri tal-gate tar-router u n-normi tal-attivazzjoni tal-espert — espert magħżul spiss imma li jikkontribwixxi aġġornamenti ta' manjitudni żgħira jgħodd inqas milli l-għadd tiegħu ta' għażliet jissuġġerixxi — u jneħħi dawk bl-inqas salenza f'daqqa waħda, qabel il-kwantizzazzjoni.

Ir-raġuni għaliex nużaw it-tqaċċit minflok it-tħallit tal-esperti aktar fis-moda hi li t-tnejn jiddevjaw skont it-tip ta' xogħol. It-tħallit jidher kompetittiv fuq benchmarks diskriminattivi u jaqa' fuq dawk ġenerattivi. L-awturi ta' REAP jirrapportaw li t-tqaċċit iżomm il-kwalità aħjar eżatt fuq ix-xogħlijiet li għalihom in-nies jixtru API — sinteżi tal-kodiċi, sejħa ta' għodod, raġunament b'ħafna turns — f'ratios ta' kompressjoni ta' aktar minn 50%, fuq mudelli minn 20B sa 1T parametru. It-tħallit jeqred l-ispeċjalizzazzjoni tar-router; it-tqaċċit iħalli l-esperti superstiti u r-routing bejniethom intatt.

AutoRound — titgħallem fejn tqarrab

AutoRound hu l-metodu ta' kwantizzazzjoni ta' wara t-taħriġ ta' Intel (arXiv 2309.05516, ippubblikat bħala SignRound). It-tqarrib naiv iqarreb kull piż lejn l-eqreb valur ta' 4-bit rappreżentabbli — default raġonevoli u wieħed ħażin fuq skala kbira, għax l-iżbalji tat-tqarrib mhumiex indipendenti u jakkumulaw tul stack ta' 66 saff. AutoRound jittratta d-deċiżjoni tat-tqarrib bħala ħaġa x'tottimizza: gradient descent b'sinjal jottimizza flimkien id-direzzjoni tat-tqarrib u l-medda tal-clipping tal-piżi fuq madwar mitejn pass, jissellef il-preċiżjoni tat-taħriġ konxju tal-kwantizzazzjoni mingħajr taħriġ mill-ġdid. Intel jirrapporta l-akbar qligħ f'settings ta' bits baxxi ħafna u vantaġġ kompetittiv fl-INT4.

W4A16 — fejn imorru l-bits

W4A16 hu l-format numeriku: piżi ta' 4-bit, attivazzjonijiet ta' 16-bit. Il-piżi — li jiddominaw il-memorja f'mudell ta' 975B — jonqsu għal madwar kwart tal-ispazju ta' BF16, filwaqt li l-aritmetika tibqa' f'16-il bit. Dak il-qsim jgħodd għal mudell viżiv speċifikament: skemi kwantizzati fuq l-attivazzjonijiet jagħmlu ħsara eżatt lix-xogħol numeriku fin li fuqu jiddependi l-fehim tal-immaġni — li taqra tikketta żgħira ta' assi, tirriżolvi linja rqiqa f'dijagramma, tissepara żewġ tonalitajiet simili. Iż-żamma tal-attivazzjonijiet f'16-il bit tiswa bandwidth u tixtri lura preċiżjoni fejn xogħol viżiv jinnotaha.

Flimkien, it-tlieta jagħtuk mudell li jidħol u jibqa' malajr mingħajr l-irdif fil-kwalità tal-livell aggressiv 3BIT-REAP li nużaw fuq l-akbar fondazzjonijiet. Dak hu t-tpartit li l-prezz jirrifletti.

03Viżjoni: API ta' analiżi ta' immaġni mingħajr rifjut

Inkling hi waħda minn erba' mudelli kapaċi ta' viżjoni fil-katalgu tagħna, flimkien ma' Kimi-K3, Kimi-K2.6, u MiniMax-M3. Ir-riżultati viżivi ppubblikati tal-mudell bażi, mir-rilaxx ta' Thinking Machines, huma 73.3% fuq MMMU Pro (Standard 10) u 78.1% fuq mistoqsijiet ta' raġunament CharXiv — jitilgħu għal 82.0% meta l-mudell jitħalla jħaddem Python kontra ċ-chart. Dawk huma ċ-ċifri tal-lab stess għall-checkpoint mhux kwantizzat; ittrattahom bħala s-saqaf tal-familja, mhux kejl tal-build tagħna.

CharXiv jiswa li tieqaf fuqu, għax jimmappja fuq għaliex in-nies jixtru API viżiva minflok servizz OCR. Jittestja r-raġunament fuq charts xjentifiċi — li taqra valur minn assi, tqabbel żewġ serje, tinnota li xejra tinqaleb. Mhux "x'test hemm f'din l-immaġni" imma "x'jgħid dan il-figura, u l-pretensjoni żżomm." Dak hu li jiġġustifika li tibgħat stampa lil mudell ta' raġunament ta' 975B minflok captioner żgħir.

Li tibgħat immaġni hu xogħol ordinarju kompatibbli ma' OpenAI — parti ta' kontenut image_url fuq /v1/chat/completions, blokka image fl-istil ta' Anthropic fuq /v1/messages, jew l-ekwivalenti fuq /v1/responses. It-tliet djaletti kollha jilqtu l-istess piżi u t-tliet kollha jagħmlu streaming; agħżel liema tkun diġà titkellem l-SDK eżistenti tiegħek. Eżempju maħdum hu fit-taqsima 09.

Il-parti bla ċensura tgħodd aktar għall-viżjoni milli għat-test. Saff ta' rifjut fuq endpoint viżiv hu insolitament goff, għax tipikament jikklassifika l-immaġni qabel ma l-mudell irraġuna dwar it-talba. Xogħol leġittimu jinqabad kontinwament: ritratt ta' ġerħa f'pipeline ta' noti kliniċi, screenshot forensiku f'rapport ta' inċident, frame minn film qed jiġi analizzat għal biċċa kritika, skan mediku, immaġni ta' dokument li jinżerta jkun fih isem. Inkling fuq il-gateway tagħna m'għandha ebda klassifikatur bħal dan quddiemha. Tħares lejn dak li bgħatt u twieġeb il-mistoqsija li staqsejt. Dak hu l-prodott.

04Output strutturat: response_format iva, json_schema le

Dan hu l-unika post fejn Inkling hi inqas kapaċi mill-biċċa l-kbira tal-katalgu, u aħjar tippjana għalih milli tiskoprih fil-produzzjoni.

Kapaċità	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Viżjoni (input ta' immaġni)	Iva	Iva	Iva	Le
response_format	Iva	Iva	Iva	Le
json_schema	Le	Iva	Iva	Le
Sejħa ta' għodod	Iva	Iva	Iva	Iva
Sforz ta' raġunament	Iva	Iva	Iva	Iva

response_format: {"type": "json_object"} jaħdem — tikseb JSON validu sintattikament. Dak li ma tiksibx hu decoding infurzat bi grammatika kontra skema li tipprovdi int, fejn is-sampler hu fiżikament imwaqqaf milli joħroġ token li jikser l-istruttura tiegħek. L-ismijiet tal-oqsma, is-sħubija fl-enum, u l-preżenza tal-key meħtieġa huma l-għażla tal-mudell, mhux garanzija.

Tliet modi kif tgħix ma' dan, f'ordni axxendenti ta' affidabbiltà:

1. Uża l-prompt bl-iskema u vvalida. Poġġi l-iskema fil-prompt tas-sistema bħala JSON litterali, issettja response_format għal json_object, u vvalida t-tweġiba n-naħa tiegħek. Erġa' pprova jekk il-validazzjoni tfalli, b'messaġġ tal-iżball tal-validatur miżjud. Irħis, jaħdem, jeħtieġ baġit ta' retries.
2. Uża definizzjoni ta' għodda bħala l-iskema. Is-sejħa ta' għodod hi appoġġjata, u d-definizzjoni tal-parametri ta' funzjoni hi JSON Schema. Iddikjara għodda waħda msemmija għall-estrazzjoni li trid, furzaha, u aqra l-argumenti. Din normalment hi l-aqwa għażla fuq Inkling u ma tiswiek xejn żejjed.
3. Aqsam ix-xogħol fuq żewġ mudelli. Ħalli lil Inkling tagħmel il-viżjoni u r-raġunament bi proża, imbagħad għaddi dik il-proża lil MiMo-V2.5-W8A16 fi $0.50 / $2.00 b'json_schema vera għall-pass tal-istrutturar. Żewġ sejħiet, imma t-tieni waħda hi rħisa, deterministika fil-forma, u l-mudell li jeħtieġ ikun intelliġenti hu dak li ra l-immaġni.

L-Għażla 3 hi l-pattern li nirrakkomandaw għal kwalunkwe pipeline ta' estrazzjoni ta' volum kbir. Ħallas il-premium biss għall-pass li jeħtieġu.

05X'jixtri l-premium tal-prezz?

Fi $1.42 dħul / $6.07 ħruġ għal kull miljun token, Inkling toqgħod deliberatament f'nofs il-katalgu tagħna. Sitta mit-tnax-il mudell huma fil-livell tal-qiegħ ta' $0.50 / $2.00. Kimi-K3 — il-flagship, ukoll kapaċi ta' viżjoni — hu $3.83 / $19.12. Inkling hi bejn wieħed u ieħor tliet darbiet il-qiegħ fuq l-output u bejn wieħed u ieħor terz tal-flagship.

Prezz tal-output, USD għal kull 1M token, rati tal-lista tal-Gateway ta' Shannon AI, Settembru 2026. Il-wisa' tal-bar hi proporzjonata mal-prezz; itwal ifisser aktar għali.

Hawn il-qari onest ta' fejn dak il-premium jaqla' postu — u fejn ma jaqlax.

Xogħol	Uża Inkling?	Għaliex
Raġunament ta' charts / dijagrammi	Iva	Iċ-ċifri ppubblikati ta' CharXiv u MMMU Pro huma fejn din il-fondazzjoni hi l-aktar b'saħħitha.
Aġenti mmexxija minn screenshots	Iva	Viżjoni flimkien ma' sejħa ta' għodod flimkien ma' 262K ta' storja f'mudell wieħed, ebda handoff.
Dokumenti twal b'figuri	Iva	It-test u l-immaġni jaqsmu decoder wieħed u tieqa ta' kuntest waħda.
Ġenerazzjoni ta' test sempliċi	Le	Sitt mudelli fi $0.50 / $2.00 jagħmlu dan. Qed tħallas għal triq viżiva li qatt ma ssejjaħ.
Estrazzjoni ta' skemi bl-ingrossa	Le	Ebda json_schema. MiMo-V2.5 hi irħas u limitata.
Saqaf assolut tal-fruntiera	Le	Kimi-K3 hi l-flagship. Ħallas it-3.1× jekk is-saqaf hu l-limitazzjoni.
L-irħas viżjoni possibbli	Le	MiniMax-M3 għandha viżjoni fi $0.50 / $2.00. Ibda minn hemm, itla' jekk il-kwalità tobbligak.

Aqraha bħala regola ta' routing, mhux klassifika. Inkling hi tajba għal firxa aktar dejqa ta' xogħol milli tiddikjara paġna tal-marketing, u f'dik il-firxa hi diffiċli tegħlibha fil-prezz. Barra minnha, aħjar nagħtuk il-mudell irħas u nżommuk.

06It-tieqa ta' kuntest ta' 262K, u x'jidħol tabilħaqq

It-tnax-il mudell kollha fuq il-gateway huma servuti b'kuntest ta' dħul ta' 262,144-token u output massimu ta' 16,384-token għal kull talba. Uniformi apposta: l-immaniġġjar tal-kuntest qatt m'għandu jsir fergħa għal kull mudell fil-kodiċi tiegħek, u l-bdil ta' inkling għal MiniMax-M3 f'fajl ta' konfigurazzjoni m'għandux b'mod siekt jibdel dak li jidħol.

Innota d-differenza mal-fondazzjoni ppubblikata: Thinking Machines tiddokumenta Inkling f'1,048,576 token, u aħna nservu biċċa ta' 262K minnhom. Jekk għandek xogħol ġenwin ta' talba waħda ta' miljun token, aħna mhux l-endpoint għalih, u aħjar tafu qabel tibni.

Għal skala fi 262K: PDF tekniku ta' 400 paġna bil-figuri tiegħu, codebase medju, ħafna sigħat ta' transkrizzjoni, jew sessjoni aġentika twila li ġġorr għexieren ta' riżultati ta' għodod u ftit screenshots — kull wieħed jidħol f'talba waħda. Fuq mudell viżiv, ftakar li l-immaġni jikkonsmaw il-kuntest ukoll; screenshot dens mhux b'xejn, u sessjoni li tagħmel streaming ta' frames timla t-tieqa aktar malajr minn waħda ta' test biss. L-arkitettura taqdi dan sew: il-pattern ta' 5:1 bejn it-tieqa scorrevoli u l-globali jfisser li l-biċċa l-kbira tas-saffi jattendu fi ħdan viċinat ta' 512-token, bis-saffi globali jerġgħu jġibu lura strutturi fit-tul perjodikament.

07Sforz ta' raġunament: tħallas għall-ħsieb biss meta teħtieġu

Inkling tesponi sforz ta' raġunament kontrollabbli — wieħed mill-aktar knobs utli fil-katalgu. Il-mudell upstream jaċċetta livelli minn none u minimal sa low, medium, high, xhigh, sa max, esposti fit-tliet djaletti kollha permezz tal-parametru standard reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Din hi lieva tal-kost b'saħħitha, għax it-tokens tar-raġunament huma fatturati bħala tokens tal-output fi $6.07 għal kull miljun. Thinking Machines jirrapporta li fuq Terminal Bench 2.1 Inkling tilħaq punteġġi komparabbli ma' Nemotron 3 Ultra b'madwar terz tat-tokens — l-effiċjenza tat-tokens hi għan iddikjarat tad-disinn tas-sistema tal-isforz, mhux inċident.

Fil-prattika: ħaddem low jew minimal għal captioning, klassifikazzjoni, u estrazzjoni sempliċi, fejn it-tweġiba hi fl-immaġni u ebda katina ta' inferenza mhi meħtieġa. Irriżerva high u aktar għar-raġunament ta' charts, tqabbil viżiv b'ħafna passi, u turns aġentiċi fejn pass intermedju ħażin hu għali. Il-biċċa l-kbira tat-timijiet qatt ma jissettjaw il-parametru, u jħallu differenza ta' bosta darbiet fil-kost tal-output fuq il-mejda.

08X'ifisser "bla ċensura" hawn — u x'ma jfissirx

B'mod konkret: naħdmu dan il-mudell b'ebda saff ta' rifjut u ebda filtrar fuq l-output. Ebda klassifikatur ma jaqra l-prompt tiegħek u jiddeċiedi jekk il-mudell jistax iwieġeb, u ebda wieħed ma jaqra t-tweġiba qabel tagħmel streaming. Meta l-mudell hu inċert jew m'għandux l-għarfien, jgħid hekk — dak hu l-mudell, mhux politika. Dak li mhux se tikseb hu ċaħda riflessiva fuq suġġett li prodott ġenerali għall-konsumatur jittratta bħala projbit.

Għall-viżjoni din hi l-proposta ta' valur kollha. Il-klassifikaturi ta' immaġni quddiem l-APIs viżivi mhumiex preċiżi, u r-rata ta' pożittivi foloz taqa' l-aktar fuq ix-xogħol professjonali li l-aktar jeħtieġ il-kapaċità: riċerka tas-sigurtà, kuntesti kliniċi, ġurnaliżmu u forensika, kritika taċ-ċinema u l-arti, għodod ta' moderazzjoni li jridu jħarsu lejn dak li jimmoderaw. Endpoint li jirrifjuta fuq kategorija ma jistax jaqdi lil ebda waħda minn dawn b'mod affidabbli.

Żewġ twissijiet onesti. L-ewwel, Thinking Machines jippubblika evalwazzjonijiet tas-sikurezza għad-deployment ta' referenza tagħhom — 78.0% fuq FORTRESS adversarju, 95.9% fuq FORTRESS beninju, 98.6% fuq StrongREJECT. Dawk iċ-ċifri jiddeskrivu l-istack tagħhom bil-guardrails tagħhom fis-seħħ. Ma jiddeskrivux tagħna, u m'aħniex se nikkwotawhom bħallikieku kienu. Neħħejna s-saff li dawk in-numri parzjalment ikejlu; dak hu l-prodott, u r-responsabbiltà.

It-tieni, "ebda saff ta' rifjut" mhuwiex "ebda regoli." Shannon Lab LLC topera taħt Politika ta' Użu Responsabbli u l-liġi applikabbli tal-Istati Uniti. It-tneħħija ta' klassifikatur tgħaddi l-ġudizzju lilek, ma tħassrux. Jekk qed tibni fuq dan, aqra l-politika qabel tiskala.

09Kif tibda

L-istess base URL, l-istess key, tliet djaletti. Jekk il-kodiċi tiegħek diġà jsejjaħ OpenAI, Anthropic, jew ir-Responses API, il-bdil tal-istring tal-mudell normalment hu l-migrazzjoni kollha.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Referenza sħiħa tal-parametri, il-forom ta' /v1/messages u /v1/responses, il-formati tal-avvenimenti ta' streaming, u playground ħaj huma fid-dokumentazzjoni tal-API. Il-karti tal-mudelli għall-ħdax-il mudell l-oħra huma f'Shannon Research.

Iċ-ċifri tal-fondazzjoni huma n-numri ppubblikati ta' Thinking Machines Lab għall-checkpoint mhux kwantizzat ta' Inkling u jiddeskrivu s-saqaf tal-familja, mhux il-build kwantizzat tagħna. Il-prezzijiet u l-bnadar tal-kapaċità huma valuri tal-lista tal-Gateway ta' Shannon AI minn Settembru 2026.

10Mistoqsijiet frekwenti

---

Sorsi: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — noti dwar l-arkitettura u l-benchmarks ta' Inkling. Il-benchmarks tal-fondazzjoni huma rrapportati mil-lab għall-checkpoint mhux kwantizzat.