API Model Inkling Heb Sensoriaeth

Testun-yn-unig yw'r rhan fwyaf o'r deuddeg model ar ein porth. Nid yw pedwar ohonynt, ac ymhlith y pedwar hynny mae gan Inkling safle penodol: y model gweledol yr estynnwch amdano pan mai'r llun yw rhan anodd y broblem ond nad yw'r gyllideb yn ymestyn at long flaenllaw. Mae'r cerdyn hwn yn ymdrin â ble mae'r sylfaen yn dod ohono, beth wnaeth yr ôl-ddodiad W4A16-AUTOROUND-REAP iddo, beth y bydd ac na fydd yn ei wneud ar wyneb yr API, ac — yn onest — pryd mae model rhatach yn yr un catalog yn ddewis gwell.

01Beth yw Inkling, a phwy a'i hadeiladodd?

Inkling yw'r model pwysau agored cyntaf gan Thinking Machines Lab, a gyhoeddwyd ar 15 Gorffennaf 2026. Yn wahanol i'r rhan fwyaf o ryddhadau a osodir fel rhai "agored", daeth gyda phwysau y gellir eu llwytho i lawr yn llawn ar Hugging Face a chefnogaeth o'r diwrnod cyntaf yn transformers, SGLang, vLLM a llama.cpp — dyna sut y daeth yn bosibl ei redeg ar seilwaith fel ein rhai ni o gwbl. Y ffigurau pennawd, o ddeunydd rhyddhau Thinking Machines eu hunain:

Cynllun Cymysgedd-o-Arbenigwyr tenau yw hwnnw: 66 haen ddatgodio ar faint cudd o 6,144, y ddwy gyntaf yn ddwys, a'r 64 sy'n weddill yn cario 256 o arbenigwyr llwybredig ynghyd â 2 arbenigwr a rennir, gyda 6 arbenigwr llwybredig yn weithredol fesul tocyn. Mae tua 4% o'r paramedrau'n tanio ar unrhyw docyn penodol — dyna sy'n gwneud model bron â bod yn driliwn o baramedrau'n ymarferol i'w weini o gwbl.

Mae dau ddewis pensaernïol yn ddigon anarferol i'w henwi. Mae'r sylw'n gydblethedig — 55 haen o sylw ffenestr lithro dros ffenestr 512 tocyn yn erbyn 11 haen fyd-eang, mewn patrwm ailadroddol 5:1. Ac nid yw Inkling yn defnyddio RoPE: mae'n defnyddio gogwydd safle cymharol wedi'i ddysgu sy'n dibynnu ar y mewnbwn, ochr yn ochr â chylchdroadau achosol byr ar y tafluniadau allwedd/gwerth ac ar y canghennau gweddilliol. Mae nodiadau pensaernïaeth Sebastian Raschka yn nodi'r ddau fel gwyriadau go iawn oddi wrth rysáit safonol 2026. Defnyddiodd yr hyfforddiant Muon ar gyfer y paramedrau matrics mawr ac Adam ar gyfer y gweddill, ac yna dros 30 miliwn o rediadau RL anghydamserol yn yr ôl-hyfforddi.

Nid y manylion difyr yw'r pwynt i ddefnyddiwr API. Y pwynt yw mai sylfaen ar raddfa'r ffin, amlfoddol yn frodorol yw hon, wedi'i hyfforddi ar 45 triliwn o docynnau sy'n rhychwantu testun, delweddau, sain a fideo — nid model testun ag addasydd gweledol wedi'i folltio arno'n hwyrach. Amgodir delweddau fel clytiau 40×40 picsel trwy glytiwr MLP hierarchaidd pedair haen ac fe'u prosesir ar y cyd â thestun yn yr un datgodiwr. Roedd deall gweledol yn yr amcan rhaghyfforddi.

02Beth mae W4A16-AUTOROUND-REAP yn ei olygu?

Mae tair techneg ar wahân wedi'u pentyrru yn yr ôl-ddodiad hwnnw, ac maent yn gwneud gwaith gwahanol. Mae'n werth eu deall, oherwydd yr ôl-ddodiad yw'r gwahaniaeth mwyaf unigol rhwng y model a alwch ar ein API a'r pwynt gwirio a gyhoeddodd Thinking Machines.

REAP — tocio'r arbenigwyr nad oes neb yn eu llwybro

REAP yw Tocio Actifadu Arbenigwyr wedi'i Bwysoli gan y Llwybrydd, gan Cerebras Research (arXiv 2510.13999, a dderbyniwyd i ICLR 2026). Mewn MoE gyda 256 o arbenigwyr fesul haen nid yw'r llwybrydd yn dosbarthu'r gwaith yn gyfartal: mae rhai arbenigwyr yn cael eu taro'n gyson, mae eraill yn tanio'n brin ac yn cyfrannu ychydig pan wnânt. Mae REAP yn sgorio pob arbenigwr ar werthoedd giât y llwybrydd a normau actifadu'r arbenigwr — mae arbenigwr a ddewisir yn aml ond sy'n cyfrannu diweddariadau bach eu maintioli yn llai pwysig nag y byddai ei gyfrif dewis yn awgrymu — ac yn gollwng y rhai amlygrwydd isel mewn un ergyd, cyn y cwanteiddio.

Y rheswm dros ddefnyddio tocio yn hytrach na'r cyfuno arbenigwyr mwy ffasiynol yw bod y ddau'n gwahanu yn ôl math y dasg. Mae cyfuno'n edrych yn gystadleuol ar feincnodau gwahaniaethol ac yn chwalu ar rai cynhyrchiol. Mae awduron REAP yn adrodd bod tocio'n cadw ansawdd yn well ar union y llwythi gwaith y mae pobl yn prynu API ar eu cyfer — synthesis cod, galw offer, rhesymu aml-dro — ar gymarebau cywasgu heibio 50%, ar draws modelau o 20B i 1T o baramedrau. Mae cyfuno'n dinistrio arbenigedd y llwybrydd; mae tocio'n gadael yr arbenigwyr sy'n goroesi a'r llwybro rhyngddynt yn gyfan.

AutoRound — dysgu ble i dalgrynnu

AutoRound yw dull cwanteiddio ôl-hyfforddi Intel (arXiv 2309.05516, a gyhoeddwyd fel SignRound). Mae cwanteiddio naïf yn talgrynnu pob pwysau i'r gwerth 4-did agosaf y gellir ei gynrychioli — rhagosodiad rhesymol ac un gwael ar raddfa, oherwydd nid yw gwallau talgrynnu'n annibynnol ac maent yn cronni trwy bentwr o 66 haen. Mae AutoRound yn trin y penderfyniad talgrynnu fel rhywbeth i'w optimeiddio: mae disgyniad graddiant arwyddedig yn tiwnio cyfeiriad y talgrynnu ac ystodau clipio'r pwysau gyda'i gilydd dros ryw ddau gant o gamau, gan fenthyca cywirdeb hyfforddiant ymwybodol o gwanteiddio heb ail-hyfforddi. Mae Intel yn adrodd yr enillion mwyaf ar leoliadau did isel eithafol ac ymyl cystadleuol ar INT4.

W4A16 — ble mae'r didau'n mynd

W4A16 yw'r fformat rhifyddol: pwysau 4-did, actifadau 16-did. Mae'r pwysau — sy'n dominyddu'r cof mewn model 975B — yn crebachu i tua chwarter ôl troed BF16, tra bod y rhifyddeg yn aros ar 16 did. Mae'r rhaniad hwnnw o bwys yn benodol i fodel gweledol: mae cynlluniau sy'n cwanteiddio'r actifadau'n brifo'n union y gwaith rhifyddol manwl y mae deall delweddau'n dibynnu arno — darllen label echelin fach, datrys llinell denau mewn diagram, gwahanu dau arlliw tebyg. Mae cadw'r actifadau ar 16 did yn costio lled band ac yn prynu manwl gywirdeb yn ôl lle mae llwyth gwaith gweledol yn sylwi.

Wedi'u pentyrru, mae'r tair yn rhoi model sy'n ffitio ac yn aros yn gyflym heb glogwyn ansawdd yr haen ymosodol 3BIT-REAP a ddefnyddiwn ar y sylfeini mwyaf oll. Dyna'r fasnach y mae'r pris yn ei hadlewyrchu.

03Gweledol: API dadansoddi delweddau heb wrthodiadau

Mae Inkling yn un o bedwar model â gallu gweledol yn ein catalog, ochr yn ochr â Kimi-K3, Kimi-K2.6 a MiniMax-M3. Canlyniadau gweledol cyhoeddedig y model sylfaenol, o ryddhad Thinking Machines, yw 73.3% ar MMMU Pro (Standard 10) a 78.1% ar gwestiynau rhesymu CharXiv — gan godi i 82.0% pan ganiateir i'r model redeg Python yn erbyn y siart. Ffigurau'r labordy ei hun ar gyfer y pwynt gwirio heb ei gwanteiddio yw'r rheini; triniwch nhw fel nenfwd y teulu, nid fel mesuriad o'n hadeiladwaith ni.

CharXiv yw'r un sy'n werth aros arno, oherwydd mae'n mapio ar pam y mae pobl yn prynu API gweledol yn hytrach na gwasanaeth OCR. Mae'n profi rhesymu dros siartiau gwyddonol — darllen gwerth oddi ar echelin, cymharu dwy gyfres, sylwi ar dueddiad yn gwrthdroi. Nid "pa destun sydd yn y ddelwedd hon" ond "beth mae'r ffigur hwn yn ei honni, ac a yw'r honiad yn dal". Dyna sy'n cyfiawnhau anfon llun at fodel rhesymu 975B yn lle capsiynwr bach.

Mae anfon delwedd yn waith cyffredin cydnaws ag OpenAI — rhan gynnwys image_url ar /v1/chat/completions, bloc image arddull Anthropic ar /v1/messages, neu'r cyfwerth ar /v1/responses. Mae'r tair tafodiaith yn taro'r un pwysau ac mae'r tair yn ffrydio; dewiswch pa un bynnag y mae eich SDK presennol eisoes yn ei siarad. Mae enghraifft wedi'i gweithio yn adran 09.

Mae'r rhan heb sensoriaeth yn bwysicach ar gyfer gweledol nag ar gyfer testun. Mae haen wrthod ar bwynt terfyn gweledol yn anarferol o ddi-fin, oherwydd fel rheol mae'n dosbarthu'r ddelwedd cyn i'r model resymu am y cais. Mae gwaith cyfreithlon yn cael ei ddal drwy'r amser: llun clwyf mewn piblinell nodiadau clinigol, sgrinlun fforensig mewn adroddiad digwyddiad, ffrâm o ffilm sy'n cael ei dadansoddi ar gyfer darn beirniadaeth, sgan meddygol, delwedd o ddogfen sy'n digwydd cynnwys enw. Nid oes dosbarthwr o'r fath o flaen Inkling ar ein porth. Mae'n edrych ar yr hyn a anfonoch ac yn ateb y cwestiwn a ofynnoch. Dyna'r cynnyrch.

04Allbwn strwythuredig: response_format ie, json_schema nage

Dyma'r un lle mae Inkling yn llai galluog na'r rhan fwyaf o'r catalog, ac mae'n well cynllunio ar ei gyfer na'i ddarganfod mewn cynhyrchiad.

Gallu	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Gweledol (mewnbwn delwedd)	Ie	Ie	Ie	Na
response_format	Ie	Ie	Ie	Na
json_schema	Na	Ie	Ie	Na
Galw offer	Ie	Ie	Ie	Ie
Ymdrech rhesymu	Ie	Ie	Ie	Ie

Mae response_format: {"type": "json_object"} yn gweithio — cewch JSON dilys yn gystrawennol. Yr hyn na chewch yw datgodio wedi'i gyfyngu gan ramadeg yn erbyn sgema a gyflenwch chi, lle mae'r samplwr yn cael ei atal yn gorfforol rhag allyrru tocyn sy'n torri eich strwythur. Dewis y model yw enwau'r meysydd, aelodaeth enum a phresenoldeb allweddi gofynnol, nid gwarant.

Tair ffordd o fyw gyda hynny, mewn trefn ddibynadwyedd gynyddol:

1. Anogwch y sgema a dilyswch. Rhowch y sgema yn yr anogaeth system fel JSON llythrennol, gosodwch response_format i json_object, a dilyswch yr ymateb eich ochr chi. Ailgeisiwch ar fethiant dilysu gyda neges gwall y dilysydd wedi'i hychwanegu. Rhad, mae'n gweithio, mae angen cyllideb ailgeisio.
2. Defnyddiwch ddiffiniad offeryn fel y sgema. Cefnogir galw offer, ac mae diffiniad paramedrau ffwythiant yn Sgema JSON. Datganwch un offeryn wedi'i enwi ar gyfer yr echdynnu a fynnwch, ei orfodi, a darllen y dadleuon. Dyma'r opsiwn cryfaf fel arfer ar Inkling ac nid yw'n costio dim ychwanegol i chi.
3. Rhannwch y gwaith rhwng dau fodel. Gadewch i Inkling wneud y gweledol a'r rhesymu mewn rhyddiaith, yna rhowch y rhyddiaith honno i MiMo-V2.5-W8A16 am $0.50 / $2.00 gyda json_schema go iawn ar gyfer y pas strwythuro. Dwy alwad, ond mae'r ail yn rhad, yn benderfynadwy o ran siâp, a'r model sydd angen bod yn glyfar yw'r un a welodd y ddelwedd.

Opsiwn 3 yw'r patrwm y byddem yn ei argymell ar gyfer unrhyw biblinell echdynnu cyfaint uchel. Talwch y premiwm dim ond am y cam sydd ei angen.

05Beth mae'r premiwm pris yn ei brynu?

Ar $1.42 i mewn / $6.07 allan fesul miliwn tocyn, mae Inkling yn eistedd yn fwriadol yng nghanol ein catalog. Mae chwech o'r deuddeg model ar y llawr $0.50 / $2.00. Mae Kimi-K3 — y llong flaenllaw, sydd hefyd â gallu gweledol — yn $3.83 / $19.12. Mae Inkling tua thair gwaith y llawr ar allbwn a thua thraean y llong flaenllaw.

Pris allbwn, USD fesul 1M tocyn, cyfraddau rhestr Porth Shannon AI, Medi 2026. Mae lled y bar yn gymesur â'r pris; mae hirach yn ddrutach.

Dyma'r darlleniad gonest ar ble mae'r premiwm hwnnw'n ennill ei le — a ble nad yw.

Llwyth gwaith	Defnyddio Inkling?	Pam
Rhesymu am siartiau / diagramau	Ie	Y ffigurau CharXiv a MMMU Pro cyhoeddedig yw'r hyn y mae'r sylfaen hon gryfaf arno.
Asiantau sy'n gyrru ar sgrinluniau	Ie	Gweledol a galw offer a 262K o hanes mewn un model, dim trosglwyddo.
Dogfennau hir gyda ffigurau	Ie	Mae testun a delweddau'n rhannu un datgodiwr ac un ffenestr gyd-destun.
Cynhyrchu testun plaen	Na	Mae chwe model am $0.50 / $2.00 yn gwneud hyn. Rydych yn talu am lwybr gweledol nad ydych byth yn ei alw.
Echdynnu sgema torfol	Na	Dim json_schema. Mae MiMo-V2.5 yn rhatach ac wedi'i gyfyngu.
Nenfwd ffin absoliwt	Na	Kimi-K3 yw'r llong flaenllaw. Talwch y 3.1× os mai'r nenfwd yw'r cyfyngiad.
Y gweledol rhataf posibl	Na	Mae gan MiniMax-M3 weledol am $0.50 / $2.00. Dechreuwch yno, a dringo os yw ansawdd yn eich gorfodi.

Darllenwch hynny fel rheol lwybro, nid fel rhestr safle. Mae Inkling yn iawn ar gyfer band cul o waith na fyddai tudalen farchnata'n ei honni, ac o fewn y band hwnnw mae'n anodd ei guro ar bris. Y tu allan iddo, byddai'n well gennym werthu'r model rhatach i chi a'ch cadw.

06Y ffenestr gyd-destun 262K, a beth sy'n ffitio mewn gwirionedd

Gweinir pob un o'r deuddeg model ar y porth gyda chyd-destun mewnbwn o 262,144 tocyn ac allbwn uchaf o 16,384 tocyn fesul cais. Unffurf yn fwriadol: ni ddylai trin cyd-destun byth ddod yn gangen fesul model yn eich cod, ac ni ddylai cyfnewid inkling am MiniMax-M3 mewn ffeil ffurfweddu newid yn dawel beth sy'n ffitio.

Nodwch y bwlch yn erbyn y sylfaen gyhoeddedig: mae Thinking Machines yn dogfennu Inkling ar 1,048,576 o docynnau, ac rydym ni'n gweini sleisen 262K ohono. Os oes gennych lwyth gwaith miliwn tocyn mewn un cais go iawn, nid ni yw'r pwynt terfyn ar ei gyfer, a gwell i chi wybod cyn adeiladu.

Am raddfa ar 262K: PDF technegol 400 tudalen gyda'i ffigurau, sylfaen cod canolig, sawl awr o drawsgrifiad, neu sesiwn asiantaidd hir yn cario dwsinau o ganlyniadau offer a llond llaw o sgrinluniau — mae pob un yn ffitio mewn un cais. Ar fodel gweledol, cofiwch fod delweddau'n bwyta cyd-destun hefyd; nid yw sgrinlun trwchus am ddim, ac mae sesiwn sy'n ffrydio fframiau'n llenwi'r ffenestr yn gyflymach nag un testun-yn-unig. Mae'r bensaernïaeth yn addas i hyn: mae'r patrwm 5:1 rhwng ffenestr lithro a byd-eang yn golygu bod y rhan fwyaf o haenau'n rhoi sylw o fewn cymdogaeth 512 tocyn, gyda haenau byd-eang yn tynnu strwythur pellter hir yn ôl i mewn o bryd i'w gilydd.

07Ymdrech rhesymu: talu am feddwl dim ond pan fo angen

Mae Inkling yn datgelu ymdrech rhesymu y gellir ei rheoli — un o'r deialau mwy defnyddiol yn y catalog. Mae'r model gwreiddiol yn derbyn lefelau o none a minimal trwy low, medium, high, xhigh, hyd at max, wedi'u dangos ar y tair tafodiaith trwy'r paramedr safonol reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Lifer cost â dannedd yw hwn, oherwydd bilir tocynnau rhesymu fel tocynnau allbwn ar $6.07 fesul miliwn. Mae Thinking Machines yn adrodd bod Inkling ar Terminal Bench 2.1 yn cyrraedd sgorau tebyg i Nemotron 3 Ultra ar tua thraean y tocynnau — nid damwain yw effeithlonrwydd tocynnau ond nod dylunio datganedig y system ymdrech.

Yn ymarferol: rhedwch low neu minimal ar gyfer capsiynu, dosbarthu ac echdynnu syml, lle mae'r ateb yn y ddelwedd ac nad oes angen cadwyn o gasgliadau. Cadwch high ac uwch ar gyfer rhesymu am siartiau, cymharu gweledol aml-gam, a throeon asiantaidd lle mae cam canolradd anghywir yn ddrud. Nid yw'r rhan fwyaf o dimau byth yn gosod y paramedr o gwbl, ac maent yn gadael gwahaniaeth cost allbwn sawl gwaith ar y bwrdd.

08Beth mae "heb sensoriaeth" yn ei olygu yma — a beth nad yw'n ei olygu

Yn benodol: rydym yn rhedeg y model hwn heb haen wrthod a heb hidlo ar yr allbwn. Nid oes dosbarthwr yn darllen eich anogaeth ac yn penderfynu a gaiff y model ateb, ac nid oes un yn darllen yr ymateb cyn iddo ffrydio. Pan fo'r model yn ansicr neu heb y wybodaeth, mae'n dweud hynny — y model yw hynny, nid polisi. Yr hyn na chewch yw gwrthodiad atgyrchol ar bwnc y mae cynnyrch defnyddwyr cyffredinol yn ei drin fel un gwaharddedig.

Ar gyfer gweledol dyma'r cynnig gwerth cyfan. Mae dosbarthwyr delwedd o flaen APIs gweledol yn amhenodol, ac mae'r gyfradd cadarnhau ffug yn glanio galetaf ar y gwaith proffesiynol sydd fwyaf o angen y gallu: ymchwil diogelwch, cyd-destunau clinigol, newyddiaduraeth a fforenseg, beirniadaeth ffilm a chelf, offer cymedroli sy'n gorfod edrych ar y peth y maent yn ei gymedroli. Ni all pwynt terfyn sy'n gwrthod ar sail categori wasanaethu'r un o'r rheini'n ddibynadwy.

Dau gafeat gonest. Yn gyntaf, mae Thinking Machines yn cyhoeddi gwerthusiadau diogelwch ar gyfer eu gosodiad cyfeirio — 78.0% ar FORTRESS gwrthwynebus, 95.9% ar FORTRESS diniwed, 98.6% ar StrongREJECT. Mae'r ffigurau hynny'n disgrifio eu pentwr nhw gyda'u canllawiau nhw yn eu lle. Nid ydynt yn disgrifio ein rhai ni, ac ni wnawn eu dyfynnu fel petaent yn gwneud hynny. Rydym wedi tynnu'r haen y mae'r rhifau hynny'n ei mesur yn rhannol; dyna'r cynnyrch, a'r cyfrifoldeb.

Yn ail, nid yw "dim haen wrthod" yn golygu "dim rheolau". Mae Shannon Lab LLC yn gweithredu o dan Bolisi Defnydd Cyfrifol a chyfraith berthnasol yr Unol Daleithiau. Mae tynnu dosbarthwr yn symud y farn atoch chi, nid ei dileu. Os ydych yn adeiladu ar hyn, darllenwch y polisi cyn graddio.

09Dechrau arni

Yr un URL sylfaen, yr un allwedd, tair tafodiaith. Os yw eich cod eisoes yn galw OpenAI, Anthropic neu'r Responses API, newid y llinyn model yw'r mudo cyfan fel arfer.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Mae'r cyfeirlyfr paramedrau llawn, siapiau /v1/messages a /v1/responses, fformatau digwyddiadau ffrydio a maes chwarae byw yn dogfennaeth yr API. Mae cardiau model ar gyfer yr un ar ddeg model arall yn Ymchwil Shannon.

Ffigurau Thinking Machines Lab a gyhoeddwyd ar gyfer y pwynt gwirio Inkling heb ei gwanteiddio yw'r ffigurau sylfaen, ac maent yn disgrifio nenfwd y teulu, nid ein hadeiladwaith cwanteiddiedig ni. Gwerthoedd rhestr Porth Shannon AI ym Medi 2026 yw'r prisiau a'r baneri gallu.

10Cwestiynau cyffredin

---

Ffynonellau: Thinking Machines Lab — Cyflwyno Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — nodiadau pensaernïaeth a meincnod Inkling. Adroddwyd meincnodau'r sylfaen gan y labordy ar gyfer y pwynt gwirio heb ei gwanteiddio.