Necenzūruotas Inkling modelio API

Dauguma dvylikos mūsų vartų modelių yra tik tekstiniai. Keturi — ne, ir tarp tų keturių Inkling užima konkrečią vietą: tai regos modelis, kurio griebiatės, kai sunkiausia problemos dalis yra paveikslėlis, bet biudžetas neištempia flagmano. Ši kortelė aprašo, iš kur kilęs pagrindas, ką jam padarė W4A16-AUTOROUND-REAP priesaga, ką jis API paviršiuje darys ir ko ne, ir — sąžiningai — kada pigesnis to paties katalogo modelis yra geresnis pasirinkimas.

01Kas yra Inkling ir kas jį sukūrė?

Inkling yra pirmasis atvirų svorių modelis iš Thinking Machines Lab, paskelbtas 2026 m. liepos 15 d. Kitaip nei dauguma leidimų, pozicionuojamų kaip „atviri“, jis pasirodė su pilnais atsisiunčiamais svoriais Hugging Face platformoje ir nuo pirmos dienos palaikomas transformers, SGLang, vLLM bei llama.cpp — kaip tik todėl jį apskritai galima paleisti tokioje infrastruktūroje kaip mūsų. Pagrindiniai skaičiai iš pačios Thinking Machines leidimo medžiagos:

Tai reta ekspertų mišinio schema: 66 dekoderio sluoksniai su 6 144 paslėptuoju dydžiu, pirmieji du tankūs, likusieji 64 nešantys 256 maršrutizuojamus ekspertus plius 2 bendruosius, iš kurių vienam žetonui aktyvūs yra 6 maršrutizuojami ekspertai. Bet kuriam konkrečiam žetonui suveikia maždaug 4 % parametrų — kaip tik tai leidžia beveik trilijono parametrų modelį apskritai aptarnauti.

Du architektūriniai pasirinkimai pakankamai neįprasti, kad juos įvardytume. Dėmesys yra persipynęs — 55 sluoksniai slankiojo lango dėmesio per 512 žetonų langą prieš 11 visuotinių sluoksnių, kartojamu 5:1 raštu. Ir Inkling nenaudoja RoPE: jis naudoja išmoktą, nuo įvesties priklausantį santykinės pozicijos poslinkį kartu su trumpomis priežastinėmis konvoliucijomis ant raktų / reikšmių projekcijų ir liekamųjų šakų. Sebastiano Raschkos architektūros pastabose abu įvardijami kaip tikri nukrypimai nuo standartinio 2026 m. recepto. Mokymui didelėms matricų parametrų dalims naudotas Muon, o likusiam — Adam, paskui papildomame apmokyme atlikta daugiau nei 30 milijonų asinchroninių RL vykdymų.

API naudotojui svarbi ne smulkmena. Svarbu, kad tai pažangos masto, savaime daugiamodalis pagrindas, apmokytas ant 45 trilijonų žetonų, apimančių tekstą, vaizdus, garsą ir vaizdo įrašus — o ne teksto modelis su vėliau prisuktu regos adapteriu. Vaizdai koduojami kaip 40×40 pikselių gabalai per keturių sluoksnių hierarchinį MLP gabalintuvą ir apdorojami kartu su tekstu tame pačiame dekoderyje. Vizualus supratimas buvo pirminio mokymo tiksle.

02Ką reiškia W4A16-AUTOROUND-REAP?

Toje priesagoje sukrautos trys atskiros technikos, ir jos atlieka skirtingus darbus. Verta suprasti, nes priesaga yra didžiausias skirtumas tarp modelio, kurį kviečiate mūsų API, ir kontrolinio taško, kurį paskelbė Thinking Machines.

REAP — ekspertų, į kuriuos niekas nemaršrutizuoja, genėjimas

REAP yra maršrutizatoriumi svertinis ekspertų aktyvacijos genėjimas iš Cerebras Research (arXiv 2510.13999, priimtas į ICLR 2026). MoE su 256 ekspertais viename sluoksnyje maršrutizatorius darbą paskirsto netolygiai: vieni ekspertai pasiekiami nuolat, kiti suveikia retai ir net tada prisideda menkai. REAP kiekvieną ekspertą įvertina pagal abu rodiklius — maršrutizatoriaus vartų reikšmes ir eksperto aktyvacijos normas; ekspertas, parenkamas dažnai, bet duodantis mažo dydžio pokyčius, yra mažiau svarbus, nei rodo jo parinkimų skaičius — ir mažai svarbius pašalina vienu žingsniu, prieš kvantavimą.

Genėjimą, o ne madingesnį ekspertų liejimą, naudojame todėl, kad abu metodai išsiskiria pagal užduočių tipą. Liejimas atrodo konkurencingai diskriminaciniuose etalonuose ir subyra generatyviniuose. REAP autoriai praneša, kad genėjimas kokybę geriau išlaiko kaip tik tuose darbo krūviuose, dėl kurių žmonės ir perka API — kodo sintezėje, įrankių iškvietime, kelių ėjimų samprotavime — esant didesniems nei 50 % glaudinimo santykiams, modeliuose nuo 20 mlrd. iki 1 trln. parametrų. Liejimas sunaikina maršrutizatoriaus specializaciją; genėjimas palieka išlikusius ekspertus ir maršrutizavimą tarp jų nepaliestus.

AutoRound — išmokstama, kur apvalinti

AutoRound yra Intel kvantavimo po apmokymo metodas (arXiv 2309.05516, paskelbtas kaip SignRound). Naivus kvantavimas kiekvieną svorį apvalina iki artimiausios pavaizduojamos 4 bitų reikšmės — protingas numatytasis variantas ir blogas dideliu mastu, nes apvalinimo klaidos nėra nepriklausomos ir kaupiasi per 66 sluoksnių krūvą. AutoRound apvalinimo sprendimą traktuoja kaip optimizuotiną dalyką: ženklinis gradientinis nusileidimas per porą šimtų žingsnių kartu derina apvalinimo kryptį ir svorių ribojimo intervalus, pasiskolindamas kvantavimą įvertinančio mokymo tikslumą be pakartotinio apmokymo. Intel praneša apie didžiausią naudą ties ypač mažų bitų nustatymais ir konkurencinį pranašumą ties INT4.

W4A16 — kur nueina bitai

W4A16 yra skaitinis formatas: 4 bitų svoriai, 16 bitų aktyvacijos. Svoriai — dominuojantys 975 mlrd. modelio atmintyje — susitraukia maždaug iki ketvirtadalio BF16 pėdsako, o aritmetika lieka 16 bitų. Tas padalijimas ypač svarbus regos modeliui: aktyvacijas kvantuojančios schemos kenkia kaip tik tam smulkiam skaitiniam darbui, kuriuo remiasi vaizdų supratimas — mažo ašies užrašo perskaitymui, plonos linijos diagramoje atskyrimui, dviejų panašių atspalvių atskyrimui. Aktyvacijų palikimas 16 bitų kainuoja pralaidumo ir grąžina tikslumą ten, kur regos darbo krūvis tai pastebi.

Sukrautos kartu, šios trys duoda modelį, kuris telpa ir lieka greitas be kokybės nuokrio, būdingo agresyviai 3BIT-REAP pakopai, kurią naudojame patiems didžiausiems pagrindams. Tokius mainus ir atspindi kaina.

03Rega: vaizdų analizės API be atsisakymų

Inkling yra vienas iš keturių mūsų katalogo modelių su rega, greta Kimi-K3, Kimi-K2.6 ir MiniMax-M3. Bazinio modelio paskelbti regos rezultatai iš Thinking Machines leidimo yra 73,3 % MMMU Pro (Standard 10) ir 78,1 % CharXiv samprotavimo klausimuose, pakylantys iki 82,0 %, kai modeliui leidžiama paleisti Python prieš diagramą. Tai laboratorijos pačios reikšmės nekvantuotam kontroliniam taškui; laikykite jas šeimos lubomis, o ne mūsų versijos matavimu.

Prie CharXiv verta stabtelėti, nes jis atitinka priežastį, kodėl žmonės perka regos API, o ne OCR paslaugą. Jis tikrina samprotavimą apie mokslines diagramas — reikšmės nuskaitymą nuo ašies, dviejų eilučių palyginimą, tendencijos apsivertimo pastebėjimą. Ne „koks tekstas yra šiame vaizde“, o „ką ši diagrama teigia ir ar tas teiginys laikosi“. Būtent tai pateisina paveikslėlio siuntimą 975 mlrd. samprotavimo modeliui, o ne mažam antraščių kūrėjui.

Vaizdo siuntimas yra įprastas su OpenAI suderinamas darbas — image_url turinio dalis /v1/chat/completions, Anthropic stiliaus image blokas /v1/messages arba atitikmuo /v1/responses. Visi trys dialektai kreipiasi į tuos pačius svorius ir visi trys palaiko srautinį perdavimą; rinkitės tą, kurį jūsų esamas SDK jau moka. Išnagrinėtas pavyzdys yra 09 skyriuje.

Necenzūruota dalis regai svarbesnė nei tekstui. Atsisakymo sluoksnis regos galiniame taške yra neįprastai bukas, nes jis paprastai klasifikuoja vaizdą dar prieš modeliui apmąstant užklausą. Teisėtas darbas nuolat pakliūva: žaizdos nuotrauka klinikinių įrašų konvejeryje, teismo ekspertizės ekrano nuotrauka incidento aprašyme, filmo kadras, analizuojamas kritikos straipsniui, medicininis nuskaitymas, dokumento vaizdas, kuriame atsitiktinai yra vardas. Prieš Inkling mūsų vartuose tokio klasifikatoriaus nėra. Jis žiūri į tai, ką atsiuntėte, ir atsako į jūsų užduotą klausimą. Tai ir yra produktas.

04Struktūrizuota išvestis: response_format taip, json_schema ne

Tai vienintelė vieta, kur Inkling yra menkiau pajėgus nei didžioji katalogo dalis, ir geriau tai suplanuoti nei atrasti gamyboje.

Galimybė	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Rega (vaizdų įvestis)	Taip	Taip	Taip	Ne
response_format	Taip	Taip	Taip	Ne
json_schema	Ne	Taip	Taip	Ne
Įrankių iškvietimas	Taip	Taip	Taip	Taip
Samprotavimo intensyvumas	Taip	Taip	Taip	Taip

response_format: {"type": "json_object"} veikia — gaunate sintaksiškai teisingą JSON. Ko negaunate, tai gramatika apriboto dekodavimo pagal jūsų pateiktą schemą, kai atrankikliui fiziškai neleidžiama išvesti žetono, pažeidžiančio jūsų struktūrą. Laukų pavadinimai, priklausymas išvardijimui ir privalomų raktų buvimas yra modelio pasirinkimas, o ne garantija.

Trys būdai su tuo gyventi, patikimumo didėjimo tvarka:

1. Įdėkite schemą į užklausą ir patikrinkite. Įrašykite schemą į sisteminę užklausą kaip pažodinį JSON, nustatykite response_format į json_object ir atsakymą patikrinkite savo pusėje. Nepavykus patikrai kartokite, pridėdami tikrintuvo klaidos pranešimą. Pigu, veikia, reikia pakartojimų biudžeto.
2. Naudokite įrankio apibrėžimą kaip schemą. Įrankių iškvietimas yra palaikomas, o funkcijos parametrų apibrėžimas yra JSON schema. Paskelbkite vieną įrankį, pavadintą pagal norimą ištraukimą, priverskite jį iškviesti ir perskaitykite argumentus. Su Inkling tai paprastai stipriausias variantas ir nieko papildomai nekainuoja.
3. Padalykite darbą tarp dviejų modelių. Tegul Inkling atlieka regą ir samprotavimą proza, o tą prozą perduokite MiMo-V2.5-W8A16 už $0.50 / $2.00 su tikra json_schema struktūrizavimo pralėkimui. Du kvietimai, bet antrasis pigus ir formos požiūriu deterministinis, o modelis, kuriam reikia būti protingam, yra tas, kuris matė vaizdą.

3 variantą rekomenduotume bet kokiam didelės apimties ištraukimo konvejeriui. Priemoką mokėkite tik už tą žingsnį, kuriam jos reikia.

05Ką perka kainos priemoka?

Su $1.42 įvestis / $6.07 išvestis už milijoną žetonų Inkling sąmoningai sėdi mūsų katalogo viduryje. Šeši iš dvylikos modelių yra ties $0.50 / $2.00 grindimis. Kimi-K3 — flagmanas, taip pat su rega — kainuoja $3.83 / $19.12. Inkling yra maždaug tris kartus brangesnis už grindis išvestyje ir maždaug trečdalis flagmano.

Išvesties kaina, JAV doleriais už 1 mln. žetonų, Shannon AI vartų kainoraščio tarifai, 2026 m. rugsėjis. Juostos plotis proporcingas kainai; ilgesnė reiškia brangesnę.

Štai sąžiningas atsakymas, kur ta priemoka atsiperka, o kur ne.

Darbo krūvis	Naudoti Inkling?	Kodėl
Diagramų ir schemų samprotavimas	Taip	Paskelbtos CharXiv ir MMMU Pro reikšmės rodo stipriausią šio pagrindo pusę.
Ekrano nuotraukomis varomi agentai	Taip	Rega plius įrankių iškvietimas plius 262K istorijos viename modelyje, be perdavimų.
Ilgi dokumentai su paveikslais	Taip	Tekstas ir vaizdai dalijasi vienu dekoderiu ir vienu konteksto langu.
Paprastas teksto generavimas	Ne	Tai daro šeši modeliai už $0.50 / $2.00. Mokate už regos kelią, kurio niekada nekviečiate.
Masinis ištraukimas pagal schemą	Ne	Nėra json_schema. MiMo-V2.5 pigesnis ir apribotas schema.
Absoliučios pažangos lubos	Ne	Kimi-K3 yra flagmanas. Mokėkite 3,1 karto daugiau, jei apribojimas yra lubos.
Pigiausia įmanoma rega	Ne	MiniMax-M3 turi regą už $0.50 / $2.00. Pradėkite nuo jo ir kilkite, jei kokybė privers.

Skaitykite tai kaip maršrutizavimo taisyklę, o ne reitingą. Inkling tinka siauresnei darbų juostai, nei teigtų reklaminis puslapis, o toje juostoje jį sunku nurungti pagal kainą. Už jos ribų verčiau parduotume jums pigesnį modelį ir jus išlaikytume.

06262K konteksto langas ir kas į jį iš tikrųjų telpa

Visi dvylika vartų modelių teikiami su 262 144 žetonų įvesties kontekstu ir 16 384 žetonų didžiausia išvestimi vienai užklausai. Vienodai sąmoningai: konteksto tvarkymas niekada neturėtų virsti kiekvienam modeliui atskira šaka jūsų kode, o inkling pakeitimas MiniMax-M3 konfigūracijos faile neturėtų tyliai pakeisti to, kas telpa.

Atkreipkite dėmesį į skirtumą nuo paskelbto pagrindo: Thinking Machines Inkling dokumentuoja ties 1 048 576 žetonais, o mes teikiame 262K jo skiltį. Jei turite tikrą milijono žetonų vienos užklausos darbo krūvį, mes tam nesame tinkamas galinis taškas, ir geriau tai sužinoti prieš statant.

Dėl masto ties 262K: 400 puslapių techninis PDF su paveikslais, vidutinio dydžio kodų bazė, kelios valandos stenogramos arba ilgas agentinis seansas su dešimtimis įrankių rezultatų ir sauja ekrano nuotraukų — kiekvienas telpa į vieną užklausą. Regos modelyje nepamirškite, kad ir vaizdai suvartoja kontekstą; tanki ekrano nuotrauka nėra nemokama, o seansas, transliuojantis kadrus, langą pripildo greičiau nei tik tekstinis. Architektūra tam gerai tinka: 5:1 slankiojo lango ir visuotinių sluoksnių raštas reiškia, kad dauguma sluoksnių žvelgia 512 žetonų aplinkoje, o visuotiniai sluoksniai periodiškai vėl įtraukia tolimo nuotolio struktūrą.

07Samprotavimo intensyvumas: mokėti už mąstymą tik tada, kai jo reikia

Inkling atveria valdomą samprotavimo intensyvumą — vieną naudingesnių rankenėlių kataloge. Pirminis modelis priima lygius nuo none ir minimal per low, medium, high, xhigh iki max, o visuose trijuose dialektuose jie pateikiami per standartinį reasoning_effort parametrą.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Tai sąnaudų svirtis su dantimis, nes samprotavimo žetonai apmokestinami kaip išvesties žetonai po $6.07 už milijoną. Thinking Machines praneša, kad Terminal Bench 2.1 teste Inkling pasiekia balus, panašius į Nemotron 3 Ultra, sunaudodamas maždaug trečdalį žetonų — žetonų efektyvumas yra deklaruotas intensyvumo sistemos projektavimo tikslas, o ne atsitiktinumas.

Praktiškai: leiskite low arba minimal antraštėms, klasifikavimui ir paprastam ištraukimui, kai atsakymas yra pačiame vaizde ir jokios išvadų grandinės nereikia. Palikite high ir aukščiau diagramų samprotavimui, kelių žingsnių vizualiam palyginimui ir agentiniams ėjimams, kur neteisingas tarpinis žingsnis brangus. Dauguma komandų šio parametro apskritai niekada nenustato ir palieka ant stalo kelių kartų išvesties sąnaudų skirtumą.

08Ką čia reiškia „necenzūruotas“ — ir ko nereiškia

Konkrečiai: šį modelį leidžiame be atsisakymo sluoksnio ir be išvesties filtravimo. Joks klasifikatorius neskaito jūsų užklausos ir nesprendžia, ar modelis gali atsakyti, ir nė vienas neskaito atsakymo prieš jį transliuojant. Kai modelis nėra tikras arba jam trūksta žinių, jis tai pasako — tai modelis, o ne politika. Ko negausite, tai refleksinio atsisakymo tema, kurią bendram vartotojui skirtas produktas laiko uždrausta.

Regai tai ir yra visas vertės pasiūlymas. Vaizdų klasifikatoriai prieš regos API yra netikslūs, o klaidingų teigiamų dažnis stipriausiai kliūva tam profesionaliam darbui, kuriam šio gebėjimo labiausiai reikia: saugumo tyrimams, klinikiniams kontekstams, žurnalistikai ir teismo ekspertizei, kino bei meno kritikai, moderavimo įrankiams, kurie privalo pažiūrėti į tai, ką moderuoja. Galinis taškas, atsisakantis pagal kategoriją, nė vieno iš jų patikimai aptarnauti negali.

Dvi sąžiningos išlygos. Pirma, Thinking Machines skelbia savo etaloninio diegimo saugumo vertinimus — 78,0 % FORTRESS priešiškame, 95,9 % FORTRESS nekaltame ir 98,6 % StrongREJECT teste. Tie skaičiai aprašo jų krūvą su jų apsaugomis. Jie neaprašo mūsų, ir mes jų necituosime taip, tarsi aprašytų. Mes pašalinome sluoksnį, kurį tie skaičiai iš dalies ir matuoja; tai yra produktas ir atsakomybė.

Antra, „jokio atsisakymo sluoksnio“ nėra „jokių taisyklių“. Shannon Lab LLC veikia pagal Atsakingo naudojimo politiką ir taikomą JAV teisę. Klasifikatoriaus pašalinimas sprendimą perkelia jums, o ne jį panaikina. Jei ant to statote, prieš plėsdamiesi perskaitykite politiką.

09Kaip pradėti

Tas pats bazinis URL, tas pats raktas, trys dialektai. Jei jūsų kodas jau kviečia OpenAI, Anthropic arba Responses API, modelio eilutės pakeitimas paprastai yra visa migracija.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Visa parametrų nuoroda, /v1/messages ir /v1/responses formos, srautinio perdavimo įvykių formatai ir gyva bandymų aikštelė yra API dokumentacijoje. Likusių vienuolikos modelių kortelės yra Shannon tyrimuose.

Pagrindo reikšmės yra Thinking Machines Lab paskelbti skaičiai nekvantuotam Inkling kontroliniam taškui ir aprašo šeimos lubas, o ne mūsų kvantuotą versiją. Kainos ir galimybių žymos yra Shannon AI vartų kainoraščio reikšmės, galiojančios 2026 m. rugsėjį.

10Dažnai užduodami klausimai

---

Šaltiniai: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling architektūros ir etalonų pastabos. Pagrindo etalonus pateikė laboratorija nekvantuotam kontroliniam taškui.