Necenzuriran model Inkling API

Večina dvanajstih modelov na našem prehodu je samo besedilnih. Štirje niso, in med temi štirimi ima Inkling določen položaj: to je vidni model, po katerem posežete, kadar je slika težji del težave, proračun pa ne seže do vodilnega modela. Ta kartica pokriva, od kod prihaja temelj, kaj mu je storila pripona W4A16-AUTOROUND-REAP, kaj bo in česa ne bo počel na površini API in — pošteno — kdaj je cenejši model iz istega kataloga boljša izbira.

01Kaj je Inkling in kdo ga je zgradil?

Inkling je prvi model z odprtimi utežmi podjetja Thinking Machines Lab, objavljen 15. julija 2026. Za razliko od večine izdaj, postavljenih kot »odprte«, je prišel s polnimi utežmi za prenos na Hugging Face in s podporo v transformers, SGLang, vLLM in llama.cpp že na dan izida — in prav zato ga je sploh mogoče poganjati na infrastrukturi, kot je naša. Vodilne številke iz gradiva ob izidu, ki ga je objavil Thinking Machines:

To je postavitev redkega Mixture-of-Experts: 66 dekodirnih plasti pri skriti velikosti 6,144, prvi dve gosti, preostalih 64 pa nosi 256 usmerjenih strokovnjakov in 2 deljena, s 6 usmerjenimi strokovnjaki, aktivnimi na žeton. Pri danem žetonu se sproži približno 4 % parametrov — in prav to naredi model z blizu bilijona parametrov sploh strežljiv.

Dve arhitekturni odločitvi sta dovolj nenavadni, da ju je vredno imenovati. Pozornost je prepletena — 55 plasti pozornosti z drsečim oknom čez okno 512 žetonov proti 11 splošnim plastem, v ponavljajočem se vzorcu 5:1. In Inkling ne uporablja RoPE: uporablja naučeno, od vhoda odvisno relativno položajno pristranskost, ob tem pa kratke vzročne konvolucije na projekcijah ključ/vrednost in na preostankovnih vejah. Arhitekturne opombe Sebastiana Raschke oboje označujejo za resnična odstopanja od standardnega recepta leta 2026. Učenje je za velike matrične parametre uporabilo Muon in za preostanek Adam, nato pa v potreningu več kot 30 milijonov asinhronih tekov RL.

Za uporabnika API ni bistvena ta zanimivost. Bistveno je, da gre za izvorno večmodalen temelj velikosti prednje črte, učen na 45 bilijonih žetonov čez besedilo, slike, zvok in video — ne za besedilni model s pozneje privitim slikovnim prilagojevalnikom. Slike so kodirane kot ploščice 40×40 slikovnih pik skozi štiriplastni hierarhični razsekovalnik MLP in se v istem dekodirniku obdelujejo skupaj z besedilom. Vidno razumevanje je bilo v cilju predučenja.

02Kaj pomeni W4A16-AUTOROUND-REAP?

V tej priponi so zložene tri ločene tehnike in vsaka opravlja svoje delo. Vredno jih je razumeti, ker je pripona največja posamična razlika med modelom, ki ga kličete na našem API, in kontrolno točko, ki jo je objavil Thinking Machines.

REAP — obrezovanje strokovnjakov, h katerim nihče ne usmerja

REAP je Router-weighted Expert Activation Pruning iz Cerebras Research (arXiv 2510.13999, sprejeto na ICLR 2026). V MoE z 256 strokovnjaki na plast usmerjevalnik dela ne razdeli enakomerno: nekateri strokovnjaki so zadeti ves čas, drugi se sprožijo redko in tedaj prispevajo malo. REAP vsakega strokovnjaka oceni po obeh merilih, po vrednostih vrat usmerjevalnika in po normah aktivacije strokovnjaka — strokovnjak, ki je pogosto izbran, a prispeva popravke majhne velikosti, šteje manj, kot bi nakazovalo število izbir — in tiste z nizkim izstopanjem izpusti v enem zamahu, pred kvantizacijo.

Razlog, da uporabljamo obrezovanje in ne bolj modnega zlivanja strokovnjakov, je, da se metodi razideta po vrsti nalog. Zlivanje je videti konkurenčno na razlikovalnih meritvah in razpade na generativnih. Avtorji REAP poročajo, da obrezovanje kakovost bolje ohrani natanko pri obremenitvah, zaradi katerih ljudje kupujejo API — sinteza kode, klicanje orodij, večobratno sklepanje — pri razmerjih stiskanja čez 50 %, in to pri modelih od 20B do 1T parametrov. Zlivanje uniči specializacijo usmerjevalnika; obrezovanje pusti preživele strokovnjake in usmerjanje med njimi nedotaknjeno.

AutoRound — učenje, kam zaokrožiti

AutoRound je Intelova metoda kvantizacije po učenju (arXiv 2309.05516, objavljena kot SignRound). Naivna kvantizacija vsako utež zaokroži na najbližjo predstavljivo 4-bitno vrednost — razumen privzetek in slab pri velikem obsegu, ker napake zaokroževanja niso neodvisne in se skozi sklad 66 plasti kopičijo. AutoRound odločitev o zaokrožitvi obravnava kot nekaj, kar je treba optimizirati: predznačeni gradientni spust v nekaj sto korakih hkrati uglaša smer zaokroževanja in obsege obrezovanja uteži ter si od učenja, zavedajočega se kvantizacije, sposodi natančnost brez ponovnega učenja. Intel poroča o največjih pridobitvah pri skrajno nizkobitnih nastavitvah in o konkurenčni prednosti pri INT4.

W4A16 — kam gredo biti

W4A16 je številska oblika: 4-bitne uteži, 16-bitne aktivacije. Uteži — ki v modelu s 975B parametri obvladujejo pomnilnik — se skrčijo na približno četrtino odtisa BF16, aritmetika pa ostane pri 16 bitih. Ta delitev je za vidni model posebej pomembna: sheme s kvantiziranimi aktivacijami prizadenejo natanko tisto drobnozrnato številsko delo, na katero se opira razumevanje slik — branje majhne oznake osi, razločevanje tanke črte v diagramu, ločevanje dveh podobnih odtenkov. Ohranitev aktivacij pri 16 bitih stane pasovno širino in vrne natančnost tam, kjer jo slikovna obremenitev opazi.

Skupaj te tri dajo model, ki gre noter in ostane hiter, brez prepada kakovosti, ki ga prinaša agresivna stopnja 3BIT-REAP, ki jo uporabljamo pri najbolj velikanskih temeljih. To je menjava, ki jo odraža cena.

03Slike: API za analizo slik brez zavračanj

Inkling je eden od štirih modelov z razumevanjem slik v našem katalogu, ob Kimi-K3, Kimi-K2.6 in MiniMax-M3. Objavljeni slikovni rezultati osnovnega modela iz izdaje Thinking Machines so 73,3 % na MMMU Pro (Standard 10) in 78,1 % na vprašanjih sklepanja CharXiv — ta se dvigne na 82,0 %, ko model sme proti grafu pognati Python. To so laboratorijeve lastne številke za nekvantizirano kontrolno točko; obravnavajte jih kot strop družine, ne kot meritev naše izvedbe.

Pri CharXiv se velja pomuditi, ker se preslika na to, zakaj ljudje kupujejo API za slike in ne storitve OCR. Preizkuša sklepanje o znanstvenih grafih — branje vrednosti z osi, primerjavo dveh serij, opažanje obrata trenda. Ne »kakšno besedilo je na tej sliki«, ampak »kaj ta slika trdi in ali trditev drži«. Prav to opraviči pošiljanje slike modelu sklepanja s 975B parametri namesto majhnemu opisovalniku.

Pošiljanje slike je običajno delo, združljivo z OpenAI — vsebinski del image_url na /v1/chat/completions, blok image v slogu Anthropic na /v1/messages ali ustreznica na /v1/responses. Vsa tri narečja zadenejo iste uteži in vsa tri pretakajo; izberite tisto, ki ga vaš obstoječi SDK že govori. Izdelan primer je v razdelku 09.

Necenzuriranost pri slikah šteje bolj kot pri besedilu. Sloj zavračanja na slikovni končni točki je nenavadno top, ker sliko običajno razvrsti še preden je model razmislil o zahtevi. Legitimno delo se lovi ves čas: fotografija rane v cevovodu za klinične zapise, forenzični zaslonski posnetek v zapisu o incidentu, sličica iz filma, ki se analizira za kritiko, medicinski posnetek, slika dokumenta, na katerem se znajde ime. Inkling na našem prehodu takega razvrščevalnika pred sabo nima. Pogleda, kar ste poslali, in odgovori na vprašanje, ki ste ga postavili. To je izdelek.

04Strukturiran izhod: response_format da, json_schema ne

To je edino mesto, kjer je Inkling manj zmogljiv od večine kataloga, in bolje je s tem računati kot to odkriti v produkciji.

Zmožnost	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Razumevanje slik (slikovni vhod)	Da	Da	Da	Ne
response_format	Da	Da	Da	Ne
json_schema	Ne	Da	Da	Ne
Klicanje orodij	Da	Da	Da	Da
Napor sklepanja	Da	Da	Da	Da

response_format: {"type": "json_object"} deluje — dobite skladenjsko veljaven JSON. Česar ne dobite, je s slovnico omejeno dekodiranje proti shemi, ki jo podate, kjer je vzorčevalnik fizično onemogočen oddati žeton, ki bi kršil vašo strukturo. Imena polj, članstvo v naštevnem tipu in prisotnost obveznih ključev so izbira modela, ne jamstvo.

Tri poti, kako s tem živeti, po naraščajoči zanesljivosti:

1. Shemo dajte v poziv in preverite. Shemo postavite v sistemski poziv kot dobesedni JSON, response_format nastavite na json_object in odgovor preverite na svoji strani. Ob padli preverbi ponovite s pripetim sporočilom o napaki iz preverjevalnika. Poceni, deluje, potrebuje proračun za ponovne poskuse.
2. Kot shemo uporabite definicijo orodja. Klicanje orodij je podprto, definicija parametrov funkcije pa je shema JSON. Razglasite eno orodje, poimenovano po luščenju, ki ga hočete, ga vsilite in preberite argumente. To je pri Inklingu običajno najmočnejša možnost in vas ne stane nič dodatnega.
3. Opravilo razdelite med dva modela. Naj Inkling opravi delo s sliko in sklepanje v prozi, nato pa to prozo izročite modelu MiMo-V2.5-W8A16 pri $0.50 / $2.00 z resničnim json_schema za prehod strukturiranja. Dva klica, a drugi je poceni in oblikovno določen, model, ki mora biti pameten, pa je tisti, ki je videl sliko.

Možnost 3 je vzorec, ki ga priporočamo za vsak cevovod luščenja v velikih količinah. Doplačilo plačajte le za korak, ki ga potrebuje.

05Kaj kupi cenovno doplačilo?

Pri $1.42 vhod / $6.07 izhod na milijon žetonov Inkling namenoma sedi na sredini našega kataloga. Šest od dvanajstih modelov je na dnu pri $0.50 / $2.00. Kimi-K3 — vodilni model, prav tako z razumevanjem slik — stane $3.83 / $19.12. Inkling je približno trikratnik dna pri izhodu in približno tretjina vodilnega modela.

Cena izhoda, USD na 1M žetonov, kataloške cene prehoda Shannon AI, september 2026. Širina stolpca je sorazmerna ceni; daljši pomeni dražji.

Tukaj je pošteno branje, kje se to doplačilo izplača — in kje ne.

Delovna obremenitev	Uporabiti Inkling?	Zakaj
Sklepanje o grafih in diagramih	Da	Objavljeni številki za CharXiv in MMMU Pro sta tisto, v čemer je ta temelj najmočnejši.
Agenti, ki jih vodijo zaslonski posnetki	Da	Slike plus klicanje orodij plus 262K zgodovine v enem modelu, brez predaje.
Dolgi dokumenti s slikami	Da	Besedilo in slike si delijo en dekodirnik in eno okno konteksta.
Navadno generiranje besedila	Ne	To zmore šest modelov pri $0.50 / $2.00. Plačujete vidno pot, ki je nikoli ne pokličete.
Množično luščenje po shemi	Ne	Brez json_schema. MiMo-V2.5 je cenejši in omejen s shemo.
Absolutni vrh prednje črte	Ne	Kimi-K3 je vodilni model. Plačajte 3,1-kratnik, če je omejitev strop.
Najcenejše možne slike	Ne	MiniMax-M3 razume slike pri $0.50 / $2.00. Začnite tam in stopnjujte, če kakovost to zahteva.

Berite to kot pravilo usmerjanja, ne kot razvrstitev. Inkling je pravi za ožji pas dela, kot bi trdila trženjska stran, in znotraj tega pasu ga je po ceni težko premagati. Zunaj njega vam raje prodamo cenejši model in vas obdržimo.

06Okno konteksta 262K in kaj vanj dejansko gre

Vseh dvanajst modelov na prehodu je streženih z vhodnim kontekstom 262,144 žetonov in največjim izhodom 16,384 žetonov na zahtevo. Enotno namenoma: ravnanje s kontekstom nikoli ne sme postati veja po modelih v vaši kodi, zamenjava inkling za MiniMax-M3 v nastavitveni datoteki pa ne sme tiho spremeniti tega, kaj gre noter.

Opazite razliko proti objavljenemu temelju: Thinking Machines Inkling dokumentira pri 1,048,576 žetonih, mi pa strežemo 262K rezino tega. Če imate resnično obremenitev z milijonom žetonov v eni zahtevi, nismo prava končna točka za to, in bolje je, da to veste, preden gradite.

Za občutek obsega pri 262K: 400-stranski tehnični PDF s slikami, srednje velika zbirka kode, nekaj ur prepisa ali dolga agentna seja z desetinami izidov orodij in peščico zaslonskih posnetkov — vse to gre v eno zahtevo. Pri vidnem modelu ne pozabite, da tudi slike porabljajo kontekst; gost zaslonski posnetek ni zastonj, seja, ki pretaka sličice, pa okno napolni hitreje kot samo besedilna. Arhitektura temu dobro ustreza: vzorec 5:1 med drsečim oknom in splošno pozornostjo pomeni, da večina plasti pozornost usmerja znotraj soseščine 512 žetonov, splošne plasti pa dolgosežno strukturo občasno potegnejo nazaj noter.

07Napor sklepanja: razmišljanje plačate le, kadar ga potrebujete

Inkling izpostavlja nastavljiv napor sklepanja — enega uporabnejših gumbov v katalogu. Izvorni model sprejema ravni od none in minimal prek low, medium, high, xhigh do max, izpostavljene v vseh treh narečjih prek standardnega parametra reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

To je cenovna ročica z zobmi, ker se žetoni sklepanja zaračunajo kot izhodni žetoni po $6.07 na milijon. Thinking Machines poroča, da Inkling na Terminal Bench 2.1 doseže rezultate, primerljive z Nemotron 3 Ultra, ob približno tretjini žetonov — žetonska učinkovitost je izražen cilj zasnove sistema napora, ne naključje.

V praksi: za opisovanje, razvrščanje in preprosto luščenje, kjer je odgovor v sliki in ni potrebna nobena veriga sklepanja, poganjajte low ali minimal. high in več pridržite za sklepanje o grafih, večkoračno vizualno primerjavo in agentne obrate, kjer je napačen vmesni korak drag. Večina ekip parametra sploh nikoli ne nastavi in na mizi pusti večkratno razliko v strošku izhoda.

08Kaj tu pomeni »necenzuriran« — in česa ne

Konkretno: ta model poganjamo brez sloja zavračanja in brez filtriranja izhoda. Noben razvrščevalnik ne bere vašega poziva in ne odloča, ali sme model odgovoriti, in nobeden ne bere odgovora, preden se ta pretoči. Kadar model ni prepričan ali mu manjka znanja, to pove — to je model, ne politika. Česar ne boste dobili, je refleksna zavrnitev na temo, ki jo splošno potrošniški izdelek obravnava kot prepovedano.

Pri slikah je to celotna vrednostna obljuba. Slikovni razvrščevalniki pred vidnimi API so nenatančni, delež lažnih pozitivov pa najbolj prizadene prav strokovno delo, ki to zmožnost najbolj potrebuje: varnostne raziskave, klinične okoliščine, novinarstvo in forenziko, filmsko in umetnostno kritiko, orodja za moderiranje, ki morajo pogledati stvar, ki jo moderirajo. Končna točka, ki zavrne po kategoriji, nobenega od teh ne more zanesljivo streči.

Dve pošteni opozorili. Prvič, Thinking Machines za svojo referenčno namestitev objavlja varnostna vrednotenja — 78,0 % na FORTRESS adversarial, 95,9 % na FORTRESS benign, 98,6 % na StrongREJECT. Te številke opisujejo njihov sklad z njihovimi varovali na mestu. Ne opisujejo našega in ne bomo jih navajali, kot da bi ga. Odstranili smo sloj, ki ga te številke deloma merijo; to je izdelek in tudi odgovornost.

Drugič, »brez sloja zavračanja« ni »brez pravil«. Shannon Lab LLC deluje po Politiki odgovorne uporabe in po veljavnem pravu ZDA. Odstranitev razvrščevalnika presojo prenese na vas, ne izbriše je. Če na tem gradite, pred obsegom preberite politiko.

09Kako začeti

Isti osnovni URL, isti ključ, tri narečja. Če vaša koda že kliče OpenAI, Anthropic ali API Responses, je sprememba niza modela običajno celotna selitev.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Popoln pregled parametrov, obliki /v1/messages in /v1/responses, oblike pretočnih dogodkov in živo igrišče so v dokumentaciji API. Kartice modelov za drugih enajst modelov so v Shannon Research.

Številke o temelju so objavljene številke Thinking Machines Lab za nekvantizirano kontrolno točko Inkling in opisujejo strop družine, ne naše kvantizirane izvedbe. Cene in zastavice zmožnosti so kataloške vrednosti prehoda Shannon AI na dan september 2026.

10Pogosta vprašanja

---

Viri: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — arhitekturne opombe in meritve za Inkling. Meritve temelja poroča laboratorij za nekvantizirano kontrolno točko.