Usensurert Inkling-API

De fleste av de tolv modellene på gatewayen vår er rene tekstmodeller. Fire er det ikke, og blant de fire har Inkling en bestemt plass: synsmodellen du griper til når bildet er den vanskelige delen av problemet, men budsjettet ikke strekker til et flaggskip. Dette kortet dekker hvor grunnmodellen kommer fra, hva endelsen W4A16-AUTOROUND-REAP gjorde med den, hva den vil og ikke vil gjøre på API-flaten, og — ærlig talt — når en billigere modell i den samme katalogen er det bedre valget.

01Hva er Inkling, og hvem bygde den?

Inkling er den første modellen med åpne vekter fra Thinking Machines Lab, publisert 15. juli 2026. I motsetning til de fleste utgivelser som markedsføres som «åpne», kom den med fullt nedlastbare vekter på Hugging Face og støtte fra dag null i transformers, SGLang, vLLM og llama.cpp — som er grunnen til at den i det hele tatt lot seg kjøre på infrastruktur som vår. Hovedtallene, fra Thinking Machines' eget utgivelsesmateriale:

Det er et sparsomt Mixture-of-Experts-oppsett: 66 dekoderlag med skjult størrelse 6,144, de to første tette, de gjenværende 64 med 256 rutede eksperter pluss 2 delte, og 6 rutede eksperter aktive per token. Omtrent 4 % av parameterne fyrer av på en gitt token — og det er det som gjør en modell nær billionskala mulig å servere i det hele tatt.

To arkitekturvalg er uvanlige nok til å nevnes ved navn. Oppmerksomheten er flettet — 55 lag med glidende vindusoppmerksomhet over et vindu på 512 tokens mot 11 globale lag, i et gjentakende 5:1-mønster. Og Inkling bruker ikke RoPE: den bruker en lært, inndataavhengig relativ posisjonsforskyvning, ved siden av korte kausale konvolusjoner på nøkkel- og verdiprojeksjonene og på residualgrenene. Sebastian Raschkas arkitekturnotater merker seg begge som reelle avvik fra standardoppskriften anno 2026. Treningen brukte Muon for de store matriseparameterne og Adam for resten, og deretter over 30 millioner asynkrone RL-utrullinger i ettertreningen.

Poenget for en API-bruker er ikke kuriosaen. Det er at dette er en naturlig multimodal grunnmodell i frontskala, trent på 45 billioner tokens som spenner over tekst, bilder, lyd og video — ikke en tekstmodell med en synsadapter påmontert i etterkant. Bilder kodes som ruter på 40×40 piksler gjennom en firelags hierarkisk MLP-patchifier og behandles sammen med tekst i den samme dekoderen. Visuell forståelse lå i selve førtreningsmålet.

02Hva betyr W4A16-AUTOROUND-REAP?

Tre atskilte teknikker er stablet i den endelsen, og de gjør ulike jobber. Verdt å forstå, for endelsen er den største enkeltforskjellen mellom modellen du kaller på API-et vårt og sjekkpunktet Thinking Machines publiserte.

REAP — å beskjære ekspertene ingen ruter til

REAP står for Router-weighted Expert Activation Pruning, fra Cerebras Research (arXiv 2510.13999, antatt til ICLR 2026). I en MoE med 256 eksperter per lag fordeler ikke ruteren arbeidet jevnt: noen eksperter treffes hele tiden, andre fyrer sjelden av og bidrar lite når de gjør det. REAP scorer hver ekspert på både ruterens portverdier og ekspertens aktiveringsnormer — en ekspert som velges ofte, men bidrar med endringer av liten størrelse, betyr mindre enn antall valg skulle tilsi — og fjerner de minst fremtredende i én operasjon, før kvantiseringen.

Grunnen til at vi bruker beskjæring i stedet for den mer moteriktige sammenslåingen av eksperter, er at de to skiller lag etter oppgavetype. Sammenslåing ser konkurransedyktig ut på diskriminative benchmarker og faller fra hverandre på generative. REAP-forfatterne rapporterer at beskjæring bevarer kvaliteten bedre på nettopp de arbeidsmengdene folk kjøper et API for — kodesyntese, verktøykall, resonnering over flere runder — ved kompresjonsgrader over 50 %, på tvers av modeller fra 20 milliarder til 1 billion parametere. Sammenslåing ødelegger ruterens spesialisering; beskjæring lar de overlevende ekspertene og rutingen mellom dem være i fred.

AutoRound — å lære hvor man skal avrunde

AutoRound er Intels metode for kvantisering etter trening (arXiv 2309.05516, publisert som SignRound). Naiv kvantisering avrunder hver vekt til den nærmeste representerbare 4-bits verdien — en fornuftig standard og et dårlig valg i stor skala, fordi avrundingsfeilene ikke er uavhengige og hoper seg opp gjennom en stabel på 66 lag. AutoRound behandler avrundingsvalget som noe som skal optimaliseres: fortegnsbasert gradientnedstigning justerer avrundingsretning og klippeområder for vektene samtidig over et par hundre steg, og låner nøyaktigheten fra kvantiseringsbevisst trening uten å trene på nytt. Intel rapporterer de største gevinstene ved ekstremt lave bitbredder og et konkurransefortrinn ved INT4.

W4A16 — hvor bitene går

W4A16 er tallformatet: 4-bits vekter, 16-bits aktiveringer. Vektene — som dominerer minnebruken i en modell på 975 milliarder parametere — krymper til omtrent en fjerdedel av et BF16-fotavtrykk, mens regnearbeidet forblir på 16 bit. Den delingen betyr noe for en synsmodell spesielt: skjemaer som også kvantiserer aktiveringene, skader nettopp det finmaskede numeriske arbeidet bildeforståelse hviler på — å lese en liten akseetikett, skille ut en tynn linje i et diagram, holde to like nyanser fra hverandre. Å holde aktiveringene på 16 bit koster båndbredde og kjøper tilbake presisjon der en synsarbeidsmengde merker det.

Stablet gir de tre en modell som får plass og holder seg rask uten kvalitetsstupet i det aggressive 3BIT-REAP-nivået vi bruker på de aller største grunnmodellene. Det er avveiingen prisen gjenspeiler.

03Syn: et API for bildeanalyse uten avvisninger

Inkling er en av fire synskapable modeller i katalogen vår, ved siden av Kimi-K3, Kimi-K2.6 og MiniMax-M3. Grunnmodellens publiserte synsresultater, fra Thinking Machines' utgivelse, er 73,3 % på MMMU Pro (Standard 10) og 78,1 % på CharXivs resonneringsspørsmål — som stiger til 82,0 % når modellen får kjøre Python mot diagrammet. Det er labbens egne tall for det ukvantiserte sjekkpunktet; behandle dem som taket for familien, ikke som en måling av vår bygging.

CharXiv er den det er verdt å dvele ved, for den peker rett på hvorfor folk kjøper et syns-API i stedet for en OCR-tjeneste. Den tester resonnering over vitenskapelige diagrammer — å lese av en verdi på en akse, sammenligne to serier, legge merke til at en trend snur. Ikke «hvilken tekst står i dette bildet», men «hva påstår denne figuren, og holder påstanden». Det er dét som forsvarer å sende et bilde til en resonneringsmodell på 975 milliarder parametere i stedet for til en liten bildetekstgenerator.

Å sende et bilde er helt vanlig OpenAI-kompatibelt arbeid — en image_url-innholdsdel på /v1/chat/completions, en image-blokk i Anthropic-stil på /v1/messages, eller det tilsvarende på /v1/responses. Alle tre dialektene treffer de samme vektene, og alle tre strømmer; velg den SDK-en din allerede snakker. Et gjennomarbeidet eksempel står i seksjon 09.

Det usensurerte betyr mer for syn enn for tekst. Et avvisningslag på et syns-endepunkt er uvanlig grovkornet, fordi det som regel klassifiserer bildet før modellen har resonnert om forespørselen. Legitimt arbeid blir fanget opp hele tiden: et sårfotografi i en pipeline for kliniske notater, et rettsmedisinsk skjermbilde i en hendelsesrapport, en filmrute som analyseres til en kritikk, en medisinsk skanning, et bilde av et dokument som tilfeldigvis inneholder et navn. Inkling på gatewayen vår har ingen slik klassifiserer foran seg. Den ser på det du sendte, og svarer på spørsmålet du stilte. Det er produktet.

04Strukturert utdata: response_format ja, json_schema nei

Dette er det ene stedet der Inkling er mindre kapabel enn mesteparten av katalogen, og det er bedre å planlegge for det enn å oppdage det i produksjon.

Egenskap	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Syn (bilder som inndata)	Ja	Ja	Ja	Nei
response_format	Ja	Ja	Ja	Nei
json_schema	Nei	Ja	Ja	Nei
Verktøykall	Ja	Ja	Ja	Ja
Resonneringsinnsats	Ja	Ja	Ja	Ja

response_format: {"type": "json_object"} virker — du får syntaktisk gyldig JSON. Det du ikke får, er grammatikkbegrenset dekoding mot et skjema du selv oppgir, der sampleren fysisk hindres i å sende ut en token som bryter strukturen din. Feltnavn, medlemskap i enum-verdier og tilstedeværelsen av påkrevde nøkler er modellens valg, ikke en garanti.

Tre måter å leve med det på, i stigende rekkefølge etter pålitelighet:

1. Legg skjemaet i prompten og valider. Sett skjemaet inn i systemprompten som bokstavelig JSON, sett response_format til json_object, og valider svaret på din side. Prøv på nytt ved valideringsfeil, med validatorens feilmelding lagt ved. Billig, virker, krever et budsjett for nye forsøk.
2. Bruk en verktøydefinisjon som skjema. Verktøykall er støttet, og en funksjons parameterdefinisjon er et JSON-skjema. Deklarer ett enkelt verktøy oppkalt etter uttrekket du vil ha, tving det frem, og les argumentene. Dette er som regel det sterkeste alternativet på Inkling, og det koster deg ingenting ekstra.
3. Del jobben mellom to modeller. La Inkling gjøre syn og resonnering i prosa, og gi så den prosaen videre til MiMo-V2.5-W8A16 til $0.50 / $2.00 med et ekte json_schema for struktureringssteget. To kall, men det andre er billig og forutsigbart i form, og modellen som må være smart er den som så bildet.

Alternativ 3 er mønsteret vi ville anbefalt for enhver uttrekkspipeline med stort volum. Betal pristillegget bare for steget som trenger det.

05Hva får du for pristillegget?

Til $1.42 inn / $6.07 ut per million tokens ligger Inkling bevisst midt i katalogen vår. Seks av de tolv modellene ligger på gulvet, $0.50 / $2.00. Kimi-K3 — flaggskipet, også synskapabelt — koster $3.83 / $19.12. Inkling er omtrent tre ganger gulvet på utdata og omtrent en tredjedel av flaggskipet.

Utdatapris, USD per 1 mill. tokens, listepriser på Shannon AI Gateway, september 2026. Stolpebredden er proporsjonal med prisen; lengre er dyrere.

Her er den ærlige vurderingen av hvor det pristillegget gjør nytte for seg — og hvor det ikke gjør det.

Arbeidsmengde	Bruke Inkling?	Hvorfor
Resonnering over diagrammer	Ja	De publiserte CharXiv- og MMMU Pro-tallene er det denne grunnmodellen er sterkest på.
Agenter drevet av skjermbilder	Ja	Syn pluss verktøykall pluss 262K historikk i én modell, uten overlevering.
Lange dokumenter med figurer	Ja	Tekst og bilder deler én dekoder og ett kontekstvindu.
Ren tekstgenerering	Nei	Seks modeller til $0.50 / $2.00 gjør dette. Du betaler for en synssti du aldri kaller.
Uttrekk mot skjema i stort volum	Nei	Ingen json_schema. MiMo-V2.5 er billigere og faktisk begrenset av skjemaet.
Absolutt tak i front	Nei	Kimi-K3 er flaggskipet. Betal de 3,1× hvis taket er begrensningen.
Billigst mulig syn	Nei	MiniMax-M3 har syn til $0.50 / $2.00. Start der, og eskaler hvis kvaliteten tvinger deg.

Les det som en rutingregel, ikke som en rangering. Inkling er riktig for et smalere bånd av arbeid enn en markedsføringsside ville påstått, og innenfor det båndet er den vanskelig å slå på pris. Utenfor det vil vi heller selge deg den billigere modellen og beholde deg som kunde.

06Kontekstvinduet på 262K, og hva som faktisk får plass

Alle tolv modellene på gatewayen serveres med en inn-kontekst på 262,144 tokens og maksimalt 16,384 tokens utdata per forespørsel. Ensartet med vilje: håndtering av kontekst skal aldri bli en modellavhengig forgrening i koden din, og å bytte inkling mot MiniMax-M3 i en konfigurasjonsfil skal ikke stille endre hva som får plass.

Merk avstanden til den publiserte grunnmodellen: Thinking Machines dokumenterer Inkling med 1,048,576 tokens, og vi serverer en skive på 262K av det. Har du en reell arbeidsmengde på én million tokens i én enkelt forespørsel, er vi ikke endepunktet for den, og det er bedre at du vet det før du bygger.

Til å måle 262K mot: en teknisk PDF på 400 sider med figurer, en mellomstor kodebase, flere timer med transkripsjon, eller en lang agentøkt som bærer dusinvis av verktøyresultater og en håndfull skjermbilder — hver av dem får plass i én forespørsel. På en synsmodell må du huske at bilder også bruker kontekst; et tett skjermbilde er ikke gratis, og en økt som strømmer bilderuter fyller vinduet raskere enn en ren tekstøkt. Arkitekturen passer godt til dette: 5:1-mønsteret mellom glidende vindu og globale lag betyr at de fleste lagene ser innenfor et nabolag på 512 tokens, mens de globale lagene med jevne mellomrom trekker langtrekkende struktur inn igjen.

07Resonneringsinnsats: betal for tenking bare når du trenger den

Inkling eksponerer styrbar resonneringsinnsats — en av de mer nyttige knappene i katalogen. Modellen oppstrøms tar imot nivåer fra none og minimal gjennom low, medium, high, xhigh, opp til max, tilgjengelig på alle tre dialektene gjennom standardparameteren reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Dette er en kostnadsspak med tenner, for resonneringstokens faktureres som utdatatokens til $6.07 per million. Thinking Machines rapporterer at Inkling på Terminal Bench 2.1 når poengsummer på linje med Nemotron 3 Ultra med omtrent en tredjedel av tokenene — tokeneffektivitet er et uttalt designmål for innsatssystemet, ikke et sammentreff.

I praksis: kjør low eller minimal til bildetekster, klassifisering og enkelt uttrekk, der svaret ligger i bildet og ingen slutningskjede trengs. Spar high og oppover til resonnering over diagrammer, visuell sammenligning i flere steg, og agentrunder der et galt mellomsteg er dyrt. De fleste team setter aldri parameteren i det hele tatt, og lar en flerfoldig forskjell i utdatakostnad ligge igjen på bordet.

08Hva «usensurert» betyr her — og hva det ikke betyr

Konkret: vi kjører denne modellen med ingen avvisningslag og ingen filtrering av utdata. Ingen klassifiserer leser prompten din og avgjør om modellen får lov til å svare, og ingen leser svaret før det strømmes. Når modellen er usikker eller mangler kunnskapen, sier den fra — det er modellen, ikke en policy. Det du ikke vil få, er en refleksmessig avvisning på et tema et forbrukerprodukt behandler som forbudt område.

For syn er dette hele verdiforslaget. Bildeklassifiserere foran syns-API-er er upresise, og andelen falske positive rammer hardest den profesjonelle jobben som trenger evnen mest: sikkerhetsforskning, kliniske sammenhenger, journalistikk og rettsmedisin, film- og kunstkritikk, modereringsverktøy som må se på det de modererer. Et endepunkt som avviser på kategori kan ikke betjene noen av dem pålitelig.

To ærlige forbehold. For det første publiserer Thinking Machines sikkerhetsevalueringer for sin egen referanseutrulling — 78,0 % på FORTRESS adversarial, 95,9 % på FORTRESS benign, 98,6 % på StrongREJECT. Disse tallene beskriver deres stakk med deres vokterlag på plass. De beskriver ikke vår, og vi vil ikke sitere dem som om de gjorde det. Vi fjernet laget de tallene delvis måler; det er produktet, og ansvaret.

For det andre er «ingen avvisningslag» ikke det samme som «ingen regler». Shannon Lab LLC driver etter en policy for ansvarlig bruk og gjeldende amerikansk lov. Å fjerne en klassifiserer flytter vurderingen over på deg, den sletter den ikke. Bygger du på dette, les policyen før du skalerer.

09Kom i gang

Samme base-URL, samme nøkkel, tre dialekter. Kaller koden din allerede OpenAI, Anthropic eller Responses-API-et, er som regel bytte av modellstrengen hele migreringen.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Full parameterreferanse, formene for /v1/messages og /v1/responses, formatene for strømmehendelser og en levende lekeplass finnes i API-dokumentasjonen. Modellkort for de elleve andre modellene finnes i Shannon Research.

Tallene for grunnmodellen er Thinking Machines Labs publiserte tall for det ukvantiserte Inkling-sjekkpunktet og beskriver taket for familien, ikke vår kvantiserte bygging. Priser og egenskapsflagg er listeverdier på Shannon AI Gateway per september 2026.

10Ofte stilte spørsmål

---

Kilder: Thinking Machines Lab — presentasjonen av Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — arkitektur- og benchmarknotater om Inkling. Benchmarker for grunnmodellen er rapportert av labben for det ukvantiserte sjekkpunktet.