Ucensureret Inkling-API

De fleste af de tolv modeller på vores gateway er tekstmodeller. Fire er det ikke, og blandt de fire har Inkling en helt bestemt plads: det er den vision-model, du griber, når billedet er den svære del af problemet, men budgettet ikke rækker til et flagskib. Dette kort beskriver, hvor grundmodellen kommer fra, hvad endelsen W4A16-AUTOROUND-REAP gjorde ved den, hvad den vil og ikke vil gøre på API-fladen, og — ærligt — hvornår en billigere model i samme katalog er det rigtigere valg.

01Hvad er Inkling, og hvem har bygget den?

Inkling er den første model med åbne vægte fra Thinking Machines Lab, offentliggjort 15. juli 2026. I modsætning til de fleste udgivelser, der markedsføres som »åbne«, udkom den med fuldt hentbare vægte på Hugging Face og understøttelse fra dag nul i transformers, SGLang, vLLM og llama.cpp — og det er derfor, den overhovedet kan køres på infrastruktur som vores. Hovedtallene, fra Thinking Machines' eget udgivelsesmateriale:

Det er en sparsom Mixture-of-Experts-opbygning: 66 dekoderlag med en skjult størrelse på 6.144, de to første tætte, de resterende 64 med 256 routede eksperter plus 2 delte eksperter, og med 6 routede eksperter aktive pr. token. Omtrent 4 % af parametrene fyrer af på en given token — og det er dét, der gør en model på næsten en billion parametre mulig at servere overhovedet.

To arkitekturvalg er usædvanlige nok til at blive nævnt ved navn. Attention er sammenflettet — 55 lag med sliding-window attention over et vindue på 512 tokens mod 11 globale lag, i et gentaget 5:1-mønster. Og Inkling bruger ikke RoPE: den bruger en lært, inputafhængig relativ positionsbias sammen med korte kausale foldninger på key/value-projektionerne og på residualgrenene. Sebastian Raschkas arkitekturnoter fremhæver begge dele som reelle afvigelser fra standardopskriften anno 2026. Træningen brugte Muon til de store matrixparametre og Adam til resten, derefter over 30 millioner asynkrone RL-rollouts i eftertræningen.

Pointen for den, der bruger API'et, er ikke detaljerne. Det er, at dette er en grundmodel i frontlinjeskala, som er multimodal fra bunden, trænet på 45 billioner tokens fordelt på tekst, billeder, lyd og video — ikke en tekstmodel med en vision-adapter boltet på bagefter. Billeder indkodes som 40×40 pixel-patches gennem en firelags hierarkisk MLP-patchifier og behandles sammen med tekst i den samme dekoder. Visuel forståelse lå i fortræningsmålet.

02Hvad betyder W4A16-AUTOROUND-REAP?

Tre separate teknikker er stablet i den endelse, og de gør hver sit. Værd at forstå, for endelsen er den største enkeltforskel mellem den model, du kalder på vores API, og det checkpoint, Thinking Machines udgav.

REAP — at beskære de eksperter, ingen router til

REAP er Router-weighted Expert Activation Pruning fra Cerebras Research (arXiv 2510.13999, antaget på ICLR 2026). I en MoE med 256 eksperter pr. lag fordeler routeren ikke arbejdet jævnt: nogle eksperter rammes hele tiden, andre fyrer sjældent af og bidrager med lidt, når de gør. REAP giver hver ekspert en score på både routerens gate-værdier og ekspertens aktiveringsnormer — en ekspert, der vælges ofte, men bidrager med opdateringer af lille størrelse, betyder mindre, end antallet af valg antyder — og fjerner de mindst betydningsfulde i ét hug, før kvantiseringen.

Grunden til, at vi bruger beskæring frem for den mere moderne sammenlægning af eksperter, er, at de to divergerer efter opgavetype. Sammenlægning ser konkurrencedygtig ud på diskriminative benchmarks og falder fra hinanden på generative. REAP's forfattere rapporterer, at beskæring bevarer kvaliteten bedre på præcis de arbejdsbyrder, folk køber et API for — kodesyntese, tool calling, ræsonnement over flere runder — ved komprimeringsforhold over 50 %, på tværs af modeller fra 20 mia. til 1 billion parametre. Sammenlægning ødelægger routerens specialisering; beskæring lader de overlevende eksperter og routingen mellem dem være intakte.

AutoRound — at lære, hvor der skal rundes af

AutoRound er Intels metode til kvantisering efter træning (arXiv 2309.05516, udgivet som SignRound). Naiv kvantisering runder hver vægt af til den nærmeste repræsenterbare 4-bit-værdi — et rimeligt udgangspunkt og et dårligt et i stor skala, fordi afrundingsfejl ikke er uafhængige og hober sig op gennem en stak på 66 lag. AutoRound behandler afrundingsvalget som noget, der skal optimeres: signed gradient descent justerer i fællesskab afrundingsretning og klipningsintervaller for vægtene over et par hundrede skridt og låner nøjagtigheden fra kvantiseringsbevidst træning uden at gentræne. Intel rapporterer de største gevinster ved ekstremt lave bit-indstillinger og et konkurrencemæssigt forspring ved INT4.

W4A16 — hvor bitene lander

W4A16 er talformatet: 4-bit vægte, 16-bit aktiveringer. Vægtene — som fylder mest i hukommelsen i en model på 975 mia. parametre — skrumper til omtrent en fjerdedel af et BF16-fodaftryk, mens regnestykkerne bliver ved med at være 16 bit. Den opdeling betyder noget netop for en vision-model: skemaer med kvantiserede aktiveringer rammer præcis det finkornede talarbejde, billedforståelse afhænger af — at læse en lille aksemærkat, at opløse en tynd streg i et diagram, at skelne to nærliggende nuancer. At holde aktiveringerne på 16 bit koster båndbredde og køber præcision tilbage dér, hvor en vision-arbejdsbyrde lægger mærke til det.

Stablet giver de tre en model, der passer og forbliver hurtig uden kvalitetsfaldet fra det aggressive 3BIT-REAP-niveau, vi bruger på de allerstørste grundmodeller. Det er den afvejning, prisen afspejler.

03Vision: et API til billedanalyse uden afvisninger

Inkling er en af fire modeller med vision i vores katalog, ved siden af Kimi-K3, Kimi-K2.6 og MiniMax-M3. Grundmodellens offentliggjorte vision-resultater, fra Thinking Machines' udgivelse, er 73,3 % på MMMU Pro (Standard 10) og 78,1 % på CharXiv-ræsonnementsspørgsmål — stigende til 82,0 %, når modellen får lov at køre Python mod diagrammet. Det er laboratoriets egne tal for det ukvantiserede checkpoint; behandl dem som familiens loft, ikke som en måling af vores udgave.

CharXiv er den, der er værd at dvæle ved, fordi den rammer præcis dét, folk køber et vision-API for frem for en OCR-tjeneste. Den tester ræsonnement over videnskabelige diagrammer — at aflæse en værdi på en akse, at sammenligne to serier, at bemærke at en tendens vender. Ikke »hvilken tekst står der på dette billede«, men »hvad påstår denne figur, og holder påstanden«. Det er dét, der retfærdiggør at sende et billede til en ræsonneringsmodel på 975 mia. parametre i stedet for en lille billedtekstmodel.

At sende et billede er helt almindeligt OpenAI-kompatibelt arbejde — en image_url-indholdsdel på /v1/chat/completions, en image-blok i Anthropic-stil på /v1/messages eller det tilsvarende på /v1/responses. Alle tre dialekter rammer de samme vægte, og alle tre streamer; vælg den, dit eksisterende SDK allerede taler. Et gennemarbejdet eksempel findes i afsnit 09.

Den ucensurerede del betyder mere for vision end for tekst. Et afvisningslag på et vision-endpoint er usædvanligt kluntet, fordi det typisk klassificerer billedet, før modellen har ræsonneret over forespørgslen. Legitimt arbejde bliver fanget hele tiden: et sårfotografi i en pipeline til journalnotater, et retsmedicinsk skærmbillede i en hændelsesrapport, et enkeltbillede fra en film, der analyseres til en anmeldelse, en medicinsk scanning, et billede af et dokument, der tilfældigvis indeholder et navn. Inkling på vores gateway har ingen sådan klassifikator foran sig. Den kigger på det, du sendte, og svarer på det spørgsmål, du stillede. Det er produktet.

04Struktureret output: response_format ja, json_schema nej

Det er det ene sted, hvor Inkling kan mindre end det meste af kataloget, og det er bedre at planlægge efter det end at opdage det i produktion.

Egenskab	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Vision (billedinput)	Ja	Ja	Ja	Nej
response_format	Ja	Ja	Ja	Nej
json_schema	Nej	Ja	Ja	Nej
Tool calling	Ja	Ja	Ja	Ja
Ræsonnementsindsats	Ja	Ja	Ja	Ja

response_format: {"type": "json_object"} virker — du får syntaktisk gyldig JSON. Det, du ikke får, er grammatikbegrænset afkodning mod et skema, du selv leverer, hvor sampleren fysisk forhindres i at udsende en token, der bryder din struktur. Feltnavne, enum-medlemskab og tilstedeværelsen af påkrævede nøgler er modellens valg, ikke en garanti.

Tre måder at leve med det på, i stigende orden efter pålidelighed:

1. Skriv skemaet i prompten, og validér. Læg skemaet i systemprompten som bogstavelig JSON, sæt response_format til json_object, og validér svaret i din egen ende. Prøv igen ved valideringsfejl med validatorens fejlbesked vedhæftet. Billigt, virker, kræver et budget til gentagne forsøg.
2. Brug en tool-definition som skema. Tool calling er understøttet, og en funktions parameterdefinition er et JSON-skema. Erklær ét enkelt tool opkaldt efter det udtræk, du vil have, gennemtving det, og læs argumenterne. Det er som regel den stærkeste mulighed på Inkling, og det koster dig ikke noget ekstra.
3. Del arbejdet mellem to modeller. Lad Inkling klare vision og ræsonnement i prosa, og giv så den prosa videre til MiMo-V2.5-W8A16 til $0,50 / $2,00 med et rigtigt json_schema til struktureringen. To kald, men det andet er billigt og formmæssigt deterministisk, og den model, der skal være klog, er den, der så billedet.

Mulighed 3 er det mønster, vi ville anbefale til enhver udtrækspipeline med stor volumen. Betal kun tillægget for det trin, der har brug for det.

05Hvad køber pristillægget?

Til $1,42 ind / $6,07 ud pr. million tokens ligger Inkling bevidst midt i vores katalog. Seks af de tolv modeller ligger på bundprisen $0,50 / $2,00. Kimi-K3 — flagskibet, som også har vision — koster $3,83 / $19,12. Inkling er cirka tre gange bundprisen på output og cirka en tredjedel af flagskibet.

Outputpris, USD pr. 1M tokens, listepriser på Shannon AI Gateway, september 2026. Bjælkens bredde er proportional med prisen; længere er dyrere.

Her er den ærlige udlægning af, hvor tillægget tjener sig hjem — og hvor det ikke gør.

Arbejdsbyrde	Brug Inkling?	Hvorfor
Ræsonnement over diagrammer	Ja	De offentliggjorte tal for CharXiv og MMMU Pro er dét, denne grundmodel er stærkest til.
Agenter drevet af skærmbilleder	Ja	Vision plus tool calling plus 262K historik i én model, ingen overlevering.
Lange dokumenter med figurer	Ja	Tekst og billeder deler én dekoder og ét kontekstvindue.
Almindelig tekstgenerering	Nej	Seks modeller til $0,50 / $2,00 klarer det. Du betaler for en vision-sti, du aldrig kalder.
Skemaudtræk i stor mængde	Nej	Intet json_schema. MiMo-V2.5 er billigere og begrænset.
Absolut frontlinjeloft	Nej	Kimi-K3 er flagskibet. Betal de 3,1×, hvis loftet er begrænsningen.
Billigst mulige vision	Nej	MiniMax-M3 har vision til $0,50 / $2,00. Start dér, og eskalér hvis kvaliteten tvinger dig.

Læs det som en routingregel, ikke som en rangliste. Inkling er det rigtige valg til et smallere bånd af arbejde, end en marketingside ville påstå, og inden for det bånd er den svær at slå på pris. Uden for det sælger vi hellere den billigere model til dig og beholder dig som kunde.

06Kontekstvinduet på 262K, og hvad der faktisk er plads til

Alle tolv modeller på gatewayen serveres med en inputkontekst på 262.144 tokens og et maksimalt output på 16.384 tokens pr. forespørgsel. Ensartet med vilje: håndtering af kontekst bør aldrig blive en forgrening pr. model i din kode, og at skifte inkling ud med MiniMax-M3 i en konfigurationsfil bør ikke stille og roligt ændre, hvad der er plads til.

Bemærk forskellen til den offentliggjorte grundmodel: Thinking Machines dokumenterer Inkling med 1.048.576 tokens, og vi serverer en skive på 262K af det. Har du en reel arbejdsbyrde på én million tokens i én forespørgsel, er vi ikke endpointet til den, og det er bedre, du ved det, før du bygger.

Til skala ved 262K: en teknisk PDF på 400 sider med figurer, en mellemstor kodebase, adskillige timers transskription eller en lang agentisk session med snesevis af tool-resultater og en håndfuld skærmbilleder — hver af dem er der plads til i én forespørgsel. På en vision-model skal du huske, at billeder også bruger kontekst; et tætpakket skærmbillede er ikke gratis, og en session, der streamer enkeltbilleder, fylder vinduet hurtigere end en, der kun er tekst. Arkitekturen passer godt til det: 5:1-mønsteret mellem sliding-window og globale lag betyder, at de fleste lag holder deres opmærksomhed inden for et naboskab på 512 tokens, mens globale lag med jævne mellemrum trækker den langtrækkende struktur tilbage ind.

07Ræsonnementsindsats: betal kun for tænkning, når du har brug for den

Inkling giver adgang til styrbar ræsonnementsindsats — en af de mere nyttige knapper i kataloget. Modellen ovenfra tager imod niveauer fra none og minimal over low, medium, high, xhigh og op til max, eksponeret på alle tre dialekter gennem standardparameteren reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Det er en omkostningsknap med bid, for ræsonnementstokens afregnes som outputtokens til $6,07 pr. million. Thinking Machines rapporterer, at Inkling på Terminal Bench 2.1 når resultater, der er sammenlignelige med Nemotron 3 Ultra, med omtrent en tredjedel af tokenforbruget — tokeneffektivitet er et erklæret designmål for indsatssystemet, ikke et tilfælde.

I praksis: kør low eller minimal til billedtekster, klassifikation og ligefremt udtræk, hvor svaret ligger i billedet, og ingen kæde af slutninger er nødvendig. Gem high og opefter til ræsonnement over diagrammer, visuel sammenligning i flere trin og agentiske runder, hvor et forkert mellemtrin er dyrt. De fleste teams sætter aldrig parameteren overhovedet og lader en flerdobbelt forskel i outputomkostning ligge på bordet.

08Hvad »ucensureret« betyder her — og hvad det ikke betyder

Konkret: vi kører denne model med intet afvisningslag og ingen filtrering af output. Ingen klassifikator læser din prompt og afgør, om modellen må svare, og ingen læser svaret, før det streames. Når modellen er usikker eller mangler viden, siger den det — det er modellen, ikke en politik. Det, du ikke får, er en refleksagtig afvisning af et emne, som et almindeligt forbrugerprodukt betragter som forbudt område.

For vision er det hele værdiforslaget. Billedklassifikatorer foran vision-API'er er upræcise, og raten af falske positiver rammer hårdest dét professionelle arbejde, der har mest brug for evnen: sikkerhedsforskning, kliniske sammenhænge, journalistik og retsmedicin, film- og kunstkritik, moderationsværktøjer der er nødt til at se på dét, de modererer. Et endpoint, der afviser på kategori, kan ikke betjene nogen af dem pålideligt.

To ærlige forbehold. For det første offentliggør Thinking Machines sikkerhedsevalueringer for deres egen referenceudrulning — 78,0 % på FORTRESS adversarial, 95,9 % på FORTRESS benign, 98,6 % på StrongREJECT. De tal beskriver deres stak med deres værn på plads. De beskriver ikke vores, og vi vil ikke citere dem, som om de gjorde. Vi har fjernet det lag, tallene delvist måler; det er produktet, og det er ansvaret.

For det andet er »intet afvisningslag« ikke det samme som »ingen regler«. Shannon Lab LLC driver virksomhed under en politik for ansvarlig brug og under gældende amerikansk ret. At fjerne en klassifikator flytter dømmekraften over til dig, det sletter den ikke. Bygger du på det her, så læs politikken, før du skalerer.

09Kom i gang

Samme base-URL, samme nøgle, tre dialekter. Kalder din kode allerede OpenAI, Anthropic eller Responses-API'et, er det som regel hele migreringen at ændre modelstrengen.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Den fulde parameteroversigt, formerne for /v1/messages og /v1/responses, streamingens hændelsesformater og en live-playground findes i API-dokumentationen. Modelkort for de øvrige elleve modeller ligger i Shannon Research.

Tallene for grundmodellen er Thinking Machines Labs offentliggjorte tal for det ukvantiserede Inkling-checkpoint og beskriver familiens loft, ikke vores kvantiserede udgave. Priser og egenskabsflag er listeværdier på Shannon AI Gateway pr. september 2026.

10Ofte stillede spørgsmål

---

Kilder: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — noter om Inklings arkitektur og benchmarks. Benchmarks for grundmodellen er rapporteret af laboratoriet for det ukvantiserede checkpoint.