Ocensurerat Inkling-API

De flesta av de tolv modellerna på vår gateway hanterar bara text. Fyra gör inte det, och bland de fyra har Inkling en bestämd plats: bildmodellen du väljer när bilden är den svåra delen av problemet men budgeten inte räcker till ett flaggskepp. Det här kortet går igenom var grundmodellen kommer ifrån, vad suffixet W4A16-AUTOROUND-REAP gjorde med den, vad den kommer och inte kommer att göra vid API-ytan, och — ärligt — när en billigare modell i samma katalog är det bättre valet.

01Vad är Inkling, och vem byggde den?

Inkling är den första modellen med öppna vikter från Thinking Machines Lab, publicerad den 15 juli 2026. Till skillnad från de flesta utgåvor som positioneras som ”öppna” levererades den med fullt nedladdningsbara vikter på Hugging Face och stöd från dag noll i transformers, SGLang, vLLM och llama.cpp — vilket är skälet till att den över huvud taget gick att köra på infrastruktur som vår. Huvudsiffrorna, från Thinking Machines eget utgåvematerial:

Det är en gles Mixture-of-Experts-layout: 66 avkodarlager med dold storlek 6 144, de två första täta, de återstående 64 med 256 dirigerade experter plus 2 delade experter, och 6 dirigerade experter aktiva per token. Ungefär 4 % av parametrarna arbetar på en given token — vilket är det som gör en modell nära en biljon parametrar rimlig att servera alls.

Två arkitekturval är ovanliga nog att namnge. Attention är varvad — 55 lager med glidande fönster om 512 tokens mot 11 globala lager, i ett upprepande mönster 5:1. Och Inkling använder inte RoPE: den använder en inlärd, indataberoende relativ positionsbias, tillsammans med korta kausala faltningar på nyckel- och värdeprojektionerna och på residualgrenarna. Sebastian Raschkas arkitekturanteckningar pekar ut båda som verkliga avsteg från standardreceptet 2026. Träningen använde Muon för de stora matrisparametrarna och Adam för resten, följt av över 30 miljoner asynkrona RL-utrullningar i efterträningen.

Poängen för en API-konsument är inte kuriosan. Den är att det här är en grundmodell i frontklass, multimodal från grunden, tränad på 45 biljoner tokens som spänner över text, bild, ljud och video — inte en textmodell med en bildadapter påskruvad i efterhand. Bilder kodas som bildrutor på 40×40 pixlar genom en hierarkisk MLP-patchifierare i fyra lager och bearbetas tillsammans med text i samma avkodare. Visuell förståelse fanns med i förträningsmålet.

02Vad betyder W4A16-AUTOROUND-REAP?

Tre separata tekniker staplas i det suffixet, och de gör olika jobb. Värt att förstå, eftersom suffixet är den enskilt största skillnaden mellan modellen du anropar på vårt API och den kontrollpunkt Thinking Machines publicerade.

REAP — att beskära experterna ingen dirigerar till

REAP står för Router-weighted Expert Activation Pruning, från Cerebras Research (arXiv 2510.13999, antagen till ICLR 2026). I en MoE med 256 experter per lager fördelar routern inte arbetet jämnt: vissa experter träffas hela tiden, andra aktiveras sällan och bidrar med lite när de gör det. REAP poängsätter varje expert på både routerns grindvärden och expertens aktiveringsnormer — en expert som väljs ofta men bidrar med små uppdateringar betyder mindre än urvalsfrekvensen antyder — och tar bort de med låg framträdandegrad i ett enda svep, före kvantiseringen.

Skälet till att vi beskär i stället för att använda den mer moderiktiga sammanslagningen av experter är att de två skiljer sig åt beroende på uppgiftstyp. Sammanslagning ser konkurrenskraftig ut på diskriminativa benchmarks och faller isär på generativa. REAP:s författare rapporterar att beskärning bevarar kvaliteten bättre på exakt de arbetslaster folk köper ett API för — kodsyntes, verktygsanrop, resonemang över flera turer — vid kompressionsgrader över 50 %, för modeller från 20B till 1T parametrar. Sammanslagning förstör routerns specialisering; beskärning lämnar de överlevande experterna och dirigeringen mellan dem intakta.

AutoRound — att lära sig var man ska avrunda

AutoRound är Intels metod för kvantisering efter träning (arXiv 2309.05516, publicerad som SignRound). Naiv kvantisering avrundar varje vikt till närmaste representerbara 4-bitarsvärde — ett rimligt standardval och ett dåligt val i stor skala, eftersom avrundningsfelen inte är oberoende och ackumuleras genom en stapel på 66 lager. AutoRound behandlar avrundningsbeslutet som något att optimera: teckenbaserad gradientnedstigning justerar gemensamt avrundningsriktning och klippintervall för vikterna över ett par hundra steg, och lånar noggrannheten från kvantiseringsmedveten träning utan att träna om. Intel rapporterar de största vinsterna vid extremt låga bitnivåer och ett konkurrensövertag vid INT4.

W4A16 — vart bitarna tar vägen

W4A16 är det numeriska formatet: 4-bitars vikter, 16-bitars aktiveringar. Vikterna — som dominerar minnet i en modell på 975B — krymper till ungefär en fjärdedel av ett BF16-avtryck, medan aritmetiken stannar på 16 bitar. Den uppdelningen spelar särskild roll för en bildmodell: scheman som kvantiserar aktiveringarna skadar precis det finkorniga numeriska arbete som bildförståelse bygger på — att läsa en liten axeletikett, urskilja en tunn linje i ett diagram, skilja två snarlika nyanser åt. Att hålla aktiveringarna på 16 bitar kostar bandbredd och köper tillbaka precision där en bildarbetslast märker det.

Staplade ger de tre en modell som får plats och förblir snabb utan kvalitetsstupet från den aggressiva nivån 3BIT-REAP som vi använder på de allra största grundmodellerna. Det är avvägningen priset speglar.

03Vision: ett API för bildanalys utan vägranden

Inkling är en av fyra bildkapabla modeller i vår katalog, vid sidan av Kimi-K3, Kimi-K2.6 och MiniMax-M3. Basmodellens publicerade bildresultat, från Thinking Machines utgåva, är 73,3 % på MMMU Pro (Standard 10) och 78,1 % på CharXiv-resonemangsfrågor — stigande till 82,0 % när modellen får köra Python mot diagrammet. Det är labbets egna siffror för den okvantiserade kontrollpunkten; behandla dem som familjens tak, inte som en mätning av vår build.

CharXiv är den som är värd att dröja vid, eftersom den fångar varför man köper ett bild-API i stället för en OCR-tjänst. Den testar resonemang över vetenskapliga diagram — att läsa av ett värde på en axel, jämföra två serier, märka att en trend vänder. Inte ”vilken text finns i den här bilden” utan ”vad hävdar den här figuren, och håller påståendet”. Det är det som motiverar att skicka en bild till en resonemangsmodell på 975B i stället för till en liten bildtextare.

Att skicka en bild är vanligt OpenAI-kompatibelt arbete — en innehållsdel av typen image_url på /v1/chat/completions, ett image-block i Anthropic-stil på /v1/messages, eller motsvarande på /v1/responses. Alla tre dialekterna når samma vikter och alla tre strömmar; välj den ditt befintliga SDK redan talar. Ett genomarbetat exempel finns i avsnitt 09.

Den ocensurerade delen betyder mer för bild än för text. Ett vägranslager på en bildslutpunkt är ovanligt trubbigt, eftersom det oftast klassificerar bilden innan modellen har resonerat om förfrågan. Legitimt arbete fastnar hela tiden: ett sårfoto i en pipeline för kliniska anteckningar, en forensisk skärmbild i en incidentrapport, en filmruta som analyseras för en kritikertext, en medicinsk skanning, en bild av ett dokument som råkar innehålla ett namn. Inkling på vår gateway har ingen sådan klassificerare framför sig. Den tittar på det du skickade och svarar på frågan du ställde. Det är produkten.

04Strukturerad utdata: response_format ja, json_schema nej

Det här är det enda stället där Inkling är mindre kapabel än större delen av katalogen, och det är bättre att planera för det än att upptäcka det i produktion.

Förmåga	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Vision (bildindata)	Ja	Ja	Ja	Nej
response_format	Ja	Ja	Ja	Nej
json_schema	Nej	Ja	Ja	Nej
Verktygsanrop	Ja	Ja	Ja	Ja
Resonemangsnivå	Ja	Ja	Ja	Ja

response_format: {"type": "json_object"} fungerar — du får syntaktiskt giltig JSON. Det du inte får är grammatikbegränsad avkodning mot ett schema du tillhandahåller, där samplaren fysiskt hindras från att avge en token som bryter mot din struktur. Fältnamn, enum-tillhörighet och närvaron av obligatoriska nycklar är modellens val, inte en garanti.

Tre sätt att leva med det, i stigande ordning efter tillförlitlighet:

1. Prompta schemat och validera. Lägg schemat i systemprompten som bokstavlig JSON, sätt response_format till json_object och validera svaret på din sida. Gör om anropet vid valideringsfel med validerarens felmeddelande bifogat. Billigt, fungerar, kräver en budget för omförsök.
2. Använd en verktygsdefinition som schema. Verktygsanrop stöds, och en funktions parameterdefinition är ett JSON-schema. Deklarera ett enda verktyg med namn efter den extraktion du vill ha, tvinga fram det och läs argumenten. Det här är oftast det starkaste alternativet på Inkling och det kostar dig inget extra.
3. Dela jobbet mellan två modeller. Låt Inkling göra bild- och resonemangsarbetet i prosa, och lämna sedan den prosan till MiMo-V2.5-W8A16 för $0.50 / $2.00 med ett riktigt json_schema för struktureringssteget. Två anrop, men det andra är billigt, formmässigt förutsägbart, och modellen som behöver vara smart är den som såg bilden.

Alternativ 3 är mönstret vi skulle rekommendera för varje extraktionspipeline med hög volym. Betala överpriset bara för steget som behöver det.

05Vad köper prispremien?

Vid $1.42 in / $6.07 ut per miljon tokens ligger Inkling medvetet mitt i vår katalog. Sex av de tolv modellerna ligger på golvpriset $0.50 / $2.00. Kimi-K3 — flaggskeppet, också bildkapabelt — kostar $3.83 / $19.12. Inkling ligger på ungefär tre gånger golvet på utdata och ungefär en tredjedel av flaggskeppet.

Utdatapris, USD per 1M tokens, listpriser för Shannon AI Gateway, september 2026. Stapelbredden är proportionell mot priset; längre är dyrare.

Här är den ärliga bedömningen av var premien förtjänar sitt uppehälle — och var den inte gör det.

Arbetslast	Använda Inkling?	Varför
Resonemang om diagram	Ja	De publicerade CharXiv- och MMMU Pro-siffrorna är det den här grundmodellen är starkast på.
Agenter som drivs av skärmbilder	Ja	Vision plus verktygsanrop plus 262K historik i en modell, utan överlämning.
Långa dokument med figurer	Ja	Text och bild delar en avkodare och ett kontextfönster.
Ren textgenerering	Nej	Sex modeller för $0.50 / $2.00 klarar det här. Du betalar för en bildväg du aldrig anropar.
Schemaextraktion i stor volym	Nej	Inget json_schema. MiMo-V2.5 är billigare och begränsad av schema.
Absolut frontnivå	Nej	Kimi-K3 är flaggskeppet. Betala 3,1× om taket är begränsningen.
Billigast möjliga vision	Nej	MiniMax-M3 har vision för $0.50 / $2.00. Börja där, eskalera om kvaliteten tvingar dig.

Läs det som en dirigeringsregel, inte som en rangordning. Inkling är rätt för ett smalare band av arbete än en marknadsföringssida skulle påstå, och inom det bandet är den svår att slå på pris. Utanför det säljer vi hellre den billigare modellen till dig och behåller dig.

06Kontextfönstret på 262K, och vad som faktiskt får plats

Alla tolv modellerna på gatewayen serveras med 262 144 tokens indatakontext och maximalt 16 384 tokens utdata per förfrågan. Enhetligt med flit: kontexthantering ska aldrig bli en förgrening per modell i din kod, och att byta inkling mot MiniMax-M3 i en konfigurationsfil ska inte tyst ändra vad som får plats.

Notera gapet mot den publicerade grundmodellen: Thinking Machines dokumenterar Inkling vid 1 048 576 tokens, och vi serverar en skiva på 262K av det. Har du en genuin arbetslast på en miljon tokens i en enda förfrågan är vi inte slutpunkten för den, och det är bättre att du vet det innan du bygger.

Om storleksordningen vid 262K: en teknisk PDF på 400 sidor med sina figurer, en medelstor kodbas, flera timmars transkript, eller en lång agentisk session som bär på dussintals verktygsresultat och en handfull skärmbilder — vart och ett får plats i en förfrågan. På en bildmodell: kom ihåg att bilder också förbrukar kontext; en tät skärmbild är inte gratis, och en session som strömmar bildrutor fyller fönstret snabbare än en som bara hanterar text. Arkitekturen passar det här väl: mönstret 5:1 mellan glidande fönster och globala lager betyder att de flesta lagren riktar uppmärksamheten inom en grannskap på 512 tokens, medan globala lager periodvis drar in långdistansstruktur igen.

07Resonemangsnivå: att betala för tänkande bara när du behöver det

Inkling exponerar styrbar resonemangsnivå — en av de mer användbara rattarna i katalogen. Uppströmsmodellen tar emot nivåer från none och minimal via low, medium, high, xhigh, upp till max, exponerade på alla tre dialekterna genom standardparametern reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Det här är en kostnadsspak med tänder, eftersom resonemangstokens debiteras som utdatatokens för $6.07 per miljon. Thinking Machines rapporterar att Inkling på Terminal Bench 2.1 når resultat jämförbara med Nemotron 3 Ultra på ungefär en tredjedel av tokens — tokeneffektivitet är ett uttalat designmål för nivåsystemet, inte en tillfällighet.

I praktiken: kör low eller minimal för bildtextning, klassificering och rättfram extraktion, där svaret finns i bilden och ingen slutledningskedja behövs. Reservera high och uppåt för resonemang om diagram, visuella jämförelser i flera steg och agentiska turer där ett felaktigt mellansteg är dyrt. De flesta team sätter aldrig parametern alls, och lämnar en flerfaldig skillnad i utdatakostnad på bordet.

08Vad ”ocensurerad” betyder här — och vad det inte betyder

Konkret: vi kör den här modellen utan vägranslager och utan filtrering av utdata. Ingen klassificerare läser din prompt och avgör om modellen får svara, och ingen läser svaret innan det strömmas. När modellen är osäker eller saknar kunskapen säger den det — det är modellen, inte en policy. Det du inte får är ett reflexmässigt avböjande på ett ämne som en allmän konsumentprodukt behandlar som förbjudet.

För bild är det hela värdeerbjudandet. Bildklassificerare framför bild-API:er är oprecisa, och andelen falska positiva slår hårdast mot det professionella arbete som mest behöver förmågan: säkerhetsforskning, kliniska sammanhang, journalistik och forensik, film- och konstkritik, moderationsverktyg som måste titta på det de modererar. En slutpunkt som vägrar utifrån kategori kan inte betjäna något av det tillförlitligt.

Två ärliga förbehåll. För det första publicerar Thinking Machines säkerhetsutvärderingar för sin referensdriftsättning — 78,0 % på FORTRESS adversarial, 95,9 % på FORTRESS benign, 98,6 % på StrongREJECT. De siffrorna beskriver deras stapel med deras skyddsräcken på plats. De beskriver inte vår, och vi citerar dem inte som om de gjorde det. Vi tog bort det lager de siffrorna delvis mäter; det är produkten, och ansvaret.

För det andra är ”inget vägranslager” inte ”inga regler”. Shannon Lab LLC verkar under en policy för ansvarsfull användning och under tillämplig amerikansk lag. Att ta bort en klassificerare flyttar bedömningen till dig, det raderar den inte. Bygger du på det här, läs policyn innan du skalar.

09Kom igång

Samma bas-URL, samma nyckel, tre dialekter. Om din kod redan anropar OpenAI, Anthropic eller Responses-API:et är byte av modellsträngen oftast hela migreringen.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Fullständig parameterreferens, formaten för /v1/messages och /v1/responses, händelseformat för strömning och en live-playground finns i API-dokumentationen. Modellkort för de elva andra modellerna finns i Shannon Research.

Siffrorna för grundmodellen är Thinking Machines Labs publicerade tal för den okvantiserade Inkling-kontrollpunkten och beskriver familjens tak, inte vår kvantiserade build. Priser och förmågeflaggor är listvärden för Shannon AI Gateway per september 2026.

10Vanliga frågor

---

Källor: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — arkitektur- och benchmarkanteckningar om Inkling. Benchmarks för grundmodellen är labbrapporterade för den okvantiserade kontrollpunkten.