Ongecensureerde Inkling model-API

De meeste van de twaalf modellen op onze gateway zijn tekst-only. Vier zijn dat niet, en binnen dat viertal heeft Inkling een specifieke plek: het vision-model waar u naar grijpt wanneer het beeld het moeilijke deel van het probleem is, maar het budget niet tot een vlaggenschip reikt. Deze kaart behandelt waar het basismodel vandaan komt, wat het achtervoegsel W4A16-AUTOROUND-REAP ermee gedaan heeft, wat het aan de API-kant wel en niet doet, en — eerlijk gezegd — wanneer een goedkoper model uit dezelfde catalogus de betere keuze is.

01Wat is Inkling, en wie heeft het gebouwd?

Inkling is het eerste model met open gewichten van Thinking Machines Lab, gepubliceerd op 15 juli 2026. Anders dan de meeste uitgaven die zich als "open" positioneren, kwam het met volledig downloadbare gewichten op Hugging Face en met ondersteuning vanaf dag nul in transformers, SGLang, vLLM en llama.cpp — en dat is precies waarom het op infrastructuur zoals de onze überhaupt te draaien is. De kerncijfers, uit het uitgavemateriaal van Thinking Machines zelf:

Dat is een dunbezette Mixture-of-Experts-opzet: 66 decoderlagen met een verborgen dimensie van 6,144, waarvan de eerste twee dicht zijn en de overige 64 elk 256 gerouteerde experts plus 2 gedeelde experts dragen, met 6 gerouteerde experts actief per token. Ruwweg 4% van de parameters vuurt bij een willekeurig token — en dat is wat een model van bijna een biljoen parameters überhaupt serveerbaar maakt.

Twee architectuurkeuzes zijn ongewoon genoeg om te noemen. De aandacht is afwisselend — 55 lagen sliding-window attention over een venster van 512 tokens tegenover 11 globale lagen, in een herhalend patroon van 5:1. En Inkling gebruikt geen RoPE: het gebruikt een geleerde, invoerafhankelijke relatieve positiebias, naast korte causale convoluties op de key/value-projecties en de residuele takken. Sebastian Raschka merkt in zijn architectuurnotities beide aan als echte afwijkingen van het standaardrecept van 2026. Bij de training werd Muon gebruikt voor de grote matrixparameters en Adam voor de rest, gevolgd door meer dan 30 miljoen asynchrone RL-rollouts in de post-training.

Voor wie de API afneemt, gaat het niet om die trivia. Het gaat erom dat dit een natief multimodaal basismodel op frontierschaal is, getraind op 45 biljoen tokens tekst, beeld, audio en video — geen tekstmodel waar later een vision-adapter op geschroefd is. Afbeeldingen worden gecodeerd als patches van 40×40 pixels via een hiërarchische MLP-patchifier van vier lagen, en samen met tekst in dezelfde decoder verwerkt. Beeldbegrip zat in de pretrainingsdoelstelling.

02Wat betekent W4A16-AUTOROUND-REAP?

In dat achtervoegsel zitten drie afzonderlijke technieken gestapeld, en ze doen verschillend werk. De moeite waard om te begrijpen, want dat achtervoegsel is het grootste enkele verschil tussen het model dat u op onze API aanroept en het checkpoint dat Thinking Machines publiceerde.

REAP — de experts wegsnoeien waar niemand naartoe routeert

REAP staat voor Router-weighted Expert Activation Pruning, van Cerebras Research (arXiv 2510.13999, aangenomen op ICLR 2026). In een MoE met 256 experts per laag verdeelt de router het werk niet gelijkmatig: sommige experts worden voortdurend aangesproken, andere vuren zelden en dragen dan weinig bij. REAP scoort elke expert op zowel de gate-waarden van de router als de activatienormen van de expert — een expert die vaak gekozen wordt maar updates van kleine omvang levert, telt minder zwaar dan zijn selectiefrequentie suggereert — en verwijdert de weinig saillante experts in één stap, vóór het kwantiseren.

De reden dat wij snoeien in plaats van het modieuzere samenvoegen van experts, is dat de twee per taaktype uiteenlopen. Samenvoegen oogt concurrerend op discriminatieve benchmarks en valt uit elkaar op generatieve. De auteurs van REAP rapporteren dat snoeien de kwaliteit beter behoudt op precies de werklasten waarvoor mensen een API afnemen — codesynthese, tool calling, redeneren over meerdere beurten — bij compressieverhoudingen boven 50%, over modellen van 20 miljard tot 1 biljoen parameters. Samenvoegen vernietigt de specialisatie van de router; snoeien laat de overgebleven experts en de routering ertussen intact.

AutoRound — leren waar je moet afronden

AutoRound is Intels methode voor kwantisatie na de training (arXiv 2309.05516, gepubliceerd als SignRound). Naïeve kwantisatie rondt elk gewicht af naar de dichtstbijzijnde representeerbare 4-bitswaarde — een redelijke standaardkeuze, en een slechte op schaal, omdat afrondingsfouten niet onafhankelijk zijn en zich door een stapel van 66 lagen opstapelen. AutoRound behandelt de afrondingsbeslissing als iets om te optimaliseren: signed gradient descent stelt de afrondingsrichting en de clipping-bereiken van de gewichten gezamenlijk bij over een paar honderd stappen, en leent zo de nauwkeurigheid van quantization-aware training zonder opnieuw te trainen. Intel rapporteert de grootste winst bij extreem lage bitdieptes en een concurrerende voorsprong op INT4.

W4A16 — waar de bits naartoe gaan

W4A16 is het numerieke formaat: gewichten van 4 bits, activaties van 16 bits. De gewichten — die in een model van 975 miljard parameters het geheugen domineren — krimpen tot ruwweg een kwart van een BF16-voetafdruk, terwijl het rekenwerk op 16 bits blijft. Die scheiding is voor een vision-model in het bijzonder van belang: schema's die ook de activaties kwantiseren, raken precies het fijnmazige numerieke werk waar beeldbegrip van afhangt — een klein aslabel lezen, een dunne lijn in een diagram onderscheiden, twee vergelijkbare tinten uit elkaar houden. Activaties op 16 bits houden kost bandbreedte en koopt precisie terug op de plek waar een vision-werklast dat merkt.

Gestapeld leveren de drie een model dat past en snel blijft zonder de kwaliteitsklif van het agressieve 3BIT-REAP-niveau dat wij op de allergrootste basismodellen gebruiken. Dat is de afweging die de prijs weerspiegelt.

03Vision: een API voor beeldanalyse zonder weigering

Inkling is een van de vier modellen met vision in onze catalogus, naast Kimi-K3, Kimi-K2.6 en MiniMax-M3. De gepubliceerde vision-resultaten van het basismodel, uit de uitgave van Thinking Machines, zijn 73.3% op MMMU Pro (Standard 10) en 78.1% op de redeneervragen van CharXiv — oplopend tot 82.0% wanneer het model Python tegen de grafiek mag draaien. Dat zijn de eigen cijfers van het lab voor het niet-gekwantiseerde checkpoint; beschouw ze als het plafond van de familie, niet als een meting van onze build.

CharXiv is degene om even bij stil te staan, want die sluit aan op de reden waarom mensen een vision-API afnemen in plaats van een OCR-dienst. Hij toetst het redeneren over wetenschappelijke grafieken — een waarde van een as aflezen, twee reeksen vergelijken, opmerken dat een trend omslaat. Niet "welke tekst staat er in deze afbeelding", maar "wat beweert deze figuur, en houdt die bewering stand". Dat is wat het rechtvaardigt om een plaatje naar een redeneermodel van 975 miljard parameters te sturen in plaats van naar een klein bijschriftmodel.

Een afbeelding sturen is doodgewoon OpenAI-compatibel werk — een image_url-contentonderdeel op /v1/chat/completions, een image-blok in Anthropic-stijl op /v1/messages, of het equivalent op /v1/responses. Alle drie de dialecten raken dezelfde gewichten en alle drie streamen; kies gewoon wat uw bestaande SDK al spreekt. Een uitgewerkt voorbeeld staat in sectie 09.

Het ongecensureerde deel doet er voor vision meer toe dan voor tekst. Een weigeringslaag op een vision-endpoint is ongewoon bot, omdat die doorgaans de afbeelding classificeert voordat het model over het verzoek geredeneerd heeft. Legitiem werk loopt er voortdurend in vast: een wondfoto in een pijplijn voor klinische notities, een forensische schermafbeelding in een incidentverslag, een filmbeeld dat voor een kritiekstuk geanalyseerd wordt, een medische scan, een afbeelding van een document waar toevallig een naam op staat. Inkling op onze gateway heeft zo'n classificator niet ervoor staan. Het kijkt naar wat u gestuurd hebt en beantwoordt de vraag die u stelde. Dat is het product.

04Gestructureerde uitvoer: response_format wel, json_schema niet

Dit is de enige plek waar Inkling minder kan dan het merendeel van de catalogus, en het is beter om ervoor te plannen dan het in productie te ontdekken.

Capaciteit	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Vision (beeldinvoer)	Ja	Ja	Ja	Nee
response_format	Ja	Ja	Ja	Nee
json_schema	Nee	Ja	Ja	Nee
Tool calling	Ja	Ja	Ja	Ja
Reasoning effort	Ja	Ja	Ja	Ja

response_format: {"type": "json_object"} werkt — u krijgt syntactisch geldige JSON. Wat u niet krijgt, is decodering die door een grammatica beperkt wordt tegen een schema dat u aanlevert, waarbij de sampler fysiek verhinderd wordt een token uit te zenden dat uw structuur schendt. Veldnamen, lidmaatschap van enums en de aanwezigheid van verplichte sleutels zijn de keuze van het model, geen garantie.

Drie manieren om daarmee te leven, in oplopende betrouwbaarheid:

1. Zet het schema in de prompt en valideer. Plaats het schema als letterlijke JSON in de systeemprompt, zet response_format op json_object en valideer het antwoord aan uw kant. Probeer opnieuw bij een validatiefout, met de foutmelding van de validator erachter geplakt. Goedkoop, het werkt, en het vraagt om een budget voor nieuwe pogingen.
2. Gebruik een tooldefinitie als schema. Tool calling wordt wel ondersteund, en de parameterdefinitie van een functie is een JSON-schema. Declareer één tool met de naam van de extractie die u wilt, dwing die af en lees de argumenten uit. Dit is op Inkling meestal de sterkste optie en het kost u niets extra.
3. Verdeel het werk over twee modellen. Laat Inkling het beeld en het redeneren in proza doen, en geef dat proza vervolgens aan MiMo-V2.5-W8A16 voor $0.50 / $2.00 met een echt json_schema voor de structureringsstap. Twee aanroepen, maar de tweede is goedkoop en vast van vorm, en het model dat slim moet zijn is het model dat de afbeelding gezien heeft.

Optie 3 is het patroon dat wij zouden aanraden voor elke extractiepijplijn met veel volume. Betaal de meerprijs alleen voor de stap die hem nodig heeft.

05Wat koopt de meerprijs?

Met $1.42 in / $6.07 uit per miljoen tokens zit Inkling bewust in het midden van onze catalogus. Zes van de twaalf modellen zitten op de bodemprijs van $0.50 / $2.00. Kimi-K3 — het vlaggenschip, dat ook vision heeft — kost $3.83 / $19.12. Inkling zit op ruwweg drie keer de bodemprijs voor uitvoer en op ruwweg een derde van het vlaggenschip.

Uitvoerprijs, USD per 1M tokens, catalogusprijzen van de Shannon AI Gateway, september 2026. De balkbreedte is evenredig met de prijs; langer is duurder.

Hier is de eerlijke lezing van waar die meerprijs zichzelf terugverdient — en waar niet.

Werklast	Inkling gebruiken?	Waarom
Redeneren over grafieken en diagrammen	Ja	De gepubliceerde cijfers voor CharXiv en MMMU Pro zijn waar dit basismodel het sterkst in is.
Agents die op schermafbeeldingen werken	Ja	Vision plus tool calling plus 262K geschiedenis in één model, zonder overdracht.
Lange documenten met figuren	Ja	Tekst en beeld delen één decoder en één contextvenster.
Gewone tekstgeneratie	Nee	Zes modellen doen dit voor $0.50 / $2.00. U betaalt voor een vision-pad dat u nooit aanroept.
Extractie met schema's op grote schaal	Nee	Geen json_schema. MiMo-V2.5 is goedkoper en wél afgedwongen.
Het absolute frontierplafond	Nee	Kimi-K3 is het vlaggenschip. Betaal de 3.1× als het plafond de beperking is.
Zo goedkoop mogelijk vision	Nee	MiniMax-M3 heeft vision voor $0.50 / $2.00. Begin daar en schaal op als de kwaliteit u dwingt.

Lees dat als een routeringsregel, niet als een ranglijst. Inkling is de juiste keuze voor een smallere band werk dan een marketingpagina zou beweren, en binnen die band is het moeilijk te verslaan op prijs. Daarbuiten verkopen wij u liever het goedkopere model en houden wij u.

06Het contextvenster van 262K, en wat er echt in past

Alle twaalf modellen op de gateway worden geserveerd met een invoercontext van 262,144 tokens en een maximale uitvoer van 16,384 tokens per verzoek. Uniform met opzet: contextafhandeling zou nooit een vertakking per model in uw code moeten worden, en inkling in een configuratiebestand voor MiniMax-M3 verwisselen zou niet stilzwijgend mogen veranderen wat erin past.

Let op het gat met het gepubliceerde basismodel: Thinking Machines documenteert Inkling op 1,048,576 tokens, en wij serveren daar een schijf van 262K van. Als u een echte werklast van een miljoen tokens in één verzoek hebt, zijn wij daar niet het endpoint voor, en u kunt dat beter weten voordat u bouwt.

Voor een gevoel van schaal op 262K: een technische PDF van 400 pagina's inclusief figuren, een middelgrote codebase, enkele uren transcript, of een lange agentische sessie met tientallen toolresultaten en een handvol schermafbeeldingen — elk daarvan past in één verzoek. Vergeet bij een vision-model niet dat afbeeldingen ook context verbruiken; een dichte schermafbeelding is niet gratis, en een sessie die beelden aanvoert vult het venster sneller dan een sessie met alleen tekst. De architectuur past hier goed bij: door het patroon van 5:1 tussen sliding-window en globale lagen kijken de meeste lagen binnen een buurt van 512 tokens, terwijl de globale lagen periodiek de structuur over lange afstand terughalen.

07Reasoning effort: alleen betalen voor nadenken wanneer u het nodig hebt

Inkling stelt een regelbare reasoning effort beschikbaar — een van de nuttigere knoppen in de catalogus. Het bovenstroomse model accepteert niveaus van none en minimal via low, medium, high, xhigh tot max, in alle drie de dialecten bereikbaar via de standaardparameter reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Dit is een kostenknop met tanden, want redeneertokens worden als uitvoertokens gefactureerd tegen $6.07 per miljoen. Thinking Machines rapporteert dat Inkling op Terminal Bench 2.1 scores haalt die vergelijkbaar zijn met die van Nemotron 3 Ultra tegen ruwweg een derde van de tokens — tokenzuinigheid is een uitgesproken ontwerpdoel van het effort-systeem, geen toeval.

In de praktijk: draai low of minimal voor bijschriften, classificatie en rechttoe rechtaan extractie, waar het antwoord in de afbeelding zit en er geen redeneerketen nodig is. Houd high en hoger aan voor redeneren over grafieken, visuele vergelijkingen in meerdere stappen en agentische beurten waarin een verkeerde tussenstap duur is. De meeste teams zetten de parameter nooit, en laten daarmee een verschil in uitvoerkosten van meerdere factoren liggen.

08Wat "ongecensureerd" hier betekent — en wat niet

Concreet: wij draaien dit model zonder weigeringslaag en zonder filtering op de uitvoer. Geen classificator leest uw prompt en beslist of het model mag antwoorden, en geen enkele leest het antwoord voordat het gestreamd wordt. Wanneer het model onzeker is of de kennis mist, zegt het dat — dat is het model, geen beleid. Wat u niet krijgt, is een reflexmatige afwijzing op een onderwerp dat een consumentenproduct als verboden terrein behandelt.

Voor vision is dat de hele waardepropositie. Beeldclassificatoren vóór vision-API's zijn onnauwkeurig, en het percentage valse positieven treft juist het professionele werk dat de capaciteit het hardst nodig heeft: veiligheidsonderzoek, klinische contexten, journalistiek en forensiek, film- en kunstkritiek, moderatiegereedschap dat naar het ding moet kijken dat het modereert. Een endpoint dat op categorie weigert, kan geen van die dingen betrouwbaar bedienen.

Twee eerlijke kanttekeningen. Ten eerste publiceert Thinking Machines veiligheidsevaluaties voor hun eigen referentie-uitrol — 78.0% op FORTRESS adversarial, 95.9% op FORTRESS benign, 98.6% op StrongREJECT. Die cijfers beschrijven hun stack met hun waarborgen erin. Ze beschrijven de onze niet, en wij zullen ze niet aanhalen alsof dat wel zo is. Wij hebben de laag verwijderd die deze getallen deels meten; dat is het product, en de verantwoordelijkheid.

Ten tweede is "geen weigeringslaag" niet hetzelfde als "geen regels". Shannon Lab LLC opereert onder een beleid voor verantwoord gebruik en onder het toepasselijke Amerikaanse recht. Een classificator weghalen verschuift het oordeel naar u, het schaft het niet af. Als u hierop bouwt, lees dan het beleid voordat u opschaalt.

09Aan de slag

Dezelfde basis-URL, dezelfde sleutel, drie dialecten. Als uw code al OpenAI, Anthropic of de Responses API aanroept, is de modelstring aanpassen meestal de hele migratie.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

De volledige parameterreferentie, de vormen van /v1/messages en /v1/responses, de formaten van streamingevents en een live playground staan in de API-documentatie. Modelkaarten voor de andere elf modellen staan in Shannon Research.

De cijfers over het basismodel zijn de door Thinking Machines Lab gepubliceerde getallen voor het niet-gekwantiseerde Inkling-checkpoint en beschrijven het plafond van de familie, niet onze gekwantiseerde build. Prijzen en capaciteitsvlaggen zijn de cataloguswaarden van de Shannon AI Gateway per september 2026.

10Veelgestelde vragen

---

Bronnen: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — architectuur- en benchmarknotities over Inkling. De benchmarks van het basismodel zijn door het lab gerapporteerd voor het niet-gekwantiseerde checkpoint.