Ongesensureerde Inkling-model-API

Die meeste van die twaalf modelle op ons poort is slegs-teks. Vier is nie, en onder daardie vier hou Inkling 'n spesifieke posisie: die visiemodel waarna jy gryp wanneer die prent die moeilike deel van die probleem is, maar die begroting nie tot 'n vlagskip strek nie. Hierdie gids dek waar die grondslag vandaan kom, wat die W4A16-AUTOROUND-REAP-agtervoegsel daaraan gedoen het, wat dit by die API-oppervlak wel en nie sal doen nie, en — eerlik — wanneer 'n goedkoper model in dieselfde katalogus die beter keuse is.

01Wat is Inkling, en wie het dit gebou?

Inkling is die eerste model met oop gewigte van Thinking Machines Lab, gepubliseer op 15 Julie 2026. Anders as die meeste vrystellings wat as "oop" geposisioneer word, het dit met volledig aflaaibare gewigte op Hugging Face verskyn en met dag-nul-ondersteuning in transformers, SGLang, vLLM en llama.cpp — wat is hoe dit hoegenaamd op infrastruktuur soos ons s'n uitvoerbaar geword het. Die vernaamste syfers, uit Thinking Machines se eie vrystellingsmateriaal:

Dit is 'n yl Mixture-of-Experts-uitleg: 66 dekodeerderlae teen 6,144 verborge grootte, die eerste twee dig, die oorblywende 64 wat 256 gerouteerde eksperts plus 2 gedeelde eksperts dra, met 6 gerouteerde eksperts aktief per teken. Ongeveer 4% van die parameters vuur op enige gegewe teken — wat is wat 'n model van byna 'n biljoen parameters hoegenaamd bedienbaar maak.

Twee argitektuurkeuses is ongewoon genoeg om te noem. Aandag is afgewissel — 55 lae van skuifvensteraandag oor 'n venster van 512 tekens teenoor 11 globale lae, in 'n herhalende 5:1-patroon. En Inkling gebruik nie RoPE nie: dit gebruik 'n aangeleerde, insetafhanklike relatiewe-posisie-bevooroordeling, saam met kort kousale konvolusies op die sleutel/waarde-projeksies en die residuele takke. Sebastian Raschka se argitektuurnotas merk albei as werklike afwykings van die standaard 2026-resep. Afrigting het Muon vir die groot matriksparameters gebruik en Adam vir die res, daarna meer as 30 miljoen asinchroniese RL-uitrolle in na-afrigting.

Die punt vir 'n API-verbruiker is nie die trivia nie. Dit is dat hierdie 'n grensskaalse, inheems multimodale grondslag is wat op 45 biljoen tekens afgerig is wat teks, beelde, klank en video oorspan — nie 'n teksmodel met 'n visie-aanpasser wat later daaraan vasgeskroef is nie. Beelde word as 40×40-pixellappe deur 'n vierlaag-hiërargiese MLP-lapmaker geënkodeer en gesamentlik met teks in dieselfde dekodeerder verwerk. Visuele begrip was in die voorafrigtingsdoelwit.

02Wat beteken W4A16-AUTOROUND-REAP?

Drie afsonderlike tegnieke is in daardie agtervoegsel gestapel, en hulle doen verskillende take. Dit is die moeite werd om te verstaan, want die agtervoegsel is die enkele grootste verskil tussen die model wat jy op ons API aanroep en die kontrolepunt wat Thinking Machines gepubliseer het.

REAP — die eksperts snoei waarheen niemand routeer nie

REAP is Router-weighted Expert Activation Pruning, van Cerebras Research (arXiv 2510.13999, aanvaar by ICLR 2026). In 'n MoE met 256 eksperts per laag versprei die router nie werk gelykop nie: sommige eksperts word aanhoudend getref, ander vuur selde en dra min by wanneer hulle wel doen. REAP punt elke ekspert op albei die router se hekwaardes en die ekspert se aktiveringsnorme — 'n ekspert wat dikwels gekies word maar bydraes van klein grootte lewer, maak minder saak as wat sy keusetelling impliseer — en laat val dié met lae opvallendheid in een skoot, voor kwantisering.

Die rede waarom ons snoei eerder as die meer modieuse ekspert-samesmelting gebruik, is dat die twee volgens taaktipe uiteenloop. Samesmelting lyk mededingend op diskriminerende maatstawwe en val uitmekaar op generatiewe maatstawwe. REAP se outeurs berig dat snoei kwaliteit beter bewaar op presies die werkladings waarvoor mense 'n API koop — kodesintese, gereedskaproeping, veelbeurt-redenering — teen kompressieverhoudings verby 50%, oor modelle van 20B tot 1T parameters. Samesmelting vernietig die router se spesialisasie; snoei laat die oorlewende eksperts en die routering tussen hulle heel.

AutoRound — leer waar om af te rond

AutoRound is Intel se na-afrigting-kwantiseringsmetode (arXiv 2309.05516, gepubliseer as SignRound). Naïewe kwantisering rond elke gewig na die naaste voorstelbare 4-bis-waarde af — 'n redelike verstek en 'n slegte een op skaal, want afrondingsfoute is nie onafhanklik nie en versamel deur 'n stapel van 66 lae. AutoRound behandel die afrondingsbesluit as iets om te optimeer: getekende gradiëntafdaling stem afrondingsrigting en gewigsafknipbereike gesamentlik af oor 'n paar honderd stappe, en leen die akkuraatheid van kwantiseringsbewuste afrigting sonder om te heraf te rig. Intel berig die grootste winste by uiterste lae-bis-instellings en 'n mededingende voorsprong by INT4.

W4A16 — waarheen die bisse gaan

W4A16 is die numeriese formaat: 4-bis-gewigte, 16-bis-aktiverings. Die gewigte — wat geheue in 'n model van 975B oorheers — krimp tot ongeveer 'n kwart van 'n BF16-voetspoor, terwyl die rekenkunde by 16 bisse bly. Daardie verdeling maak spesifiek vir 'n visiemodel saak: aktiveringsgekwantiseerde skemas benadeel presies die fynkorrelige numeriese werk waarvan beeldbegrip afhang — die lees van 'n klein aslabel, die oplos van 'n dun lyn in 'n diagram, die skei van twee soortgelyke skakerings. Om aktiverings by 16 bisse te hou, kos bandwydte en koop presisie terug waar 'n visiewerklading dit agterkom.

Gestapel gee die drie 'n model wat pas en vinnig bly sonder die kwaliteitskrans van die aggressiewe 3BIT-REAP-vlak wat ons op die heel grootste grondslae gebruik. Dit is die ruil wat die prys weerspieël.

03Visie: 'n API vir beeldontleding sonder weiering

Inkling is een van vier visie-bekwame modelle in ons katalogus, naas Kimi-K3, Kimi-K2.6 en MiniMax-M3. Die basismodel se gepubliseerde visieresultate, uit Thinking Machines se vrystelling, is 73.3% op MMMU Pro (Standard 10) en 78.1% op CharXiv-redeneringsvrae — wat tot 82.0% styg wanneer die model toegelaat word om Python teen die grafiek te loop. Dit is die laboratorium se eie syfers vir die ongekwantiseerde kontrolepunt; behandel hulle as die plafon van die familie, nie as 'n meting van ons bou nie.

CharXiv is die een wat die moeite werd is om by stil te staan, want dit karteer op waarom mense 'n visie-API eerder as 'n OCR-diens koop. Dit toets redenering oor wetenskaplike grafieke — die lees van 'n waarde van 'n as af, die vergelyking van twee reekse, die opmerk van 'n omkering in 'n neiging. Nie "watter teks is in hierdie beeld nie" maar "wat beweer hierdie figuur, en hou die bewering stand." Dit is wat dit regverdig om 'n prent na 'n redeneermodel van 975B te stuur in plaas van na 'n klein onderskrifgewer.

Om 'n beeld te stuur is gewone OpenAI-versoenbare werk — 'n image_url-inhoudsdeel op /v1/chat/completions, 'n Anthropic-styl image-blok op /v1/messages, of die ekwivalent op /v1/responses. Al drie dialekte tref dieselfde gewigte en al drie stroom; kies watter een jou bestaande SDK reeds praat. 'n Uitgewerkte voorbeeld is in afdeling 09.

Die ongesensureerde deel maak meer saak vir visie as vir teks. 'n Weieringslaag op 'n visie-eindpunt is ongewoon stomp, want dit klassifiseer tipies die beeld voordat die model oor die versoek geredeneer het. Wettige werk word aanhoudend gevang: 'n wondfoto in 'n kliniese-notas-pyplyn, 'n forensiese skermkiekie in 'n voorvalverslag, 'n raam uit 'n rolprent wat vir 'n kritiekstuk ontleed word, 'n mediese skandering, 'n beeld van 'n dokument wat toevallig 'n naam bevat. Inkling op ons poort het geen sulke klassifiseerder voor dit nie. Dit kyk na wat jy gestuur het en beantwoord die vraag wat jy gevra het. Dit is die produk.

04Gestruktureerde uitvoer: response_format ja, json_schema nee

Dit is die een plek waar Inkling minder bekwaam is as die meeste van die katalogus, en dit is beter om daarvoor te beplan as om dit in produksie te ontdek.

Vermoë	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Visie (beeldinset)	Ja	Ja	Ja	Nee
response_format	Ja	Ja	Ja	Nee
json_schema	Nee	Ja	Ja	Nee
Gereedskaproeping	Ja	Ja	Ja	Ja
Redeneringspoging	Ja	Ja	Ja	Ja

response_format: {"type": "json_object"} werk — jy kry sintakties geldige JSON. Wat jy nie kry nie, is grammatika-beperkte dekodering teen 'n skema wat jy verskaf, waar die monsternemer fisies verhinder word om 'n teken uit te stuur wat jou struktuur skend. Veldname, enum-lidmaatskap en die teenwoordigheid van vereiste sleutels is die model se keuse, nie 'n waarborg nie.

Drie maniere om daarmee saam te leef, in stygende orde van betroubaarheid:

1. Gee die skema in die opdrag en valideer. Sit die skema as letterlike JSON in die stelselopdrag, stel response_format op json_object, en valideer die antwoord aan jou kant. Probeer weer by valideringsmislukking met die valideerder se foutboodskap aangeheg. Goedkoop, dit werk, en dit het 'n herprobeerbegroting nodig.
2. Gebruik 'n gereedskapdefinisie as die skema. Gereedskaproeping word ondersteun, en 'n funksie se parameterdefinisie is 'n JSON-skema. Verklaar 'n enkele gereedskap wat na die onttrekking genoem is wat jy wil hê, dwing dit af, en lees die argumente. Dit is gewoonlik die sterkste opsie op Inkling en dit kos jou niks ekstra nie.
3. Verdeel die taak oor twee modelle. Laat Inkling die visie en redenering in prosa doen, gee daardie prosa dan aan MiMo-V2.5-W8A16 teen $0.50 / $2.00 met 'n werklike json_schema vir die struktureringstap. Twee oproepe, maar die tweede is goedkoop, deterministies in vorm, en die model wat slim moet wees, is die een wat die beeld gesien het.

Opsie 3 is die patroon wat ons vir enige hoë-volume-onttrekkingspyplyn sou aanbeveel. Betaal die premie net vir die stap wat dit nodig het.

05Wat koop die prys-premie?

Teen $1.42 in / $6.07 uit per miljoen tekens sit Inkling doelbewus in die middel van ons katalogus. Ses van die twaalf modelle is op die vloervlak van $0.50 / $2.00. Kimi-K3 — die vlagskip, ook visie-bekwaam — is $3.83 / $19.12. Inkling is ongeveer drie keer die vloervlak op uitvoer en ongeveer 'n derde van die vlagskip.

Uitvoerprys, USD per 1M tekens, Shannon AI-poort se lyspryse, September 2026. Staafwydte is eweredig aan die prys; langer is duurder.

Hier is die eerlike lesing van waar daardie premie sy sout werd is — en waar nie.

Werklading	Inkling gebruik?	Waarom
Grafiek- / diagramredenering	Ja	Die gepubliseerde CharXiv- en MMMU Pro-syfers is waarin hierdie grondslag die sterkste is.
Skermkiekie-gedrewe agente	Ja	Visie plus gereedskaproeping plus 262K geskiedenis in een model, geen oorhandiging nie.
Lang dokumente met figure	Ja	Teks en beelde deel een dekodeerder en een konteksvenster.
Gewone teksgenerering	Nee	Ses modelle teen $0.50 / $2.00 doen dit. Jy betaal vir 'n visiepad wat jy nooit aanroep nie.
Grootmaat-skema-onttrekking	Nee	Geen json_schema nie. MiMo-V2.5 is goedkoper en beperk.
Absolute grensplafon	Nee	Kimi-K3 is die vlagskip. Betaal die 3.1× as die plafon die beperking is.
Goedkoopste moontlike visie	Nee	MiniMax-M3 het visie teen $0.50 / $2.00. Begin daar, eskaleer as kwaliteit jou dwing.

Lees dit as 'n routeringsreël, nie 'n ranglys nie. Inkling is reg vir 'n nouer band werk as wat 'n bemarkingsblad sou beweer, en binne daardie band is dit moeilik om op prys te klop. Buite dit sal ons jou eerder die goedkoper model verkoop en jou behou.

06Die konteksvenster van 262K, en wat werklik inpas

Al twaalf modelle op die poort word met 'n insetkonteks van 262,144 tekens en 'n maksimum uitvoer van 16,384 tekens per versoek bedien. Eenvormig met opset: kontekshantering behoort nooit 'n per-model-vertakking in jou kode te word nie, en om inkling vir MiniMax-M3 in 'n konfigurasielêer om te ruil, behoort nie stilweg te verander wat inpas nie.

Let op die gaping teenoor die gepubliseerde grondslag: Thinking Machines dokumenteer Inkling teen 1,048,576 tekens, en ons bedien 'n skyf van 262K daarvan. As jy 'n werklike werklading van 'n miljoen tekens in een versoek het, is ons nie die eindpunt daarvoor nie, en dit is beter dat jy dit weet voordat jy bou.

Vir skaal teen 262K: 'n tegniese PDF van 400 bladsye met sy figure, 'n middelgroot kodebasis, verskeie ure transkripsie, of 'n lang agentiese sessie wat dosyne gereedskapresultate en 'n handvol skermkiekies dra — elkeen pas in een versoek. Op 'n visiemodel, onthou dat beelde ook konteks verbruik; 'n digte skermkiekie is nie gratis nie, en 'n sessie wat rame stroom, vul die venster vinniger as 'n slegs-teks-een. Die argitektuur pas hierby goed: die 5:1-patroon van skuifvenster tot globaal beteken dat die meeste lae binne 'n omgewing van 512 tekens aandag gee, met globale lae wat periodiek langafstandstruktuur terugtrek.

07Redeneringspoging: betaal net vir denke wanneer jy dit nodig het

Inkling stel beheerbare redeneringspoging beskikbaar — een van die nuttiger knoppies in die katalogus. Die stroomop-model aanvaar vlakke van none en minimal deur low, medium, high, xhigh, tot by max, beskikbaar gestel op al drie dialekte deur die standaard reasoning_effort-parameter.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Dit is 'n kostehefboom met tande, want redeneringstekens word as uitvoertekens teen $6.07 per miljoen gefaktureer. Thinking Machines berig dat Inkling op Terminal Bench 2.1 tellings bereik wat met Nemotron 3 Ultra vergelykbaar is teen ongeveer 'n derde van die tekens — tekendoeltreffendheid is 'n verklaarde ontwerpdoelwit van die poging-stelsel, nie 'n toeval nie.

In die praktyk: loop low of minimal vir onderskrifgewing, klassifikasie en reguit onttrekking, waar die antwoord in die beeld is en geen ketting van afleiding nodig is nie. Hou high en hoër vir grafiekredenering, veelstap-visuele vergelyking, en agentiese beurte waar 'n verkeerde tussenstap duur is. Die meeste spanne stel die parameter glad nie, en laat 'n verskeie-voudige verskil in uitvoerkoste op die tafel.

08Wat "ongesensureerd" hier beteken — en wat nie

Konkreet: ons loop hierdie model met geen weieringslaag en geen filtrering op uitvoer nie. Geen klassifiseerder lees jou opdrag en besluit of die model mag antwoord nie, en nie een lees die antwoord voordat dit stroom nie. Wanneer die model onseker is of die kennis kortkom, sê dit so — dit is die model, nie 'n beleid nie. Wat jy nie sal kry nie, is 'n refleksiewe weiering op 'n onderwerp wat 'n algemene verbruikersproduk as verbode behandel.

Vir visie is dit die hele waardevoorstel. Beeldklassifiseerders voor visie-API's is onpresies, en die vals-positief-koers land die hardste op die professionele werk wat die vermoë die meeste nodig het: sekuriteitsnavorsing, kliniese kontekste, joernalistiek en forensika, rolprent- en kunskritiek, moderasiegereedskap wat na die ding moet kyk wat dit modereer. 'n Eindpunt wat op kategorie weier, kan geen van daardie betroubaar bedien nie.

Twee eerlike voorbehoude. Eerstens publiseer Thinking Machines veiligheidsevaluerings vir hulle verwysingsontplooiing — 78.0% op FORTRESS adversarieel, 95.9% op FORTRESS goedaardig, 98.6% op StrongREJECT. Daardie syfers beskryf hulle stapel met hulle beskermings in plek. Hulle beskryf nie ons s'n nie, en ons sal hulle nie aanhaal asof hulle dit doen nie. Ons het die laag verwyder wat daardie getalle deels meet; dit is die produk, en die verantwoordelikheid.

Tweedens is "geen weieringslaag" nie "geen reëls" nie. Shannon Lab LLC werk onder 'n Beleid vir Verantwoordelike Gebruik en toepaslike Amerikaanse reg. Om 'n klassifiseerder te verwyder, skuif oordeel na jou toe, dit vee dit nie uit nie. As jy hierop bou, lees die beleid voordat jy skaal.

09Om te begin

Dieselfde basis-URL, dieselfde sleutel, drie dialekte. As jou kode reeds OpenAI, Anthropic of die Responses API aanroep, is die verandering van die modelstring gewoonlik die hele migrasie.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Volledige parameterverwysing, die vorms van /v1/messages en /v1/responses, stroomgebeurtenisformate en 'n lewendige speelplek is in die API-dokumentasie. Modelgidse vir die ander elf modelle is in Shannon Research.

Grondslagsyfers is Thinking Machines Lab se gepubliseerde getalle vir die ongekwantiseerde Inkling-kontrolepunt en beskryf die familieplafon, nie ons gekwantiseerde bou nie. Pryse en vermoënsvlaggies is Shannon AI-poort se lyswaardes soos in September 2026.

10Gereelde vrae

---

Bronne: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling architecture and benchmark notes. Grondslagmaatstawwe is laboratorium-berig vir die ongekwantiseerde kontrolepunt.