Onzenséiert Inkling-Modell-API

Déi meescht vun den zwielef Modeller op eisem Gateway sinn nëmmen Text. Véier net, an ënner deene véier hält Inkling eng spezifesch Plaz: de Vision-Modell no deem s du gräifs wann d'Bild den schwéieren Deel vum Problem ass, mä de Budget net bis zu engem Flaggschëff duergeet. Dës Kaart behandelt, wou d'Basis hierkënnt, wat de Suffix W4A16-AUTOROUND-REAP domat gemaach huet, wat en op der API-Fläch mécht a wat net, an — éierlech — wéini e bëllegere Modell am selwechte Katalog déi besser Wiel ass.

01Wat ass Inkling, a wien huet et gebaut?

Inkling ass dat éischt Open-Weights-Modell vum Thinking Machines Lab, de 15. Juli 2026 publizéiert. Anescht wéi déi meescht Verëffentlechungen déi sech als „offen“ positionéieren, ass et mat komplett erofluedbare Gewiichter op Hugging Face an Ënnerstëtzung vum éischten Dag u fir transformers, SGLang, vLLM a llama.cpp erauskomm — an dofir ass et op enger Infrastruktur wéi eiser iwwerhaapt lafbar ginn. D'Haaptzuelen, aus dem Thinking Machines sengem eegene Verëffentlechungsmaterial:

Dat ass eng spuersam Mixture-of-Experts-Uerdnung: 66 Decoderschichte bei enger verstoppter Gréisst vu 6,144, déi éischt zwou dicht, déi reschtlech 64 mat 256 gerouteten Experte plus 2 gedeelten Experten, mat 6 gerouteten Experten aktiv pro Token. Ronn 4 % vun de Parameter feieren op engem gegebene Token — a genee dat mécht e Modell no bei enger Billioun Parameter iwwerhaapt servéierbar.

Zwou architektonesch Entscheedunge sinn ongewéinlech genuch fir se ze nennen. D'Attention ass verschachtelt — 55 Schichte mat Gläitfënster-Attention iwwer e Fënster vu 512 Token géint 11 global Schichten, an engem widderhuelende Muster vun 5:1. An Inkling benotzt kee RoPE: et benotzt e geléierten, inputofhängege relative Positiounsbias, nieft kuerze kausale Faltungen op de Schlëssel-/Wäertprojektiounen an op de Restzweigen. Dem Sebastian Raschka seng Architekturnotizen markéieren béid als richteg Ofwäichunge vum Standardrezept vun 2026. D'Training huet Muon fir déi grouss Matrixparameter benotzt an Adam fir de Rescht, dono méi wéi 30 Millioune asynchron RL-Rollouten am Nachtraining.

De Punkt fir een deen d'API benotzt sinn net d'Anekdoten. Et ass, datt dat eng natiiv multimodal Basis op Spëtzegréisst ass, op 45 Billiounen Token trainéiert déi Text, Biller, Audio a Video ofdecken — a kee Textmodell mat engem spéider ugeschraubte Vision-Adapter. D'Biller gi als Pixelfleck vu 40×40 duerch en hierarchesche MLP-Fleckbauer mat véier Schichte kodéiert a gemeinsam mam Text am selwechten Decoder veraarbecht. D'visuellt Verständnis war am Virtrainingsziel dran.

02Wat heescht W4A16-AUTOROUND-REAP?

Dräi getrennten Techniken sinn an deem Suffix opgestapelt, a si maache verschidden Aarbecht. Et lount sech se ze verstoen, well de Suffix den eenzege gréissten Ënnerscheed ass tëscht dem Modell deen s du op eiser API uruffs an dem Checkpoint deen Thinking Machines publizéiert huet.

REAP — d'Experte prunen op déi keen routet

REAP ass Router-weighted Expert Activation Pruning, vu Cerebras Research (arXiv 2510.13999, op der ICLR 2026 ugeholl). An engem MoE mat 256 Experte pro Schicht verdeelt de Router d'Aarbecht net gläichméisseg: e puer Experte gi stänneg getraff, aner feieren selten a steiere wéineg bäi wa se et maachen. REAP bewäert all Expert souwuel op de Gate-Wäerter vum Router wéi och op den Aktivéierungsnorme vum Expert — en Expert deen dacks gewielt gëtt awer nëmme klengfäerdeg Aktualiséierunge bäisteiert zielt manner wéi seng Wielzuel suggeréiert — a leet déi mat klenger Salienz an engem Schoss fale, virum Quantiséieren.

De Grond firwat mir d'Prunen benotzen an net dat méi modescht Zesummeleeë vun Experten ass, datt déi zwee sech no Aufgabentyp auserneen entwéckelen. D'Zesummeleeë gesäit op diskriminative Benchmarke konkurrenzfäeg aus a fält bei generative auserneen. Dem REAP seng Auteure berichten, datt d'Prunen d'Qualitéit genee op deenen Aarbechtslaaschte besser erhält fir déi d'Leit eng API kafen — Codesynthes, Tool-Calling, Raisonnéieren iwwer méi Ronnen — bei Kompressiounsverhältnisser iwwer 50 %, iwwer Modeller vun 20B bis 1T Parameter. D'Zesummeleeë zerstéiert dem Router seng Spezialiséierung; d'Prunen léisst déi iwwerliewend Experten an d'Routing tëscht hinnen intakt.

AutoRound — léieren wou ee ronnt

AutoRound ass dem Intel seng Method fir Quantiséierung nom Training (arXiv 2309.05516, als SignRound publizéiert). Naiiv Quantiséierung ronnt all Gewiicht op de nooste representéierbaren 4-Bit-Wäert — e vernünftege Standard an e schlechten am grousse Mooss, well d'Rondungsfeeler net onofhängeg sinn a sech duerch e Stack vu 66 Schichten ukumuléieren. AutoRound behandelt d'Rondungsentscheedung als eppes wat ee optiméiere kann: de virzeechenbehaftete Gradientofstig stëmmt d'Rondungsrichtung an d'Ofschneidberäicher vun de Gewiichter iwwer e puer honnert Schrëtt gemeinsam of a léint sech d'Genauegkeet vum quantiséierungsbewosste Training ouni Nachtraining. Intel bericht déi gréisste Gewënner bei extrem niddregen Bitastellungen an e konkurrenzfäegen Virsprong bei INT4.

W4A16 — wou d'Bit hikommen

W4A16 ass dat numerescht Format: 4-Bit-Gewiichter, 16-Bit-Aktivéierungen. D'Gewiichter — déi bei engem Modell mat 975B de Späicher dominéieren — schrumpe bal op e Véierel vum BF16-Bedarf, wärend d'Rechnerei bei 16 Bit bleift. Deen Opdeelung zielt speziell bei engem Vision-Modell: Schemae mat quantiséierten Aktivéierunge schueden genee där feinkäreger numerescher Aarbecht op déi d'Billerverständnis sech stäipt — eng kleng Achsebeschrëftung liesen, eng dënn Linn an engem Diagramm opléisen, zwee ähnlech Faarftéin trennen. D'Aktivéierungen op 16 Bit ze halen kascht Bandbreet a kaaft Präzisioun zréck, do wou eng Vision-Aarbechtslaascht et mierkt.

Opgestapelt ginn déi dräi e Modell dee passt a séier bleift, ouni d'Qualitéitsklipp vun der aggressiver Stuf 3BIT-REAP déi mir op de ganz gréisste Basen benotzen. Dat ass den Tosch deen de Präis widderspigelt.

03Vision: eng API fir Billeranalys ouni Refus

Inkling ass ee vu véier vision-fäege Modeller an eisem Katalog, nieft Kimi-K3, Kimi-K2.6 a MiniMax-M3. Dem Grondmodell seng publizéiert Vision-Resultater, aus dem Thinking Machines senger Verëffentlechung, sinn 73.3 % op MMMU Pro (Standard 10) an 78.1 % op de Raisonnéierungsfroe vu CharXiv — a klammen op 82.0 %, wann de Modell Python géint d'Grafik lafe loosse däerf. Dat sinn dem Labo seng eege Zuele fir den onquantiséierte Checkpoint; behandel se als d'Ubierstgrenz vun der Famill a keng Miessung vun eisem Build.

CharXiv ass dat op deem et lount ze verweilen, well et dorop passt firwat d'Leit eng Vision-API kafen an net en OCR-Déngscht. Et testt d'Raisonnéieren iwwer wëssenschaftlech Grafiken — e Wäert op enger Achs oflies, zwou Reien vergläichen, en Trendwiessel bemierken. Net „wéi ee Text steet an dësem Bild“, mä „wat behaapt dës Figur, an hält d'Behaaptung“. Dat ass wat et rechtfäerdegt, e Bild op e Raisonnéierungsmodell mat 975B ze schécken amplaz op e klenge Beschrëfter.

E Bild ze schécken ass gewéinlech OpenAI-kompatibel Aarbecht — en image_url-Inhaltsdeel op /v1/chat/completions, en image-Block am Anthropic-Stil op /v1/messages, oder dat Equivalent op /v1/responses. All dräi Dialekter treffen déi selwecht Gewiichter an all dräi streamen; wiel deen deen däi bestoende SDK scho schwätzt. E duerchgespillt Beispill steet a Sektioun 09.

Den onzenséierten Deel zielt bei Vision méi wéi bei Text. Eng Refus-Schicht op engem Vision-Endpunkt ass ongewéinlech plomp, well se typescherweis d'Bild klasséiert, ier de Modell iwwer d'Ufro raisonnéiert huet. Legitim Aarbecht gëtt stänneg erwëscht: eng Wonnfoto an enger Pipeline fir klinesch Notizen, e forensesche Screenshot an engem Virfallsbericht, e Bild aus engem Film deen fir eng Kritik analyséiert gëtt, e medizinesche Scan, d'Bild vun engem Dokument dat zoufälleg en Numm enthält. Inkling op eisem Gateway huet keen esou e Klassifikateur dervir. Et kuckt un wat s du geschéckt hues an äntwert op d'Fro déi s du gestallt hues. Dat ass d'Produkt.

04Strukturéierten Output: response_format jo, json_schema nee

Dat ass déi eng Plaz wou Inkling manner fäeg ass wéi de gréissten Deel vum Katalog, an et ass besser dofir ze plangen wéi et an der Produktioun ze entdecken.

Fäegkeet	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Vision (Billerinput)	Jo	Jo	Jo	Nee
response_format	Jo	Jo	Jo	Nee
json_schema	Nee	Jo	Jo	Nee
Tool-Calling	Jo	Jo	Jo	Jo
Raisonnéierungsopwand	Jo	Jo	Jo	Jo

response_format: {"type": "json_object"} funktionéiert — s du kriss syntaktesch valabelt JSON. Wat s du net kriss ass grammatikgebonnen Decodéieren géint e Schema dat s du liwwers, wou de Sampler physesch dru gehënnert gëtt, en Token erauszeginn deen deng Struktur verletzt. D'Feldnimm, d'Zougehéieregkeet zu engem Enum an d'Präsenz vu verlaangte Schlësselen sinn dem Modell seng Wiel a keng Garantie.

Dräi Weeër fir domat ze liewen, no wuessender Zouverlässegkeet:

1. Prompt d'Schema a validéier. Setz d'Schema als wuertwiertlecht JSON an de Systemprompt, setz response_format op json_object, a validéier d'Äntwert op denger Säit. Probéier bei engem Validéierungsfeeler nach eng Kéier, mat der Feelermeldung vum Validéierer ugehaangen. Bëlleg, funktionéiert, brauch e Budget fir Neiversich.
2. Benotz eng Tooldefinitioun als Schema. D'Tool-Calling gëtt ënnerstëtzt, an d'Parameterdefinitioun vun enger Funktioun ass e JSON-Schema. Deklaréier een eenzegen Tool benannt no der Extraktioun déi s du wëlls, erzwéng en, a lies d'Argumenter. Dat ass op Inkling meeschtens déi stäerkst Optioun an et kascht dech näischt extra.
3. Deel d'Aarbecht op zwee Modeller op. Looss Inkling d'Vision an d'Raisonnéieren a Prosa maachen, a gëff déi Prosa dann un MiMo-V2.5-W8A16 fir $0.50 / $2.00 mat engem richtege json_schema fir de Strukturéierungspass. Zwee Opruff, mä deen zweeten ass bëlleg, an der Form determinéiert, an de Modell dee schlau si muss ass deen deen d'Bild gesinn huet.

Optioun 3 ass d'Muster dat mir fir all Extraktiounspipeline mat groussem Volumen recommandéiere géifen. Bezuel den Opschlag nëmme fir de Schrëtt deen en brauch.

05Wat kaaft den Opschlag um Präis?

Mat $1.42 eran / $6.07 eraus pro Millioun Token sëtzt Inkling bewosst an der Mëtt vun eisem Katalog. Sechs vun den zwielef Modeller sinn um Buedem vun $0.50 / $2.00. Kimi-K3 — d'Flaggschëff, och vision-fäeg — kascht $3.83 / $19.12. Inkling ass ronn dräimol de Buedem um Output a ronn en Drëttel vum Flaggschëff.

Outputpräis, USD pro 1M Token, Lëschtetarifer vum Shannon-AI-Gateway, September 2026. D'Balkebreet ass proportional zum Präis; méi laang ass méi deier.

Hei ass déi éierlech Liesung, wou deen Opschlag sech lount — a wou net.

Aarbechtslaascht	Inkling benotzen?	Firwat
Raisonnéieren iwwer Grafiken a Schemaen	Jo	Déi publizéiert Zuele fir CharXiv a MMMU Pro sinn dat wourann dës Basis am stäerksten ass.
Agenten déi vu Screenshote gedriwwe ginn	Jo	Vision plus Tool-Calling plus 262K Geschicht an engem Modell, ouni Iwwerginn.
Laang Dokumenter mat Figuren	Jo	Text a Biller deelen een Decoder an ee Kontextfenster.
Reng Textgeneratioun	Nee	Sechs Modeller fir $0.50 / $2.00 maachen dat. S du bezuels fir e Vision-Wee deen s du ni uruffs.
Schemaextraktioun am grousse Volumen	Nee	Kee json_schema. MiMo-V2.5 ass bëlleger a gebonnen.
Absolut Spëtzenubierstgrenz	Nee	Kimi-K3 ass d'Flaggschëff. Bezuel dat 3.1-facht, wann d'Ubierstgrenz d'Aschränkung ass.
Déi bëllegst méiglech Vision	Nee	MiniMax-M3 huet Vision fir $0.50 / $2.00. Fänk do un, an eskaléier wann d'Qualitéit dech dozou zwéngt.

Lies dat als Routingreegel an net als Ranglëscht. Inkling ass fir e méi schmuele Band vun Aarbecht richteg wéi eng Werbesäit géif behaapten, an an deem Band ass en um Präis schwéier ze schloen. Dobaussen verkafe mir dir léiwer dee bëllegere Modell a behalen dech.

06De Kontextfenster vun 262K, a wat tatsächlech eranpasst

All zwielef Modeller um Gateway gi mat engem Inputkontext vun 262,144 Token an engem maximalen Output vun 16,384 Token pro Ufro servéiert. Eenheetlech mat Absicht: d'Behandlung vum Kontext soll ni zu enger Verzweigung pro Modell an dengem Code ginn, an inkling an enger Konfiguratiounsdatei duerch MiniMax-M3 ze ersetze soll net roueg änneren wat eranpasst.

Bemierk d'Lück zur publizéierter Basis: Thinking Machines dokumentéiert Inkling mat 1,048,576 Token, a mir servéieren eng Scheif vun 262K dovunner. Wann s du eng echt Aarbechtslaascht mat enger Millioun Token an enger eenzeger Ufro hues, da si mir net den Endpunkt dofir, a besser s du weess et ier s du baus.

Zur Gréisstenuerdnung bei 262K: en technescht PDF vu 400 Säite mat senge Figuren, eng mëttelgrouss Codebasis, e puer Stonnen Transkriptioun, oder eng laang agentesch Sessioun mat Dosende vun Toolresultater an enger Handvoll Screenshoten — all eenzelt passt an eng Ufro. Denk bei engem Vision-Modell drun, datt d'Biller och Kontext verbrauchen; en dichte Screenshot ass net gratis, an eng Sessioun déi Biller streamt fëllt de Fënster méi séier wéi eng nëmme mat Text. D'Architektur passt gutt dozou: dat Muster vun 5:1 tëscht Gläitfënster a global heescht, datt déi meescht Schichten an enger Noperschaft vu 512 Token opmierksam sinn, wärend global Schichte periodesch d'Struktur iwwer laang Distanzen zréckhuelen.

07Raisonnéierungsopwand: fir d'Denken nëmme bezuelen, wann s du et brauchs

Inkling stellt e steierbare Raisonnéierungsopwand zur Verfügung — ee vun de méi nëtzleche Knäppercher am Katalog. De Modell uewestrooms hëlt Stufen vun none an minimal iwwer low, medium, high, xhigh, bis max un, op allen dräi Dialekter iwwer de Standardparameter reasoning_effort zougänglech.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Dat ass e Käschtenhiewel mat Zänn, well d'Raisonnéierungstoke mat $6.07 pro Millioun als Output-Token verrechent ginn. Thinking Machines bericht, datt Inkling op Terminal Bench 2.1 Punkte vergläichbar mat Nemotron 3 Ultra erreecht, mat ronn engem Drëttel vun den Token — d'Tokeneffizienz ass en erklärt Designziel vum Opwandsystem a kee Zoufall.

An der Praxis: looss low oder minimal fir Bildtexter, Klassifikatioun an einfach Extraktioun lafen, wou d'Äntwert am Bild steet a keng Schlusskette néideg ass. Reservéier high an dodriwwer fir d'Raisonnéieren iwwer Grafiken, fir visuell Verglächer iwwer méi Schrëtt, a fir agentesch Ronne wou e falschen Zwëscheschrëtt deier ass. Déi meescht Equipe setzen de Parameter guer net a loossen en Ënnerscheed vun engem Villfache bei den Outputkäschte leien.

08Wat „onzenséiert“ hei heescht — a wat net

Konkret: mir loossen dëse Modell ouni Refus-Schicht an ouni Filterung um Output lafen. Kee Klassifikateur liest däi Prompt an entscheet, ob de Modell äntwere däerf, a keen liest d'Äntwert ier se streamt. Wann de Modell onsécher ass oder d'Wësse feelt, da seet en et — dat ass de Modell a keng Politik. Wat s du net kriss ass e reflexhaften Ofschlo bei engem Sujet deen e Konsumentprodukt als tabu behandelt.

Bei Vision ass dat de ganze Wäertversprieche. Billerklassifikateure viru Vision-APIe sinn ongenee, an d'Quot vu Falschpositive trëfft am haardsten déi professionell Aarbecht déi d'Fäegkeet am meeschte brauch: Sécherheetsfuerschung, klinesch Kontexter, Journalismus a Forensik, Film- a Konschtkritik, Moderatiounswierkzeuger déi dat ukucke mussen wat se moderéieren. En Endpunkt deen no Kategorie refuséiert kann keng dovunner zouverlässeg bedéngen.

Zwee éierlech Virbehalter. Als éischt publizéiert Thinking Machines Sécherheetsevaluatioune fir hire Referenzasaz — 78.0 % op FORTRESS adversariell, 95.9 % op FORTRESS harmlos, 98.6 % op StrongREJECT. Déi Zuele beschreiwen hire Stack mat hire Leetplanken op der Plaz. Si beschreiwen net eisen, a mir zitéiere se net esou wéi wier et esou. Mir hunn déi Schicht ewechgeholl déi déi Zuelen deelweis moossen; dat ass d'Produkt, an d'Verantwortung.

Zweetens ass „keng Refus-Schicht“ net „keng Reegelen“. Shannon Lab LLC bedreift ënner enger Politik fir verantwortlech Notzung an dem uwendbaren US-Recht. E Klassifikateur ewechzehuele verréckelt d'Beurteelung op dech, et läscht se net. Wann s du dorop baus, da lies d'Politik ier s du skaléiers.

09Lasleeën

Déiselwecht Basis-URL, dee selwechte Schlëssel, dräi Dialekter. Wann däi Code schonn OpenAI, Anthropic oder d'Responses-API opruft, dann ass d'Modellzeechenkett ze änneren meeschtens déi ganz Migratioun.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Déi voll Parameterreferenz, d'Formen vu /v1/messages an /v1/responses, d'Streamingevenementformater an e Live-Playground stinn an der API-Dokumentatioun. D'Modellkaarte fir déi aner eelef Modeller stinn an Shannon Research.

D'Basiszuele sinn dem Thinking Machines Lab seng publizéiert Zuele fir den onquantiséierten Inkling-Checkpoint a beschreiwen d'Ubierstgrenz vun der Famill an net eise quantiséierte Build. D'Präisser an d'Fäegkeetsfändele sinn d'Lëschtewäerter vum Shannon-AI-Gateway mam Stand vu September 2026.

10Dacks gestallte Froen

---

Quellen: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Architektur- a Benchmarknotizen zu Inkling. D'Basisbenchmarke si vum Labo fir den onquantiséierte Checkpoint bericht.