Unzensierte Inkling Modell-API

Die meisten der zwölf Modelle auf unserem Gateway sind reine Textmodelle. Vier sind es nicht, und unter diesen vieren hat Inkling eine bestimmte Position: Es ist das Vision-Modell, zu dem Sie greifen, wenn das Bild der schwere Teil des Problems ist, das Budget aber nicht für ein Flaggschiff reicht. Diese Karte behandelt, woher das Fundament stammt, was das Suffix W4A16-AUTOROUND-REAP damit gemacht hat, was es an der API-Oberfläche tut und was nicht — und, ehrlich gesagt, wann ein günstigeres Modell aus demselben Katalog die bessere Wahl ist.

01Was ist Inkling, und wer hat es gebaut?

Inkling ist das erste Open-Weights-Modell von Thinking Machines Lab, veröffentlicht am 15. Juli 2026. Anders als die meisten als „offen“ positionierten Releases kam es mit vollständig herunterladbaren Gewichten auf Hugging Face und Unterstützung ab Tag null in transformers, SGLang, vLLM und llama.cpp — nur deshalb ist es auf einer Infrastruktur wie unserer überhaupt betreibbar. Die Kennzahlen, aus Thinking Machines' eigenen Release-Materialien:

Das ist ein dünn besetztes Mixture-of-Experts-Layout: 66 Decoder-Schichten mit einer Hidden Size von 6.144, die ersten beiden dicht, die verbleibenden 64 mit 256 gerouteten Experten plus 2 geteilten Experten, wobei 6 geroutete Experten pro Token aktiv sind. Rund 4 % der Parameter feuern bei einem gegebenen Token — genau das macht ein Modell nahe der Billionengrenze überhaupt auslieferbar.

Zwei Architekturentscheidungen sind ungewöhnlich genug, um sie zu benennen. Die Attention ist verschachtelt — 55 Schichten mit gleitendem Fenster über 512 Token gegen 11 globale Schichten, in einem sich wiederholenden Muster von 5:1. Und Inkling nutzt kein RoPE: Es verwendet einen gelernten, eingabeabhängigen relativen Positions-Bias, dazu kurze kausale Faltungen auf den Key/Value-Projektionen und den Residual-Zweigen. Sebastian Raschkas Architekturnotizen markieren beides als echte Abweichungen vom Standardrezept des Jahres 2026. Trainiert wurde mit Muon für die großen Matrixparameter und Adam für den Rest, danach mit über 30 Millionen asynchronen RL-Rollouts im Post-Training.

Für API-Nutzer zählt nicht das Detailwissen. Es zählt, dass dies ein nativ multimodales Fundament auf Frontier-Niveau ist, trainiert auf 45 Billionen Token aus Text, Bildern, Audio und Video — kein Textmodell mit nachträglich angeflanschtem Vision-Adapter. Bilder werden als Patches von 40×40 Pixeln durch einen vierschichtigen hierarchischen MLP-Patchifier kodiert und gemeinsam mit Text im selben Decoder verarbeitet. Visuelles Verständnis war Teil des Pretraining-Ziels.

02Was bedeutet W4A16-AUTOROUND-REAP?

In diesem Suffix stecken drei getrennte Techniken, und sie erledigen verschiedene Aufgaben. Es lohnt sich, sie zu verstehen, denn das Suffix ist der größte Einzelunterschied zwischen dem Modell, das Sie auf unserer API aufrufen, und dem Checkpoint, den Thinking Machines veröffentlicht hat.

REAP — die Experten prunen, zu denen niemand routet

REAP steht für Router-weighted Expert Activation Pruning, von Cerebras Research (arXiv 2510.13999, angenommen bei der ICLR 2026). In einem MoE mit 256 Experten pro Schicht verteilt der Router die Arbeit nicht gleichmäßig: Manche Experten werden ständig getroffen, andere feuern selten und tragen dann wenig bei. REAP bewertet jeden Experten sowohl anhand der Gate-Werte des Routers als auch anhand seiner Aktivierungsnormen — ein Experte, der oft ausgewählt wird, aber nur Aktualisierungen geringer Größenordnung beisteuert, zählt weniger, als seine Auswahlhäufigkeit nahelegt — und entfernt die wenig relevanten in einem Durchgang, vor der Quantisierung.

Der Grund, warum wir Pruning statt des modischeren Verschmelzens von Experten nutzen, ist, dass die beiden je nach Aufgabentyp auseinanderlaufen. Verschmelzen sieht auf diskriminativen Benchmarks konkurrenzfähig aus und fällt bei generativen auseinander. Die Autoren von REAP berichten, dass Pruning die Qualität genau bei jenen Arbeitslasten besser erhält, für die Menschen eine API kaufen — Codesynthese, Tool-Calling, mehrstufiges Reasoning —, und zwar bei Kompressionsraten jenseits von 50 %, über Modelle von 20B bis 1T Parametern hinweg. Verschmelzen zerstört die Spezialisierung des Routers; Pruning lässt die überlebenden Experten und das Routing zwischen ihnen unangetastet.

AutoRound — lernen, wo gerundet wird

AutoRound ist Intels Verfahren zur Post-Training-Quantisierung (arXiv 2309.05516, veröffentlicht als SignRound). Naive Quantisierung rundet jedes Gewicht auf den nächstliegenden darstellbaren 4-Bit-Wert — eine vernünftige Voreinstellung und eine schlechte im großen Maßstab, denn Rundungsfehler sind nicht unabhängig und summieren sich über einen Stapel von 66 Schichten. AutoRound behandelt die Rundungsentscheidung als etwas zu Optimierendes: Signed Gradient Descent justiert Rundungsrichtung und Clipping-Bereiche der Gewichte über ein paar hundert Schritte gemeinsam und borgt so die Genauigkeit quantisierungsbewussten Trainings ohne Nachtraining. Intel berichtet die größten Gewinne bei extrem niedrigen Bitbreiten und einen konkurrenzfähigen Vorsprung bei INT4.

W4A16 — wohin die Bits gehen

W4A16 ist das Zahlenformat: 4-Bit-Gewichte, 16-Bit-Aktivierungen. Die Gewichte — die bei einem 975B-Modell den Speicher dominieren — schrumpfen auf etwa ein Viertel eines BF16-Umfangs, während die Arithmetik bei 16 Bit bleibt. Diese Aufteilung zählt speziell für ein Vision-Modell: Verfahren, die auch die Aktivierungen quantisieren, treffen genau die feinkörnige numerische Arbeit, von der Bildverständnis abhängt — eine kleine Achsenbeschriftung lesen, eine dünne Linie in einem Diagramm auflösen, zwei ähnliche Farbtöne trennen. Aktivierungen bei 16 Bit zu halten kostet Bandbreite und kauft Präzision dort zurück, wo eine Vision-Arbeitslast es merkt.

Gestapelt ergeben die drei ein Modell, das passt und schnell bleibt, ohne den Qualitätsabsturz der aggressiven Stufe 3BIT-REAP, die wir bei den allergrößten Fundamenten einsetzen. Das ist der Handel, den der Preis abbildet.

03Vision: eine Bildanalyse-API ohne Ablehnungen

Inkling ist eines von vier vision-fähigen Modellen unseres Katalogs, neben Kimi-K3, Kimi-K2.6 und MiniMax-M3. Die veröffentlichten Vision-Ergebnisse des Basismodells, aus dem Release von Thinking Machines, lauten 73,3 % auf MMMU Pro (Standard 10) und 78,1 % auf den Reasoning-Fragen von CharXiv — steigend auf 82,0 %, wenn das Modell Python gegen das Diagramm ausführen darf. Das sind die eigenen Zahlen des Labors für den unquantisierten Checkpoint; behandeln Sie sie als Obergrenze der Familie, nicht als Messung unseres Builds.

Bei CharXiv lohnt sich das Verweilen, denn er bildet ab, warum Menschen eine Vision-API statt eines OCR-Dienstes kaufen. Er prüft das Schlussfolgern über wissenschaftliche Diagramme — einen Wert von einer Achse ablesen, zwei Reihen vergleichen, eine Trendumkehr bemerken. Nicht „welcher Text steht in diesem Bild“, sondern „was behauptet diese Abbildung, und hält die Behauptung“. Das rechtfertigt es, ein Bild an ein 975B-Reasoning-Modell statt an einen kleinen Bildbeschreiber zu schicken.

Ein Bild zu senden ist gewöhnliche OpenAI-kompatible Arbeit — ein image_url-Inhaltsteil an /v1/chat/completions, ein image-Block im Anthropic-Stil an /v1/messages oder das Äquivalent an /v1/responses. Alle drei Dialekte treffen dieselben Gewichte und alle drei streamen; nehmen Sie den, den Ihr bestehendes SDK ohnehin spricht. Ein ausgearbeitetes Beispiel steht in Abschnitt 09.

Der unzensierte Teil zählt bei Vision mehr als bei Text. Eine Ablehnungsschicht an einem Vision-Endpunkt ist ungewöhnlich grob, weil sie typischerweise das Bild klassifiziert, bevor das Modell über die Anfrage nachgedacht hat. Legitime Arbeit bleibt ständig hängen: ein Wundfoto in einer Pipeline für klinische Notizen, ein forensischer Screenshot in einem Vorfallbericht, ein Einzelbild aus einem Film, der für eine Kritik analysiert wird, ein medizinischer Scan, das Bild eines Dokuments, in dem zufällig ein Name steht. Vor Inkling auf unserem Gateway sitzt kein solcher Klassifikator. Es sieht sich an, was Sie geschickt haben, und beantwortet die Frage, die Sie gestellt haben. Das ist das Produkt.

04Strukturierte Ausgabe: response_format ja, json_schema nein

Das ist die eine Stelle, an der Inkling weniger kann als der Großteil des Katalogs, und es ist besser, dafür zu planen, als es in der Produktion zu entdecken.

Fähigkeit	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Vision (Bildeingabe)	Ja	Ja	Ja	Nein
response_format	Ja	Ja	Ja	Nein
json_schema	Nein	Ja	Ja	Nein
Tool-Calling	Ja	Ja	Ja	Ja
Reasoning-Effort	Ja	Ja	Ja	Ja

response_format: {"type": "json_object"} funktioniert — Sie bekommen syntaktisch gültiges JSON. Was Sie nicht bekommen, ist grammatikgebundenes Dekodieren gegen ein von Ihnen geliefertes Schema, bei dem der Sampler physisch daran gehindert wird, ein Token auszugeben, das Ihre Struktur verletzt. Feldnamen, Zugehörigkeit zu Enums und das Vorhandensein von Pflichtschlüsseln sind die Wahl des Modells, keine Garantie.

Drei Wege, damit zu leben, in aufsteigender Verlässlichkeit:

1. Das Schema prompten und validieren. Legen Sie das Schema als wörtliches JSON in den System-Prompt, setzen Sie response_format auf json_object und validieren Sie die Antwort auf Ihrer Seite. Bei einem Validierungsfehler erneut versuchen, mit der Fehlermeldung des Validators angehängt. Billig, funktioniert, braucht ein Budget für Wiederholungen.
2. Eine Tool-Definition als Schema nutzen. Tool-Calling wird unterstützt, und die Parameterdefinition einer Funktion ist ein JSON-Schema. Deklarieren Sie ein einzelnes Tool, benannt nach der gewünschten Extraktion, erzwingen Sie es und lesen Sie die Argumente. Das ist auf Inkling meist die stärkste Option, und sie kostet Sie nichts extra.
3. Die Aufgabe auf zwei Modelle aufteilen. Lassen Sie Inkling Vision und Reasoning in Prosa erledigen und geben Sie diese Prosa dann für den Strukturierungsschritt an MiMo-V2.5-W8A16 für $0.50 / $2.00 mit einem echten json_schema. Zwei Aufrufe, aber der zweite ist billig und in seiner Form deterministisch, und das Modell, das klug sein muss, ist dasjenige, das das Bild gesehen hat.

Option 3 ist das Muster, das wir für jede Extraktions-Pipeline mit hohem Volumen empfehlen würden. Zahlen Sie den Aufschlag nur für den Schritt, der ihn braucht.

05Was kauft der Preisaufschlag?

Mit $1.42 rein / $6.07 raus pro Million Token sitzt Inkling bewusst in der Mitte unseres Katalogs. Sechs der zwölf Modelle liegen beim Boden von $0.50 / $2.00. Kimi-K3 — das Flaggschiff, ebenfalls vision-fähig — kostet $3.83 / $19.12. Inkling liegt bei der Ausgabe rund beim Dreifachen des Bodens und bei etwa einem Drittel des Flaggschiffs.

Ausgabepreis, USD pro 1 Mio. Token, Listenpreise des Shannon-AI-Gateways, September 2026. Die Balkenbreite ist proportional zum Preis; länger heißt teurer.

Hier die ehrliche Lesart, wo dieser Aufschlag sich verdient — und wo nicht.

Arbeitslast	Inkling nehmen?	Warum
Reasoning über Diagramme	Ja	Die veröffentlichten CharXiv- und MMMU-Pro-Werte sind das, worin dieses Fundament am stärksten ist.
Screenshot-gesteuerte Agenten	Ja	Vision plus Tool-Calling plus 262K Verlauf in einem Modell, ohne Übergabe.
Lange Dokumente mit Abbildungen	Ja	Text und Bilder teilen sich einen Decoder und ein Kontextfenster.
Reine Textgenerierung	Nein	Sechs Modelle für $0.50 / $2.00 können das. Sie zahlen für einen Vision-Pfad, den Sie nie aufrufen.
Massenhafte Schema-Extraktion	Nein	Kein json_schema. MiMo-V2.5 ist günstiger und gebunden.
Absolute Frontier-Obergrenze	Nein	Kimi-K3 ist das Flaggschiff. Zahlen Sie das 3,1×, wenn die Obergrenze die Randbedingung ist.
Günstigste mögliche Vision	Nein	MiniMax-M3 hat Vision für $0.50 / $2.00. Fangen Sie dort an und eskalieren Sie, wenn die Qualität dazu zwingt.

Lesen Sie das als Routing-Regel, nicht als Rangliste. Inkling passt zu einem schmaleren Band an Arbeit, als eine Marketingseite behaupten würde, und innerhalb dieses Bandes ist es preislich schwer zu schlagen. Außerhalb davon verkaufen wir Ihnen lieber das günstigere Modell und behalten Sie.

06Das 262K-Kontextfenster und was tatsächlich hineinpasst

Alle zwölf Modelle auf dem Gateway werden mit einem Eingabekontext von 262.144 Token und einer maximalen Ausgabe von 16.384 Token pro Anfrage ausgeliefert. Einheitlich mit Absicht: Der Umgang mit Kontext sollte nie zu einer Verzweigung pro Modell in Ihrem Code werden, und inkling in einer Konfigurationsdatei gegen MiniMax-M3 zu tauschen sollte nicht stillschweigend ändern, was hineinpasst.

Beachten Sie die Lücke zum veröffentlichten Fundament: Thinking Machines dokumentiert Inkling mit 1.048.576 Token, und wir liefern einen 262K-Ausschnitt davon aus. Wenn Sie eine echte Arbeitslast mit einer Million Token in einer einzigen Anfrage haben, sind wir nicht der Endpunkt dafür, und Sie wissen es besser vor dem Bauen.

Zur Größenordnung bei 262K: ein technisches PDF mit 400 Seiten samt Abbildungen, eine mittelgroße Codebasis, mehrere Stunden Transkript oder eine lange agentische Sitzung mit Dutzenden Tool-Ergebnissen und einer Handvoll Screenshots — jedes passt in eine Anfrage. Denken Sie bei einem Vision-Modell daran, dass auch Bilder Kontext verbrauchen; ein dichter Screenshot ist nicht umsonst, und eine Sitzung, die Einzelbilder streamt, füllt das Fenster schneller als eine reine Textsitzung. Die Architektur passt gut dazu: Das Muster von 5:1 zwischen gleitendem Fenster und globaler Attention bedeutet, dass die meisten Schichten innerhalb einer Nachbarschaft von 512 Token aufmerksam sind, während globale Schichten regelmäßig weitreichende Struktur zurückholen.

07Reasoning-Effort: nur dann fürs Denken zahlen, wenn Sie es brauchen

Inkling bietet steuerbaren Reasoning-Effort — einer der nützlicheren Regler im Katalog. Das Ursprungsmodell nimmt Stufen von none und minimal über low, medium, high, xhigh bis max an, in allen drei Dialekten über den Standardparameter reasoning_effort zugänglich.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Das ist ein Kostenhebel mit Zähnen, denn Reasoning-Token werden als Ausgabe-Token zu $6.07 pro Million abgerechnet. Thinking Machines berichtet, dass Inkling auf Terminal Bench 2.1 Werte erreicht, die mit Nemotron 3 Ultra vergleichbar sind, bei etwa einem Drittel der Token — Token-Effizienz ist ein erklärtes Designziel des Effort-Systems, kein Zufall.

In der Praxis: Fahren Sie low oder minimal für Bildbeschreibung, Klassifizierung und geradlinige Extraktion, wo die Antwort im Bild steckt und keine Schlusskette nötig ist. Heben Sie sich high und darüber für Diagramm-Reasoning, mehrstufigen visuellen Vergleich und agentische Runden auf, in denen ein falscher Zwischenschritt teuer ist. Die meisten Teams setzen den Parameter überhaupt nie und lassen einen mehrfachen Unterschied bei den Ausgabekosten liegen.

08Was „unzensiert“ hier bedeutet — und was nicht

Konkret: Wir betreiben dieses Modell ohne Ablehnungsschicht und ohne Filterung der Ausgabe. Kein Klassifikator liest Ihren Prompt und entscheidet, ob das Modell antworten darf, und keiner liest die Antwort, bevor sie gestreamt wird. Wenn das Modell unsicher ist oder ihm das Wissen fehlt, sagt es das — das ist das Modell, keine Richtlinie. Was Sie nicht bekommen, ist eine reflexhafte Absage zu einem Thema, das ein Massenmarktprodukt als tabu behandelt.

Bei Vision ist das das gesamte Wertversprechen. Bildklassifikatoren vor Vision-APIs sind ungenau, und die Rate der Fehlalarme trifft am härtesten die professionelle Arbeit, die die Fähigkeit am dringendsten braucht: Security-Forschung, klinische Kontexte, Journalismus und Forensik, Film- und Kunstkritik, Moderationswerkzeuge, die sich ansehen müssen, was sie moderieren. Ein Endpunkt, der nach Kategorie ablehnt, kann keines davon verlässlich bedienen.

Zwei ehrliche Einschränkungen. Erstens veröffentlicht Thinking Machines Sicherheitsevaluationen für ihr Referenz-Deployment — 78,0 % auf FORTRESS adversarial, 95,9 % auf FORTRESS benign, 98,6 % auf StrongREJECT. Diese Zahlen beschreiben ihren Stack mit ihren Leitplanken. Sie beschreiben nicht unseren, und wir zitieren sie nicht, als täten sie es. Wir haben die Schicht entfernt, die diese Zahlen teilweise messen; das ist das Produkt und die Verantwortung.

Zweitens heißt „keine Ablehnungsschicht“ nicht „keine Regeln“. Shannon Lab LLC arbeitet unter einer Richtlinie zur verantwortungsvollen Nutzung und dem geltenden US-Recht. Einen Klassifikator zu entfernen verlagert das Urteil zu Ihnen, es löscht es nicht. Wenn Sie darauf aufbauen, lesen Sie die Richtlinie, bevor Sie skalieren.

09Erste Schritte

Dieselbe Basis-URL, derselbe Schlüssel, drei Dialekte. Wenn Ihr Code bereits OpenAI, Anthropic oder die Responses-API aufruft, ist das Ändern des Modell-Strings meist die gesamte Migration.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Die vollständige Parameterreferenz, die Formate von /v1/messages und /v1/responses, Streaming-Event-Formate und ein Live-Playground stehen in der API-Dokumentation. Modellkarten für die anderen elf Modelle finden Sie unter Shannon Research.

Die Zahlen zum Fundament sind die von Thinking Machines Lab veröffentlichten Werte für den unquantisierten Inkling-Checkpoint und beschreiben die Obergrenze der Familie, nicht unseren quantisierten Build. Preise und Fähigkeits-Flags sind Listenwerte des Shannon-AI-Gateways mit Stand September 2026.

10Häufig gestellte Fragen

---

Quellen: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Architektur- und Benchmark-Notizen zu Inkling. Die Fundament-Benchmarks sind vom Labor für den unquantisierten Checkpoint berichtet.