API del model Inkling sense censura: visió

La majoria dels dotze models de la nostra passarel·la són només de text. Quatre no ho són, i entre aquests quatre Inkling ocupa una posició concreta: és el model de visió que tries quan la imatge és la part difícil del problema però el pressupost no arriba a un model insígnia. Aquesta fitxa cobreix d'on ve la base, què li va fer el sufix W4A16-AUTOROUND-REAP, què farà i què no farà a la superfície de l'API i — honestament — quan un model més barat del mateix catàleg és la millor opció.

01Què és Inkling, i qui el va construir?

Inkling és el primer model de pesos oberts de Thinking Machines Lab, publicat el 15 de juliol de 2026. A diferència de la majoria de publicacions que es presenten com a «obertes», va sortir amb els pesos descarregables sencers a Hugging Face i amb suport des del dia zero a transformers, SGLang, vLLM i llama.cpp — que és el que el va fer executable en una infraestructura com la nostra. Les xifres principals, tretes dels materials de publicació de Thinking Machines:

Això és una disposició Mixture-of-Experts dispersa: 66 capes de descodificador amb una mida oculta de 6.144, les dues primeres denses i les 64 restants amb 256 experts encaminats més 2 experts compartits, amb 6 experts encaminats actius per token. Aproximadament el 4% dels paràmetres s'activen en un token qualsevol — i això és el que fa que un model de gairebé un bilió de paràmetres sigui servible.

Dues decisions arquitectòniques són prou inusuals per anomenar-les. L'atenció és intercalada: 55 capes d'atenció de finestra lliscant sobre una finestra de 512 tokens contra 11 capes globals, en un patró repetit de 5:1. I Inkling no fa servir RoPE: fa servir un biaix de posició relativa après i dependent de l'entrada, juntament amb convolucions causals curtes a les projeccions de clau/valor i a les branques residuals. Les notes d'arquitectura de Sebastian Raschka assenyalen totes dues coses com a desviacions reals de la recepta estàndard del 2026. L'entrenament va fer servir Muon per als paràmetres matricials grans i Adam per a la resta, i després més de 30 milions de desplegaments d'RL asíncrons en el postentrenament.

El que importa per a qui consumeix l'API no és l'anècdota. És que aquesta és una base d'escala de frontera i nativament multimodal, entrenada amb 45 bilions de tokens que abasten text, imatges, àudio i vídeo — no un model de text amb un adaptador de visió cargolat després. Les imatges es codifiquen com a pegats de 40×40 píxels a través d'un divisor en pegats MLP jeràrquic de quatre capes i es processen conjuntament amb el text al mateix descodificador. La comprensió visual formava part de l'objectiu de preentrenament.

02Què vol dir W4A16-AUTOROUND-REAP?

En aquest sufix hi ha tres tècniques apilades, i cadascuna fa una feina diferent. Val la pena entendre-les, perquè el sufix és la diferència més gran entre el model que crides a la nostra API i el punt de control que va publicar Thinking Machines.

REAP — podar els experts als quals ningú encamina

REAP és Router-weighted Expert Activation Pruning, de Cerebras Research (arXiv 2510.13999, acceptat a ICLR 2026). En un MoE amb 256 experts per capa, el router no reparteix la feina de manera uniforme: alguns experts s'activen constantment i d'altres rarament, i quan ho fan aporten poc. REAP puntua cada expert tant pels valors de la porta del router com per les normes d'activació de l'expert — un expert seleccionat sovint però que aporta actualitzacions de magnitud petita importa menys del que suggereix el seu recompte de seleccions — i elimina els de poca rellevància d'un sol cop, abans de quantitzar.

El motiu pel qual fem servir la poda i no la fusió d'experts, més de moda, és que totes dues divergeixen segons el tipus de tasca. La fusió sembla competitiva en benchmarks discriminatius i s'ensorra en els generatius. Els autors de REAP reporten que la poda preserva millor la qualitat exactament en les càrregues de treball per a les quals la gent compra una API — síntesi de codi, crides a eines, raonament de múltiples torns — amb ràtios de compressió per sobre del 50% i en models de 20B a 1T de paràmetres. La fusió destrueix l'especialització del router; la poda deixa intactes els experts supervivents i l'encaminament entre ells.

AutoRound — aprendre on arrodonir

AutoRound és el mètode de quantització posterior a l'entrenament d'Intel (arXiv 2309.05516, publicat com a SignRound). La quantització ingènua arrodoneix cada pes al valor de 4 bits representable més proper — un valor per defecte raonable i dolent a escala, perquè els errors d'arrodoniment no són independents i s'acumulen al llarg d'una pila de 66 capes. AutoRound tracta la decisió d'arrodoniment com una cosa a optimitzar: el descens de gradient amb signe ajusta conjuntament la direcció d'arrodoniment i els rangs de retallada dels pesos al llarg d'un parell de centenars de passos, prenent prestada la precisió de l'entrenament conscient de la quantització sense reentrenar. Intel reporta els guanys més grans en configuracions de molt pocs bits i un avantatge competitiu a INT4.

W4A16 — on van els bits

W4A16 és el format numèric: pesos de 4 bits, activacions de 16 bits. Els pesos — que dominen la memòria en un model de 975B — es redueixen a aproximadament una quarta part de la petjada en BF16, mentre que l'aritmètica es manté a 16 bits. Aquesta divisió importa especialment en un model de visió: els esquemes que quantitzen les activacions perjudiquen precisament la feina numèrica de gra fi de la qual depèn la comprensió d'imatges — llegir l'etiqueta petita d'un eix, resoldre una línia fina d'un diagrama, separar dos tons semblants. Mantenir les activacions a 16 bits costa amplada de banda i recupera precisió allà on una càrrega de visió ho nota.

Apilades, les tres donen un model que hi cap i es manté ràpid sense el precipici de qualitat del nivell agressiu 3BIT-REAP que fem servir a les bases més grans de totes. Aquest és el compromís que reflecteix el preu.

03Visió: una API d'anàlisi d'imatges sense refusos

Inkling és un dels quatre models amb visió del nostre catàleg, al costat de Kimi-K3, Kimi-K2.6 i MiniMax-M3. Els resultats de visió publicats del model base, de la publicació de Thinking Machines, són un 73,3% a MMMU Pro (Standard 10) i un 78,1% a les preguntes de raonament de CharXiv — que pugen al 82,0% quan es permet que el model executi Python contra el gràfic. Aquestes són les xifres del mateix laboratori per al punt de control sense quantitzar; tracta-les com el sostre de la família, no com una mesura de la nostra compilació.

CharXiv és el que val la pena mirar amb calma, perquè encaixa amb el motiu pel qual la gent compra una API de visió i no un servei d'OCR. Posa a prova el raonament sobre gràfics científics — llegir un valor d'un eix, comparar dues sèries, detectar la inversió d'una tendència. No «quin text hi ha en aquesta imatge», sinó «què afirma aquesta figura, i l'afirmació s'aguanta». Això és el que justifica enviar una imatge a un model de raonament de 975B en lloc d'a un petit generador de llegendes.

Enviar una imatge és feina corrent compatible amb OpenAI — una part de contingut image_url a /v1/chat/completions, un bloc image a l'estil d'Anthropic a /v1/messages, o l'equivalent a /v1/responses. Els tres dialectes ataquen els mateixos pesos i els tres fan streaming; tria el que ja parli el teu SDK actual. A la secció 09 hi ha un exemple resolt.

La part de «sense censura» importa més per a la visió que per al text. Una capa de refús en un extrem de visió és especialment tosca, perquè normalment classifica la imatge abans que el model hagi raonat sobre la petició. La feina legítima hi queda atrapada constantment: la fotografia d'una ferida en una canonada de notes clíniques, una captura de pantalla forense en un informe d'incident, un fotograma d'una pel·lícula que s'analitza per a una crítica, una exploració mèdica, la imatge d'un document que casualment conté un nom. Inkling a la nostra passarel·la no té cap classificador al davant. Mira el que has enviat i respon la pregunta que has fet. Aquest és el producte.

04Sortida estructurada: response_format sí, json_schema no

Aquest és l'únic punt on Inkling té menys capacitat que la major part del catàleg, i val més planificar-ho que descobrir-ho en producció.

Capacitat	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Visió (entrada d'imatge)	Sí	Sí	Sí	No
response_format	Sí	Sí	Sí	No
json_schema	No	Sí	Sí	No
Crides a eines	Sí	Sí	Sí	Sí
Esforç de raonament	Sí	Sí	Sí	Sí

response_format: {"type": "json_object"} funciona — obtens JSON sintàcticament vàlid. El que no obtens és descodificació restringida per gramàtica contra un esquema que tu proporciones, on el mostrejador té físicament prohibit emetre un token que violi la teva estructura. Els noms dels camps, la pertinença als enums i la presència de les claus obligatòries són una tria del model, no una garantia.

Tres maneres de conviure-hi, en ordre ascendent de fiabilitat:

1. Posa l'esquema al prompt i valida. Posa l'esquema al prompt de sistema com a JSON literal, configura response_format a json_object i valida la resposta pel teu costat. Reintenta quan la validació falli, afegint-hi el missatge d'error del validador. És barat, funciona i necessita un pressupost de reintents.
2. Fes servir una definició d'eina com a esquema. Les crides a eines sí que estan admeses, i la definició de paràmetres d'una funció és un JSON Schema. Declara una única eina amb el nom de l'extracció que vols, força-la i llegeix-ne els arguments. Normalment aquesta és l'opció més sòlida a Inkling i no et costa res de més.
3. Reparteix la feina entre dos models. Fes que Inkling faci la visió i el raonament en prosa, i després passa aquesta prosa a MiMo-V2.5-W8A16 a 0,50 $ / 2,00 $ amb un json_schema de debò per a la passada d'estructuració. Són dues crides, però la segona és barata i té una forma determinista, i el model que ha de ser llest és el que ha vist la imatge.

L'opció 3 és el patró que recomanaríem per a qualsevol canonada d'extracció de gran volum. Paga la prima només per al pas que la necessita.

05Què compra la prima de preu?

A 1,42 $ d'entrada / 6,07 $ de sortida per milió de tokens, Inkling se situa deliberadament al mig del nostre catàleg. Sis dels dotze models són al terra de 0,50 $ / 2,00 $. Kimi-K3 — el model insígnia, també amb visió — és a 3,83 $ / 19,12 $. Inkling és aproximadament tres vegades el terra en sortida i aproximadament un terç del model insígnia.

Preu de sortida, USD per 1M de tokens, tarifes de llista de la passarel·la de Shannon AI, setembre de 2026. L'amplada de la barra és proporcional al preu; com més llarga, més car.

Aquesta és la lectura honesta d'on es guanya la prima — i on no.

Càrrega de treball	Fer servir Inkling?	Per què
Raonament sobre gràfics i diagrames	Sí	Les xifres publicades de CharXiv i MMMU Pro són el punt fort d'aquesta base.
Agents guiats per captures de pantalla	Sí	Visió més crides a eines més 262K d'historial en un sol model, sense traspassos.
Documents llargs amb figures	Sí	El text i les imatges comparteixen un mateix descodificador i una mateixa finestra de context.
Generació de text pla	No	Sis models a 0,50 $ / 2,00 $ ho fan. Estàs pagant un camí de visió que no crides mai.
Extracció massiva amb esquema	No	No hi ha json_schema. MiMo-V2.5 és més barat i va restringit.
Sostre absolut de frontera	No	Kimi-K3 és el model insígnia. Paga el 3,1× si la restricció és el sostre.
La visió més barata possible	No	MiniMax-M3 té visió a 0,50 $ / 2,00 $. Comença-hi i escala si la qualitat t'hi obliga.

Llegeix-ho com una regla d'encaminament, no com una classificació. Inkling és adequat per a una franja de feina més estreta del que afirmaria una pàgina de màrqueting, i dins d'aquesta franja és difícil de superar en preu. Fora d'ella, preferim vendre't el model més barat i conservar-te.

06La finestra de context de 262K, i què hi cap de debò

Els dotze models de la passarel·la se serveixen amb un context d'entrada de 262.144 tokens i una sortida màxima de 16.384 tokens per petició. És uniforme a propòsit: la gestió del context no hauria de convertir-se mai en una bifurcació per model al teu codi, i canviar inkling per MiniMax-M3 en un fitxer de configuració no hauria de canviar en silenci què hi cap.

Fixa't en la diferència respecte de la base publicada: Thinking Machines documenta Inkling amb 1.048.576 tokens, i nosaltres en servim una porció de 262K. Si tens una càrrega de treball genuïna d'un milió de tokens en una sola petició, no som l'extrem que et convé, i val més que ho sàpigues abans de construir res.

Per fer-te'n una idea, a 262K: un PDF tècnic de 400 pàgines amb les seves figures, una base de codi mitjana, diverses hores de transcripció o una sessió agèntica llarga amb desenes de resultats d'eines i unes quantes captures de pantalla — cadascuna hi cap en una sola petició. En un model de visió, recorda que les imatges també consumeixen context; una captura de pantalla densa no és gratuïta, i una sessió que va enviant fotogrames omple la finestra més de pressa que una de només text. L'arquitectura hi va bé: el patró 5:1 de finestra lliscant contra global fa que la major part de les capes atenguin dins d'un veïnatge de 512 tokens, amb capes globals que periòdicament tornen a incorporar l'estructura de llarg abast.

07Esforç de raonament: pagar per pensar només quan cal

Inkling exposa un esforç de raonament controlable — un dels comandaments més útils del catàleg. El model original accepta nivells que van de none i minimal passant per low, medium, high, xhigh, fins a max, exposats als tres dialectes a través del paràmetre estàndard reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Aquesta és una palanca de cost amb dents, perquè els tokens de raonament es facturen com a tokens de sortida a 6,07 $ per milió. Thinking Machines reporta que, a Terminal Bench 2.1, Inkling arriba a puntuacions comparables a les de Nemotron 3 Ultra amb aproximadament un terç dels tokens — l'eficiència de tokens és un objectiu de disseny declarat del sistema d'esforç, no una casualitat.

A la pràctica: fes servir low o minimal per a llegendes, classificació i extracció directa, on la resposta és a la imatge i no cal cap cadena d'inferència. Reserva high i superior per al raonament sobre gràfics, la comparació visual de múltiples passos i els torns agèntics on un pas intermedi equivocat surt car. La majoria d'equips no arriben ni a configurar el paràmetre, i deixen sobre la taula una diferència de cost de sortida de diverses vegades.

08Què vol dir aquí «sense censura» — i què no

Concretament: executem aquest model sense cap capa de refús i sense filtratge de la sortida. Cap classificador llegeix el teu prompt i decideix si el model pot respondre, i cap en llegeix la resposta abans que s'enviï. Quan el model no n'està segur o li falta coneixement, ho diu — això és el model, no una política. El que no obtindràs és una negativa reflexa sobre un tema que un producte de consum general tracta com a vedat.

Per a la visió, aquesta és tota la proposta de valor. Els classificadors d'imatges davant de les API de visió són imprecisos, i la taxa de falsos positius colpeja més fort precisament la feina professional que més necessita la capacitat: recerca de seguretat, contextos clínics, periodisme i forense, crítica cinematogràfica i artística, eines de moderació que han de mirar allò que moderen. Un extrem que refusa per categoria no pot servir cap d'aquests casos de manera fiable.

Dues advertències honestes. Primera: Thinking Machines publica avaluacions de seguretat per al seu desplegament de referència — 78,0% a FORTRESS adversari, 95,9% a FORTRESS benigne, 98,6% a StrongREJECT. Aquestes xifres descriuen la seva pila amb les seves proteccions posades. No descriuen la nostra, i no les citarem com si ho fessin. Hem retirat la capa que aquestes xifres mesuren en part; això és el producte, i la responsabilitat.

Segona: «cap capa de refús» no vol dir «cap norma». Shannon Lab LLC opera sota una Política d'ús responsable i sota la llei aplicable dels EUA. Retirar un classificador desplaça el judici cap a tu, no l'elimina. Si construeixes sobre això, llegeix la política abans d'escalar.

09Per començar

Mateixa URL base, mateixa clau, tres dialectes. Si el teu codi ja crida OpenAI, Anthropic o l'API de Responses, canviar la cadena del model sol ser tota la migració.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

La referència completa de paràmetres, les formes de /v1/messages i /v1/responses, els formats d'esdeveniment de streaming i un entorn de proves en viu són a la documentació de l'API. Les fitxes dels altres onze models són a Shannon Research.

Les xifres de la base són les publicades per Thinking Machines Lab per al punt de control d'Inkling sense quantitzar i descriuen el sostre de la família, no la nostra compilació quantitzada. Els preus i els indicadors de capacitat són els valors de llista de la passarel·la de Shannon AI a data de setembre de 2026.

10Preguntes freqüents

---

Fonts: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — notes d'arquitectura i de benchmarks d'Inkling. Els benchmarks de la base són reportats pel laboratori per al punt de control sense quantitzar.