API do modelo Inkling sen censura

A maioría dos doce modelos da nosa pasarela son só de texto. Catro non o son, e entre eses catro Inkling ocupa unha posición concreta: é o modelo de visión ao que recorres cando a imaxe é a parte difícil do problema pero o orzamento non chega para un buque insignia. Esta ficha cobre de onde vén a base, que lle fixo o sufixo W4A16-AUTOROUND-REAP, que fará e que non fará na superficie da API e — con honestidade — cando un modelo máis barato do mesmo catálogo é a mellor decisión.

01Que é Inkling e quen o construíu?

Inkling é o primeiro modelo de pesos abertos de Thinking Machines Lab, publicado o 15 de xullo de 2026. A diferenza da maioría das publicacións que se presentan como "abertas", saíu con pesos descargables completos en Hugging Face e compatibilidade desde o día cero en transformers, SGLang, vLLM e llama.cpp — que é o que fixo que se puidese executar sequera nunha infraestrutura coma a nosa. As cifras principais, dos propios materiais de lanzamento de Thinking Machines:

Iso é unha disposición de Mestura de Expertos dispersa: 66 capas de decodificador con tamaño oculto 6,144, as dúas primeiras densas e as 64 restantes con 256 expertos enrutados máis 2 expertos compartidos, con 6 expertos enrutados activos por token. Arredor do 4% dos parámetros acéndense en cada token — que é o que fai servible sequera un modelo de case un billón de parámetros.

Dúas escollas arquitectónicas son o bastante pouco habituais como para nomealas. A atención está intercalada — 55 capas de atención de xanela deslizante sobre unha xanela de 512 tokens fronte a 11 capas globais, nun patrón repetido de 5:1. E Inkling non usa RoPE: usa un nesgo de posición relativa aprendido e dependente da entrada, xunto con convolucións causais curtas nas proxeccións de clave e valor e nas ramas residuais. As notas de arquitectura de Sebastian Raschka sinalan as dúas como desviacións reais da receita estándar de 2026. O adestramento usou Muon para os parámetros matriciais grandes e Adam para o resto, e despois máis de 30 millóns de despregues asíncronos de aprendizaxe por reforzo no post-adestramento.

O relevante para quen consome a API non son os detalles curiosos. É que esta é unha base a escala de fronteira e nativamente multimodal, adestrada con 45 billóns de tokens que abranguen texto, imaxes, audio e vídeo — non un modelo de texto cun adaptador de visión atornillado despois. As imaxes codifícanse como parches de 40×40 píxeles a través dun divisor MLP xerárquico de catro capas e procésanse conxuntamente co texto no mesmo decodificador. A comprensión visual estaba no obxectivo de preadestramento.

02Que significa W4A16-AUTOROUND-REAP?

Nese sufixo apílanse tres técnicas distintas, e fan traballos distintos. Paga a pena entendelas, porque o sufixo é a maior diferenza entre o modelo ao que chamas na nosa API e o punto de control que publicou Thinking Machines.

REAP — podar os expertos aos que ninguén enruta

REAP é o Router-weighted Expert Activation Pruning, de Cerebras Research (arXiv 2510.13999, aceptado en ICLR 2026). Nunha MoE con 256 expertos por capa o enrutador non reparte o traballo de xeito uniforme: a algúns expertos chégalles tráfico constantemente e outros actívanse poucas veces e aportan pouco cando o fan. REAP puntúa cada experto tanto polos valores da porta do enrutador coma polas normas de activación do experto — un experto seleccionado a miúdo pero que aporta actualizacións de pouca magnitude importa menos do que suxire o seu reconto de seleccións — e elimina os de baixa saliencia dunha soa vez, antes de cuantizar.

A razón pola que usamos a poda e non a máis de moda fusión de expertos é que as dúas diverxen segundo o tipo de tarefa. A fusión parece competitiva nos benchmarks discriminativos e desfaise nos xerativos. Os autores de REAP informan de que a poda preserva mellor a calidade precisamente nas cargas de traballo polas que a xente merca unha API — síntese de código, chamada de ferramentas, razoamento en varias quendas — con proporcións de compresión por riba do 50%, en modelos de 20 mil millóns a 1 billón de parámetros. A fusión destrúe a especialización do enrutador; a poda deixa intactos os expertos que sobreviven e o enrutamento entre eles.

AutoRound — aprender onde redondear

AutoRound é o método de cuantización posterior ao adestramento de Intel (arXiv 2309.05516, publicado como SignRound). A cuantización inxenua redondea cada peso ao valor de 4 bits representable máis próximo — un valor por defecto razoable e malo a escala, porque os erros de redondeo non son independentes e acumúlanse ao longo dunha pila de 66 capas. AutoRound trata a decisión de redondeo como algo que se optimiza: o descenso de gradiente con signo axusta conxuntamente a dirección do redondeo e os rangos de recorte dos pesos ao longo dun par de centos de pasos, tomando prestada a precisión do adestramento consciente da cuantización sen readestrar. Intel informa das maiores ganancias en configuracións extremas de poucos bits e dunha vantaxe competitiva en INT4.

W4A16 — onde van os bits

W4A16 é o formato numérico: pesos de 4 bits, activacións de 16 bits. Os pesos — que dominan a memoria nun modelo de 975B — encollen ata arredor da cuarta parte dunha pegada en BF16, mentres que a aritmética se mantén a 16 bits. Esa división importa especialmente nun modelo de visión: os esquemas que cuantizan as activacións danan precisamente o traballo numérico de gran fino do que depende a comprensión de imaxes — ler unha etiqueta pequena dun eixe, resolver unha liña fina nun diagrama, separar dous tons parecidos. Manter as activacións a 16 bits custa largo de banda e devolve precisión onde unha carga de visión o nota.

Apiladas, as tres dan un modelo que cabe e se mantén rápido sen o despeñadeiro de calidade do agresivo nivel 3BIT-REAP que usamos nas bases máis grandes. Ese é o intercambio que reflicte o prezo.

03Visión: unha API de análise de imaxes sen negativas

Inkling é un dos catro modelos con visión do noso catálogo, xunto con Kimi-K3, Kimi-K2.6 e MiniMax-M3. Os resultados de visión publicados do modelo base, do lanzamento de Thinking Machines, son un 73.3% en MMMU Pro (Standard 10) e un 78.1% nas preguntas de razoamento de CharXiv — subindo ao 82.0% cando se lle permite ao modelo executar Python contra a gráfica. Esas son as cifras do propio laboratorio para o punto de control sen cuantizar; tómaas como o teito da familia, non como unha medición da nosa compilación.

CharXiv é o que merece máis atención, porque explica por que a xente merca unha API de visión en vez dun servizo de OCR. Proba o razoamento sobre gráficas científicas — ler un valor nun eixe, comparar dúas series, notar que unha tendencia se inverte. Non "que texto hai nesta imaxe", senón "que afirma esta figura, e sostense a afirmación". Iso é o que xustifica mandarlle unha imaxe a un modelo de razoamento de 975B en vez de a un subtitulador pequeno.

Enviar unha imaxe é traballo compatible con OpenAI de toda a vida — unha parte de contido image_url en /v1/chat/completions, un bloque image ao estilo de Anthropic en /v1/messages, ou o equivalente en /v1/responses. Os tres dialectos pegan nos mesmos pesos e os tres fan streaming; colle o que xa fale o teu SDK actual. Hai un exemplo traballado na sección 09.

A parte de "sen censura" importa máis na visión ca no texto. Unha capa de negativas nun endpoint de visión é excepcionalmente burda, porque adoita clasificar a imaxe antes de que o modelo razoase sobre a petición. O traballo lexítimo cae constantemente: a fotografía dunha ferida nunha canalización de notas clínicas, unha captura de pantalla forense nun informe de incidente, un fotograma dunha película que se analiza para un texto de crítica, un escáner médico, a imaxe dun documento que casualmente contén un nome. Inkling na nosa pasarela non ten tal clasificador diante. Mira o que lle enviaches e responde á pregunta que fixeches. Ese é o produto.

04Saída estruturada: response_format si, json_schema non

Este é o único punto no que Inkling é menos capaz ca a maior parte do catálogo, e é mellor contar con iso que descubrilo en produción.

Capacidade	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Visión (entrada de imaxe)	Si	Si	Si	Non
response_format	Si	Si	Si	Non
json_schema	Non	Si	Si	Non
Chamada de ferramentas	Si	Si	Si	Si
Esforzo de razoamento	Si	Si	Si	Si

response_format: {"type": "json_object"} funciona — obtés JSON sintacticamente válido. O que non obtés é decodificación restrinxida por gramática contra un esquema que ti proporcionas, onde ao mostrador se lle impide fisicamente emitir un token que viole a túa estrutura. Os nomes dos campos, a pertenza a enumeracións e a presenza das claves obrigatorias son escolla do modelo, non unha garantía.

Tres formas de convivir con iso, en orde ascendente de fiabilidade:

1. Pon o esquema no prompt e valida. Mete o esquema no prompt de sistema como JSON literal, pon response_format en json_object e valida a resposta do teu lado. Reintenta ante un fallo de validación engadindo a mensaxe de erro do validador. Barato, funciona, precisa un orzamento de reintentos.
2. Usa unha definición de ferramenta como esquema. A chamada de ferramentas si está admitida, e a definición de parámetros dunha función é un esquema JSON. Declara unha soa ferramenta co nome da extracción que queres, fórzaa e le os argumentos. Esta adoita ser a opción máis forte en Inkling e non che custa nada máis.
3. Divide o traballo entre dous modelos. Deixa que Inkling faga a visión e o razoamento en prosa, e pásalle despois esa prosa a MiMo-V2.5-W8A16 a $0.50 / $2.00 cun json_schema de verdade para a pasada de estruturación. Dúas chamadas, pero a segunda é barata, ten forma determinista, e o modelo que ten que ser listo é o que viu a imaxe.

A opción 3 é o patrón que recomendariamos para calquera canalización de extracción de alto volume. Paga o sobreprezo só polo paso que o precisa.

05Que compra o sobreprezo?

Con $1.42 de entrada / $6.07 de saída por millón de tokens, Inkling sitúase deliberadamente no medio do noso catálogo. Seis dos doce modelos están no chan de $0.50 / $2.00. Kimi-K3 — o buque insignia, tamén con visión — custa $3.83 / $19.12. Inkling custa arredor de tres veces o chan na saída e arredor dun terzo do buque insignia.

Prezo de saída, dólares por 1M de tokens, tarifas de lista da pasarela de Shannon AI, setembro de 2026. O largo da barra é proporcional ao prezo; máis longa é máis cara.

Velaquí a lectura honesta de onde gaña ese sobreprezo o seu sitio — e onde non.

Carga de traballo	Usar Inkling?	Por que
Razoamento sobre gráficas e diagramas	Si	As cifras publicadas de CharXiv e MMMU Pro son o punto máis forte desta base.
Axentes guiados por capturas de pantalla	Si	Visión máis chamada de ferramentas máis 262K de historial nun só modelo, sen traspasos.
Documentos longos con figuras	Si	O texto e as imaxes comparten un só decodificador e unha soa xanela de contexto.
Xeración de texto simple	Non	Seis modelos a $0.50 / $2.00 fan isto. Estarías a pagar por un camiño de visión que non chamas nunca.
Extracción de esquemas a volume	Non	Sen json_schema. MiMo-V2.5 é máis barato e vai restrinxido.
O teito absoluto de fronteira	Non	Kimi-K3 é o buque insignia. Paga o 3.1× se a restrición é o teito.
A visión máis barata posible	Non	MiniMax-M3 ten visión a $0.50 / $2.00. Empeza aí e escala se a calidade te obriga.

Le iso como unha regra de enrutamento, non como un ranking. Inkling é o axeitado para unha banda de traballo máis estreita do que afirmaría unha páxina de marketing, e dentro desa banda é difícil de bater en prezo. Fóra dela, preferimos venderche o modelo máis barato e conservarte.

06A xanela de contexto de 262K, e que colle realmente

Os doce modelos da pasarela sérvense cun contexto de entrada de 262,144 tokens e unha saída máxima de 16,384 tokens por petición. Uniforme a propósito: a xestión do contexto nunca debería converterse nunha ramificación por modelo no teu código, e cambiar inkling por MiniMax-M3 nun ficheiro de configuración non debería alterar en silencio o que cabe.

Fíxate na diferenza fronte á base publicada: Thinking Machines documenta Inkling con 1,048,576 tokens, e nós servimos unha porción de 262K. Se tes unha carga de traballo real dun millón de tokens nunha soa petición, non somos o endpoint para iso, e é mellor que o saibas antes de construír.

Para dar unha idea da escala con 262K: un PDF técnico de 400 páxinas coas súas figuras, unha base de código de tamaño medio, varias horas de transcrición, ou unha sesión longa con axentes que leva ducias de resultados de ferramentas e un puñado de capturas de pantalla — cada unha colle nunha soa petición. Nun modelo de visión, lembra que as imaxes tamén consomen contexto; unha captura de pantalla densa non é de balde, e unha sesión que transmite fotogramas enche a xanela máis rápido ca unha só de texto. A arquitectura présase ben a isto: o patrón 5:1 de xanela deslizante fronte a global significa que a maioría das capas atenden dentro dunha veciñanza de 512 tokens, coas capas globais recuperando periodicamente a estrutura de longo alcance.

07Esforzo de razoamento: pagar por pensar só cando o precisas

Inkling expón un esforzo de razoamento controlable — un dos mandos máis útiles do catálogo. O modelo de augas arriba acepta niveis desde none e minimal pasando por low, medium, high, xhigh, ata max, expostos nos tres dialectos mediante o parámetro estándar reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Esta é unha panca de custo con dentes, porque os tokens de razoamento factúranse como tokens de saída a $6.07 por millón. Thinking Machines informa de que en Terminal Bench 2.1 Inkling acada puntuacións comparables ás de Nemotron 3 Ultra con arredor dun terzo dos tokens — a eficiencia en tokens é un obxectivo de deseño declarado do sistema de esforzo, non un accidente.

Na práctica: usa low ou minimal para subtitulado, clasificación e extracción sinxela, onde a resposta está na imaxe e non fai falta ningunha cadea de inferencia. Reserva high e superiores para o razoamento sobre gráficas, a comparación visual en varios pasos e as quendas con axentes nas que un paso intermedio errado sae caro. A maioría dos equipos non chegan a fixar nunca o parámetro, e deixan sobre a mesa unha diferenza de custo de saída de varias veces.

08Que significa aquí "sen censura" — e que non significa

En concreto: executamos este modelo sen capa de negativas e sen filtrado da saída. Ningún clasificador le o teu prompt para decidir se o modelo pode responder, e ningún le a resposta antes de que se transmita. Cando o modelo dubida ou lle falta o coñecemento, dío — iso é o modelo, non unha política. O que non obterás é unha negativa reflexa sobre un tema que un produto de consumo xeral trata como prohibido.

Na visión esta é toda a proposta de valor. Os clasificadores de imaxe diante das API de visión son imprecisos, e a taxa de falsos positivos cae con máis forza sobre o traballo profesional que máis precisa a capacidade: investigación en seguridade, contextos clínicos, xornalismo e forense, crítica de cine e arte, ferramentas de moderación que teñen que mirar aquilo que moderan. Un endpoint que rexeita por categoría non pode servir ningún deses casos con fiabilidade.

Dúas advertencias honestas. Primeira, Thinking Machines publica avaliacións de seguridade para o seu despregamento de referencia — 78.0% en FORTRESS adversarial, 95.9% en FORTRESS benigno, 98.6% en StrongREJECT. Esas cifras describen a súa pila coas súas proteccións postas. Non describen a nosa, e non as imos citar coma se o fixesen. Nós quitamos a capa que esas cifras miden en parte; ese é o produto, e a responsabilidade.

Segunda, "sen capa de negativas" non é "sen regras". Shannon Lab LLC opera baixo unha Política de Uso Responsable e a lei estadounidense aplicable. Quitar un clasificador traslada o criterio cara a ti, non o borra. Se estás a construír sobre isto, le a política antes de escalar.

09Como empezar

Mesma URL base, mesma clave, tres dialectos. Se o teu código xa chama a OpenAI, a Anthropic ou á API de Responses, cambiar a cadea do modelo adoita ser toda a migración.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

A referencia completa de parámetros, as formas de /v1/messages e /v1/responses, os formatos dos eventos de streaming e un playground en vivo están na documentación da API. As fichas dos outros once modelos están en Shannon Research.

As cifras da base son as publicadas por Thinking Machines Lab para o punto de control de Inkling sen cuantizar e describen o teito da familia, non a nosa compilación cuantizada. Os prezos e as marcas de capacidade son valores de lista da pasarela de Shannon AI vixentes en setembro de 2026.

10Preguntas frecuentes

---

Fontes: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — notas de arquitectura e benchmarks de Inkling. Os benchmarks da base están informados polo laboratorio para o punto de control sen cuantizar.