API del modelo Inkling sin censura

La mayoría de los doce modelos de nuestro gateway son solo de texto. Cuatro no lo son, y entre esos cuatro Inkling ocupa una posición concreta: es el modelo de visión al que recurres cuando la imagen es la parte difícil del problema pero el presupuesto no llega a un buque insignia. Esta ficha cubre de dónde viene la base, qué le hizo el sufijo W4A16-AUTOROUND-REAP, qué hará y qué no hará en la superficie de la API y —con honestidad— cuándo un modelo más barato del mismo catálogo es la mejor elección.

01¿Qué es Inkling y quién lo construyó?

Inkling es el primer modelo de pesos abiertos de Thinking Machines Lab, publicado el 15 de julio de 2026. A diferencia de la mayoría de los lanzamientos que se presentan como «abiertos», salió con pesos descargables completos en Hugging Face y soporte desde el día cero en transformers, SGLang, vLLM y llama.cpp, que es lo que lo hizo ejecutable en una infraestructura como la nuestra. Las cifras principales, de los propios materiales de lanzamiento de Thinking Machines:

Eso es una disposición Mixture-of-Experts dispersa: 66 capas de decodificador con un tamaño oculto de 6,144, las dos primeras densas y las 64 restantes con 256 expertos enrutados más 2 expertos compartidos, con 6 expertos enrutados activos por token. Aproximadamente el 4% de los parámetros se activa en cualquier token dado, que es lo que hace tratable servir un modelo de casi un billón de parámetros.

Hay dos decisiones arquitectónicas lo bastante inusuales como para nombrarlas. La atención es entrelazada: 55 capas de atención de ventana deslizante sobre una ventana de 512 tokens frente a 11 capas globales, en un patrón repetido 5:1. Y Inkling no usa RoPE: usa un sesgo de posición relativa aprendido y dependiente de la entrada, junto con convoluciones causales cortas en las proyecciones clave/valor y en las ramas residuales. Las notas de arquitectura de Sebastian Raschka señalan ambas como desviaciones reales de la receta estándar de 2026. El entrenamiento usó Muon para los parámetros matriciales grandes y Adam para el resto, y después más de 30 millones de rollouts de RL asíncronos en el post-entrenamiento.

Lo relevante para quien consume la API no son los datos curiosos. Es que se trata de una base de escala frontera y nativamente multimodal, entrenada con 45 billones de tokens que abarcan texto, imágenes, audio y vídeo: no es un modelo de texto con un adaptador de visión atornillado después. Las imágenes se codifican como parches de 40×40 píxeles a través de un «patchifier» MLP jerárquico de cuatro capas y se procesan junto al texto en el mismo decodificador. La comprensión visual estaba en el objetivo de preentrenamiento.

02¿Qué significa W4A16-AUTOROUND-REAP?

En ese sufijo se apilan tres técnicas distintas, y cada una hace un trabajo diferente. Vale la pena entenderlo, porque el sufijo es la mayor diferencia entre el modelo que llamas en nuestra API y el checkpoint que publicó Thinking Machines.

REAP — podar los expertos a los que nadie enruta

REAP es Router-weighted Expert Activation Pruning, de Cerebras Research (arXiv 2510.13999, aceptado en ICLR 2026). En un MoE con 256 expertos por capa, el router no reparte el trabajo de forma uniforme: a algunos expertos se les envía trabajo constantemente, otros se activan rara vez y aportan poco cuando lo hacen. REAP puntúa cada experto con ambas señales —los valores de la compuerta del router y las normas de activación del experto— porque un experto seleccionado a menudo pero que aporta actualizaciones de poca magnitud importa menos de lo que sugiere su recuento de selecciones, y elimina de una sola vez los de baja relevancia, antes de la cuantización.

La razón por la que usamos poda en lugar de la más de moda fusión de expertos es que ambas divergen según el tipo de tarea. La fusión parece competitiva en benchmarks discriminativos y se desmorona en los generativos. Los autores de REAP informan de que la poda preserva mejor la calidad exactamente en las cargas de trabajo por las que la gente contrata una API —síntesis de código, tool calling, razonamiento multiturno— con ratios de compresión por encima del 50%, en modelos de 20B a 1T de parámetros. La fusión destruye la especialización del router; la poda deja intactos a los expertos supervivientes y el enrutado entre ellos.

AutoRound — aprender dónde redondear

AutoRound es el método de cuantización post-entrenamiento de Intel (arXiv 2309.05516, publicado como SignRound). La cuantización ingenua redondea cada peso al valor de 4 bits representable más cercano: un valor por defecto razonable y malo a escala, porque los errores de redondeo no son independientes y se acumulan a lo largo de una pila de 66 capas. AutoRound trata la decisión de redondeo como algo que hay que optimizar: el descenso de gradiente con signo ajusta conjuntamente la dirección del redondeo y los rangos de recorte de pesos a lo largo de un par de centenares de pasos, tomando prestada la precisión del entrenamiento consciente de la cuantización sin reentrenar. Intel informa de las mayores ganancias en configuraciones extremas de bajo número de bits y de una ventaja competitiva en INT4.

W4A16 — dónde van los bits

W4A16 es el formato numérico: pesos de 4 bits, activaciones de 16 bits. Los pesos —que dominan la memoria en un modelo de 975B— se reducen a aproximadamente una cuarta parte de una huella BF16, mientras que la aritmética se mantiene a 16 bits. Esa división importa especialmente en un modelo de visión: los esquemas que también cuantizan las activaciones dañan justo el trabajo numérico de grano fino del que depende la comprensión de imágenes —leer la etiqueta pequeña de un eje, resolver una línea fina de un diagrama, separar dos tonos parecidos—. Mantener las activaciones a 16 bits cuesta ancho de banda y recupera la precisión donde una carga de trabajo de visión lo nota.

Apiladas, las tres dan un modelo que cabe y sigue siendo rápido sin el precipicio de calidad del nivel agresivo 3BIT-REAP que usamos en las bases más grandes. Ese es el trueque que refleja el precio.

03Visión: una API de análisis de imágenes sin rechazos

Inkling es uno de los cuatro modelos con visión de nuestro catálogo, junto a Kimi-K3, Kimi-K2.6 y MiniMax-M3. Los resultados de visión publicados del modelo base, del lanzamiento de Thinking Machines, son 73.3% en MMMU Pro (Standard 10) y 78.1% en las preguntas de razonamiento de CharXiv, subiendo al 82.0% cuando se permite al modelo ejecutar Python contra el gráfico. Esas son las cifras del propio laboratorio para el checkpoint sin cuantizar; trátalas como el techo de la familia, no como una medición de nuestra compilación.

CharXiv es el que merece detenerse, porque se corresponde con la razón por la que la gente contrata una API de visión en lugar de un servicio de OCR. Evalúa el razonamiento sobre gráficos científicos: leer un valor en un eje, comparar dos series, notar que una tendencia se invierte. No «qué texto hay en esta imagen», sino «qué afirma esta figura y si esa afirmación se sostiene». Eso es lo que justifica enviar una imagen a un modelo de razonamiento de 975B en lugar de a un pequeño generador de descripciones.

Enviar una imagen es trabajo corriente compatible con OpenAI: una parte de contenido image_url en /v1/chat/completions, un bloque image al estilo de Anthropic en /v1/messages, o el equivalente en /v1/responses. Los tres dialectos alcanzan los mismos pesos y los tres admiten streaming; elige el que ya hable tu SDK actual. Hay un ejemplo trabajado en la sección 09.

La parte «sin censura» importa más en visión que en texto. Una capa de rechazo en un endpoint de visión es especialmente burda, porque normalmente clasifica la imagen antes de que el modelo haya razonado sobre la petición. El trabajo legítimo cae en la red constantemente: la fotografía de una herida en una tubería de notas clínicas, una captura forense en el informe de un incidente, un fotograma de una película que se analiza para una crítica, un escáner médico, la imagen de un documento que casualmente contiene un nombre. Inkling en nuestro gateway no tiene semejante clasificador delante. Mira lo que enviaste y responde a la pregunta que hiciste. Ese es el producto.

04Salida estructurada: response_format sí, json_schema no

Este es el único punto en el que Inkling es menos capaz que la mayoría del catálogo, y es mejor preverlo que descubrirlo en producción.

Capacidad	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Visión (entrada de imagen)	Sí	Sí	Sí	No
response_format	Sí	Sí	Sí	No
json_schema	No	Sí	Sí	No
Tool calling	Sí	Sí	Sí	Sí
Esfuerzo de razonamiento	Sí	Sí	Sí	Sí

response_format: {"type": "json_object"} funciona: obtienes JSON sintácticamente válido. Lo que no obtienes es decodificación restringida por gramática contra un esquema que tú aportas, donde al muestreador se le impide físicamente emitir un token que viole tu estructura. Los nombres de campo, la pertenencia a un enum y la presencia de las claves obligatorias son elección del modelo, no una garantía.

Tres formas de convivir con eso, en orden creciente de fiabilidad:

1. Pon el esquema en el prompt y valida. Mete el esquema en el prompt de sistema como JSON literal, pon response_format en json_object y valida la respuesta por tu lado. Reintenta cuando falle la validación, añadiendo el mensaje de error del validador. Barato, funciona, necesita un presupuesto de reintentos.
2. Usa una definición de herramienta como esquema. El tool calling sí está admitido, y la definición de parámetros de una función es un JSON Schema. Declara una única herramienta con el nombre de la extracción que quieres, fuérzala y lee los argumentos. Suele ser la opción más sólida en Inkling y no te cuesta nada extra.
3. Reparte el trabajo entre dos modelos. Haz que Inkling se encargue de la visión y el razonamiento en prosa, y luego entrega esa prosa a MiMo-V2.5-W8A16 a $0.50 / $2.00 con un json_schema real para el paso de estructuración. Dos llamadas, pero la segunda es barata y determinista en su forma, y el modelo que necesita ser inteligente es el que vio la imagen.

La opción 3 es el patrón que recomendaríamos para cualquier tubería de extracción de alto volumen. Paga el sobreprecio solo por el paso que lo necesita.

05¿Qué compra el sobreprecio?

A $1.42 de entrada / $6.07 de salida por millón de tokens, Inkling se sitúa deliberadamente en el medio de nuestro catálogo. Seis de los doce modelos están en el mínimo de $0.50 / $2.00. Kimi-K3 —el buque insignia, también con visión— está a $3.83 / $19.12. Inkling es aproximadamente el triple del mínimo en salida y aproximadamente un tercio del buque insignia.

Precio de salida, USD por 1M de tokens, tarifas de lista del Shannon AI Gateway, septiembre de 2026. El ancho de la barra es proporcional al precio; más larga es más caro.

Esta es la lectura honesta de dónde ese sobreprecio se gana el sueldo, y dónde no.

Carga de trabajo	¿Usar Inkling?	Por qué
Razonamiento sobre gráficos y diagramas	Sí	Las cifras publicadas de CharXiv y MMMU Pro son lo más fuerte de esta base.
Agentes guiados por capturas de pantalla	Sí	Visión más tool calling más 262K de historial en un solo modelo, sin traspasos.
Documentos largos con figuras	Sí	El texto y las imágenes comparten un decodificador y una ventana de contexto.
Generación de texto plano	No	Seis modelos a $0.50 / $2.00 hacen esto. Estarías pagando una ruta de visión que nunca usas.
Extracción masiva con esquema	No	Sin json_schema. MiMo-V2.5 es más barato y está restringido.
Techo absoluto de frontera	No	Kimi-K3 es el buque insignia. Paga el 3.1× si el techo es la limitación.
La visión más barata posible	No	MiniMax-M3 tiene visión a $0.50 / $2.00. Empieza ahí y escala si la calidad te obliga.

Léelo como una regla de enrutado, no como una clasificación. Inkling es adecuado para una franja de trabajo más estrecha de lo que afirmaría una página de marketing, y dentro de esa franja es difícil de batir en precio. Fuera de ella, preferimos venderte el modelo más barato y conservarte.

06La ventana de contexto de 262K y lo que cabe de verdad

Los doce modelos del gateway se sirven con un contexto de entrada de 262,144 tokens y un máximo de 16,384 tokens de salida por solicitud. Uniforme a propósito: el manejo del contexto nunca debería convertirse en una ramificación por modelo en tu código, y cambiar inkling por MiniMax-M3 en un archivo de configuración no debería cambiar en silencio lo que cabe.

Fíjate en la diferencia con la base publicada: Thinking Machines documenta Inkling con 1,048,576 tokens, y nosotros servimos una porción de 262K. Si tienes una carga de trabajo real de un millón de tokens en una sola solicitud, no somos el endpoint para eso, y es mejor que lo sepas antes de construir.

Para hacerse una idea de 262K: un PDF técnico de 400 páginas con sus figuras, una base de código mediana, varias horas de transcripción o una sesión agéntica larga que arrastra decenas de resultados de herramientas y un puñado de capturas de pantalla; cada una cabe en una sola solicitud. En un modelo de visión, recuerda que las imágenes también consumen contexto: una captura densa no es gratis, y una sesión que transmite fotogramas llena la ventana más rápido que una de solo texto. La arquitectura encaja bien con esto: el patrón 5:1 de ventana deslizante frente a global significa que la mayoría de las capas atienden dentro de un vecindario de 512 tokens, y las capas globales recuperan periódicamente la estructura de largo alcance.

07Esfuerzo de razonamiento: pagar por pensar solo cuando hace falta

Inkling expone un esfuerzo de razonamiento controlable, uno de los mandos más útiles del catálogo. El modelo original acepta niveles desde none y minimal, pasando por low, medium, high, xhigh, hasta max, expuestos en los tres dialectos mediante el parámetro estándar reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Es una palanca de coste con dientes, porque los tokens de razonamiento se facturan como tokens de salida a $6.07 por millón. Thinking Machines informa de que en Terminal Bench 2.1 Inkling alcanza puntuaciones comparables a Nemotron 3 Ultra con aproximadamente un tercio de los tokens: la eficiencia en tokens es un objetivo de diseño declarado del sistema de esfuerzo, no un accidente.

En la práctica: usa low o minimal para descripciones de imágenes, clasificación y extracción sencilla, donde la respuesta está en la imagen y no hace falta ninguna cadena de inferencia. Reserva high y superiores para razonamiento sobre gráficos, comparación visual en varios pasos y turnos agénticos donde un paso intermedio equivocado sale caro. La mayoría de los equipos nunca llega a ajustar el parámetro, y deja sobre la mesa una diferencia de varias veces en el coste de salida.

08Qué significa aquí «sin censura» y qué no

En concreto: ejecutamos este modelo sin capa de rechazo y sin filtrado de la salida. Ningún clasificador lee tu prompt y decide si el modelo puede responder, y ninguno lee la respuesta antes de transmitirla. Cuando el modelo no está seguro o le falta conocimiento, lo dice: eso es el modelo, no una política. Lo que no vas a encontrar es una negativa refleja ante un tema que un producto de consumo general trata como vedado.

En visión esta es toda la propuesta de valor. Los clasificadores de imágenes delante de las API de visión son imprecisos, y la tasa de falsos positivos golpea más fuerte al trabajo profesional que más necesita esa capacidad: investigación de seguridad, contextos clínicos, periodismo y forense, crítica de cine y arte, herramientas de moderación que tienen que mirar aquello que moderan. Un endpoint que se niega por categoría no puede servir a ninguno de esos de forma fiable.

Dos salvedades honestas. Primera, Thinking Machines publica evaluaciones de seguridad para su despliegue de referencia: 78.0% en FORTRESS adversarial, 95.9% en FORTRESS benigno, 98.6% en StrongREJECT. Esas cifras describen su stack con sus barreras puestas. No describen el nuestro, y no las citaremos como si lo hicieran. Nosotros quitamos la capa que esos números miden en parte; eso es el producto, y la responsabilidad.

Segunda, «sin capa de rechazo» no es «sin reglas». Shannon Lab LLC opera bajo una Política de Uso Responsable y la legislación estadounidense aplicable. Quitar un clasificador traslada el criterio a ti, no lo elimina. Si vas a construir sobre esto, lee la política antes de escalar.

09Primeros pasos

Misma URL base, misma clave, tres dialectos. Si tu código ya llama a OpenAI, a Anthropic o a la Responses API, cambiar la cadena del modelo suele ser toda la migración.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

La referencia completa de parámetros, las formas de /v1/messages y /v1/responses, los formatos de eventos de streaming y un playground en vivo están en la documentación de la API. Las fichas de los otros once modelos están en Shannon Research.

Las cifras de la base son los números publicados por Thinking Machines Lab para el checkpoint de Inkling sin cuantizar y describen el techo de la familia, no nuestra compilación cuantizada. Los precios y los indicadores de capacidad son valores de lista del Shannon AI Gateway a septiembre de 2026.

10Preguntas frecuentes

---

Fuentes: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — notas de arquitectura y benchmarks de Inkling. Los benchmarks de la base son los reportados por el laboratorio para el checkpoint sin cuantizar.