API do modelo Inkling sem censura

A maioria dos doze modelos do nosso gateway é só de texto. Quatro não são, e entre esses quatro o Inkling ocupa uma posição específica: é o modelo de visão que você chama quando a imagem é a parte difícil do problema, mas o orçamento não estica até um carro-chefe. Este cartão cobre de onde vem a fundação, o que o sufixo W4A16-AUTOROUND-REAP fez com ela, o que ele faz e o que não faz na superfície da API e — com honestidade — quando um modelo mais barato do mesmo catálogo é a escolha melhor.

01O que é o Inkling, e quem o construiu?

O Inkling é o primeiro modelo de pesos abertos da Thinking Machines Lab, publicado em 15 de julho de 2026. Ao contrário da maioria dos lançamentos posicionados como "abertos", ele chegou com pesos completos para download no Hugging Face e suporte no dia zero em transformers, SGLang, vLLM e llama.cpp — que é o motivo de ele ser executável em infraestrutura como a nossa. Os números de destaque, do próprio material de lançamento da Thinking Machines:

Isso é um layout Mixture-of-Experts esparso: 66 camadas de decoder com tamanho oculto de 6,144, as duas primeiras densas e as 64 restantes carregando 256 especialistas roteados mais 2 especialistas compartilhados, com 6 especialistas roteados ativos por token. Cerca de 4% dos parâmetros disparam em qualquer token dado — o que é o que torna tratável servir um modelo de quase um trilhão de parâmetros.

Duas escolhas arquiteturais são incomuns o bastante para merecer nome. A atenção é intercalada — 55 camadas de atenção de janela deslizante sobre uma janela de 512 tokens contra 11 camadas globais, num padrão repetido de 5:1. E o Inkling não usa RoPE: usa um viés de posição relativa aprendido e dependente da entrada, junto com convoluções causais curtas nas projeções de chave/valor e nos ramos residuais. As notas de arquitetura de Sebastian Raschka apontam ambos como desvios reais da receita padrão de 2026. O treinamento usou Muon para os parâmetros matriciais grandes e Adam para o resto, e depois mais de 30 milhões de rollouts assíncronos de RL no pós-treinamento.

O ponto para quem consome a API não é a curiosidade técnica. É que esta é uma fundação de escala de fronteira e nativamente multimodal, treinada em 45 trilhões de tokens que abrangem texto, imagens, áudio e vídeo — não um modelo de texto com um adaptador de visão parafusado depois. As imagens são codificadas como patches de 40×40 pixels por um patchifier MLP hierárquico de quatro camadas e processadas conjuntamente com o texto no mesmo decoder. A compreensão visual estava no objetivo de pré-treino.

02O que significa W4A16-AUTOROUND-REAP?

Três técnicas separadas estão empilhadas nesse sufixo, e elas fazem trabalhos diferentes. Vale entender, porque o sufixo é a maior diferença isolada entre o modelo que você chama na nossa API e o checkpoint que a Thinking Machines publicou.

REAP — podar os especialistas para os quais ninguém roteia

O REAP é Router-weighted Expert Activation Pruning, da Cerebras Research (arXiv 2510.13999, aceito na ICLR 2026). Num MoE com 256 especialistas por camada, o roteador não distribui o trabalho de forma uniforme: alguns especialistas são acionados o tempo todo, outros disparam raramente e contribuem pouco quando disparam. O REAP pontua cada especialista pelos dois sinais — os valores de gate do roteador e as normas de ativação do especialista — porque um especialista selecionado com frequência, mas que contribui com atualizações de pequena magnitude, importa menos do que a contagem de seleções sugere — e descarta os de baixa saliência de uma só vez, antes da quantização.

A razão de usarmos poda em vez da mais na moda fusão de especialistas é que as duas divergem por tipo de tarefa. A fusão parece competitiva em benchmarks discriminativos e desmorona nos generativos. Os autores do REAP relatam que podar preserva melhor a qualidade exatamente nas cargas de trabalho pelas quais as pessoas compram uma API — síntese de código, chamada de ferramentas, raciocínio em vários turnos — em taxas de compressão acima de 50%, em modelos de 20B a 1T de parâmetros. A fusão destrói a especialização do roteador; a poda deixa intactos os especialistas sobreviventes e o roteamento entre eles.

AutoRound — aprender onde arredondar

O AutoRound é o método de quantização pós-treinamento da Intel (arXiv 2309.05516, publicado como SignRound). A quantização ingênua arredonda cada peso para o valor de 4 bits representável mais próximo — um padrão razoável e ruim em escala, porque os erros de arredondamento não são independentes e se acumulam ao longo de uma pilha de 66 camadas. O AutoRound trata a decisão de arredondamento como algo a otimizar: a descida de gradiente sinalizada ajusta conjuntamente a direção do arredondamento e as faixas de recorte dos pesos ao longo de algumas centenas de passos, tomando emprestada a acurácia do treinamento ciente de quantização sem retreinar. A Intel relata os maiores ganhos em configurações extremas de poucos bits e uma vantagem competitiva em INT4.

W4A16 — para onde vão os bits

O W4A16 é o formato numérico: pesos de 4 bits, ativações de 16 bits. Os pesos — que dominam a memória num modelo de 975B — encolhem para cerca de um quarto da pegada em BF16, enquanto a aritmética fica em 16 bits. Essa divisão importa especificamente para um modelo de visão: esquemas com ativações quantizadas prejudicam justamente o trabalho numérico de granularidade fina do qual a compreensão de imagens depende — ler um rótulo pequeno de eixo, resolver uma linha fina num diagrama, separar dois tons parecidos. Manter as ativações em 16 bits custa banda e devolve precisão onde uma carga de visão percebe.

Empilhadas, as três dão um modelo que cabe e continua rápido, sem o precipício de qualidade do nível agressivo 3BIT-REAP que usamos nas fundações maiores. É essa a troca que o preço reflete.

03Visão: uma API de análise de imagem sem recusas

O Inkling é um dos quatro modelos com visão do nosso catálogo, ao lado de Kimi-K3, Kimi-K2.6 e MiniMax-M3. Os resultados de visão publicados para o modelo base, do lançamento da Thinking Machines, são 73.3% no MMMU Pro (Standard 10) e 78.1% nas perguntas de raciocínio do CharXiv — subindo para 82.0% quando o modelo pode rodar Python sobre o gráfico. Esses são os números do próprio laboratório para o checkpoint não quantizado; trate-os como o teto da família, não como uma medição da nossa build.

O CharXiv é o que vale examinar, porque ele mapeia o motivo de as pessoas comprarem uma API de visão em vez de um serviço de OCR. Ele testa raciocínio sobre gráficos científicos — ler um valor num eixo, comparar duas séries, notar uma tendência se inverter. Não é "que texto está nesta imagem", mas "o que esta figura afirma, e a afirmação se sustenta". É isso que justifica mandar uma imagem para um modelo de raciocínio de 975B em vez de um pequeno gerador de legendas.

Enviar uma imagem é trabalho comum compatível com OpenAI — uma parte de conteúdo image_url em /v1/chat/completions, um bloco image no estilo Anthropic em /v1/messages, ou o equivalente em /v1/responses. Os três dialetos atingem os mesmos pesos e os três fazem streaming; escolha aquele que o seu SDK atual já fala. Há um exemplo trabalhado na seção 09.

A parte sem censura importa mais para visão do que para texto. Uma camada de recusa num endpoint de visão é excepcionalmente grosseira, porque ela costuma classificar a imagem antes de o modelo ter raciocinado sobre o pedido. Trabalho legítimo é barrado o tempo todo: a fotografia de um ferimento num pipeline de notas clínicas, uma captura de tela forense num relato de incidente, um fotograma de um filme analisado para uma crítica, um exame médico, a imagem de um documento que por acaso contém um nome. O Inkling no nosso gateway não tem esse classificador à frente. Ele olha para o que você enviou e responde à pergunta que você fez. Esse é o produto.

04Saída estruturada: response_format sim, json_schema não

Este é o único ponto em que o Inkling é menos capaz do que a maior parte do catálogo, e é melhor planejar para isso do que descobri-lo em produção.

Recurso	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Visão (entrada de imagem)	Sim	Sim	Sim	Não
response_format	Sim	Sim	Sim	Não
json_schema	Não	Sim	Sim	Não
Chamada de ferramentas	Sim	Sim	Sim	Sim
Esforço de raciocínio	Sim	Sim	Sim	Sim

response_format: {"type": "json_object"} funciona — você recebe JSON sintaticamente válido. O que você não recebe é decodificação restrita por gramática contra um schema que você fornece, em que o sampler é fisicamente impedido de emitir um token que viole a sua estrutura. Nomes de campos, pertencimento a enums e presença de chaves obrigatórias são escolha do modelo, não garantia.

Três maneiras de conviver com isso, em ordem crescente de confiabilidade:

1. Coloque o schema no prompt e valide. Ponha o schema no prompt de sistema como JSON literal, defina response_format como json_object e valide a resposta do seu lado. Repita a chamada em caso de falha de validação, anexando a mensagem de erro do validador. Barato, funciona, exige um orçamento de retentativas.
2. Use uma definição de ferramenta como schema. A chamada de ferramentas é suportada, e a definição de parâmetros de uma função é um JSON Schema. Declare uma única ferramenta com o nome da extração que você quer, force-a e leia os argumentos. Essa costuma ser a opção mais forte no Inkling e não lhe custa nada a mais.
3. Divida o trabalho entre dois modelos. Deixe o Inkling fazer a visão e o raciocínio em prosa, depois entregue essa prosa ao MiMo-V2.5-W8A16 a $0.50 / $2.00 com um json_schema de verdade para a passada de estruturação. Duas chamadas, mas a segunda é barata, determinística no formato, e o modelo que precisa ser inteligente é o que viu a imagem.

A opção 3 é o padrão que recomendaríamos para qualquer pipeline de extração de alto volume. Pague o prêmio só pela etapa que precisa dele.

05O que o prêmio de preço compra?

A $1.42 de entrada / $6.07 de saída por milhão de tokens, o Inkling fica deliberadamente no meio do nosso catálogo. Seis dos doze modelos estão no piso de $0.50 / $2.00. O Kimi-K3 — o carro-chefe, também com visão — está a $3.83 / $19.12. O Inkling é cerca de três vezes o piso na saída e cerca de um terço do carro-chefe.

Preço de saída, USD por 1M de tokens, tarifas de tabela do Shannon AI Gateway, setembro de 2026. A largura da barra é proporcional ao preço; mais longa é mais cara.

Eis a leitura honesta de onde esse prêmio se paga — e de onde não.

Carga de trabalho	Usar o Inkling?	Por quê
Raciocínio sobre gráficos / diagramas	Sim	Os números publicados de CharXiv e MMMU Pro são o ponto mais forte desta fundação.
Agentes movidos a capturas de tela	Sim	Visão mais chamada de ferramentas mais 262K de histórico num só modelo, sem repasse.
Documentos longos com figuras	Sim	Texto e imagens compartilham um decoder e uma janela de contexto.
Geração de texto puro	Não	Seis modelos a $0.50 / $2.00 fazem isso. Você estaria pagando por um caminho de visão que nunca chama.
Extração de schema em massa	Não	Sem json_schema. O MiMo-V2.5 é mais barato e é restrito.
Teto absoluto de fronteira	Não	O Kimi-K3 é o carro-chefe. Pague os 3.1× se o teto for a restrição.
Visão pelo menor preço possível	Não	O MiniMax-M3 tem visão a $0.50 / $2.00. Comece por ali e escale se a qualidade obrigar.

Leia isso como uma regra de roteamento, não como um ranking. O Inkling é certo para uma faixa de trabalho mais estreita do que uma página de marketing afirmaria, e dentro dessa faixa é difícil de bater no preço. Fora dela, preferimos lhe vender o modelo mais barato e manter você.

06A janela de contexto de 262K, e o que cabe de fato

Os doze modelos do gateway são servidos com contexto de entrada de 262,144 tokens e saída máxima de 16,384 tokens por requisição. Uniforme de propósito: o tratamento de contexto nunca deveria virar uma ramificação por modelo no seu código, e trocar inkling por MiniMax-M3 num arquivo de configuração não deveria mudar silenciosamente o que cabe.

Note a diferença em relação à fundação publicada: a Thinking Machines documenta o Inkling com 1,048,576 tokens, e nós servimos uma fatia de 262K disso. Se você tem uma carga de trabalho genuína de um milhão de tokens numa única requisição, não somos o endpoint para ela, e é melhor você saber antes de construir.

Para ter noção de escala em 262K: um PDF técnico de 400 páginas com as figuras, uma base de código de tamanho médio, várias horas de transcrição, ou uma sessão agêntica longa carregando dezenas de resultados de ferramentas e um punhado de capturas de tela — cada um cabe numa requisição. Num modelo de visão, lembre que imagens também consomem contexto; uma captura de tela densa não é de graça, e uma sessão que transmite fotogramas enche a janela mais rápido do que uma só de texto. A arquitetura combina bem com isso: o padrão 5:1 de janela deslizante para global significa que a maioria das camadas atende numa vizinhança de 512 tokens, com camadas globais puxando periodicamente a estrutura de longo alcance de volta.

07Esforço de raciocínio: pagar por pensar só quando é preciso

O Inkling expõe esforço de raciocínio controlável — um dos botões mais úteis do catálogo. O modelo original aceita níveis de none e minimal, passando por low, medium, high, xhigh, até max, expostos nos três dialetos pelo parâmetro padrão reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Essa é uma alavanca de custo com dentes, porque os tokens de raciocínio são cobrados como tokens de saída a $6.07 por milhão. A Thinking Machines relata que, no Terminal Bench 2.1, o Inkling alcança pontuações comparáveis às do Nemotron 3 Ultra com cerca de um terço dos tokens — eficiência de tokens é um objetivo declarado de projeto do sistema de esforço, não um acidente.

Na prática: rode em low ou minimal para legendagem, classificação e extração direta, em que a resposta está na imagem e não é preciso nenhuma cadeia de inferência. Reserve high e acima para raciocínio sobre gráficos, comparação visual em várias etapas e turnos agênticos em que um passo intermediário errado sai caro. A maioria das equipes nunca chega a definir o parâmetro, e deixa na mesa uma diferença de custo de saída de várias vezes.

08O que "sem censura" significa aqui — e o que não significa

Concretamente: rodamos este modelo sem camada de recusa e sem filtragem na saída. Nenhum classificador lê o seu prompt e decide se o modelo pode responder, e nenhum lê a resposta antes de ela ser transmitida. Quando o modelo está incerto ou não tem o conhecimento, ele diz isso — isso é o modelo, não uma política. O que você não vai receber é uma recusa reflexa sobre um tema que um produto de consumo geral trata como proibido.

Para visão, essa é a proposta de valor inteira. Classificadores de imagem à frente de APIs de visão são imprecisos, e a taxa de falsos positivos cai com mais peso justamente sobre o trabalho profissional que mais precisa do recurso: pesquisa em segurança, contextos clínicos, jornalismo e perícia, crítica de cinema e de arte, ferramentas de moderação que precisam olhar para aquilo que moderam. Um endpoint que recusa por categoria não consegue servir nenhum deles de forma confiável.

Duas ressalvas honestas. Primeira, a Thinking Machines publica avaliações de segurança para a implantação de referência deles — 78.0% no FORTRESS adversarial, 95.9% no FORTRESS benigno, 98.6% no StrongREJECT. Esses números descrevem a pilha deles com as salvaguardas deles no lugar. Eles não descrevem a nossa, e não vamos citá-los como se descrevessem. Nós removemos a camada que esses números em parte medem; esse é o produto, e a responsabilidade.

Segunda, "sem camada de recusa" não é "sem regras". A Shannon Lab LLC opera sob uma Política de Uso Responsável e a lei aplicável dos EUA. Remover um classificador desloca o julgamento para você, não o apaga. Se você vai construir em cima disto, leia a política antes de escalar.

09Como começar

Mesma URL base, mesma chave, três dialetos. Se o seu código já chama a OpenAI, a Anthropic ou a Responses API, mudar a string do modelo costuma ser a migração inteira.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

A referência completa de parâmetros, os formatos de /v1/messages e /v1/responses, os formatos de evento de streaming e um playground ao vivo estão na documentação da API. Os cartões de modelo dos outros onze modelos estão na Shannon Research.

Os números da fundação são os publicados pela Thinking Machines Lab para o checkpoint não quantizado do Inkling e descrevem o teto da família, não a nossa build quantizada. Preços e indicadores de recursos são valores de tabela do Shannon AI Gateway em setembro de 2026.

10Perguntas frequentes

---

Fontes: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — notas de arquitetura e benchmarks do Inkling. Os benchmarks da fundação são relatados pelo laboratório para o checkpoint não quantizado.