API del modello Inkling senza censura

La maggior parte dei dodici modelli del nostro gateway lavora solo sul testo. Quattro no, e fra questi quattro Inkling occupa una posizione precisa: è il modello di visione a cui ti rivolgi quando l'immagine è la parte difficile del problema ma il budget non arriva a un'ammiraglia. Questa scheda spiega da dove viene la base, che cosa le ha fatto il suffisso W4A16-AUTOROUND-REAP, che cosa fa e non fa alla superficie dell'API e — onestamente — quando un modello più economico dello stesso catalogo è la scelta migliore.

01Che cos'è Inkling, e chi l'ha costruito?

Inkling è il primo modello a pesi aperti di Thinking Machines Lab, pubblicato il 15 luglio 2026. A differenza della maggior parte dei rilasci presentati come «aperti», è uscito con i pesi scaricabili per intero su Hugging Face e con il supporto dal giorno zero in transformers, SGLang, vLLM e llama.cpp — ed è per questo che è diventato eseguibile su un'infrastruttura come la nostra. I numeri principali, presi dai materiali di rilascio di Thinking Machines:

È un impianto Mixture-of-Experts sparso: 66 layer di decoder con hidden size 6.144, i primi due densi, i restanti 64 con 256 esperti instradati più 2 esperti condivisi, e 6 esperti instradati attivi per token. Su un token qualsiasi si accende circa il 4% dei parametri — ed è questo che rende un modello da quasi mille miliardi di parametri servibile.

Due scelte architetturali sono abbastanza insolite da meritare un nome. L'attenzione è interlacciata: 55 layer di attenzione a finestra scorrevole su una finestra da 512 token contro 11 layer globali, in uno schema ripetuto 5:1. E Inkling non usa RoPE: usa un bias di posizione relativa appreso e dipendente dall'input, insieme a brevi convoluzioni causali sulle proiezioni chiave/valore e sui rami residui. Le note architetturali di Sebastian Raschka segnalano entrambe come vere deviazioni dalla ricetta standard del 2026. L'addestramento ha usato Muon per i parametri delle matrici grandi e Adam per il resto, poi oltre 30 milioni di rollout RL asincroni in post-training.

Per chi consuma l'API il punto non è la curiosità tecnica. Il punto è che questa è una base di scala frontiera e nativamente multimodale, addestrata su 45 mila miliardi di token fra testo, immagini, audio e video — non un modello testuale con un adattatore di visione avvitato sopra in seguito. Le immagini sono codificate come patch da 40×40 pixel attraverso un patchifier MLP gerarchico a quattro layer ed elaborate insieme al testo nello stesso decoder. La comprensione visiva era già nell'obiettivo di pretraining.

02Che cosa significa W4A16-AUTOROUND-REAP?

In quel suffisso sono impilate tre tecniche distinte, e fanno lavori diversi. Vale la pena capirle, perché il suffisso è la differenza più grande fra il modello che chiami sulla nostra API e il checkpoint pubblicato da Thinking Machines.

REAP — potare gli esperti a cui nessuno instrada

REAP è il Router-weighted Expert Activation Pruning di Cerebras Research (arXiv 2510.13999, accettato a ICLR 2026). In un MoE con 256 esperti per layer il router non distribuisce il lavoro in modo uniforme: alcuni esperti vengono colpiti di continuo, altri si attivano di rado e contribuiscono poco quando lo fanno. REAP assegna un punteggio a ogni esperto sia sui valori del gate del router sia sulle norme di attivazione dell'esperto — un esperto selezionato spesso ma che contribuisce aggiornamenti di piccola magnitudine conta meno di quanto il suo conteggio di selezioni lasci pensare — ed elimina in un solo passaggio quelli a bassa salienza, prima della quantizzazione.

Il motivo per cui usiamo il pruning invece della più di moda fusione degli esperti è che i due metodi divergono a seconda del tipo di compito. La fusione sembra competitiva sui benchmark discriminativi e crolla su quelli generativi. Gli autori di REAP riportano che il pruning preserva meglio la qualità esattamente sui carichi di lavoro per cui la gente compra un'API — sintesi di codice, tool calling, ragionamento multi-turno — a rapporti di compressione oltre il 50%, su modelli da 20B a 1T di parametri. La fusione distrugge la specializzazione del router; il pruning lascia intatti gli esperti superstiti e l'instradamento fra loro.

AutoRound — imparare dove arrotondare

AutoRound è il metodo di quantizzazione post-training di Intel (arXiv 2309.05516, pubblicato come SignRound). La quantizzazione ingenua arrotonda ogni peso al valore a 4 bit rappresentabile più vicino — un default ragionevole e sbagliato su larga scala, perché gli errori di arrotondamento non sono indipendenti e si accumulano lungo uno stack di 66 layer. AutoRound tratta la decisione di arrotondamento come qualcosa da ottimizzare: la discesa del gradiente segnata regola insieme la direzione dell'arrotondamento e gli intervalli di clipping dei pesi in un paio di centinaia di passi, prendendo in prestito l'accuratezza dell'addestramento consapevole della quantizzazione senza riaddestrare. Intel riporta i guadagni maggiori alle impostazioni estreme a pochi bit e un vantaggio competitivo a INT4.

W4A16 — dove finiscono i bit

W4A16 è il formato numerico: pesi a 4 bit, attivazioni a 16 bit. I pesi — che in un modello da 975B dominano la memoria — scendono a circa un quarto dell'ingombro di un BF16, mentre l'aritmetica resta a 16 bit. Quella divisione conta in modo specifico per un modello di visione: gli schemi che quantizzano anche le attivazioni danneggiano esattamente il lavoro numerico a grana fine da cui dipende la comprensione delle immagini — leggere l'etichetta minuscola di un asse, risolvere una linea sottile in un diagramma, separare due sfumature simili. Tenere le attivazioni a 16 bit costa banda e restituisce precisione proprio dove un carico di visione se ne accorge.

Impilate, le tre tecniche danno un modello che entra e resta veloce senza il crollo di qualità della fascia aggressiva 3BIT-REAP che usiamo sulle basi più grandi in assoluto. È il compromesso che il prezzo riflette.

03Visione: un'API di analisi immagini senza rifiuti

Inkling è uno dei quattro modelli capaci di visione del nostro catalogo, insieme a Kimi-K3, Kimi-K2.6 e MiniMax-M3. I risultati di visione pubblicati per il modello base, dal rilascio di Thinking Machines, sono 73,3% su MMMU Pro (Standard 10) e 78,1% sulle domande di ragionamento di CharXiv — che salgono all'82,0% quando al modello è permesso eseguire Python sul grafico. Sono cifre del laboratorio stesso per il checkpoint non quantizzato; trattale come il tetto della famiglia, non come una misurazione della nostra build.

CharXiv è quello su cui vale la pena soffermarsi, perché spiega perché si compra un'API di visione invece di un servizio OCR. Testa il ragionamento sui grafici scientifici: leggere un valore su un asse, confrontare due serie, notare l'inversione di una tendenza. Non «che testo c'è in questa immagine» ma «che cosa afferma questa figura, e l'affermazione regge». È questo che giustifica l'invio di un'immagine a un modello di ragionamento da 975B invece che a un piccolo generatore di didascalie.

Inviare un'immagine è normale lavoro compatibile con OpenAI — una content-part image_url su /v1/chat/completions, un blocco image in stile Anthropic su /v1/messages, o l'equivalente su /v1/responses. Tutti e tre i dialetti colpiscono gli stessi pesi e tutti e tre fanno streaming; scegli quello che il tuo SDK già parla. Un esempio funzionante è nella sezione 09.

La parte senza censura conta più per la visione che per il testo. Uno strato di rifiuto su un endpoint di visione è insolitamente grossolano, perché di solito classifica l'immagine prima che il modello abbia ragionato sulla richiesta. Il lavoro legittimo viene intercettato di continuo: la foto di una ferita in una pipeline di note cliniche, uno screenshot forense in un rapporto d'incidente, un fotogramma di un film analizzato per un pezzo di critica, una scansione medica, l'immagine di un documento che per caso contiene un nome. Inkling sul nostro gateway non ha nessun classificatore davanti. Guarda quello che hai inviato e risponde alla domanda che hai fatto. È questo il prodotto.

04Output strutturato: response_format sì, json_schema no

Questo è l'unico punto in cui Inkling è meno capace della maggior parte del catalogo, ed è meglio metterlo in conto che scoprirlo in produzione.

Capacità	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Visione (input immagine)	Sì	Sì	Sì	No
response_format	Sì	Sì	Sì	No
json_schema	No	Sì	Sì	No
Tool calling	Sì	Sì	Sì	Sì
Sforzo di ragionamento	Sì	Sì	Sì	Sì

response_format: {"type": "json_object"} funziona — ottieni JSON sintatticamente valido. Quello che non ottieni è la decodifica vincolata dalla grammatica rispetto a uno schema che fornisci tu, dove al sampler è fisicamente impedito di emettere un token che violi la tua struttura. I nomi dei campi, l'appartenenza agli enum e la presenza delle chiavi obbligatorie sono una scelta del modello, non una garanzia.

Tre modi per conviverci, in ordine crescente di affidabilità:

1. Metti lo schema nel prompt e valida. Inserisci lo schema nel system prompt come JSON letterale, imposta response_format su json_object e valida la risposta dalla tua parte. In caso di fallimento della validazione riprova aggiungendo il messaggio d'errore del validatore. Costa poco, funziona, richiede un budget di ritentativi.
2. Usa una definizione di tool come schema. Il tool calling è supportato, e la definizione dei parametri di una funzione è un JSON Schema. Dichiara un unico tool intitolato all'estrazione che vuoi, forzalo e leggi gli argomenti. Di solito è l'opzione più solida su Inkling e non costa nulla in più.
3. Dividi il lavoro fra due modelli. Fai fare a Inkling la visione e il ragionamento in prosa, poi passa quella prosa a MiMo-V2.5-W8A16 a 0,50 $ / 2,00 $ con un vero json_schema per il passaggio di strutturazione. Due chiamate, ma la seconda è economica e deterministica nella forma, e il modello che deve essere intelligente è quello che ha visto l'immagine.

L'opzione 3 è lo schema che consiglieremmo per qualunque pipeline di estrazione ad alto volume. Paga il sovrapprezzo solo per il passaggio che ne ha bisogno.

05Che cosa compra il sovrapprezzo?

A 1,42 $ in / 6,07 $ out per milione di token, Inkling sta deliberatamente al centro del nostro catalogo. Sei dei dodici modelli stanno alla fascia minima di 0,50 $ / 2,00 $. Kimi-K3 — l'ammiraglia, anch'essa capace di visione — sta a 3,83 $ / 19,12 $. Inkling è circa tre volte la fascia minima in output e circa un terzo dell'ammiraglia.

Prezzo in output, USD per 1M di token, tariffe di listino del gateway Shannon AI, settembre 2026. La larghezza della barra è proporzionale al prezzo; più lunga significa più cara.

Ecco la lettura onesta di dove quel sovrapprezzo si ripaga — e dove no.

Carico di lavoro	Usare Inkling?	Perché
Ragionamento su grafici / diagrammi	Sì	Le cifre pubblicate su CharXiv e MMMU Pro sono il punto forte di questa base.
Agent guidati da screenshot	Sì	Visione più tool calling più 262K di cronologia in un solo modello, senza passaggi di consegne.
Documenti lunghi con figure	Sì	Testo e immagini condividono un unico decoder e un'unica finestra di contesto.
Generazione di testo semplice	No	Sei modelli a 0,50 $ / 2,00 $ fanno questo. Staresti pagando un percorso di visione che non chiami mai.
Estrazione con schema in blocco	No	Niente json_schema. MiMo-V2.5 è più economico e vincolato.
Tetto assoluto di frontiera	No	Kimi-K3 è l'ammiraglia. Paga il 3,1× se il vincolo è il tetto.
Visione al costo più basso possibile	No	MiniMax-M3 ha la visione a 0,50 $ / 2,00 $. Parti da lì e sali solo se la qualità ti costringe.

Leggila come una regola di instradamento, non come una classifica. Inkling è giusto per una fascia di lavoro più stretta di quanto sosterrebbe una pagina di marketing, e dentro quella fascia è difficile da battere sul prezzo. Fuori, preferiamo venderti il modello più economico e tenerti.

06La finestra di contesto da 262K, e che cosa ci sta davvero dentro

Tutti e dodici i modelli del gateway sono serviti con un contesto in input da 262.144 token e un output massimo di 16.384 token per richiesta. Uniformi di proposito: la gestione del contesto non dovrebbe mai diventare una diramazione per modello nel tuo codice, e sostituire inkling con MiniMax-M3 in un file di configurazione non dovrebbe cambiare in silenzio quello che ci sta dentro.

Nota lo scarto rispetto alla base pubblicata: Thinking Machines documenta Inkling a 1.048.576 token, e noi ne serviamo una fetta da 262K. Se hai un carico di lavoro reale da un milione di token in una singola richiesta, non siamo l'endpoint giusto, ed è meglio che tu lo sappia prima di costruirci sopra.

Per dare la scala a 262K: un PDF tecnico di 400 pagine con le sue figure, una base di codice di dimensioni medie, diverse ore di trascrizione, o una lunga sessione agentica che porta con sé decine di risultati di tool e una manciata di screenshot — ciascuno entra in una sola richiesta. Su un modello di visione ricorda che anche le immagini consumano contesto: uno screenshot denso non è gratis, e una sessione che invia fotogrammi in sequenza riempie la finestra più in fretta di una di solo testo. L'architettura si presta bene: lo schema 5:1 fra finestra scorrevole e layer globali fa sì che la maggior parte dei layer attenda a un intorno di 512 token, con i layer globali che periodicamente riportano dentro la struttura a lungo raggio.

07Sforzo di ragionamento: pagare il pensiero solo quando serve

Inkling espone uno sforzo di ragionamento controllabile — una delle manopole più utili del catalogo. Il modello a monte accetta livelli da none e minimal passando per low, medium, high, xhigh, fino a max, esposti su tutti e tre i dialetti tramite il parametro standard reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

È una leva di costo con i denti, perché i token di ragionamento sono fatturati come token di output a 6,07 $ per milione. Thinking Machines riporta che su Terminal Bench 2.1 Inkling raggiunge punteggi paragonabili a Nemotron 3 Ultra con circa un terzo dei token — l'efficienza sui token è un obiettivo di progetto dichiarato del sistema di sforzo, non un incidente.

In pratica: usa low o minimal per le didascalie, la classificazione e l'estrazione semplice, dove la risposta è nell'immagine e non serve nessuna catena di inferenza. Riserva high e oltre al ragionamento sui grafici, al confronto visivo a più passi e ai turni agentici dove un passaggio intermedio sbagliato costa caro. La maggior parte dei team non imposta mai il parametro, e lascia sul tavolo una differenza di costo in output di parecchie volte.

08Che cosa significa «senza censura» qui — e che cosa non significa

Concretamente: facciamo girare questo modello senza alcuno strato di rifiuto e senza alcun filtro sull'output. Nessun classificatore legge il tuo prompt e decide se il modello possa rispondere, e nessuno legge la risposta prima che venga trasmessa. Quando il modello è incerto o non ha la conoscenza, lo dice — quello è il modello, non una policy. Quello che non otterrai è un rifiuto riflesso su un argomento che un prodotto per il grande pubblico tratta come vietato.

Per la visione è l'intera proposta di valore. I classificatori di immagini davanti alle API di visione sono imprecisi, e il tasso di falsi positivi colpisce più duramente proprio il lavoro professionale che più ha bisogno di quella capacità: la ricerca sulla sicurezza, i contesti clinici, il giornalismo e la scienza forense, la critica cinematografica e artistica, gli strumenti di moderazione che devono guardare la cosa che moderano. Un endpoint che rifiuta per categoria non può servire nessuno di questi in modo affidabile.

Due avvertenze oneste. Primo, Thinking Machines pubblica valutazioni di sicurezza per il proprio deployment di riferimento — 78,0% su FORTRESS adversarial, 95,9% su FORTRESS benign, 98,6% su StrongREJECT. Quelle cifre descrivono il loro stack con le loro protezioni al posto. Non descrivono il nostro, e non le citeremo come se lo facessero. Noi abbiamo rimosso lo strato che quei numeri in parte misurano; quello è il prodotto, e la responsabilità.

Secondo, «nessuno strato di rifiuto» non significa «nessuna regola». Shannon Lab LLC opera secondo una Responsible Use Policy e nel rispetto della legge statunitense applicabile. Rimuovere un classificatore sposta il giudizio su di te, non lo cancella. Se ci stai costruendo sopra, leggi la policy prima di scalare.

09Come iniziare

Stessa base URL, stessa chiave, tre dialetti. Se il tuo codice chiama già OpenAI, Anthropic o l'API Responses, cambiare la stringa del modello di solito è tutta la migrazione.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Il riferimento completo dei parametri, le forme di /v1/messages e /v1/responses, i formati degli eventi di streaming e un playground dal vivo stanno nella documentazione API. Le schede degli altri undici modelli sono in Shannon Research.

I dati sulla base sono i numeri pubblicati da Thinking Machines Lab per il checkpoint Inkling non quantizzato e descrivono il tetto della famiglia, non la nostra build quantizzata. I prezzi e i flag di capacità sono i valori di listino del gateway Shannon AI aggiornati a settembre 2026.

10Domande frequenti

---

Fonti: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — note su architettura e benchmark di Inkling. I benchmark della base sono riportati dal laboratorio per il checkpoint non quantizzato.