API-ul Inkling fără cenzură: viziune

Majoritatea celor douăsprezece modele de pe gateway-ul nostru sunt doar text. Patru nu sunt, iar dintre acestea patru Inkling ocupă o poziție anume: modelul cu viziune la care apelezi atunci când imaginea este partea grea a problemei, dar bugetul nu se întinde până la un model de vârf. Fișa asta acoperă de unde vine fundația, ce i-a făcut sufixul W4A16-AUTOROUND-REAP, ce face și ce nu face la nivelul API-ului și — cinstit — când un model mai ieftin din același catalog este alegerea mai bună.

01Ce este Inkling și cine l-a construit?

Inkling este primul model cu greutăți deschise de la Thinking Machines Lab, publicat pe 15 iulie 2026. Spre deosebire de majoritatea lansărilor prezentate ca „deschise”, a venit cu greutăți descărcabile integral pe Hugging Face și cu suport din ziua zero în transformers, SGLang, vLLM și llama.cpp — de aceea a devenit deloc rulabil pe o infrastructură ca a noastră. Cifrele principale, din materialele de lansare ale celor de la Thinking Machines:

Este o dispunere Mixture-of-Experts rară: 66 de straturi de decodor cu dimensiunea ascunsă 6.144, primele două dense, iar celelalte 64 purtând 256 de experți rutați plus 2 experți partajați, cu 6 experți rutați activi per token. Cam 4% dintre parametri se aprind pe un token dat — și tocmai asta face ca un model de aproape un trilion de parametri să fie servibil.

Două alegeri de arhitectură sunt destul de neobișnuite cât să merite numite. Atenția este intercalată — 55 de straturi de atenție cu fereastră glisantă peste o fereastră de 512 tokenuri, față de 11 straturi globale, într-un tipar repetitiv 5:1. Iar Inkling nu folosește RoPE: folosește o distorsiune de poziție relativă învățată și dependentă de intrare, alături de convoluții cauzale scurte pe proiecțiile cheie/valoare și pe ramurile reziduale. Notele de arhitectură ale lui Sebastian Raschka semnalează ambele ca abateri reale de la rețeta standard a lui 2026. Antrenarea a folosit Muon pentru parametrii matriceali mari și Adam pentru rest, apoi peste 30 de milioane de rollout-uri asincrone de RL în post-antrenare.

Ce contează pentru cine consumă API-ul nu este trivia. Contează că aceasta este o fundație la scară de frontieră și nativ multimodală, antrenată pe 45 de trilioane de tokenuri care acoperă text, imagini, audio și video — nu un model de text cu un adaptor de viziune lipit ulterior. Imaginile sunt codificate ca petice de 40×40 pixeli printr-un patchifier MLP ierarhic cu patru straturi și sunt procesate împreună cu textul în același decodor. Înțelegerea vizuală a fost în obiectivul de preantrenare.

02Ce înseamnă W4A16-AUTOROUND-REAP?

În sufixul acela sunt stivuite trei tehnici separate, care fac treburi diferite. Merită înțelese, pentru că sufixul este cea mai mare diferență dintre modelul pe care îl apelezi pe API-ul nostru și checkpointul publicat de Thinking Machines.

REAP — tăierea experților spre care nu rutează nimeni

REAP înseamnă Router-weighted Expert Activation Pruning și vine de la Cerebras Research (arXiv 2510.13999, acceptată la ICLR 2026). Într-un MoE cu 256 de experți per strat, routerul nu distribuie munca uniform: unii experți sunt loviți constant, alții se aprind rar și contribuie puțin când o fac. REAP punctează fiecare expert și după valorile porții routerului, și după normele de activare ale expertului — un expert selectat des, dar care contribuie cu actualizări de magnitudine mică, contează mai puțin decât sugerează numărul lui de selecții — și îi elimină pe cei cu relevanță redusă dintr-un singur pas, înainte de cuantizare.

Motivul pentru care folosim tăierea, și nu contopirea experților, mai la modă, este că cele două diverg în funcție de tipul sarcinii. Contopirea arată competitiv pe benchmarkuri discriminative și se destramă pe cele generative. Autorii REAP raportează că tăierea păstrează mai bine calitatea exact pe sarcinile pentru care lumea cumpără un API — sinteză de cod, apeluri de unelte, raționament pe mai multe ture — la rate de compresie de peste 50%, pe modele de la 20B la 1T de parametri. Contopirea distruge specializarea routerului; tăierea lasă intacți experții supraviețuitori și rutarea dintre ei.

AutoRound — să înveți unde să rotunjești

AutoRound este metoda Intel de cuantizare post-antrenare (arXiv 2309.05516, publicată sub numele SignRound). Cuantizarea naivă rotunjește fiecare greutate la cea mai apropiată valoare reprezentabilă pe 4 biți — o valoare implicită rezonabilă și una proastă la scară, pentru că erorile de rotunjire nu sunt independente și se acumulează printr-o stivă de 66 de straturi. AutoRound tratează decizia de rotunjire ca pe ceva de optimizat: coborârea pe gradient cu semn reglează împreună direcția rotunjirii și intervalele de decupare a greutăților, în câteva sute de pași, împrumutând acuratețea antrenării conștiente de cuantizare fără să reantreneze. Intel raportează cele mai mari câștiguri la setări extreme, cu puțini biți, și un avantaj competitiv la INT4.

W4A16 — unde se duc biții

W4A16 este formatul numeric: greutăți pe 4 biți, activări pe 16 biți. Greutățile — care domină memoria într-un model de 975B — se strâng la cam un sfert dintr-o amprentă BF16, în timp ce aritmetica rămâne pe 16 biți. Împărțirea asta contează în mod special pentru un model cu viziune: schemele care cuantizează și activările lovesc exact în munca numerică de finețe de care depinde înțelegerea imaginilor — citirea unei etichete mici de pe o axă, distingerea unei linii subțiri dintr-o diagramă, separarea a două nuanțe apropiate. Ținerea activărilor pe 16 biți costă lățime de bandă și răscumpără precizia acolo unde o sarcină de viziune o simte.

Stivuite, cele trei dau un model care încape și rămâne rapid, fără prăpastia de calitate a treptei agresive 3BIT-REAP pe care o folosim pe cele mai mari fundații. Ăsta este compromisul pe care îl reflectă prețul.

03Viziune: un API de analiză a imaginilor fără refuzuri

Inkling este unul dintre cele patru modele cu viziune din catalogul nostru, alături de Kimi-K3, Kimi-K2.6 și MiniMax-M3. Rezultatele de viziune publicate pentru modelul de bază, din lansarea Thinking Machines, sunt 73,3% la MMMU Pro (Standard 10) și 78,1% la întrebările de raționament CharXiv — urcând la 82,0% când modelul are voie să ruleze Python peste grafic. Acestea sunt cifrele laboratorului pentru checkpointul necuantizat; tratează-le ca pe plafonul familiei, nu ca pe o măsurătoare a build-ului nostru.

CharXiv merită zăbovire, pentru că se suprapune peste motivul pentru care lumea cumpără un API de viziune, și nu un serviciu de OCR. Testează raționamentul peste grafice științifice — citirea unei valori de pe o axă, compararea a două serii, observarea unei tendințe care se inversează. Nu „ce text este în imaginea asta”, ci „ce afirmă figura asta și se susține afirmația”. Asta justifică trimiterea unei poze către un model de raționament de 975B în loc de un mic generator de descrieri.

Trimiterea unei imagini este muncă obișnuită, compatibilă OpenAI — o parte de conținut image_url pe /v1/chat/completions, un bloc image în stil Anthropic pe /v1/messages sau echivalentul pe /v1/responses. Toate trei dialectele lovesc aceleași greutăți și toate trei fac streaming; alege-l pe cel pe care SDK-ul tău îl vorbește deja. Un exemplu lucrat este în secțiunea 09.

Partea „fără cenzură” contează mai mult la viziune decât la text. Un strat de refuz pe un endpoint de viziune este neobișnuit de bont, pentru că de regulă clasifică imaginea înainte ca modelul să fi raționat despre cerere. Munca legitimă este prinsă constant în plasă: fotografia unei răni într-un flux de notițe clinice, o captură de ecran criminalistică într-un raport de incident, un cadru dintr-un film analizat pentru un text critic, o scanare medicală, imaginea unui document care se întâmplă să conțină un nume. Inkling pe gateway-ul nostru nu are niciun astfel de clasificator în față. Se uită la ce ai trimis și răspunde la întrebarea pe care ai pus-o. Ăsta este produsul.

04Ieșire structurată: response_format da, json_schema nu

Acesta este singurul loc în care Inkling este mai puțin capabil decât majoritatea catalogului, iar e mai bine să planifici pentru asta decât să o descoperi în producție.

Capabilitate	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Viziune (intrare de tip imagine)	Da	Da	Da	Nu
response_format	Da	Da	Da	Nu
json_schema	Nu	Da	Da	Nu
Apeluri de unelte	Da	Da	Da	Da
Efort de raționament	Da	Da	Da	Da

response_format: {"type": "json_object"} funcționează — primești JSON valid sintactic. Ce nu primești este decodare constrânsă de gramatică față de o schemă dată de tine, în care samplerul este împiedicat fizic să emită un token care îți încalcă structura. Numele câmpurilor, apartenența la enumerări și prezența cheilor obligatorii sunt alegerea modelului, nu o garanție.

Trei feluri de a trăi cu asta, în ordinea crescătoare a fiabilității:

1. Pune schema în prompt și validează. Bagă schema în promptul de sistem ca JSON literal, setează response_format pe json_object și validează răspunsul la tine. Reia la eșec de validare, cu mesajul de eroare al validatorului adăugat. Ieftin, funcționează, are nevoie de un buget de reîncercări.
2. Folosește o definiție de unealtă drept schemă. Apelurile de unelte sunt suportate, iar definiția parametrilor unei funcții este o schemă JSON. Declară o singură unealtă, numită după extragerea pe care o vrei, forțeaz-o și citește argumentele. De obicei aceasta este cea mai puternică opțiune pe Inkling și nu te costă nimic în plus.
3. Împarte treaba între două modele. Pune Inkling să facă viziunea și raționamentul în proză, apoi dă proza aceea lui MiMo-V2.5-W8A16, la 0,50 $ / 2,00 $, cu o json_schema adevărată, pentru pasul de structurare. Două apeluri, dar al doilea este ieftin, determinist ca formă, iar modelul care trebuie să fie deștept este cel care a văzut imaginea.

Varianta 3 este tiparul pe care l-am recomanda pentru orice flux de extragere cu volum mare. Plătește prima doar pentru pasul care are nevoie de ea.

05Ce cumperi cu prima de preț?

La 1,42 $ intrare / 6,07 $ ieșire per milion de tokenuri, Inkling stă deliberat la mijlocul catalogului nostru. Șase din cele douăsprezece modele sunt la pragul de 0,50 $ / 2,00 $. Kimi-K3 — modelul de vârf, tot cu viziune — este la 3,83 $ / 19,12 $. Inkling este cam de trei ori pragul la ieșire și cam o treime din modelul de vârf.

Preț de ieșire, USD per 1M de tokenuri, tarife de listă ale gateway-ului Shannon AI, septembrie 2026. Lățimea barei este proporțională cu prețul; mai lung înseamnă mai scump.

Iată citirea onestă a locului în care prima aceea își merită banii — și a locului în care nu.

Sarcină	Folosești Inkling?	De ce
Raționament pe grafice / diagrame	Da	Cifrele publicate la CharXiv și MMMU Pro sunt exact punctul forte al acestei fundații.
Agenți conduși de capturi de ecran	Da	Viziune plus apeluri de unelte plus 262K de istoric într-un singur model, fără predare.
Documente lungi cu figuri	Da	Textul și imaginile împart un singur decodor și o singură fereastră de context.
Generare de text simplu	Nu	Șase modele la 0,50 $ / 2,00 $ fac asta. Plătești pentru o cale de viziune pe care nu o apelezi niciodată.
Extragere în masă pe schemă	Nu	Fără json_schema. MiMo-V2.5 este mai ieftin și constrâns.
Plafonul absolut de frontieră	Nu	Kimi-K3 este modelul de vârf. Plătește cei 3,1× dacă plafonul este constrângerea.
Cea mai ieftină viziune posibilă	Nu	MiniMax-M3 are viziune la 0,50 $ / 2,00 $. Pornește de acolo și urcă doar dacă te forțează calitatea.

Citește tabelul ca pe o regulă de rutare, nu ca pe un clasament. Inkling este potrivit pentru o bandă de muncă mai îngustă decât ar pretinde o pagină de marketing, iar înăuntrul acelei benzi e greu de bătut la preț. În afara ei, am prefera să îți vindem modelul mai ieftin și să te păstrăm.

06Fereastra de context de 262K și ce încape de fapt în ea

Toate cele douăsprezece modele de pe gateway sunt servite cu un context de intrare de 262.144 de tokenuri și o ieșire maximă de 16.384 de tokenuri per cerere. Uniform intenționat: tratarea contextului n-ar trebui să devină niciodată o ramificație per model în codul tău, iar schimbarea lui inkling cu MiniMax-M3 într-un fișier de configurare n-ar trebui să schimbe pe tăcute ce încape.

Observă diferența față de fundația publicată: Thinking Machines documentează Inkling la 1.048.576 de tokenuri, iar noi servim o felie de 262K din asta. Dacă ai o sarcină reală de un milion de tokenuri într-o singură cerere, nu suntem noi endpointul pentru ea, și e mai bine să știi înainte să construiești.

Ca ordin de mărime la 262K: un PDF tehnic de 400 de pagini cu figurile lui, o bază de cod mijlocie, câteva ore de transcriere sau o sesiune agentică lungă, care cară zeci de rezultate de unelte și o mână de capturi de ecran — fiecare încape într-o singură cerere. Pe un model cu viziune, ține minte că și imaginile consumă context; o captură de ecran densă nu este gratis, iar o sesiune care trimite cadre umple fereastra mai repede decât una doar cu text. Arhitectura se potrivește bine aici: tiparul 5:1 dintre fereastra glisantă și straturile globale înseamnă că majoritatea straturilor atendează într-o vecinătate de 512 tokenuri, iar straturile globale readuc periodic structura de lungă distanță.

07Efortul de raționament: plătești gândirea doar când ai nevoie de ea

Inkling expune un efort de raționament controlabil — unul dintre butoanele mai utile din catalog. Modelul din amonte acceptă niveluri de la none și minimal, prin low, medium, high, xhigh, până la max, expuse pe toate cele trei dialecte prin parametrul standard reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Este o pârghie de cost cu dinți, pentru că tokenurile de raționament sunt facturate ca tokenuri de ieșire, la 6,07 $ per milion. Thinking Machines raportează că pe Terminal Bench 2.1 Inkling atinge scoruri comparabile cu Nemotron 3 Ultra la cam o treime din tokenuri — eficiența în tokenuri este un obiectiv de proiectare declarat al sistemului de efort, nu un accident.

În practică: rulează pe low sau minimal pentru descrieri de imagini, clasificare și extragere directă, unde răspunsul este în imagine și nu e nevoie de niciun lanț de inferență. Rezervă high și peste pentru raționamentul pe grafice, comparația vizuală în mai mulți pași și turele agentice în care un pas intermediar greșit costă scump. Cele mai multe echipe nu setează deloc parametrul și lasă pe masă o diferență de câteva ori la costul de ieșire.

08Ce înseamnă „fără cenzură” aici — și ce nu înseamnă

Concret: rulăm acest model fără strat de refuz și fără filtrare pe ieșire. Niciun clasificator nu îți citește promptul ca să decidă dacă modelul are voie să răspundă și niciunul nu citește răspunsul înainte să curgă. Când modelul este nesigur sau nu are cunoștințele, spune asta — acela este modelul, nu o politică. Ce nu vei primi este un refuz reflex pe un subiect pe care un produs pentru publicul larg îl tratează ca interzis.

La viziune, asta este întreaga propunere de valoare. Clasificatoarele de imagini puse în fața API-urilor de viziune sunt imprecise, iar rata de fals pozitive lovește cel mai tare exact munca profesionistă care are cea mai mare nevoie de capabilitate: cercetare de securitate, contexte clinice, jurnalism și criminalistică, critică de film și de artă, unelte de moderare care trebuie să se uite la lucrul pe care îl moderează. Un endpoint care refuză pe categorie nu poate servi fiabil niciuna dintre ele.

Două rezerve oneste. Prima: Thinking Machines publică evaluări de siguranță pentru deployment-ul lor de referință — 78,0% la FORTRESS adversarial, 95,9% la FORTRESS benign, 98,6% la StrongREJECT. Cifrele acelea descriu stiva lor, cu balustradele lor la locul lor. Nu o descriu pe a noastră și nu le vom cita ca și cum ar face-o. Noi am scos stratul pe care cifrele acelea îl măsoară parțial; asta este produsul și asta este responsabilitatea.

A doua: „fără strat de refuz” nu înseamnă „fără reguli”. Shannon Lab LLC operează sub o Politică de utilizare responsabilă și sub legislația SUA aplicabilă. Scoaterea unui clasificator mută judecata la tine, nu o șterge. Dacă construiești pe asta, citește politica înainte să scalezi.

09Cum începi

Același URL de bază, aceeași cheie, trei dialecte. Dacă în cod apelezi deja OpenAI, Anthropic sau API-ul Responses, schimbarea șirului de model este de obicei toată migrarea.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Referința completă de parametri, formele /v1/messages și /v1/responses, formatele evenimentelor de streaming și un playground live se află în documentația API. Fișele pentru celelalte unsprezece modele sunt în Shannon Research.

Cifrele de fundație sunt numerele publicate de Thinking Machines Lab pentru checkpointul Inkling necuantizat și descriu plafonul familiei, nu build-ul nostru cuantizat. Prețurile și indicatorii de capabilitate sunt valori de listă ale gateway-ului Shannon AI, valabile în septembrie 2026.

10Întrebări frecvente

---

Surse: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — note de arhitectură și de benchmark pentru Inkling. Benchmarkurile de fundație sunt raportate de laborator pentru checkpointul necuantizat.