Inkling model API bez cenzure

Većina od dvanaest modela na našem pristupniku isključivo je tekstualna. Četiri nisu, a među tom četvorkom Inkling zauzima određeno mjesto: to je model s vidom kojem posežete kad je slika teži dio problema, a proračun ne seže do vodećeg modela. Ova kartica pokriva odakle temelj dolazi, što mu je učinio sufiks W4A16-AUTOROUND-REAP, što će i što neće raditi na razini API-ja te — pošteno — kada je jeftiniji model iz istog kataloga bolji izbor.

01Što je Inkling i tko ga je izgradio?

Inkling je prvi model otvorenih težina tvrtke Thinking Machines Lab, objavljen 15. srpnja 2026. Za razliku od većine izdanja postavljenih kao „otvorena”, došao je s potpuno preuzimljivim težinama na Hugging Faceu i podrškom od nultog dana u transformersu, SGLangu, vLLM-u i llama.cppu — a upravo je to razlog zašto ga je uopće moguće pokrenuti na infrastrukturi poput naše. Naslovne brojke, iz vlastitih izdanja Thinking Machinesa:

To je rijetki Mixture-of-Experts raspored: 66 dekoderskih slojeva pri skrivenoj veličini 6.144, prva dva gusta, preostala 64 nose 256 usmjerenih stručnjaka plus 2 dijeljena, uz 6 usmjerenih stručnjaka aktivnih po tokenu. Na svakom se tokenu aktivira otprilike 4 % parametara — a to je ono što model s gotovo bilijun parametara uopće čini izvedivim za posluživanje.

Dva su arhitektonska izbora dovoljno neuobičajena da ih se imenuje. Pažnja je isprepletena — 55 slojeva pažnje s kliznim prozorom od 512 tokena naspram 11 globalnih slojeva, u ponavljajućem uzorku 5:1. I Inkling ne koristi RoPE: koristi naučenu, o ulazu ovisnu pristranost relativnog položaja, uz kratke uzročne konvolucije na projekcijama ključa i vrijednosti te na rezidualnim granama. Arhitektonske bilješke Sebastiana Raschke oboje ističu kao stvarna odstupanja od standardnog recepta 2026. Treniranje je koristilo Muon za velike matrične parametre i Adam za ostalo, a zatim više od 30 milijuna asinkronih RL izvođenja u naknadnom treniranju.

Poanta za korisnika API-ja nisu zanimljivosti. Poanta je da je ovo izvorno multimodalan temelj vrhunske veličine treniran na 45 bilijuna tokena koji obuhvaćaju tekst, slike, zvuk i videozapis — a ne tekstualni model na koji je vid naknadno prikvačen. Slike se kodiraju kao pločice od 40 × 40 piksela kroz četveroslojni hijerarhijski MLP razlagač na pločice i obrađuju zajedno s tekstom u istom dekoderu. Vizualno razumijevanje bilo je u cilju predtreniranja.

02Što znači W4A16-AUTOROUND-REAP?

U tom su sufiksu složene tri odvojene tehnike i one rade različite poslove. Vrijedi ih razumjeti, jer je sufiks najveća pojedinačna razlika između modela koji pozivate na našem API-ju i kontrolne točke koju je objavio Thinking Machines.

REAP — obrezivanje stručnjaka do kojih nitko ne usmjerava

REAP je Router-weighted Expert Activation Pruning, iz Cerebras Researcha (arXiv 2510.13999, prihvaćen na ICLR 2026). U MoE modelu s 256 stručnjaka po sloju usmjerivač posao ne raspoređuje ravnomjerno: neke stručnjake pogađa neprestano, drugi se aktiviraju rijetko i tada malo doprinose. REAP svakog stručnjaka ocjenjuje po obama signalima — vrijednostima usmjerivačevih vrata i normama aktivacija stručnjaka — jer stručnjak koji je često biran, ali doprinosi ažuriranjima male magnitude, znači manje nego što njegov broj odabira sugerira — te u jednom potezu izbacuje one male istaknutosti, prije kvantizacije.

Razlog zašto koristimo obrezivanje, a ne pomodnije stapanje stručnjaka jest to što se to dvoje razilazi po vrsti zadatka. Stapanje izgleda konkurentno na diskriminativnim mjerilima, a raspada se na generativnima. Autori REAP-a izvještavaju da obrezivanje bolje čuva kakvoću upravo na opterećenjima zbog kojih ljudi kupuju API — sinteza koda, pozivanje alata, višekoračno promišljanje — pri omjerima kompresije preko 50 %, na modelima od 20B do 1T parametara. Stapanje uništava specijalizaciju usmjerivača; obrezivanje ostavlja preživjele stručnjake i usmjeravanje među njima netaknutima.

AutoRound — učenje o tome gdje zaokružiti

AutoRound je Intelova metoda kvantizacije nakon treniranja (arXiv 2309.05516, objavljena kao SignRound). Naivna kvantizacija svaku težinu zaokružuje na najbližu prikazivu 4-bitnu vrijednost — razumna zadana postavka i loša na velikoj skali, jer pogreške zaokruživanja nisu nezavisne i akumuliraju se kroz sklop od 66 slojeva. AutoRound odluku o zaokruživanju tretira kao nešto što treba optimizirati: predznačeni gradijentni spust kroz par stotina koraka zajedno ugađa smjer zaokruživanja i raspone odsijecanja težina, posuđujući točnost treniranja svjesnog kvantizacije bez ponovnog treniranja. Intel izvještava o najvećim dobicima pri ekstremno niskom broju bitova i o konkurentnoj prednosti na INT4.

W4A16 — kamo idu bitovi

W4A16 je numerički format: 4-bitne težine, 16-bitne aktivacije. Težine — koje u modelu od 975B dominiraju memorijom — smanjuju se na otprilike četvrtinu BF16 otiska, dok aritmetika ostaje na 16 bita. Ta je podjela važna baš za model s vidom: sheme s kvantiziranim aktivacijama štete upravo onom finom numeričkom radu o kojem razumijevanje slika ovisi — čitanju sitne oznake osi, razlučivanju tanke crte na dijagramu, razdvajanju dviju sličnih nijansi. Držanje aktivacija na 16 bita stoji propusnosti i vraća preciznost ondje gdje je slikovno opterećenje primijeti.

Složene, te tri stvari daju model koji stane i ostaje brz bez pada kakvoće agresivne razine 3BIT-REAP koju koristimo na najvećim temeljima. To je kompromis koji cijena odražava.

03Vid: API za analizu slika bez odbijanja

Inkling je jedan od četiri modela s vidom u našem katalogu, uz Kimi-K3, Kimi-K2.6 i MiniMax-M3. Objavljeni rezultati vida osnovnog modela, iz izdanja Thinking Machinesa, iznose 73,3 % na MMMU Pro (Standard 10) i 78,1 % na CharXiv pitanjima o promišljanju — uz porast na 82,0 % kad model smije pokrenuti Python nad grafikonom. To su vlastite brojke laboratorija za nekvantiziranu kontrolnu točku; tretirajte ih kao strop obitelji, a ne kao mjerenje naše izvedbe.

Na CharXivu se vrijedi zadržati, jer se preslikava na razlog zbog kojeg ljudi kupuju API s vidom umjesto OCR usluge. On ispituje promišljanje nad znanstvenim grafikonima — očitavanje vrijednosti s osi, usporedbu dvaju nizova, uočavanje preokreta trenda. Ne „koji je tekst na ovoj slici”, nego „što ova slika tvrdi i drži li ta tvrdnja vodu”. To je ono što opravdava slanje slike modelu za promišljanje od 975B umjesto malom opisivaču.

Slanje slike običan je posao kompatibilan s OpenAI-jem — dio sadržaja image_url na /v1/chat/completions, blok image u Anthropicovu stilu na /v1/messages ili ekvivalent na /v1/responses. Sva tri dijalekta pogađaju iste težine i sva tri streamaju; odaberite onaj koji vaš postojeći SDK već govori. Razrađen primjer nalazi se u odjeljku 09.

Dio „bez cenzure” važniji je za vid nego za tekst. Sloj odbijanja na krajnjoj točki s vidom neobično je tup, jer obično klasificira sliku prije nego što je model uopće promislio o zahtjevu. Legitiman rad stalno upada u zamku: fotografija rane u cjevovodu kliničkih bilježaka, forenzička snimka zaslona u zapisu o incidentu, kadar iz filma koji se analizira za kritiku, medicinski snimak, slika dokumenta na kojem se slučajno nađe ime. Inkling na našem pristupniku pred sobom nema takav klasifikator. Gleda ono što ste poslali i odgovara na pitanje koje ste postavili. To je proizvod.

04Strukturirani izlaz: response_format da, json_schema ne

Ovo je jedino mjesto na kojem je Inkling slabiji od većine kataloga i bolje je to planirati nego otkriti u produkciji.

Mogućnost	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Vid (ulaz sa slikama)	Da	Da	Da	Ne
response_format	Da	Da	Da	Ne
json_schema	Ne	Da	Da	Ne
Pozivanje alata	Da	Da	Da	Da
Razina promišljanja	Da	Da	Da	Da

response_format: {"type": "json_object"} radi — dobivate sintaktički ispravan JSON. Ono što ne dobivate jest dekodiranje ograničeno gramatikom prema shemi koju vi zadajete, gdje je uzorkivač fizički spriječen odaslati token koji krši vašu strukturu. Imena polja, pripadnost nabrajanju i prisutnost obveznih ključeva izbor su modela, a ne jamstvo.

Tri načina da se s tim živi, redom rastuće pouzdanosti:

1. Zadajte shemu u upitu i potvrdite je. Stavite shemu u sustavsku uputu kao doslovan JSON, postavite response_format na json_object i potvrdite odgovor na svojoj strani. Ponovite pokušaj pri neuspjeloj potvrdi, uz priloženu poruku o pogrešci validatora. Jeftino, radi, treba proračun za ponavljanja.
2. Upotrijebite definiciju alata kao shemu. Pozivanje alata jest podržano, a definicija parametara funkcije jest JSON shema. Deklarirajte jedan alat nazvan po izlučivanju koje želite, iznudite ga i pročitajte argumente. Ovo je na Inklingu obično najjača opcija i ne stoji vas ništa dodatno.
3. Podijelite posao na dva modela. Neka Inkling odradi vid i promišljanje u prozi, a zatim tu prozu predajte modelu MiMo-V2.5-W8A16 uz 0,50 $ / 2,00 $ sa stvarnom json_schema za prolaz strukturiranja. Dva poziva, ali drugi je jeftin, oblikom predvidljiv, a model koji mora biti pametan onaj je koji je vidio sliku.

Opciju 3 preporučili bismo za svaki cjevovod izlučivanja velikog obujma. Platite premiju samo za korak kojem je potrebna.

05Što kupuje premija u cijeni?

Uz 1,42 $ ulaz / 6,07 $ izlaz po milijunu tokena Inkling namjerno stoji u sredini našeg kataloga. Šest od dvanaest modela na pragu je od 0,50 $ / 2,00 $. Kimi-K3 — vodeći model, također s vidom — stoji 3,83 $ / 19,12 $. Inkling je otprilike trostruko iznad praga na izlazu i otprilike trećina vodećeg modela.

Cijena izlaza, USD po 1M tokena, službene stope Shannon AI pristupnika, rujan 2026. Širina trake razmjerna je cijeni; dulja znači skuplje.

Evo poštenog čitanja o tome gdje se ta premija isplati — a gdje ne.

Opterećenje	Koristiti Inkling?	Zašto
Promišljanje o grafikonima / dijagramima	Da	Objavljene brojke za CharXiv i MMMU Pro ono su u čemu je ovaj temelj najjači.
Agenti vođeni snimkama zaslona	Da	Vid plus pozivanje alata plus 262K povijesti u jednom modelu, bez predaje.
Dugi dokumenti sa slikama	Da	Tekst i slike dijele jedan dekoder i jedan prozor konteksta.
Generiranje običnog teksta	Ne	Ovo rade šest modela uz 0,50 $ / 2,00 $. Plaćate put za vid koji nikad ne pozivate.
Masovno izlučivanje po shemi	Ne	Bez json_schema. MiMo-V2.5 jeftiniji je i ograničen shemom.
Apsolutni vrhunski strop	Ne	Kimi-K3 je vodeći model. Platite 3,1× ako je strop ograničenje.
Najjeftiniji mogući vid	Ne	MiniMax-M3 ima vid uz 0,50 $ / 2,00 $. Krenite odande i podignite razinu ako vas kakvoća natjera.

Čitajte to kao pravilo usmjeravanja, a ne kao rang-listu. Inkling je pravi izbor za uži pojas posla nego što bi marketinška stranica tvrdila, a unutar tog pojasa teško ga je nadmašiti po cijeni. Izvan njega radije bismo vam prodali jeftiniji model i zadržali vas.

06Prozor konteksta od 262K i što u njega zapravo stane

Svih dvanaest modela na pristupniku poslužuje se s ulaznim kontekstom od 262.144 tokena i najvećim izlazom od 16.384 tokena po zahtjevu. Ujednačeno namjerno: rukovanje kontekstom nikad ne bi trebalo postati grananje po modelu u vašem kodu, a zamjena inklinga modelom MiniMax-M3 u konfiguracijskoj datoteci ne bi smjela tiho promijeniti ono što stane.

Uočite razmak prema objavljenom temelju: Thinking Machines dokumentira Inkling na 1.048.576 tokena, a mi poslužujemo isječak od 262K. Ako imate stvarno opterećenje od milijun tokena u jednom zahtjevu, mi za to nismo krajnja točka, i bolje da to znate prije nego što gradite.

Za osjećaj mjerila na 262K: tehnički PDF od 400 stranica sa svim slikama, srednje velika baza koda, nekoliko sati transkripta ili duga agentska sesija koja nosi desetke rezultata alata i šačicu snimki zaslona — svako od toga stane u jedan zahtjev. Na modelu s vidom zapamtite da i slike troše kontekst; gusta snimka zaslona nije besplatna, a sesija koja streama kadrove puni prozor brže od one isključivo tekstualne. Arhitektura tome dobro odgovara: uzorak kliznog prozora prema globalnom 5:1 znači da većina slojeva pazi unutar susjedstva od 512 tokena, dok globalni slojevi povremeno vraćaju dalekosežnu strukturu.

07Razina promišljanja: plaćanje mišljenja samo kad vam treba

Inkling izlaže upravljivu razinu promišljanja — jedan od korisnijih regulatora u katalogu. Uzvodni model prihvaća razine od none i minimal preko low, medium, high, xhigh, pa do max, iznesene na sva tri dijalekta standardnim parametrom reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Ovo je poluga troška s pravim zubima, jer se tokeni promišljanja naplaćuju kao izlazni tokeni po 6,07 $ po milijunu. Thinking Machines izvještava da Inkling na Terminal Benchu 2.1 doseže rezultate usporedive s modelom Nemotron 3 Ultra uz otprilike trećinu tokena — učinkovitost tokena navedeni je cilj ustroja sustava razina, a ne slučajnost.

U praksi: pokrenite low ili minimal za opisivanje, klasifikaciju i izravno izlučivanje, gdje je odgovor u slici i nikakav lanac zaključivanja nije potreban. Zadržite high i više za promišljanje o grafikonima, višekoračne vizualne usporedbe i agentske poteze gdje je pogrešan međukorak skup. Većina timova taj parametar nikad ne postavi i na stolu ostavi višestruku razliku u trošku izlaza.

08Što ovdje znači „bez cenzure” — a što ne znači

Konkretno: ovaj model pokrećemo bez sloja odbijanja i bez filtriranja izlaza. Nijedan klasifikator ne čita vaš upit i ne odlučuje smije li model odgovoriti, i nijedan ne čita odgovor prije nego što se stream pokrene. Kad je model nesiguran ili mu nedostaje znanja, to i kaže — to je model, a ne pravilo. Ono što nećete dobiti jest refleksno odbijanje na temu koju proizvod za široku potrošnju drži zabranjenom.

Za vid je to cijela vrijednosna ponuda. Klasifikatori slika pred API-jima s vidom nisu precizni, a stopa lažno pozitivnih najteže pogađa upravo profesionalan rad kojem ta sposobnost najviše treba: sigurnosna istraživanja, kliničke kontekste, novinarstvo i forenziku, filmsku i umjetničku kritiku, alate za moderaciju koji moraju pogledati ono što moderiraju. Krajnja točka koja odbija po kategoriji ne može ništa od toga pouzdano poslužiti.

Dvije poštene ograde. Prvo, Thinking Machines objavljuje sigurnosne evaluacije za svoju referentnu izvedbu — 78,0 % na FORTRESS adversarial, 95,9 % na FORTRESS benign, 98,6 % na StrongREJECT-u. Te brojke opisuju njihov sklop s njihovim zaštitama na mjestu. Ne opisuju naš i nećemo ih navoditi kao da to čine. Uklonili smo sloj koji te brojke dijelom mjere; to je proizvod, i odgovornost.

Drugo, „bez sloja odbijanja” nije „bez pravila”. Shannon Lab LLC posluje prema politici odgovorne uporabe i mjerodavnom pravu SAD-a. Uklanjanje klasifikatora prosudbu prebacuje na vas, ne briše je. Ako gradite na ovome, pročitajte politiku prije nego što skalirate.

09Kako početi

Isti osnovni URL, isti ključ, tri dijalekta. Ako vaš kod već poziva OpenAI, Anthropic ili Responses API, promjena niza s modelom obično je cijela migracija.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Potpuni popis parametara, oblici za /v1/messages i /v1/responses, formati streaming događaja i živi playground nalaze se u dokumentaciji API-ja. Kartice preostalih jedanaest modela nalaze se u Shannon Researchu.

Brojke o temelju objavljene su brojke Thinking Machines Laba za nekvantiziranu Inkling kontrolnu točku i opisuju strop obitelji, a ne našu kvantiziranu izvedbu. Cijene i zastavice mogućnosti službene su vrijednosti Shannon AI pristupnika na dan rujan 2026.

10Često postavljana pitanja

---

Izvori: Thinking Machines Lab — Predstavljamo Inkling · Hugging Face — Dobrodošao, Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — arhitektonske bilješke i mjerila za Inkling. Mjerila temelja prijavio je laboratorij za nekvantiziranu kontrolnu točku.