Necenzurirani Inkling model API

Većina od dvanaest modela na našem gatewayu radi samo sa tekstom. Četiri ne rade, a među njima Inkling zauzima specifičnu poziciju: model sa vidom po koji posežete kada je slika teži dio problema, ali se budžet ne rasteže do vodećeg modela. Ova kartica pokriva odakle temelj dolazi, šta mu je sufiks W4A16-AUTOROUND-REAP uradio, šta hoće a šta neće raditi na površini API-ja i — iskreno — kada je jeftiniji model iz istog kataloga bolji izbor.

01Šta je Inkling i ko ga je izgradio?

Inkling je prvi model otvorenih težina iz Thinking Machines Laba, objavljen 15. jula 2026. Za razliku od većine izdanja pozicioniranih kao „otvorena”, isporučen je sa potpuno preuzimljivim težinama na Hugging Faceu i podrškom od prvog dana u transformersu, SGLangu, vLLM-u i llama.cpp-u — i upravo je zato uopšte postao pokretljiv na infrastrukturi poput naše. Glavne brojke, iz izdavačkih materijala samog Thinking Machinesa:

To je raspored rijetkog Mixture-of-Expertsa: 66 dekoderskih slojeva pri skrivenoj dimenziji 6.144, prva dva gusta, preostala 64 nose 256 usmjeravanih eksperata plus 2 zajednička, uz 6 usmjeravanih eksperata aktivnih po tokenu. Na bilo kojem datom tokenu opali otprilike 4% parametara — i to je ono što model od skoro bilion parametara uopšte čini poslužljivim.

Dva arhitektonska izbora dovoljno su neobična da ih imenujemo. Pažnja je ispreplijetana — 55 slojeva pažnje sa kliznim prozorom od 512 tokena naspram 11 globalnih slojeva, u ponavljajućem obrascu 5:1. I Inkling ne koristi RoPE: koristi naučenu pristrasnost relativne pozicije ovisnu o ulazu, uz kratke kauzalne konvolucije na projekcijama ključa i vrijednosti te na rezidualnim granama. Arhitektonske bilješke Sebastiana Raschke oboje označavaju kao stvarna odstupanja od standardnog recepta iz 2026. Treniranje je koristilo Muon za velike matrične parametre i Adam za ostalo, pa preko 30 miliona asinhronih RL prolaza u post-treningu.

Poenta za potrošača API-ja nisu zanimljivosti. Poenta je da je ovo izvorno multimodalan temelj razmjere s vrha polja, treniran na 45 biliona tokena kroz tekst, slike, zvuk i video — a ne tekstualni model na koji je kasnije prikačen adapter za vid. Slike se kodiraju kao dijelovi od 40×40 piksela kroz četveroslojni hijerarhijski MLP dijelilac i obrađuju zajedno sa tekstom u istom dekoderu. Vizuelno razumijevanje bilo je u cilju predtreninga.

02Šta znači W4A16-AUTOROUND-REAP?

U tom sufiksu naslagane su tri odvojene tehnike i one obavljaju različite poslove. Vrijedi ih razumjeti, jer je sufiks najveća pojedinačna razlika između modela koji pozivate na našem API-ju i kontrolne tačke koju je Thinking Machines objavio.

REAP — obrezivanje eksperata kojima niko ne usmjerava

REAP je Router-weighted Expert Activation Pruning, iz Cerebras Researcha (arXiv 2510.13999, prihvaćen na ICLR 2026). U MoE-u sa 256 eksperata po sloju usmjerivač posao ne dijeli ravnomjerno: neke eksperte pogađa stalno, drugi opale rijetko i malo doprinesu kada opale. REAP svakog eksperta ocjenjuje i po vrijednostima kapije usmjerivača i po normama aktivacije eksperta — ekspert koji se često bira, a doprinosi izmjenama male veličine, znači manje nego što njegov broj izbora sugeriše — i one male značajnosti izbacuje u jednom potezu, prije kvantizacije.

Razlog zašto koristimo obrezivanje umjesto pomodnijeg stapanja eksperata jeste to što se dva pristupa razilaze po tipu zadatka. Stapanje izgleda konkurentno na diskriminativnim benchmarkovima, a raspada se na generativnim. Autori REAP-a prijavljuju da obrezivanje bolje čuva kvalitet upravo na opterećenjima zbog kojih ljudi i kupuju API — sinteza koda, pozivanje alata, višekratno rezonovanje — pri omjerima kompresije preko 50%, kroz modele od 20 milijardi do bilion parametara. Stapanje uništava specijalizaciju usmjerivača; obrezivanje ostavlja preživjele eksperte i usmjeravanje među njima netaknutima.

AutoRound — učenje gdje zaokružiti

AutoRound je Intelova metoda kvantizacije nakon treniranja (arXiv 2309.05516, objavljena kao SignRound). Naivna kvantizacija svaku težinu zaokružuje na najbližu predstavljivu 4-bitnu vrijednost — razumna podrazumijevana opcija i loša u velikoj razmjeri, jer greške zaokruživanja nisu nezavisne i akumuliraju se kroz sklop od 66 slojeva. AutoRound odluku o zaokruživanju tretira kao nešto što treba optimizovati: predznačeni gradijentni spust kroz par stotina koraka zajedno štimuje smjer zaokruživanja i raspone odsijecanja težina, posuđujući tačnost treniranja svjesnog kvantizacije bez ponovnog treniranja. Intel prijavljuje najveće dobitke pri ekstremno niskom broju bita i konkurentnu prednost na INT4.

W4A16 — gdje bitovi idu

W4A16 je numerički format: 4-bitne težine, 16-bitne aktivacije. Težine — koje u modelu od 975 milijardi dominiraju memorijom — padaju na otprilike četvrtinu BF16 otiska, dok aritmetika ostaje na 16 bita. Ta podjela je bitna baš za model sa vidom: sheme sa kvantizovanim aktivacijama pogađaju upravo sitnozrni numerički posao od kojeg razumijevanje slike ovisi — čitanje male oznake na osi, razlučivanje tanke linije u dijagramu, razdvajanje dvije slične nijanse. Držanje aktivacija na 16 bita košta propusni opseg, a vraća preciznost tamo gdje je opterećenje sa vidom primijeti.

Naslagane, te tri stvari daju model koji stane i ostaje brz bez provalije u kvalitetu agresivnog nivoa 3BIT-REAP koji koristimo na najvećim temeljima. To je razmjena koju cijena odražava.

03Vid: API za analizu slika bez odbijanja

Inkling je jedan od četiri modela u našem katalogu koji vide, uz Kimi-K3, Kimi-K2.6 i MiniMax-M3. Objavljeni rezultati osnovnog modela u vidu, iz izdanja Thinking Machinesa, jesu 73,3% na MMMU Pro (Standard 10) i 78,1% na pitanjima rezonovanja na CharXivu — uz porast na 82,0% kada modelu bude dopušteno da nad grafikonom pokrene Python. To su laboratorijine vlastite brojke za nekvantizovanu kontrolnu tačku; tretirajte ih kao plafon porodice, a ne kao mjerenje našeg izdanja.

Na CharXivu se vrijedi zadržati, jer se preslikava na razlog zašto ljudi kupuju API za vid umjesto usluge OCR-a. On testira rezonovanje nad naučnim grafikonima — očitavanje vrijednosti sa ose, poređenje dvije serije, uočavanje preokreta trenda. Ne „koji je tekst na ovoj slici” nego „šta ova slika tvrdi i drži li ta tvrdnja vodu”. To je ono što opravdava slanje slike modelu za rezonovanje od 975 milijardi umjesto malom opisivaču.

Slanje slike je uobičajen posao kompatibilan sa OpenAI-jem — dio sadržaja image_url na /v1/chat/completions, blok image u Anthropicovom stilu na /v1/messages ili ekvivalent na /v1/responses. Sva tri dijalekta pogađaju iste težine i sva tri strimuju; birajte onaj koji vaš postojeći SDK već govori. Razrađen primjer nalazi se u odjeljku 09.

Necenzurirani dio znači više za vid nego za tekst. Sloj odbijanja na krajnjoj tački sa vidom neuobičajeno je tup, jer obično klasifikuje sliku prije nego što je model uopšte razmislio o zahtjevu. Legitiman posao se stalno hvata u tu mrežu: fotografija rane u cjevovodu kliničkih bilješki, forenzički snimak ekrana u izvještaju o incidentu, kadar iz filma koji se analizira za kritički tekst, medicinski snimak, slika dokumenta na kojem se slučajno nađe ime. Inkling na našem gatewayu ispred sebe nema takav klasifikator. Gleda ono što ste poslali i odgovara na pitanje koje ste postavili. To je proizvod.

04Strukturirani izlaz: response_format da, json_schema ne

Ovo je jedino mjesto na kojem je Inkling manje sposoban od većine kataloga, i bolje je to unaprijed uračunati nego otkriti u produkciji.

Mogućnost	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Vid (slika na ulazu)	Da	Da	Da	Ne
response_format	Da	Da	Da	Ne
json_schema	Ne	Da	Da	Ne
Pozivanje alata	Da	Da	Da	Da
Napor rezonovanja	Da	Da	Da	Da

response_format: {"type": "json_object"} radi — dobijate sintaksno ispravan JSON. Ono što ne dobijate jeste dekodiranje ograničeno gramatikom prema shemi koju vi date, gdje je uzorkivač fizički spriječen da emituje token koji krši vašu strukturu. Imena polja, pripadnost enumu i prisustvo obaveznih ključeva izbor su modela, a ne garancija.

Tri načina da se s tim živi, po rastućoj pouzdanosti:

1. Stavite shemu u prompt i validirajte. Stavite shemu u sistemsku uputu kao doslovni JSON, postavite response_format na json_object i validirajte odgovor na svojoj strani. Ponovite poziv kad validacija padne, uz priloženu poruku o grešci iz validatora. Jeftino, radi, traži budžet za ponavljanje.
2. Koristite definiciju alata kao shemu. Pozivanje alata jeste podržano, a definicija parametara funkcije jeste JSON shema. Deklarišite jedan alat nazvan po izvlačenju koje želite, prisilite ga i pročitajte argumente. To je na Inklingu obično najjača opcija i ne košta vas ništa dodatno.
3. Podijelite posao na dva modela. Neka Inkling obavi vid i rezonovanje u prozi, pa tu prozu predajte modelu MiMo-V2.5-W8A16 po $0.50 / $2.00 uz pravi json_schema za prolaz strukturiranja. Dva poziva, ali je drugi jeftin, oblikom determinističan, a model koji mora biti pametan jeste onaj koji je vidio sliku.

Opciju 3 preporučili bismo za svaki cjevovod izvlačenja podataka velikog obima. Premiju plaćajte samo za korak kojem treba.

05Šta premija u cijeni kupuje?

Po $1.42 ulaz / $6.07 izlaz na milion tokena, Inkling namjerno sjedi u sredini našeg kataloga. Šest od dvanaest modela stoji na donjoj granici od $0.50 / $2.00. Kimi-K3 — vodeći model, takođe sa vidom — košta $3.83 / $19.12. Inkling je otprilike trostruko iznad donje granice na izlazu i otprilike trećina vodećeg modela.

Cijena izlaza, u dolarima po 1M tokena, cjenovničke stope Shannon AI Gatewaya, septembar 2026. Širina trake proporcionalna je cijeni; duže je skuplje.

Evo poštenog čitanja gdje se ta premija isplati — i gdje ne.

Opterećenje	Koristiti Inkling?	Zašto
Rezonovanje o grafikonima / dijagramima	Da	Objavljene brojke za CharXiv i MMMU Pro upravo su ono u čemu je ovaj temelj najjači.
Agenti vođeni snimcima ekrana	Da	Vid plus pozivanje alata plus 262K historije u jednom modelu, bez predaje.
Dugi dokumenti sa slikama	Da	Tekst i slike dijele jedan dekoder i jedan kontekstni prozor.
Generisanje običnog teksta	Ne	Šest modela po $0.50 / $2.00 to radi. Plaćate putanju vida koju nikad ne pozovete.
Masovno izvlačenje po shemi	Ne	Nema json_schema. MiMo-V2.5 je jeftiniji i ograničen shemom.
Apsolutni plafon s vrha polja	Ne	Kimi-K3 je vodeći model. Platite 3,1× ako je plafon ograničenje.
Najjeftiniji mogući vid	Ne	MiniMax-M3 ima vid po $0.50 / $2.00. Krenite odatle, pa eskalirajte ako kvalitet to iznudi.

Čitajte to kao pravilo usmjeravanja, a ne kao rang-listu. Inkling je pravi izbor za uži pojas posla nego što bi marketinška stranica tvrdila, a unutar tog pojasa teško ga je potući po cijeni. Izvan njega, radije bismo vam prodali jeftiniji model i zadržali vas.

06Kontekstni prozor od 262K i šta u njega zaista stane

Svih dvanaest modela na gatewayu poslužuje se sa ulaznim kontekstom od 262.144 tokena i maksimalnim izlazom od 16.384 tokena po zahtjevu. Jednako namjerno: rukovanje kontekstom nikada ne bi trebalo postati grananje po modelu u vašem kodu, a zamjena inklinga za MiniMax-M3 u konfiguracionoj datoteci ne bi smjela tiho promijeniti šta stane.

Primijetite razmak spram objavljenog temelja: Thinking Machines Inkling dokumentuje na 1.048.576 tokena, a mi poslužujemo isječak od 262K. Ako imate stvarno opterećenje od milion tokena u jednom zahtjevu, mi nismo krajnja tačka za to, i bolje da to znate prije nego što gradite.

Za osjećaj razmjere na 262K: tehnički PDF od 400 stranica sa svojim slikama, srednje velika baza koda, nekoliko sati transkripta ili duga agentska sesija koja nosi desetine rezultata alata i šačicu snimaka ekrana — svako stane u jedan zahtjev. Na modelu sa vidom, imajte na umu da i slike troše kontekst; gust snimak ekrana nije besplatan, a sesija koja strimuje kadrove puni prozor brže od one sa samim tekstom. Arhitektura tome dobro odgovara: obrazac 5:1 između kliznog prozora i globalnih slojeva znači da većina slojeva gleda unutar susjedstva od 512 tokena, dok globalni slojevi povremeno vraćaju strukturu velikog dosega.

07Napor rezonovanja: plaćanje razmišljanja samo kada vam treba

Inkling izlaže upravljiv napor rezonovanja — jedan od korisnijih regulatora u katalogu. Uzvodni model prima nivoe od none i minimal preko low, medium, high, xhigh, do max, izložene na sva tri dijalekta kroz standardni parametar reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Ovo je poluga troška sa zubima, jer se tokeni rezonovanja naplaćuju kao izlazni tokeni po $6.07 na milion. Thinking Machines prijavljuje da na Terminal Benchu 2.1 Inkling dostiže rezultate uporedive sa Nemotronom 3 Ultra uz otprilike trećinu tokena — efikasnost po tokenu jeste izrečeni cilj dizajna sistema napora, a ne slučajnost.

U praksi: pokrećite low ili minimal za opisivanje, klasifikaciju i jednostavno izvlačenje podataka, gdje je odgovor u slici i nikakav lanac zaključivanja nije potreban. high i više čuvajte za rezonovanje o grafikonima, višekoračno vizuelno poređenje i agentske poteze gdje je pogrešan međukorak skup. Većina timova taj parametar nikada i ne postavi, i ostavlja na stolu višestruku razliku u trošku izlaza.

08Šta „necenzurirano” ovdje znači — i šta ne

Konkretno: ovaj model vrtimo bez sloja odbijanja i bez filtriranja izlaza. Nijedan klasifikator ne čita vaš prompt i ne odlučuje smije li model odgovoriti, i nijedan ne čita odgovor prije nego što se strimuje. Kada je model nesiguran ili mu nedostaje znanje, on to kaže — to je model, a ne politika. Ono što nećete dobiti jeste refleksno odbijanje na temu koju proizvod za širu potrošnju tretira kao zabranjenu.

Za vid je to cijela ponuda vrijednosti. Klasifikatori slika ispred API-ja sa vidom su neprecizni, a stopa lažno pozitivnih najteže pogađa profesionalni posao kojem ta sposobnost najviše treba: sigurnosno istraživanje, kliničke kontekste, novinarstvo i forenziku, filmsku i likovnu kritiku, alate za moderaciju koji moraju pogledati ono što moderiraju. Krajnja tačka koja odbija po kategoriji ne može ništa od toga pouzdano poslužiti.

Dvije poštene ograde. Prvo, Thinking Machines objavljuje sigurnosne evaluacije za svoje referentno posluživanje — 78,0% na FORTRESS adversarial, 95,9% na FORTRESS benign, 98,6% na StrongREJECT-u. Te brojke opisuju njihov sklop sa njihovim zaštitnim ogradama na mjestu. Ne opisuju naš i nećemo ih navoditi kao da opisuju. Uklonili smo sloj koji te brojke dijelom mjere; to je proizvod, i odgovornost.

Drugo, „bez sloja odbijanja” nije „bez pravila”. Shannon Lab LLC posluje po Politici odgovornog korištenja i mjerodavnom američkom zakonu. Uklanjanje klasifikatora prosuđivanje prebacuje na vas, ne briše ga. Ako gradite na ovome, pročitajte politiku prije nego što skalirate.

09Kako početi

Isti osnovni URL, isti ključ, tri dijalekta. Ako vaš kod već poziva OpenAI, Anthropic ili Responses API, promjena stringa modela obično je cijela migracija.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Potpuni pregled parametara, oblici za /v1/messages i /v1/responses, formati strimujućih događaja i živo igralište nalaze se u API dokumentaciji. Kartice modela za ostalih jedanaest modela nalaze se na Shannon Researchu.

Brojke o temelju objavljene su brojke Thinking Machines Laba za nekvantizovanu kontrolnu tačku Inklinga i opisuju plafon porodice, a ne naše kvantizovano izdanje. Cijene i zastavice mogućnosti cjenovničke su vrijednosti Shannon AI Gatewaya na dan septembra 2026.

10Često postavljana pitanja

---

Izvori: Thinking Machines Lab — predstavljanje Inklinga · Hugging Face — dobrodošao Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — bilješke o arhitekturi i benchmarkovima Inklinga. Benchmarkove temelja prijavila je laboratorija za nekvantizovanu kontrolnu tačku.