Inkling model API bez cenzure

Većina od dvanaest modela na našem gejtveju radi samo sa tekstom. Četiri ne rade tako, a među tim četvorkama Inkling zauzima određeno mesto: to je vizuelni model za koji posežete kada je slika teži deo problema, a budžet ne dopire do vodećeg modela. Ova kartica pokriva odakle temelj dolazi, šta mu je uradio sufiks W4A16-AUTOROUND-REAP, šta hoće a šta neće da radi na nivou API-ja, i — pošteno — kada je jeftiniji model iz istog kataloga bolji izbor.

01Šta je Inkling i ko ga je napravio?

Inkling je prvi model sa otvorenim težinama iz laboratorije Thinking Machines Lab, objavljen 15. jula 2026. Za razliku od većine izdanja koja se predstavljaju kao „otvorena“, ovo je stiglo sa punim težinama za preuzimanje na Hugging Face-u i podrškom od prvog dana u transformers, SGLang, vLLM i llama.cpp — zbog čega je uopšte i postalo pokretljivo na infrastrukturi kao što je naša. Ključni brojevi, iz materijala samog Thinking Machines-a:

To je retki Mixture-of-Experts raspored: 66 dekoderskih slojeva sa skrivenom dimenzijom 6,144, prva dva gusta, a preostala 64 nose 256 rutiranih eksperata plus 2 deljena eksperta, pri čemu je 6 rutiranih eksperata aktivno po tokenu. Otprilike 4% parametara se aktivira na bilo kom tokenu — a upravo to čini model sa skoro bilion parametara uopšte servirljivim.

Dva arhitektonska izbora su dovoljno neobična da se pomenu. Pažnja je isprepletena — 55 slojeva pažnje sa kliznim prozorom od 512 tokena naspram 11 globalnih slojeva, u ponavljajućem odnosu 5:1. I Inkling ne koristi RoPE: koristi naučenu, od ulaza zavisnu relativnu pozicionu pristrasnost, uz kratke kauzalne konvolucije na key/value projekcijama i na rezidualnim granama. Arhitektonske beleške Sebastijana Raške označavaju oba kao stvarna odstupanja od standardnog recepta iz 2026. Trening je koristio Muon za velike matrične parametre i Adam za ostatak, a zatim preko 30 miliona asinhronih RL prolaza u posttreningu.

Poenta za onoga ko koristi API nisu ovi detalji. Poenta je da je ovo izvorno multimodalni temelj vrhunske veličine, treniran na 45 biliona tokena teksta, slika, zvuka i videa — a ne tekstualni model na koji je vizuelni adapter naknadno prikačen. Slike se kodiraju kao zakrpe od 40×40 piksela kroz četvoroslojni hijerarhijski MLP zakrpivač i obrađuju zajedno sa tekstom u istom dekoderu. Vizuelno razumevanje je bilo deo cilja pretreninga.

02Šta znači W4A16-AUTOROUND-REAP?

U tom sufiksu su naslagane tri odvojene tehnike, i one rade različite poslove. Vredi ih razumeti, jer je sufiks najveća pojedinačna razlika između modela koji zovete na našem API-ju i kontrolne tačke koju je Thinking Machines objavio.

REAP — orezivanje eksperata koje niko ne ruta

REAP je Router-weighted Expert Activation Pruning, iz Cerebras Research-a (arXiv 2510.13999, prihvaćen na ICLR 2026). U MoE modelu sa 256 eksperata po sloju ruter ne raspoređuje posao ravnomerno: neki eksperti se pogađaju stalno, drugi se pale retko i malo doprinesu kada se pale. REAP boduje svakog eksperta i po vrednostima kapije rutera i po normama aktivacije eksperta — ekspert koji se bira često, ali doprinosi izmenama male magnitude, znači manje nego što njegov broj izbora nagoveštava — pa u jednom potezu izbacuje one niske istaknutosti, pre kvantizacije.

Razlog zbog kog koristimo orezivanje umesto pomodnijeg spajanja eksperata jeste to što se ta dva razilaze po tipu zadatka. Spajanje deluje konkurentno na diskriminativnim merilima, a raspada se na generativnim. Autori REAP-a navode da orezivanje bolje čuva kvalitet upravo na poslovima zbog kojih ljudi i kupuju API — sinteza koda, pozivanje alata, višekružno rezonovanje — pri odnosima kompresije preko 50%, na modelima od 20B do 1T parametara. Spajanje uništava specijalizaciju rutera; orezivanje ostavlja preživele eksperte i rutiranje među njima netaknutim.

AutoRound — učenje gde treba zaokružiti

AutoRound je Intelov metod kvantizacije posle treninga (arXiv 2309.05516, objavljen kao SignRound). Naivna kvantizacija zaokružuje svaku težinu na najbližu predstavljivu 4-bitnu vrednost — razumna podrazumevana opcija i loša na velikoj skali, jer greške zaokruživanja nisu nezavisne i gomilaju se kroz stek od 66 slojeva. AutoRound tretira odluku o zaokruživanju kao nešto što treba optimizovati: predznakom vođeni gradijentni spust zajedno podešava smer zaokruživanja i opsege odsecanja težina kroz dvestotinjak koraka, pozajmljujući tačnost treninga svesnog kvantizacije bez ponovnog treniranja. Intel navodi najveće dobitke pri ekstremno niskom broju bitova i konkurentnu prednost na INT4.

W4A16 — kuda odlaze bitovi

W4A16 je numerički format: 4-bitne težine, 16-bitne aktivacije. Težine — koje dominiraju memorijom u modelu od 975B — smanjuju se na otprilike četvrtinu BF16 otiska, dok aritmetika ostaje na 16 bita. Ta podela je posebno bitna za vizuelni model: šeme sa kvantizovanim aktivacijama pogađaju baš onaj sitnozrni numerički posao od kog zavisi razumevanje slike — čitanje male oznake na osi, razlučivanje tanke linije na dijagramu, razdvajanje dve slične nijanse. Držanje aktivacija na 16 bita košta propusni opseg i vraća preciznost tamo gde vizuelni posao to primeti.

Naslagane, te tri stvari daju model koji staje i ostaje brz bez pada kvaliteta kakav donosi agresivni nivo 3BIT-REAP koji koristimo na najvećim temeljima. To je razmena koju cena odražava.

03Vizija: API za analizu slika bez odbijanja

Inkling je jedan od četiri modela sa vizuelnim ulazom u našem katalogu, uz Kimi-K3, Kimi-K2.6 i MiniMax-M3. Objavljeni vizuelni rezultati osnovnog modela, iz izdanja Thinking Machines-a, jesu 73.3% na MMMU Pro (Standard 10) i 78.1% na CharXiv pitanjima rezonovanja — što raste na 82.0% kada modelu bude dozvoljeno da pokrene Python nad grafikonom. To su brojke same laboratorije za nekvantizovanu kontrolnu tačku; shvatite ih kao plafon porodice, a ne kao merenje naše verzije.

CharXiv je onaj na kom vredi zadržati se, jer objašnjava zašto ljudi kupuju vizuelni API umesto OCR usluge. On testira rezonovanje nad naučnim grafikonima — očitavanje vrednosti sa ose, poređenje dva niza, uočavanje preokreta trenda. Ne „koji tekst je na ovoj slici“, nego „šta ova slika tvrdi i da li tvrdnja stoji“. To je ono što opravdava slanje slike modelu za rezonovanje sa 975B parametara umesto malom potpisivaču.

Slanje slike je uobičajen posao kompatibilan sa OpenAI-jem — deo sadržaja image_url na /v1/chat/completions, blok image u Anthropic stilu na /v1/messages, ili ekvivalent na /v1/responses. Sva tri dijalekta pogađaju iste težine i sva tri strimuju; izaberite onaj koji vaš postojeći SDK već govori. Razrađen primer je u odeljku 09.

Deo „bez cenzure“ znači više za viziju nego za tekst. Sloj odbijanja na vizuelnom endpointu neobično je tup, jer obično klasifikuje sliku pre nego što je model uopšte razmislio o zahtevu. Legitiman posao stalno upada u zamku: fotografija rane u cevovodu kliničkih beleški, forenzički snimak ekrana u izveštaju o incidentu, kadar iz filma koji se analizira za kritiku, medicinski snimak, slika dokumenta na kom se slučajno nalazi neko ime. Inkling na našem gejtveju nema takav klasifikator ispred sebe. Gleda ono što ste poslali i odgovara na pitanje koje ste postavili. To je proizvod.

04Strukturirani izlaz: response_format da, json_schema ne

Ovo je jedino mesto na kom je Inkling slabiji od većine kataloga, i bolje je to isplanirati nego otkriti u produkciji.

Sposobnost	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Vizija (unos slika)	Da	Da	Da	Ne
response_format	Da	Da	Da	Ne
json_schema	Ne	Da	Da	Ne
Pozivanje alata	Da	Da	Da	Da
Napor rezonovanja	Da	Da	Da	Da

response_format: {"type": "json_object"} radi — dobijate sintaksno ispravan JSON. Ono što ne dobijate jeste dekodiranje ograničeno gramatikom prema šemi koju vi zadate, gde je uzorkivač fizički sprečen da izbaci token koji krši vašu strukturu. Imena polja, pripadnost enumu i prisustvo obaveznih ključeva izbor su modela, a ne garancija.

Tri načina da se sa tim živi, poređana po rastućoj pouzdanosti:

1. Zadajte šemu u promptu i proverite je. Stavite šemu u sistemski prompt kao doslovan JSON, podesite response_format na json_object i proverite odgovor na svojoj strani. Ponovite poziv pri neuspehu provere, uz dodatu poruku o grešci iz validatora. Jeftino, radi, traži budžet za ponovne pokušaje.
2. Iskoristite definiciju alata kao šemu. Pozivanje alata jeste podržano, a definicija parametara funkcije i jeste JSON Schema. Deklarišite jedan alat nazvan po ekstrakciji koju želite, iznudite ga i pročitajte argumente. Ovo je obično najjača opcija na Inkling-u i ne košta vas ništa dodatno.
3. Podelite posao na dva modela. Neka Inkling odradi viziju i rezonovanje u proznom obliku, pa tu prozu predajte modelu MiMo-V2.5-W8A16 po $0.50 / $2.00 sa pravom json_schema za prolaz strukturiranja. Dva poziva, ali je drugi jeftin i oblikom predvidiv, a model koji mora da bude pametan jeste onaj koji je video sliku.

Opciju 3 preporučili bismo za bilo koji cevovod ekstrakcije velikog obima. Platite premiju samo za korak kome je zaista potrebna.

05Šta se dobija za premiju u ceni?

Po $1.42 ulaz / $6.07 izlaz na milion tokena, Inkling namerno stoji u sredini našeg kataloga. Šest od dvanaest modela je na najnižoj ceni od $0.50 / $2.00. Kimi-K3 — vodeći model, takođe sa vizuelnim ulazom — košta $3.83 / $19.12. Inkling je otprilike trostruko iznad najniže cene na izlazu i otprilike trećina vodećeg modela.

Izlazna cena, USD na 1M tokena, cenovnik Shannon AI gejtveja, septembar 2026. Širina trake srazmerna je ceni; duže znači skuplje.

Evo poštenog čitanja gde se ta premija isplati — a gde ne.

Posao	Koristiti Inkling?	Zašto
Rezonovanje nad grafikonima i dijagramima	Da	Objavljene CharXiv i MMMU Pro brojke pokazuju u čemu je ovaj temelj najjači.
Agenti vođeni snimcima ekrana	Da	Vizija plus pozivanje alata plus 262K istorije u jednom modelu, bez predavanja posla.
Dugi dokumenti sa slikama	Da	Tekst i slike dele jedan dekoder i jedan prozor konteksta.
Generisanje običnog teksta	Ne	Šest modela po $0.50 / $2.00 radi ovo. Plaćate vizuelni put koji nikada ne pozovete.
Masovna ekstrakcija po šemi	Ne	Nema json_schema. MiMo-V2.5 je jeftiniji i ograničen šemom.
Apsolutni vrhunski plafon	Ne	Kimi-K3 je vodeći model. Platite 3.1× ako je plafon ograničenje.
Najjeftinija moguća vizija	Ne	MiniMax-M3 ima viziju po $0.50 / $2.00. Počnite tamo, pa se penjite ako kvalitet natera.

Čitajte to kao pravilo rutiranja, ne kao rang-listu. Inkling odgovara užem opsegu posla nego što bi marketinška stranica tvrdila, a unutar tog opsega teško ga je nadmašiti po ceni. Van njega, radije bismo vam prodali jeftiniji model i zadržali vas.

06Prozor konteksta od 262K i šta u njega zaista staje

Svih dvanaest modela na gejtveju servira se sa ulaznim kontekstom od 262,144 tokena i maksimalnim izlazom od 16,384 tokena po zahtevu. Ujednačeno je namerno: rukovanje kontekstom nikada ne bi trebalo da postane grananje po modelu u vašem kodu, a zamena inkling za MiniMax-M3 u konfiguraciji ne bi smela nečujno da promeni šta staje.

Primetite razliku u odnosu na objavljeni temelj: Thinking Machines dokumentuje Inkling na 1,048,576 tokena, a mi serviramo isečak od 262K. Ako zaista imate posao od milion tokena u jednom zahtevu, nismo endpoint za to, i bolje da to znate pre nego što gradite.

Za osećaj razmere na 262K: tehnički PDF od 400 strana sa slikama, srednje velika baza koda, nekoliko sati transkripta ili duga agentska sesija sa desetinama rezultata alata i nekoliko snimaka ekrana — svaka od tih stvari staje u jedan zahtev. Na vizuelnom modelu ne zaboravite da i slike troše kontekst; gust snimak ekrana nije besplatan, a sesija koja strimuje kadrove puni prozor brže od one sa samim tekstom. Arhitektura ovome dobro odgovara: odnos 5:1 između kliznog prozora i globalnih slojeva znači da većina slojeva gleda u susedstvo od 512 tokena, dok globalni slojevi povremeno vraćaju strukturu dalekog dometa.

07Napor rezonovanja: plaćanje razmišljanja samo kada vam treba

Inkling izlaže upravljiv napor rezonovanja — jedan od korisnijih točkića u katalogu. Uzvodni model prihvata nivoe od none i minimal preko low, medium, high, xhigh, sve do max, izložene na sva tri dijalekta kroz standardni parametar reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Ovo je poluga za troškove sa zubima, jer se tokeni rezonovanja naplaćuju kao izlazni tokeni po $6.07 na milion. Thinking Machines navodi da na Terminal Bench 2.1 Inkling dostiže rezultate uporedive sa Nemotron 3 Ultra uz otprilike trećinu tokena — efikasnost po tokenu je izričit cilj dizajna sistema napora, a ne slučajnost.

U praksi: pustite low ili minimal za potpisivanje slika, klasifikaciju i jednostavnu ekstrakciju, gde je odgovor u slici i nikakav lanac zaključivanja nije potreban. Sačuvajte high i više za rezonovanje nad grafikonima, višekoračno vizuelno poređenje i agentske poteze u kojima je pogrešan međukorak skup. Većina timova taj parametar nikada ni ne podesi i ostavi višestruku razliku u ceni izlaza na stolu.

08Šta ovde znači „bez cenzure“ — a šta ne znači

Konkretno: ovaj model vrtimo bez sloja odbijanja i bez filtriranja izlaza. Nijedan klasifikator ne čita vaš prompt da bi odlučio sme li model da odgovori, i nijedan ne čita odgovor pre nego što krene da se strimuje. Kada je model nesiguran ili mu nedostaje znanje, on to kaže — to je model, a ne politika. Ono što nećete dobiti jeste refleksno odbijanje teme koju proizvod za široku potrošnju tretira kao zabranjenu.

Kod vizije je to čitava vrednosna ponuda. Klasifikatori slika ispred vizuelnih API-ja neprecizni su, a stopa lažnih uzbuna najteže pogađa upravo profesionalni posao kome je ta sposobnost najpotrebnija: bezbednosna istraživanja, klinički konteksti, novinarstvo i forenzika, filmska i umetnička kritika, alati za moderaciju koji moraju da pogledaju ono što moderiraju. Endpoint koji odbija po kategoriji ne može pouzdano da posluži nijedan od tih poslova.

Dve poštene ograde. Prvo, Thinking Machines objavljuje bezbednosne procene za svoju referentnu postavku — 78.0% na FORTRESS adversarial, 95.9% na FORTRESS benign, 98.6% na StrongREJECT. Te brojke opisuju njihov stek sa njihovim zaštitama na mestu. One ne opisuju naš, i nećemo ih navoditi kao da opisuju. Uklonili smo sloj koji te brojke delimično i mere; to je proizvod, i odgovornost.

Drugo, „bez sloja odbijanja“ nije „bez pravila“. Shannon Lab LLC posluje u skladu sa Politikom odgovorne upotrebe i važećim američkim zakonom. Uklanjanje klasifikatora prebacuje procenu na vas, ne briše je. Ako gradite na ovome, pročitajte politiku pre nego što se raširite.

09Kako početi

Isti bazni URL, isti ključ, tri dijalekta. Ako vaš kod već zove OpenAI, Anthropic ili Responses API, promena stringa modela obično je čitava migracija.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Pun pregled parametara, oblici za /v1/messages i /v1/responses, formati događaja u strimingu i živo igralište nalaze se u API dokumentaciji. Kartice modela za ostalih jedanaest modela su u Shannon Research.

Brojke o temelju su objavljeni podaci laboratorije Thinking Machines Lab za nekvantizovanu Inkling kontrolnu tačku i opisuju plafon porodice, a ne našu kvantizovanu verziju. Cene i oznake sposobnosti su vrednosti iz cenovnika Shannon AI gejtveja na dan septembar 2026.

10Često postavljana pitanja

---

Izvori: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — beleške o arhitekturi i merilima Inkling-a. Merila temelja objavila je laboratorija, za nekvantizovanu kontrolnu tačku.