Inkling API bez cenzury

Většina z dvanácti modelů na naší bráně je čistě textová. Čtyři nejsou a mezi těmi čtyřmi zaujímá Inkling konkrétní pozici: je to vision model, po kterém sáhnete, když je tím těžkým na úloze obrázek, ale rozpočet nestačí na vlajkovou loď. Tahle karta popisuje, odkud základ pochází, co s ním udělala přípona W4A16-AUTOROUND-REAP, co na rozhraní API udělá a co ne — a upřímně i to, kdy je lepší volbou levnější model ze stejné nabídky.

01Co je Inkling a kdo ho postavil?

Inkling je první model s otevřenými váhami od Thinking Machines Lab, zveřejněný 15. července 2026. Na rozdíl od většiny vydání, která se prezentují jako „otevřená“, přišel s plně stažitelnými váhami na Hugging Face a s podporou v transformers, SGLangu, vLLM a llama.cpp od prvního dne — což je vůbec důvod, proč je spustitelný na infrastruktuře, jako je ta naše. Hlavní čísla podle vlastních materiálů Thinking Machines k vydání:

Jde o řídké uspořádání Mixture-of-Experts: 66 dekodérových vrstev se skrytou dimenzí 6 144, první dvě husté, zbývajících 64 nese 256 routovaných expertů plus 2 sdílené, přičemž na token je aktivních 6 routovaných expertů. Na libovolném tokenu se zapojí zhruba 4 % parametrů — a právě to dělá model s téměř bilionem parametrů vůbec obsluhovatelným.

Dvě architektonická rozhodnutí jsou natolik neobvyklá, že si zaslouží jméno. Pozornost je proložená — 55 vrstev pozornosti s posuvným oknem o 512 tokenech proti 11 globálním vrstvám, v opakujícím se poměru 5:1. A Inkling nepoužívá RoPE: používá naučenou relativní poziční předpojatost závislou na vstupu, spolu s krátkými kauzálními konvolucemi na projekcích klíč/hodnota a na reziduálních větvích. Architektonické poznámky Sebastiana Raschky označují obojí za skutečný odklon od standardního receptu roku 2026. Trénink použil Muon pro velké maticové parametry a Adam pro zbytek, následovaný více než 30 miliony asynchronních RL rolloutů v posttréninku.

Pro konzumenta API není podstatná ta trivia. Podstatné je, že jde o nativně multimodální základ na frontier úrovni, trénovaný na 45 bilionech tokenů zahrnujících text, obrázky, zvuk a video — ne o textový model, na který se později přišrouboval vision adaptér. Obrázky se kódují jako dlaždice 40×40 pixelů čtyřvrstvým hierarchickým MLP patchifierem a zpracovávají se společně s textem v témže dekodéru. Porozumění obrazu bylo součástí předtrénovacího cíle.

02Co znamená W4A16-AUTOROUND-REAP?

V té příponě jsou naskládané tři samostatné techniky a každá dělá jinou práci. Stojí za to jim rozumět, protože ta přípona je největší jediný rozdíl mezi modelem, který voláte na našem API, a checkpointem, který zveřejnila Thinking Machines.

REAP — prořezání expertů, ke kterým nikdo neroutuje

REAP je Router-weighted Expert Activation Pruning od Cerebras Research (arXiv 2510.13999, přijato na ICLR 2026). V MoE s 256 experty na vrstvu router práci nerozděluje rovnoměrně: na některé experty se sahá neustále, jiní se aktivují zřídka a když ano, přispějí málo. REAP hodnotí každého experta zároveň podle hodnot hradel routeru a podle norem aktivací experta — expert vybíraný často, ale přispívající aktualizacemi malé magnitudy, znamená méně, než kolik naznačuje počet jeho výběrů — a ty s nízkou saliencí zahodí naráz, ještě před kvantizací.

Důvod, proč používáme prořezávání místo módnějšího slučování expertů, je ten, že se obojí rozchází podle typu úlohy. Slučování vypadá konkurenceschopně na diskriminativních benchmarcích a rozpadá se na generativních. Autoři REAPu uvádějí, že prořezávání drží kvalitu lépe přesně na těch zátěžích, kvůli kterým si lidé API kupují — syntéza kódu, volání nástrojů, víceotáčkové uvažování — při kompresních poměrech přes 50 % a napříč modely od 20B do 1T parametrů. Slučování ničí specializaci routeru; prořezávání nechává přeživší experty i routing mezi nimi nedotčené.

AutoRound — naučit se, kam zaokrouhlit

AutoRound je metoda potréninkové kvantizace od Intelu (arXiv 2309.05516, publikováno jako SignRound). Naivní kvantizace zaokrouhlí každou váhu na nejbližší reprezentovatelnou 4bitovou hodnotu — rozumný výchozí postup a špatný ve velkém, protože chyby zaokrouhlení nejsou nezávislé a hromadí se napříč 66vrstvým zásobníkem. AutoRound bere rozhodnutí o zaokrouhlení jako něco, co se dá optimalizovat: znaménkový gradientní sestup během pár set kroků společně ladí směr zaokrouhlení a rozsahy ořezu vah, čímž si půjčuje přesnost tréninku s ohledem na kvantizaci bez nutnosti přetrénovat. Intel uvádí největší přínosy při extrémně nízkých bitových hloubkách a konkurenceschopný náskok na INT4.

W4A16 — kam jdou bity

W4A16 je číselný formát: 4bitové váhy, 16bitové aktivace. Váhy — které v modelu s 975B parametry dominují paměti — se smrsknou zhruba na čtvrtinu stopy BF16, zatímco aritmetika zůstává na 16 bitech. Tohle rozdělení má pro vision model zvláštní význam: schémata s kvantizovanými aktivacemi poškozují přesně tu jemnozrnnou numerickou práci, na které porozumění obrazu stojí — přečíst malý popisek osy, rozlišit tenkou čáru v diagramu, oddělit dva podobné odstíny. Ponechání aktivací na 16 bitech stojí propustnost a kupuje zpět přesnost tam, kde si toho vision zátěž všimne.

Dohromady dávají ty tři techniky model, který se vejde a zůstane rychlý, bez propadu kvality, který má agresivnější tier 3BIT-REAP používaný na těch úplně největších základech. To je ten obchod, který se odráží v ceně.

03Vidění: API pro analýzu obrázků bez odmítání

Inkling je jedním ze čtyř modelů v naší nabídce, které umí zpracovat obraz, vedle Kimi-K3, Kimi-K2.6 a MiniMax-M3. Zveřejněné vision výsledky základního modelu z vydání Thinking Machines jsou 73,3 % na MMMU Pro (Standard 10) a 78,1 % na otázkách uvažování v CharXiv — s růstem na 82,0 %, když model smí proti grafu spustit Python. To jsou vlastní čísla laboratoře pro nekvantizovaný checkpoint; berte je jako strop rodiny, ne jako měření našeho buildu.

CharXiv stojí za delší zastavení, protože ukazuje, proč si lidé kupují vision API místo OCR služby. Testuje uvažování nad vědeckými grafy — odečíst hodnotu z osy, porovnat dvě řady, všimnout si obratu trendu. Ne „jaký text je na tomto obrázku“, ale „co tenhle graf tvrdí a platí to tvrzení“. To je důvod, proč poslat obrázek modelu s 975B parametry, který umí uvažovat, místo malému popisovači.

Odeslání obrázku je běžná práce kompatibilní s OpenAI — část obsahu image_url na /v1/chat/completions, blok image ve stylu Anthropicu na /v1/messages nebo ekvivalent na /v1/responses. Všechny tři dialekty míří na tytéž váhy a všechny tři streamují; vezměte ten, kterým už vaše SDK mluví. Hotový příklad je v sekci 09.

Ta část „bez cenzury“ znamená u obrazu víc než u textu. Vrstva odmítání na vision endpointu je nezvykle hrubá, protože typicky klasifikuje obrázek dřív, než model o požadavku vůbec uvažoval. Legitimní práce se do ní chytá neustále: fotografie rány v pipeline klinických záznamů, forenzní snímek obrazovky v zápisu o incidentu, snímek z filmu rozebíraný v kritice, lékařský sken, obrázek dokumentu, na kterém náhodou je jméno. Inkling na naší bráně žádný takový klasifikátor před sebou nemá. Podívá se na to, co jste poslali, a odpoví na otázku, kterou jste položili. To je ten produkt.

04Strukturovaný výstup: response_format ano, json_schema ne

Tohle je jediné místo, kde je Inkling méně schopný než většina nabídky, a je lepší s tím počítat, než to objevit v produkci.

Schopnost	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Vidění (obrazový vstup)	Ano	Ano	Ano	Ne
response_format	Ano	Ano	Ano	Ne
json_schema	Ne	Ano	Ano	Ne
Volání nástrojů	Ano	Ano	Ano	Ano
Míra uvažování	Ano	Ano	Ano	Ano

response_format: {"type": "json_object"} funguje — dostanete syntakticky validní JSON. Co nedostanete, je dekódování omezené gramatikou proti schématu, které dodáte, kde je sampler fyzicky vyloučen z vydání tokenu, který porušuje vaši strukturu. Názvy polí, příslušnost k enumu a přítomnost povinných klíčů jsou volbou modelu, ne zárukou.

Tři způsoby, jak s tím žít, ve vzestupném pořadí spolehlivosti:

1. Dejte schéma do promptu a validujte. Vložte schéma do systémového promptu jako doslovný JSON, nastavte response_format na json_object a odpověď si validujte u sebe. Při selhání validace zopakujte dotaz s připojenou chybovou hláškou validátoru. Levné, funguje to, potřebuje to rozpočet na opakování.
2. Použijte definici nástroje jako schéma. Volání nástrojů podporováno je a definice parametrů funkce je JSON Schema. Deklarujte jediný nástroj pojmenovaný podle extrakce, kterou chcete, vynuťte si ho a přečtěte argumenty. Tohle je na Inklingu obvykle nejsilnější varianta a nestojí vás to nic navíc.
3. Rozdělte práci mezi dva modely. Nechte Inkling udělat vidění a uvažování v próze a tu prózu pak předejte modelu MiMo-V2.5-W8A16 za $0.50 / $2.00 se skutečným json_schema na strukturovací průchod. Dvě volání, ale to druhé je levné, tvarově deterministické, a model, který musí být chytrý, je ten, který viděl obrázek.

Variantu 3 bychom doporučili pro jakoukoli extrakční pipeline s velkým objemem. Prémii plaťte jen za krok, který ji potřebuje.

05Co si za tu cenovou prémii koupíte?

Za $1.42 vstup / $6.07 výstup za milion tokenů leží Inkling záměrně uprostřed naší nabídky. Šest z dvanácti modelů je na spodní hranici $0.50 / $2.00. Kimi-K3 — vlajková loď, rovněž se zpracováním obrazu — stojí $3.83 / $19.12. Inkling je zhruba trojnásobek spodní hranice na výstupu a zhruba třetina vlajkové lodi.

Cena výstupu, USD za 1M tokenů, ceníkové sazby brány Shannon AI, září 2026. Šířka pruhu je úměrná ceně; delší znamená dražší.

Tady je poctivé čtení toho, kde se ta prémie vyplatí — a kde ne.

Zátěž	Použít Inkling?	Proč
Uvažování nad grafy a diagramy	Ano	Zveřejněná čísla z CharXiv a MMMU Pro jsou tím, v čem je tenhle základ nejsilnější.
Agenti řízení snímky obrazovky	Ano	Vidění plus volání nástrojů plus 262K historie v jednom modelu, bez předávání.
Dlouhé dokumenty s obrázky	Ano	Text a obrázky sdílejí jeden dekodér a jedno kontextové okno.
Generování prostého textu	Ne	Tohle zvládne šest modelů za $0.50 / $2.00. Platili byste za vision cestu, kterou nikdy nezavoláte.
Hromadná extrakce podle schématu	Ne	Žádné json_schema. MiMo-V2.5 je levnější a omezený schématem.
Absolutní frontier strop	Ne	Vlajkovou lodí je Kimi-K3. Zaplaťte 3,1× víc, pokud je omezením strop.
Nejlevnější možné vidění	Ne	MiniMax-M3 umí obraz za $0.50 / $2.00. Začněte tam a eskalujte, až vás k tomu donutí kvalita.

Čtěte to jako pravidlo pro routing, ne jako žebříček. Inkling je správný pro užší pásmo práce, než by tvrdila marketingová stránka, a uvnitř toho pásma se cenově těžko poráží. Mimo něj vám raději prodáme levnější model a udržíme si vás.

06Kontextové okno 262K a co se do něj opravdu vejde

Všech dvanáct modelů na bráně je servírováno se vstupním kontextem 262 144 tokenů a maximálním výstupem 16 384 tokenů na požadavek. Jednotně a záměrně: práce s kontextem by se nikdy neměla stát větvením podle modelu ve vašem kódu a záměna inkling za MiniMax-M3 v konfiguračním souboru by neměla tiše změnit, co se vejde.

Všimněte si rozdílu oproti zveřejněnému základu: Thinking Machines dokumentuje u Inklingu 1 048 576 tokenů a my z toho servírujeme výřez 262K. Pokud máte skutečnou zátěž s milionem tokenů v jednom požadavku, nejsme pro ni ten správný endpoint — a lepší, když to víte, než začnete stavět.

Pro představu o měřítku při 262K: technické PDF o 400 stranách i s obrázky, středně velká kódová báze, několik hodin přepisu nebo dlouhá agentní session nesoucí desítky výsledků nástrojů a pár snímků obrazovky — každé z toho se vejde do jednoho požadavku. U vision modelu pamatujte, že kontext spotřebovávají i obrázky; hustý snímek obrazovky není zdarma a session, která streamuje snímky, zaplní okno rychleji než čistě textová. Architektura tomu dobře vyhovuje: poměr 5:1 mezi posuvným oknem a globálními vrstvami znamená, že většina vrstev pozoruje v okolí 512 tokenů, zatímco globální vrstvy periodicky vtahují zpět strukturu na dlouhou vzdálenost.

07Míra uvažování: platit za přemýšlení jen tehdy, když ho potřebujete

Inkling nabízí řiditelnou míru uvažování — jeden z užitečnějších knoflíků v nabídce. Původní model přijímá úrovně od none a minimal přes low, medium, high, xhigh až po max, vystavené ve všech třech dialektech standardním parametrem reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Tohle je cenová páka, která opravdu kouše, protože tokeny uvažování se účtují jako výstupní tokeny za $6.07 za milion. Thinking Machines uvádí, že na Terminal Bench 2.1 dosahuje Inkling skóre srovnatelných s Nemotronem 3 Ultra při zhruba třetině tokenů — tokenová efektivita je deklarovaným návrhovým cílem systému míry uvažování, ne náhodou.

V praxi: pro popisování obrázků, klasifikaci a přímočarou extrakci, kde je odpověď v obrázku a není potřeba žádný řetězec úvah, jeďte na low nebo minimal. high a výš si nechte na uvažování nad grafy, vícekrokové vizuální porovnávání a agentní tahy, kde je špatný mezikrok drahý. Většina týmů ten parametr nikdy nenastaví a nechá tím ležet několikanásobný rozdíl v ceně výstupu.

08Co tady „bez cenzury“ znamená — a co ne

Konkrétně: tenhle model provozujeme bez vrstvy odmítání a bez filtrování výstupu. Žádný klasifikátor nečte váš prompt a nerozhoduje, jestli model smí odpovědět, a žádný nečte odpověď, než se odstreamuje. Když si model není jistý nebo mu chybí znalost, řekne to — to je model, ne politika. Co nedostanete, je reflexivní odmítnutí u tématu, které běžný spotřebitelský produkt považuje za zapovězené.

U vidění je tohle celá hodnotová nabídka. Klasifikátory obrázků před vision API jsou nepřesné a míra falešných poplachů dopadá nejtvrději na profesionální práci, která tu schopnost potřebuje nejvíc: bezpečnostní výzkum, klinické kontexty, žurnalistika a forenzika, filmová a umělecká kritika, moderátorské nástroje, které se musí podívat na to, co moderují. Endpoint, který odmítá podle kategorie, nemůže spolehlivě obsloužit nic z toho.

Dvě poctivé výhrady. Zaprvé, Thinking Machines zveřejňuje bezpečnostní vyhodnocení pro své referenční nasazení — 78,0 % na FORTRESS adversarial, 95,9 % na FORTRESS benign, 98,6 % na StrongREJECT. Ta čísla popisují jejich stack s jejich zábranami na místě. Nepopisují ten náš a nebudeme je citovat, jako by ano. Odstranili jsme vrstvu, kterou ta čísla zčásti měří; to je ten produkt i ta zodpovědnost.

Zadruhé, „žádná vrstva odmítání“ neznamená „žádná pravidla“. Shannon Lab LLC funguje pod Zásadami odpovědného použití a podle platného práva USA. Odstranění klasifikátoru přesouvá úsudek na vás, nemaže ho. Pokud na tomhle stavíte, přečtěte si zásady dřív, než začnete škálovat.

09Jak začít

Stejná base URL, stejný klíč, tři dialekty. Pokud váš kód už volá OpenAI, Anthropic nebo Responses API, změna řetězce s modelem je obvykle celá migrace.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Úplnou referenci parametrů, tvary /v1/messages a /v1/responses, formáty streamovaných událostí a živé hřiště najdete v dokumentaci API. Karty modelů pro zbývajících jedenáct modelů jsou v Shannon Research.

Čísla o základu jsou publikované hodnoty Thinking Machines Lab pro nekvantizovaný checkpoint Inklingu a popisují strop rodiny, ne náš kvantizovaný build. Ceny a příznaky schopností jsou ceníkové hodnoty brány Shannon AI k září 2026.

10Často kladené otázky

---

Zdroje: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — poznámky k architektuře a benchmarkům Inklingu. Benchmarky základu jsou hodnoty uváděné laboratoří pro nekvantizovaný checkpoint.