Necenzurované API modelu Inkling

Väčšina z dvanástich modelov na našej bráne je čisto textová. Štyri nie sú a medzi tými štyrmi zastáva Inkling konkrétnu pozíciu: je to model s videním, po ktorom siahnete, keď je ťažkou časťou problému obrázok, ale rozpočet nesiaha na vlajkovú loď. Tento sprievodca pokrýva, odkiaľ základ pochádza, čo s ním urobila prípona W4A16-AUTOROUND-REAP, čo na povrchu API urobí a čo nie, a — poctivo — kedy je lepšou voľbou lacnejší model z toho istého katalógu.

01Čo je Inkling a kto ho postavil?

Inkling je prvý model s otvorenými váhami od Thinking Machines Lab, zverejnený 15. júla 2026. Na rozdiel od väčšiny vydaní pozicionovaných ako „otvorené“ prišiel s plne stiahnuteľnými váhami na Hugging Face a s podporou v transformers, SGLang, vLLM a llama.cpp od nultého dňa — a práve preto sa vôbec dá prevádzkovať na infraštruktúre, akú máme my. Hlavné čísla, z vlastných materiálov Thinking Machines k vydaniu:

To je riedke usporiadanie typu Mixture-of-Experts: 66 dekodérových vrstiev pri skrytom rozmere 6 144, prvé dve husté, zvyšných 64 nesie 256 smerovaných expertov plus 2 zdieľaných, so 6 smerovanými expertmi aktívnymi na token. Na ktoromkoľvek tokene sa zapália zhruba 4 % parametrov — a práve to robí model s takmer biliónom parametrov vôbec servírovateľným.

Dve architektonické rozhodnutia sú dosť nezvyčajné na to, aby sme ich pomenovali. Pozornosť je prekladaná — 55 vrstiev pozornosti s posuvným oknom šírky 512 tokenov oproti 11 globálnym vrstvám, v opakujúcom sa vzore 5:1. A Inkling nepoužíva RoPE: používa naučenú, na vstupe závislú relatívnu polohovú predpojatosť, popri krátkych kauzálnych konvolúciách na projekciách kľúčov a hodnôt a na reziduálnych vetvách. Architektonické poznámky Sebastiana Raschku označujú oboje za skutočný odklon od štandardného receptu roku 2026. Tréning použil Muon na veľké maticové parametre a Adam na zvyšok, po ktorom v potréningu nasledovalo vyše 30 miliónov asynchrónnych RL rolloutov.

Pointa pre spotrebiteľa API nie je v tých zaujímavostiach. Je v tom, že ide o natívne multimodálny základ v špičkovej mierke, trénovaný na 45 biliónoch tokenov zahŕňajúcich text, obrázky, zvuk a video — nie o textový model s dodatočne priskrutkovaným vizuálnym adaptérom. Obrázky sa kódujú ako záplaty 40 × 40 pixelov cez štvorvrstvový hierarchický MLP patchifier a spracúvajú sa spoločne s textom v tom istom dekodéri. Vizuálne porozumenie bolo súčasťou predtréningového cieľa.

02Čo znamená W4A16-AUTOROUND-REAP?

V tej prípone sú naskladané tri samostatné techniky a každá robí inú prácu. Oplatí sa im rozumieť, lebo tá prípona je jediným najväčším rozdielom medzi modelom, ktorý voláte na našom API, a checkpointom, ktorý zverejnili Thinking Machines.

REAP — prerezanie expertov, na ktorých nikto nesmeruje

REAP je Router-weighted Expert Activation Pruning z Cerebras Research (arXiv 2510.13999, prijaté na ICLR 2026). V MoE s 256 expertmi na vrstvu smerovač prácu nerozdeľuje rovnomerne: niektorých expertov trafí neustále, iní sa zapália zriedka a keď už, prispejú málo. REAP hodnotí každého experta podľa oboch signálov — hodnôt brány smerovača aj noriem aktivácií experta — pretože expert vyberaný často, ale prispievajúci aktualizáciami malej magnitúdy, znamená menej, než by jeho počet výberov naznačoval — a tých s nízkou výraznosťou odstráni jediným zásahom, pred kvantizáciou.

Dôvod, prečo používame prerezávanie namiesto módnejšieho zlučovania expertov, je ten, že sa oba prístupy rozchádzajú podľa typu úlohy. Zlučovanie vyzerá konkurencieschopne na diskriminatívnych benchmarkoch a rozpadá sa na generatívnych. Autori REAP uvádzajú, že prerezávanie zachováva kvalitu lepšie presne na tých záťažiach, kvôli ktorým si ľudia API kupujú — syntéza kódu, volanie nástrojov, viackolové uvažovanie — pri kompresných pomeroch nad 50 %, naprieč modelmi od 20 miliárd po bilión parametrov. Zlučovanie ničí špecializáciu smerovača; prerezávanie ponechá tých, čo prežili, aj smerovanie medzi nimi nedotknuté.

AutoRound — naučiť sa, kde zaokrúhliť

AutoRound je metóda kvantizácie po tréningu od Intelu (arXiv 2309.05516, publikovaná ako SignRound). Naivná kvantizácia zaokrúhli každú váhu na najbližšiu reprezentovateľnú 4-bitovú hodnotu — rozumná predvoľba a zlá voľba vo veľkej mierke, lebo chyby zaokrúhlenia nie sú nezávislé a v 66-vrstvovom stohu sa kumulujú. AutoRound berie rozhodnutie o zaokrúhlení ako niečo, čo sa dá optimalizovať: znamienkový gradientový zostup počas niekoľkých stoviek krokov spoločne ladí smer zaokrúhľovania aj orezávacie rozsahy váh a preberá tak presnosť tréningu s vedomím kvantizácie bez pretrénovania. Intel uvádza najväčšie zisky pri extrémne nízkych bitových nastaveniach a konkurenčnú výhodu pri INT4.

W4A16 — kam idú bity

W4A16 je numerický formát: 4-bitové váhy, 16-bitové aktivácie. Váhy — ktoré v modeli s 975 miliardami parametrov dominujú pamäti — sa zmrštia zhruba na štvrtinu BF16 stopy, kým aritmetika zostáva v 16 bitoch. Toto rozdelenie je dôležité práve pri modeli s videním: schémy s kvantizovanými aktiváciami poškodzujú presne tú jemnú numerickú prácu, na ktorej porozumenie obrázkom stojí — prečítanie malého popisku osi, rozlíšenie tenkej čiary v schéme, odlíšenie dvoch podobných odtieňov. Ponechanie aktivácií v 16 bitoch stojí priepustnosť a kupuje späť presnosť tam, kde si to vizuálna záťaž všimne.

Naskladané spolu dávajú tie tri model, ktorý sa zmestí a zostane rýchly bez prepadu kvality, aký prináša agresívna úroveň 3BIT-REAP, ktorú používame na tie úplne najväčšie základy. To je výmena, ktorú cena odráža.

03Videnie: API na analýzu obrázkov bez odmietania

Inkling je jedným zo štyroch modelov s videním v našom katalógu, popri Kimi-K3, Kimi-K2.6 a MiniMax-M3. Zverejnené vizuálne výsledky základného modelu z vydania Thinking Machines sú 73,3 % na MMMU Pro (Standard 10) a 78,1 % na otázkach uvažovania CharXiv — a stúpajú na 82,0 %, keď model smie na graf spustiť Python. To sú vlastné čísla laboratória pre nekvantizovaný checkpoint; berte ich ako strop rodiny, nie ako meranie nášho buildu.

Zastaviť sa oplatí pri CharXiv, lebo mapuje presne to, prečo si ľudia kupujú API s videním namiesto OCR služby. Testuje uvažovanie nad vedeckými grafmi — odčítanie hodnoty z osi, porovnanie dvoch sérií, všimnutie si obratu trendu. Nie „aký text je na tomto obrázku“, ale „čo tento graf tvrdí a obstojí to tvrdenie“. Práve to ospravedlňuje poslanie obrázka modelu s 975 miliardami parametrov namiesto malému popisovaču.

Poslanie obrázka je bežná práca kompatibilná s OpenAI — obsahová časť image_url na /v1/chat/completions, blok image v štýle Anthropic na /v1/messages, alebo ekvivalent na /v1/responses. Všetky tri dialekty adresujú tie isté váhy a všetky tri streamujú; vyberte si ten, ktorým vaše SDK už hovorí. Rozpracovaný príklad je v sekcii 09.

Necenzurovanosť je pri videní dôležitejšia než pri texte. Vrstva odmietania na koncovom bode s videním je nezvyčajne tupá, lebo typicky klasifikuje obrázok skôr, než model o požiadavke vôbec uvažoval. Legitímna práca sa do nej chytá neustále: fotografia rany v pipeline klinických záznamov, forenzná snímka obrazovky v zázname o incidente, záber z filmu analyzovaný pre kritiku, medicínsky sken, obrázok dokumentu, na ktorom náhodou je meno. Inkling na našej bráne pred sebou žiadny taký klasifikátor nemá. Pozrie sa na to, čo ste poslali, a odpovie na otázku, ktorú ste položili. To je ten produkt.

04Štruktúrovaný výstup: response_format áno, json_schema nie

Toto je jediné miesto, kde je Inkling menej schopný než väčšina katalógu, a je lepšie s tým rátať, než to objaviť v produkcii.

Schopnosť	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Videnie (obrazový vstup)	Áno	Áno	Áno	Nie
response_format	Áno	Áno	Áno	Nie
json_schema	Nie	Áno	Áno	Nie
Volanie nástrojov	Áno	Áno	Áno	Áno
Úsilie na uvažovanie	Áno	Áno	Áno	Áno

response_format: {"type": "json_object"} funguje — dostanete syntakticky platný JSON. Čo nedostanete, je gramatikou obmedzené dekódovanie voči schéme, ktorú dodáte, kde je sampleru fyzicky znemožnené vydať token porušujúci vašu štruktúru. Názvy polí, príslušnosť do enumu a prítomnosť povinných kľúčov sú voľbou modelu, nie zárukou.

Tri spôsoby, ako s tým žiť, vo vzostupnom poradí spoľahlivosti:

1. Schému dajte do promptu a validujte. Vložte schému do systémového promptu ako doslovný JSON, nastavte response_format na json_object a odpoveď validujte na svojej strane. Pri zlyhaní validácie opakujte s pripojenou chybovou hláškou validátora. Lacné, funguje, vyžaduje rozpočet na opakovania.
2. Použite definíciu nástroja ako schému. Volanie nástrojov podporované je a definícia parametrov funkcie je JSON schéma. Deklarujte jediný nástroj pomenovaný podľa extrakcie, ktorú chcete, vynúťte ho a prečítajte argumenty. Na Inklingu je to zvyčajne najsilnejšia možnosť a nestojí vás nič navyše.
3. Rozdeľte prácu medzi dva modely. Nechajte Inkling urobiť videnie a uvažovanie v próze a tú prózu potom podajte modelu MiMo-V2.5-W8A16 za 0,50 $ / 2,00 $ so skutočnou json_schema na štruktúrovací priechod. Dve volania, ale druhé je lacné, tvarovo deterministické a model, ktorý musí byť múdry, je ten, čo videl obrázok.

Možnosť 3 je vzorec, ktorý by sme odporučili pre akúkoľvek objemovú extrakčnú pipeline. Prirážku plaťte len za krok, ktorý ju potrebuje.

05Čo si za cenovú prirážku kúpite?

Pri 1,42 $ vstup / 6,07 $ výstup na milión tokenov sedí Inkling zámerne v strede nášho katalógu. Šesť z dvanástich modelov je na dne 0,50 $ / 2,00 $. Kimi-K3 — vlajková loď, tiež s videním — je za 3,83 $ / 19,12 $. Inkling je zhruba trojnásobkom dna na výstupe a zhruba tretinou vlajkovej lode.

Cena výstupu, USD za 1M tokenov, cenníkové sadzby brány Shannon AI, september 2026. Šírka pruhu je úmerná cene; dlhší znamená drahší.

Tu je poctivé čítanie toho, kde si tá prirážka zaslúži svoje — a kde nie.

Záťaž	Použiť Inkling?	Prečo
Uvažovanie nad grafmi a schémami	Áno	Zverejnené čísla CharXiv a MMMU Pro sú tým, v čom je tento základ najsilnejší.
Agenti riadení snímkami obrazovky	Áno	Videnie plus volanie nástrojov plus 262K histórie v jednom modeli, bez odovzdávania.
Dlhé dokumenty s obrázkami	Áno	Text a obrázky zdieľajú jeden dekodér a jedno kontextové okno.
Generovanie čistého textu	Nie	Toto zvládne šesť modelov za 0,50 $ / 2,00 $. Platíte za vizuálnu cestu, ktorú nikdy nezavoláte.
Hromadná extrakcia podľa schémy	Nie	Žiadna json_schema. MiMo-V2.5 je lacnejší a obmedzený schémou.
Absolútny špičkový strop	Nie	Vlajkovou loďou je Kimi-K3. Zaplaťte 3,1-násobok, ak je obmedzením strop.
Čo najlacnejšie videnie	Nie	MiniMax-M3 má videnie za 0,50 $ / 2,00 $. Začnite tam a eskalujte, ak vás kvalita donúti.

Čítajte to ako pravidlo smerovania, nie ako rebríček. Inkling je správny pre užší pás práce, než by tvrdila marketingová stránka, a vnútri toho pásu sa cenou ťažko poráža. Mimo neho vám radšej predáme lacnejší model a udržíme si vás.

06Kontextové okno 262K a čo sa doň naozaj zmestí

Všetkých dvanásť modelov na bráne je servírovaných so vstupným kontextom 262 144 tokenov a maximálnym výstupom 16 384 tokenov na požiadavku. Jednotne, a zámerne: práca s kontextom by sa vo vašom kóde nikdy nemala stať vetvením podľa modelu a výmena inkling za MiniMax-M3 v konfiguračnom súbore by nemala ticho zmeniť to, čo sa zmestí.

Všimnite si rozdiel oproti zverejnenému základu: Thinking Machines dokumentujú Inkling na 1 048 576 tokenoch a my servírujeme výsek 262K. Ak máte skutočnú záťaž s miliónom tokenov v jednej požiadavke, nie sme pre ňu tým správnym koncovým bodom, a je lepšie, aby ste to vedeli, než začnete stavať.

Pre predstavu o mierke 262K: 400-stranové technické PDF aj s obrázkami, stredne veľká kódová báza, niekoľko hodín prepisu alebo dlhé agentské sedenie nesúce desiatky výsledkov nástrojov a hŕstku snímok obrazovky — každé sa zmestí do jednej požiadavky. Pri modeli s videním pamätajte, že aj obrázky spotrebúvajú kontext; hustá snímka obrazovky nie je zadarmo a sedenie streamujúce snímky zaplní okno rýchlejšie než čisto textové. Architektúra sa na to hodí dobre: vzor posuvných a globálnych vrstiev 5:1 znamená, že väčšina vrstiev pozerá v susedstve 512 tokenov, kým globálne vrstvy periodicky vťahujú štruktúru na dlhé vzdialenosti späť.

07Úsilie na uvažovanie: za myslenie platiť, len keď ho treba

Inkling vystavuje riaditeľné úsilie na uvažovanie — jeden z užitočnejších gombíkov v katalógu. Pôvodný model prijíma úrovne od none a minimal cez low, medium, high, xhigh až po max, vystavené na všetkých troch dialektoch cez štandardný parameter reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Toto je nákladová páka so zubami, lebo tokeny uvažovania sa účtujú ako výstupné tokeny za 6,07 $ za milión. Thinking Machines uvádzajú, že na Terminal Bench 2.1 dosahuje Inkling skóre porovnateľné s Nemotron 3 Ultra pri zhruba tretine tokenov — tokenová efektívnosť je deklarovaným cieľom návrhu systému úsilia, nie náhodou.

V praxi: low alebo minimal na popisovanie, klasifikáciu a priamočiaru extrakciu, kde je odpoveď v obrázku a žiadna reťaz odvodzovania netreba. high a vyššie si nechajte na uvažovanie nad grafmi, viackrokové vizuálne porovnávanie a agentské kolá, kde je nesprávny medzikrok drahý. Väčšina tímov ten parameter vôbec nenastaví a nechá na stole niekoľkonásobný rozdiel v cene výstupu.

08Čo tu znamená „necenzurované“ — a čo nie

Konkrétne: tento model prevádzkujeme bez vrstvy odmietania a bez filtrovania výstupu. Žiadny klasifikátor nečíta váš prompt a nerozhoduje, či model smie odpovedať, a žiadny nečíta odpoveď skôr, než sa odstreamuje. Keď si model nie je istý alebo mu chýbajú znalosti, povie to — to je model, nie politika. Čo nedostanete, je reflexívne odmietnutie témy, ktorú všeobecný spotrebiteľský produkt považuje za zakázanú.

Pri videní je to celá hodnotová ponuka. Klasifikátory obrázkov pred API s videním sú nepresné a miera falošne pozitívnych dopadá najtvrdšie na profesionálnu prácu, ktorá tú schopnosť najviac potrebuje: bezpečnostný výskum, klinické kontexty, žurnalistiku a forenziku, filmovú a umeleckú kritiku, nástroje na moderovanie, ktoré sa musia pozrieť na to, čo moderujú. Koncový bod, ktorý odmieta podľa kategórie, nevie spoľahlivo obslúžiť ani jedno z toho.

Dve poctivé výhrady. Po prvé, Thinking Machines zverejňujú bezpečnostné vyhodnotenia pre svoje referenčné nasadenie — 78,0 % na FORTRESS adversarial, 95,9 % na FORTRESS benign, 98,6 % na StrongREJECT. Tie čísla opisujú ich stack s ich zábradliami na mieste. Neopisujú náš a nebudeme ich citovať, akoby áno. Odstránili sme vrstvu, ktorú tie čísla sčasti merajú; to je ten produkt aj tá zodpovednosť.

Po druhé, „žiadna vrstva odmietania“ nie je „žiadne pravidlá“. Shannon Lab LLC pôsobí podľa zásad zodpovedného používania a platného práva USA. Odstránenie klasifikátora presúva úsudok na vás, nemaže ho. Ak na tomto staviate, prečítajte si zásady skôr, než budete škálovať.

09Ako začať

Tá istá základná URL, ten istý kľúč, tri dialekty. Ak váš kód už volá OpenAI, Anthropic alebo Responses API, zmena reťazca modelu je zvyčajne celou migráciou.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Úplná referencia parametrov, tvary /v1/messages a /v1/responses, formáty streamovacích udalostí a živé ihrisko sú v dokumentácii API. Sprievodcovia ostatnými jedenástimi modelmi sú v Shannon Research.

Údaje o základe sú zverejnené čísla Thinking Machines Lab pre nekvantizovaný checkpoint Inkling a opisujú strop rodiny, nie náš kvantizovaný build. Ceny a príznaky schopností sú cenníkové hodnoty brány Shannon AI k septembru 2026.

10Často kladené otázky

---

Zdroje: Thinking Machines Lab — predstavenie Inklingu · Hugging Face — vitaj, Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — architektonické a benchmarkové poznámky k Inklingu. Benchmarky základu uvádza laboratórium pre nekvantizovaný checkpoint.