Cenzúrázatlan Inkling modell-API

Az átjárónkon lévő tizenkét modell nagy része csak szöveges. Négy nem az, és e négy közül az Inkling sajátos helyet foglal el: az a képfeldolgozó modell, amelyhez akkor nyúl, amikor a kép a feladat nehéz része, de a költségvetés nem ér el egy zászlóshajóig. Ez a kártya bemutatja, honnan jön az alapmodell, mit tett vele a W4A16-AUTOROUND-REAP utótag, mit fog és mit nem fog megtenni az API felületén, és — őszintén — mikor jobb választás egy olcsóbb modell ugyanabból a katalógusból.

01Mi az Inkling, és ki építette?

Az Inkling a Thinking Machines Lab első nyílt súlyú modellje, amelyet 2026. július 15-én tettek közzé. A legtöbb, „nyíltként” pozicionált kiadástól eltérően teljes, letölthető súlyokkal jelent meg a Hugging Face-en, első naptól támogatva a transformers, SGLang, vLLM és llama.cpp keretekben — egyáltalán ettől lett futtatható a miénkhez hasonló infrastruktúrán. A kiemelt számok a Thinking Machines saját kiadási anyagaiból:

Ez ritka szakértőkeverékes elrendezés: 66 dekóderréteg 6144-es rejtett mérettel, az első kettő sűrű, a maradék 64 pedig 256 útvonalazott szakértőt plusz 2 megosztott szakértőt visz, tokenenként 6 aktív útvonalazott szakértővel. A paraméterek nagyjából 4%-a tüzel bármely adott tokenen — ettől lesz egyáltalán kiszolgálható egy közel billió paraméteres modell.

Két architekturális döntés elég szokatlan ahhoz, hogy megnevezzük. A figyelem összefésült — 55 réteg csúszóablakos figyelem 512 tokenes ablakon 11 globális réteggel szemben, 5:1 arányban ismétlődő mintában. És az Inkling nem használ RoPE-t: tanult, bemenetfüggő relatív pozíciótorzítást alkalmaz, a kulcs- és értékvetületeken, valamint a maradékágakon futó rövid oksági konvolúciók mellett. Sebastian Raschka architektúrajegyzetei mindkettőt valódi eltérésként jelölik meg a 2026-os szabványrecepttől. A tanítás a nagy mátrixparaméterekhez Muont, a többihez Adamot használt, majd az utótanításban több mint 30 millió aszinkron RL-lefutást.

Egy API-fogyasztónak nem az érdekesség a lényeg. Hanem az, hogy ez egy élvonalbeli léptékű, natívan multimodális alapmodell, amelyet 45 billió tokenen tanítottak szövegen, képen, hangon és videón át — nem pedig egy szöveges modell, amelyre később ráakasztottak egy képfeldolgozó adaptert. A képek 40×40 pixeles foltokként kódolódnak egy négyrétegű hierarchikus MLP-foltosítón át, és a szöveggel együtt, ugyanabban a dekóderben dolgozódnak fel. A vizuális értés az előtanítási célfüggvény része volt.

02Mit jelent a W4A16-AUTOROUND-REAP?

Három külön technika van egymásra rakva abban az utótagban, és mindegyik más munkát végez. Érdemes megérteni, mert az utótag a legnagyobb egyedüli különbség a között a modell között, amelyet az API-nkon hív, és a között a checkpoint között, amelyet a Thinking Machines közzétett.

REAP — azoknak a szakértőknek a metszése, akikhez senki nem útvonalaz

A REAP a Router-weighted Expert Activation Pruning, a Cerebras Research munkája (arXiv 2510.13999, elfogadva az ICLR 2026-ra). Egy rétegenként 256 szakértős MoE-ben az útválasztó nem osztja el egyenletesen a munkát: némely szakértőt folyamatosan ér találat, mások ritkán tüzelnek, és keveset adnak hozzá, amikor mégis. A REAP mindegyik szakértőt mindkét jelre pontozza — az útválasztó kapuértékeire és a szakértő aktivációs normáira —, hiszen egy gyakran kiválasztott, de kis magnitúdójú frissítéseket adó szakértő kevesebbet számít, mint amit a kiválasztási száma sugall —, és egyetlen menetben, a kvantálás előtt eldobja az alacsony lényegességűeket.

Azért használunk metszést a divatosabb szakértő-összeolvasztás helyett, mert a kettő feladattípusonként szétválik. Az összeolvasztás versenyképesnek tűnik diszkriminatív benchmarkokon, és szétesik a generatívakon. A REAP szerzői arról számolnak be, hogy a metszés pontosan azokon a munkaterheléseken őrzi meg jobban a minőséget, amelyekért az emberek API-t vásárolnak — kódszintézis, eszközhívás, többkörös következtetés —, 50% feletti tömörítési arányoknál, 20B-től 1T paraméterig terjedő modelleken. Az összeolvasztás tönkreteszi az útválasztó specializációját; a metszés érintetlenül hagyja a túlélő szakértőket és a köztük lévő útvonalazást.

AutoRound — annak megtanulása, hol kerekítsünk

Az AutoRound az Intel utótanítási kvantálási módszere (arXiv 2309.05516, SignRound néven publikálva). A naiv kvantálás minden súlyt a legközelebbi ábrázolható 4 bites értékre kerekít — ésszerű alapértelmezés, és rossz alapértelmezés nagy léptékben, mert a kerekítési hibák nem függetlenek, és halmozódnak egy 66 rétegű kötegen át. Az AutoRound optimalizálandó dologként kezeli a kerekítési döntést: előjeles gradiensereszkedéssel hangolja együtt a kerekítés irányát és a súlyvágási tartományokat pár száz lépésen át, kölcsönvéve a kvantálástudatos tanítás pontosságát újratanítás nélkül. Az Intel a legnagyobb nyereséget a szélsőségesen alacsony bites beállításoknál jelenti, és versenyelőnyt INT4-en.

W4A16 — hová mennek a bitek

A W4A16 a numerikus formátum: 4 bites súlyok, 16 bites aktivációk. A súlyok — amelyek egy 975B-s modellben uralják a memóriát — nagyjából egy BF16-os helyigény negyedére zsugorodnak, míg az aritmetika 16 biten marad. Ez a szétválasztás kifejezetten egy képfeldolgozó modellnél számít: az aktivációkvantált sémák pontosan azt a finomszemcsés numerikus munkát rontják, amelyre a képértés támaszkodik — egy apró tengelycímke elolvasása, egy vékony vonal feloldása egy diagramon, két hasonló árnyalat szétválasztása. Az aktivációk 16 biten tartása sávszélességbe kerül, és visszavásárolja a pontosságot ott, ahol egy képes munkaterhelés észreveszi.

Egymásra rakva a három olyan modellt ad, amely elfér és gyors marad, anélkül a minőségi szakadék nélkül, amelyet az agresszív 3BIT-REAP szint okoz, amelyet a legnagyobb alapmodelleken használunk. Ezt a cserét tükrözi az ár.

03Képfeldolgozás: elutasítás nélküli képelemző API

Az Inkling a katalógusunk négy képfeldolgozásra képes modelljének egyike, a Kimi-K3, a Kimi-K2.6 és a MiniMax-M3 mellett. Az alapmodell közzétett képfeldolgozási eredményei a Thinking Machines kiadásából 73,3% az MMMU Prón (Standard 10) és 78,1% a CharXiv következtetési kérdésein — 82,0%-ra emelkedve, ha a modell Pythont futtathat a diagramra. Ezek a labor saját számai a kvantálatlan checkpointra; a család plafonjaként kezelje őket, ne a mi buildünk méréseként.

A CharXivnál érdemes elidőzni, mert megmutatja, miért vásárol valaki képfeldolgozó API-t OCR-szolgáltatás helyett. Tudományos diagramokon való következtetést mér — egy érték leolvasását egy tengelyről, két sorozat összehasonlítását, egy trendfordulat észrevételét. Nem azt, hogy „milyen szöveg van ezen a képen”, hanem azt, hogy „mit állít ez az ábra, és megáll-e az állítás”. Ez indokolja, hogy egy képet egy 975B paraméteres következtető modellhez küldjön, ne egy kis képaláírózóhoz.

A képküldés hétköznapi, OpenAI-kompatibilis munka — egy image_url tartalomrész a /v1/chat/completions végponton, egy Anthropic stílusú image blokk a /v1/messages végponton, vagy ennek megfelelője a /v1/responses végponton. Mindhárom dialektus ugyanazokat a súlyokat éri el, és mindhárom streamel; válassza azt, amelyiket a meglévő SDK-ja már beszéli. Kidolgozott példa a 09. szakaszban.

A cenzúrázatlan rész a képfeldolgozásnál többet számít, mint a szövegnél. Egy elutasítási réteg egy képfeldolgozó végponton szokatlanul tompa, mert jellemzően magát a képet osztályozza, mielőtt a modell egyáltalán végiggondolta volna a kérést. A jogszerű munka folyamatosan fennakad rajta: egy sebfotó egy klinikai jegyzetfolyamatban, egy igazságügyi képernyőkép egy incidensjelentésben, egy filmkocka, amelyet kritika céljából elemeznek, egy orvosi felvétel, egy dokumentum képe, amelyen történetesen szerepel egy név. Az Inkling előtt az átjárónkon nincs ilyen osztályozó. Megnézi, amit küldött, és megválaszolja a kérdést, amelyet feltett. Ez a termék.

04Strukturált kimenet: response_format igen, json_schema nem

Ez az egyetlen pont, ahol az Inkling kevesebbet tud a katalógus nagy részénél, és jobb tervezni rá, mint élesben felfedezni.

Képesség	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Képfeldolgozás (képbemenet)	Igen	Igen	Igen	Nem
response_format	Igen	Igen	Igen	Nem
json_schema	Nem	Igen	Igen	Nem
Eszközhívás	Igen	Igen	Igen	Igen
Gondolkodási erőfeszítés	Igen	Igen	Igen	Igen

A response_format: {"type": "json_object"} működik — szintaktikailag érvényes JSON-t kap. Amit nem kap, az a nyelvtannal korlátozott dekódolás egy Ön által megadott séma ellenében, ahol a mintavevőt fizikailag megakadályozzák abban, hogy a szerkezetét sértő tokent bocsásson ki. A mezőnevek, az enumtagság és a kötelező kulcsok jelenléte a modell döntése, nem garancia.

Három mód, ahogy ezzel együtt lehet élni, növekvő megbízhatósági sorrendben:

1. Promptolja a sémát, és validáljon. Tegye a sémát a rendszerpromptba szó szerinti JSON-ként, állítsa a response_format paramétert json_object értékre, és validálja a választ a maga oldalán. Validálási hiba esetén próbálja újra, a validátor hibaüzenetét hozzáfűzve. Olcsó, működik, újrapróbálási keret kell hozzá.
2. Használjon eszközdefiníciót sémaként. Az eszközhívás igenis támogatott, és egy függvény paraméterdefiníciója egy JSON séma. Deklaráljon egyetlen eszközt a kívánt kinyerésről elnevezve, kényszerítse ki, és olvassa ki az argumentumokat. Ez általában a legerősebb lehetőség az Inklingen, és semmi többletbe nem kerül.
3. Ossza szét a munkát két modell között. Végeztesse az Inklinggel a képfeldolgozást és a következtetést prózában, majd adja át azt a prózát a MiMo-V2.5-W8A16 modellnek 0,50 $ / 2,00 $ áron, valódi json_schema paraméterrel a strukturáló menethez. Két hívás, de a második olcsó, alakjában determinisztikus, és az a modell, amelynek okosnak kell lennie, az, amelyik látta a képet.

A 3. lehetőséget ajánlanánk bármely nagy volumenű kinyerési folyamathoz. Csak azért a lépésért fizesse a felárat, amelynek szüksége van rá.

05Mit vásárol az árfelár?

1,42 $ be / 6,07 $ ki millió tokenenként — az Inkling szándékosan a katalógusunk közepén ül. A tizenkét modellből hat a 0,50 $ / 2,00 $ küszöbön van. A Kimi-K3 — a zászlóshajó, amely szintén képfeldolgozásra képes — 3,83 $ / 19,12 $. Az Inkling nagyjából háromszorosa a küszöbnek a kimeneten, és nagyjából harmada a zászlóshajónak.

Kimeneti ár, USD 1M tokenenként, a Shannon AI átjáró listaárai, 2026. szeptember. A sáv szélessége arányos az árral; a hosszabb drágább.

Íme az őszinte olvasat arról, hol termeli ki magát ez a felár — és hol nem.

Munkaterhelés	Inklinget használjon?	Miért
Diagram- és ábraértelmezés	Igen	A közzétett CharXiv- és MMMU Pro-számok abban a legerősebb, amiben ez az alapmodell.
Képernyőkép-vezérelt ügynökök	Igen	Képfeldolgozás plusz eszközhívás plusz 262K előzmény egy modellben, átadás nélkül.
Hosszú, ábrákkal teli dokumentumok	Igen	A szöveg és a képek egy dekódert és egy kontextusablakot osztanak.
Egyszerű szöveggenerálás	Nem	Hat modell 0,50 $ / 2,00 $ áron megcsinálja. Olyan képfeldolgozási útért fizet, amelyet sosem hív.
Tömeges sémás kinyerés	Nem	Nincs json_schema. A MiMo-V2.5 olcsóbb és korlátozott.
Abszolút élvonalbeli plafon	Nem	A Kimi-K3 a zászlóshajó. Fizesse ki a 3,1-szeres árat, ha a plafon a korlát.
A lehető legolcsóbb képfeldolgozás	Nem	A MiniMax-M3 tud képfeldolgozást 0,50 $ / 2,00 $ áron. Kezdje ott, és lépjen fel, ha a minőség rákényszeríti.

Ezt irányítási szabályként olvassa, ne rangsorként. Az Inkling szűkebb munkasávra való, mint amit egy marketingoldal állítana, és azon a sávon belül árban nehéz legyőzni. Azon kívül inkább az olcsóbb modellt adnánk el Önnek, hogy megtartsuk.

06A 262K-s kontextusablak, és mi fér bele valójában

Az átjáró mind a tizenkét modelljét 262 144 tokenes bemeneti kontextussal és kérésenként 16 384 tokenes maximális kimenettel szolgáljuk ki. Ez szándékosan egységes: a kontextuskezelés soha ne váljon modellenkénti elágazássá a kódjában, és az inkling lecserélése MiniMax-M3-ra egy konfigurációs fájlban ne változtassa meg csendben azt, ami belefér.

Vegye észre a különbséget a közzétett alapmodellhez képest: a Thinking Machines 1 048 576 tokenen dokumentálja az Inklinget, mi pedig ennek egy 262K-s szeletét szolgáljuk ki. Ha valóban egymillió tokenes, egyetlen kéréses munkaterhelése van, nem mi vagyunk hozzá a végpont, és jobb, ha ezt még építés előtt tudja.

A 262K-s lépték érzékeltetéséhez: egy 400 oldalas műszaki PDF az ábráival, egy közepes méretű kódbázis, több óra átirat, vagy egy hosszú ügynöki munkamenet több tucat eszközeredménnyel és néhány képernyőképpel — mindegyik belefér egyetlen kérésbe. Egy képfeldolgozó modellnél ne feledje, hogy a képek is fogyasztanak kontextust; egy sűrű képernyőkép nem ingyenes, és egy képkockákat streamelő munkamenet gyorsabban tölti meg az ablakot, mint egy csak szöveges. Az architektúra ehhez jól illik: az 5:1-es csúszóablak-globális minta azt jelenti, hogy a rétegek nagy része egy 512 tokenes környezeten belül figyel, a globális rétegek pedig időnként visszahozzák a nagy hatótávú szerkezetet.

07Gondolkodási erőfeszítés: csak akkor fizetni a gondolkodásért, amikor kell

Az Inkling vezérelhető gondolkodási erőfeszítést kínál — a katalógus egyik hasznosabb kapcsolója. A forrásoldali modell elfogadja a none és minimal szinttől a low, medium, high, xhigh szinteken át a max szintig terjedő értékeket, amelyek mindhárom dialektuson a szabványos reasoning_effort paraméteren keresztül érhetők el.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Ez foggal bíró költségkar, mert a gondolkodási tokenek kimeneti tokenként számlázódnak, millió tokenenkénti 6,07 $-on. A Thinking Machines arról számol be, hogy a Terminal Bench 2.1-en az Inkling a Nemotron 3 Ultráéhoz hasonló pontszámokat ér el nagyjából a tokenek harmadával — a tokenhatékonyság az erőfeszítésrendszer kimondott tervezési célja, nem véletlen.

A gyakorlatban: futtasson low vagy minimal szintet képaláírásra, osztályozásra és egyszerű kinyerésre, ahol a válasz a képben van, és nincs szükség következtetési láncra. Tartsa fenn a high és afölötti szinteket diagramértelmezéshez, többlépcsős vizuális összehasonlításhoz és olyan ügynöki körökhöz, ahol egy rossz köztes lépés drága. A legtöbb csapat egyáltalán nem állítja be a paramétert, és többszörös kimeneti költségkülönbséget hagy az asztalon.

08Mit jelent itt a „cenzúrázatlan” — és mit nem

Konkrétan: ezt a modellt elutasítási réteg és a kimenetre alkalmazott szűrés nélkül futtatjuk. Nem olvassa el osztályozó a promptját, hogy eldöntse, válaszolhat-e a modell, és nem olvassa el a választ sem, mielőtt streamelődne. Amikor a modell bizonytalan, vagy hiányzik a tudása, ezt kimondja — ez a modell, nem szabályzat. Amit nem fog kapni, az a reflexszerű elzárkózás egy olyan témától, amelyet egy általános fogyasztói termék tiltottnak tekint.

Képfeldolgozásnál ez a teljes értékajánlat. A képfeldolgozó API-k elé tett képosztályozók pontatlanok, és a téves riasztási arány pontosan azt a szakmai munkát sújtja a legjobban, amelynek a legnagyobb szüksége van a képességre: biztonsági kutatás, klinikai környezet, újságírás és igazságügyi szakértés, film- és művészetkritika, valamint olyan moderálási eszközök, amelyeknek meg kell nézniük azt, amit moderálnak. Egy kategória alapján elutasító végpont ezek egyikét sem tudja megbízhatóan kiszolgálni.

Két őszinte fenntartás. Először: a Thinking Machines biztonsági értékeléseket tesz közzé a saját referenciatelepítésére — 78,0% a FORTRESS adverzáriális, 95,9% a FORTRESS benignus és 98,6% a StrongREJECT mérésén. Ezek a számok az ő kötegüket írják le az ő védőkorlátaikkal a helyükön. Nem a miénket írják le, és nem is fogjuk úgy idézni őket, mintha igen. Eltávolítottuk azt a réteget, amelyet ezek a számok részben mérnek; ez a termék, és ez a felelősség.

Másodszor: az „elutasítási réteg nélkül” nem azt jelenti, hogy „szabályok nélkül”. A Shannon Lab LLC felelős használati irányelv és a hatályos amerikai jog szerint működik. Egy osztályozó eltávolítása Önhöz helyezi a megítélést, nem törli el. Ha erre épít, olvassa el az irányelvet, mielőtt skálázna.

09Első lépések

Ugyanaz az alap-URL, ugyanaz a kulcs, három dialektus. Ha a kódja már hív OpenAI-t, Anthropicot vagy a Responses API-t, a modellsztring megváltoztatása általában a teljes migráció.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

A teljes paraméterhivatkozás, a /v1/messages és /v1/responses formák, a streamelési eseményformátumok és egy élő játszótér az API-dokumentációban találhatók. A másik tizenegy modell modellkártyái a Shannon Research oldalon vannak.

Az alapmodellre vonatkozó számok a Thinking Machines Lab közzétett adatai a kvantálatlan Inkling checkpointra, és a család plafonját írják le, nem a mi kvantált buildünket. Az árak és a képességjelzők a Shannon AI átjáró listaértékei, 2026. szeptemberi állapot szerint.

10Gyakori kérdések

---

Források: Thinking Machines Lab — Az Inkling bemutatása · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling architektúra- és benchmarkjegyzetek. Az alapmodell benchmarkjait a labor közölte a kvantálatlan checkpointra.