Tsenseerimata Inklingi mudeli API

Enamik meie lüüsi kaheteistkümnest mudelist on ainult tekstile. Neli ei ole ja nende nelja seas on Inklingil kindel positsioon: nägemismudel, mille järele sa haarad siis, kui pilt on ülesande raske osa, aga eelarve lipulaevani ei küüni. See juhend katab, kust vundament tuleb, mida W4A16-AUTOROUND-REAP järelliide temaga tegi, mida ta API-pinnal teeb ja mida ei tee, ning — ausalt — millal on sama kataloogi odavam mudel parem valik.

01Mis on Inkling ja kes ta ehitas?

Inkling on Thinking Machines Labi esimene avatud kaaludega mudel, avaldatud 15. juulil 2026. Erinevalt enamikust „avatuks” positsioneeritud väljalasetest tuli ta koos täielikult allalaaditavate kaaludega Hugging Face'is ja nullpäeva toega raamistikes transformers, SGLang, vLLM ja llama.cpp — just seetõttu sai ta üldse meiesuguse taristu peal jooksutatavaks. Pealkirjanumbrid Thinking Machinesi enda väljalasematerjalidest:

See on hõre Mixture-of-Experts paigutus: 66 dekoodrikihti peidetud mõõtmel 6,144, esimesed kaks tihedad, ülejäänud 64 kannavad 256 marsruuditud eksperti pluss 2 jagatud eksperti, kusjuures tokeni kohta on aktiivne 6 marsruuditud eksperti. Igal antud tokenil tulistab umbes 4% parameetritest — ja just see teeb ligi triljoni parameetriga mudeli üldse serveeritavaks.

Kaks arhitektuurivalikut on piisavalt ebatavalised, et neid nimetada. Tähelepanu on põimitud — 55 kihti libiseva aknaga tähelepanu 512-tokenilise akna üle 11 globaalse kihi vastu, korduvas 5:1 mustris. Ja Inkling ei kasuta RoPE-t: ta kasutab õpitud, sisendist sõltuvat suhtelise positsiooni kallet koos lühikeste kausaalsete konvolutsioonidega võtme/väärtuse projektsioonidel ja jääkharudel. Sebastian Raschka arhitektuurimärkmed toovad mõlemad esile kui tõelised kõrvalekalded standardsest 2026. aasta retseptist. Treeningul kasutati suurte maatriksparameetrite jaoks Muoni ja ülejäänu jaoks Adamit ning seejärel järeltreeningul üle 30 miljoni asünkroonse RL-jooksu.

API tarbija jaoks ei ole mõte kurioosumites. Mõte on selles, et tegemist on tipumõõdus, natiivselt multimodaalse vundamendiga, mida treeniti 45 triljonil tokenil, mis hõlmavad teksti, pilte, heli ja videot — mitte tekstimudeliga, millele hiljem nägemisadapter külge poldati. Pildid kodeeritakse 40×40 pikslise plaadina läbi neljakihilise hierarhilise MLP-plaatija ja töödeldakse tekstiga ühiselt samas dekoodris. Visuaalne mõistmine oli eeltreeningu eesmärgis sees.

02Mida tähendab W4A16-AUTOROUND-REAP?

Selles järelliites on virnastatud kolm eri tehnikat ja nad teevad eri tööd. Neid tasub mõista, sest järelliide on ainus suurim erinevus mudeli vahel, mida sa meie API-s kutsud, ja kontrollpunkti vahel, mille Thinking Machines avaldas.

REAP — nende ekspertide kärpimine, kelleni keegi ei marsruudi

REAP on Router-weighted Expert Activation Pruning Cerebras Researchilt (arXiv 2510.13999, vastu võetud ICLR 2026-le). MoE-s, kus on kihi kohta 256 eksperti, ei jaota ruuter tööd ühtlaselt: mõnda tabatakse pidevalt, teised tulistavad harva ja panustavad tulistades vähe. REAP hindab iga eksperti nii ruuteri väravaväärtuste kui ka eksperdi aktivatsiooninormide järgi — ekspert, kes valitakse sageli, aga panustab väikese suurusjärguga uuendusi, loeb vähem, kui tema valikute arv vihjab — ja viskab madala olulisusega eksperdid ühe hoobiga välja, enne kvantiseerimist.

Põhjus, miks me kasutame kärpimist, mitte moodsamat ekspertide ühendamist, on see, et need kaks lähevad ülesandetüübi kaupa lahku. Ühendamine näeb diskrimineerivatel võrdlustestidel konkurentsivõimeline välja ja laguneb generatiivsetel. REAP-i autorid teatavad, et kärpimine säilitab kvaliteeti paremini täpselt nendel koormustel, mille pärast inimesed API-t ostavad — koodisüntees, tööriistakutsed, mitmevooruline arutlus — kompressioonisuhete juures üle 50%, mudelite lõikes 20B-st 1T-ni. Ühendamine hävitab ruuteri spetsialiseerumise; kärpimine jätab ellujäänud eksperdid ja nendevahelise marsruutimise puutumata.

AutoRound — õppimine, kuhu ümardada

AutoRound on Inteli järeltreeningu kvantiseerimismeetod (arXiv 2309.05516, avaldatud kui SignRound). Naiivne kvantiseerimine ümardab iga kaalu lähima esitatava 4-bitise väärtuseni — mõistlik vaikevalik ja halb valik suures mahus, sest ümardamisvead ei ole sõltumatud ja kogunevad läbi 66-kihilise virna. AutoRound käsitleb ümardamisotsust asjana, mida optimeerida: märgiga gradientlaskumine häälestab paarisaja sammu jooksul ühiselt ümardamissuunda ja kaalude kärpimisvahemikke, laenates kvantiseerimisteadliku treeningu täpsuse ilma ümbertreenimiseta. Intel teatab kõige suurematest võitudest äärmuslikult madalate bitiseadistuste juures ja konkurentsivõimelisest eelisest INT4 juures.

W4A16 — kuhu bitid lähevad

W4A16 on numbriline vorming: 4-bitised kaalud, 16-bitised aktivatsioonid. Kaalud — mis 975B mudelis mälu domineerivad — kahanevad umbes veerandini BF16 jalajäljest, samas kui aritmeetika jääb 16 biti juurde. See jaotus loeb just nägemismudeli jaoks: aktivatsioone kvantiseerivad skeemid kahjustavad täpselt seda peeneteralist numbrilist tööd, millest pildimõistmine sõltub — väikese teljesildi lugemine, peene joone eristamine skeemil, kahe sarnase varjundi lahutamine. Aktivatsioonide hoidmine 16 biti juures maksab läbilaskevõimes ja ostab tagasi täpsuse seal, kus nägemiskoormus seda märkab.

Virnastatuna annavad need kolm mudeli, mis mahub ja jääb kiireks ilma agressiivse 3BIT-REAP taseme kvaliteedikaljuta, mida me kasutame kõige suuremate vundamentide juures. Just seda vahetust hind peegeldab.

03Nägemine: keeldumisteta pildianalüüsi API

Inkling on üks neljast nägemisvõimelisest mudelist meie kataloogis, koos mudelitega Kimi-K3, Kimi-K2.6 ja MiniMax-M3. Alusmudeli avaldatud nägemistulemused Thinking Machinesi väljalaskest on 73.3% MMMU Prol (Standard 10) ja 78.1% CharXivi arutlusküsimustel — tõustes 82.0%-ni, kui mudelil lubatakse diagrammi vastu Pythonit jooksutada. Need on labori enda näitajad kvantiseerimata kontrollpunkti kohta; käsitle neid perekonna laena, mitte meie ehituse mõõtmisena.

CharXiv on see, mille juures tasub peatuda, sest see kaardistub sellele, miks inimesed ostavad nägemis-API asemel OCR-teenuse asemel. See testib arutlust teaduslike diagrammide üle — väärtuse lugemine teljelt, kahe seeria võrdlemine, trendi pöördumise märkamine. Mitte „mis tekst sellel pildil on”, vaid „mida see joonis väidab ja kas väide peab paika”. Just see õigustab pildi saatmist 975B arutlusmudelile, mitte väiksele allkirjastajale.

Pildi saatmine on tavaline OpenAI-ga ühilduv töö — image_url sisuosa aadressil /v1/chat/completions, Anthropicu stiilis image plokk aadressil /v1/messages või samaväärne aadressil /v1/responses. Kõik kolm dialekti tabavad samu kaale ja kõik kolm voogedastavad; vali see, mida sinu olemasolev SDK juba räägib. Läbitöötatud näide on osas 09.

Tsenseerimata osa loeb nägemise jaoks rohkem kui teksti jaoks. Keeldumiskiht nägemisotspunktil on ebatavaliselt nüri, sest see klassifitseerib tavaliselt pildi, enne kui mudel on päringu üle arutlenud. Õiguspärane töö jääb pidevalt kinni: haavafoto kliiniliste märkmete torustikus, kohtuekspertiisi ekraanitõmmis intsidendiülevaates, filmikaader, mida analüüsitakse kriitikaartikli jaoks, meditsiiniline skaneering, dokumendi pilt, millel juhtub olema nimi. Inklingil meie lüüsis sellist klassifikaatorit ees ei ole. Ta vaatab seda, mida sa saatsid, ja vastab küsimusele, mida sa küsisid. See ongi toode.

04Struktureeritud väljund: response_format jah, json_schema ei

See on ainus koht, kus Inkling on vähem võimekas kui suurem osa kataloogist, ja parem on sellega arvestada kui seda tootmises avastada.

Võimekus	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Nägemine (pildisisend)	Jah	Jah	Jah	Ei
response_format	Jah	Jah	Jah	Ei
json_schema	Ei	Jah	Jah	Ei
Tööriistakutsed	Jah	Jah	Jah	Jah
Arutluspingutus	Jah	Jah	Jah	Jah

response_format: {"type": "json_object"} töötab — sa saad süntaktiliselt korrektse JSON-i. Mida sa ei saa, on grammatikaga piiratud dekodeerimine sinu antud skeemi vastu, kus valimil on füüsiliselt takistatud väljastada tokenit, mis sinu struktuuri rikub. Väljanimed, enum-i kuuluvus ja nõutavate võtmete olemasolu on mudeli valik, mitte garantii.

Kolm viisi sellega elada, kasvavas usaldusväärsuse järjekorras:

1. Anna skeem viibas ja valideeri. Pane skeem süsteemiviipa sõnasõnalise JSON-ina, sea response_format väärtuseks json_object ja valideeri vastust omal poolel. Valideerimise ebaõnnestumisel korda päringut, lisades valideerija veateate. Odav, töötab, vajab korduste eelarvet.
2. Kasuta skeemina tööriistadefinitsiooni. Tööriistakutsed on toetatud ja funktsiooni parameetridefinitsioon on JSON-skeem. Deklareeri üks tööriist, mis on nimetatud selle ekstraktimise järgi, mida sa tahad, sunni see peale ja loe argumendid. See on Inklingil tavaliselt kõige tugevam valik ja see ei maksa sulle midagi lisaks.
3. Jaga töö kahe mudeli vahel. Lase Inklingil teha nägemine ja arutlus proosas, siis anna see proosa mudelile MiMo-V2.5-W8A16 hinnaga $0.50 / $2.00 päris json_schema-ga struktureerimiskäiguks. Kaks päringut, aga teine on odav, kuju poolest determineeritud, ja mudel, kes peab tark olema, on see, kes pilti nägi.

Valik 3 on muster, mida me soovitaksime iga suure mahuga ekstraktimistorustiku jaoks. Maksa lisatasu ainult selle sammu eest, mis seda vajab.

05Mida hinnalisatasu ostab?

Hinnaga $1.42 sisse / $6.07 välja miljoni tokeni kohta asub Inkling teadlikult meie kataloogi keskel. Kuus kaheteistkümnest mudelist on $0.50 / $2.00 põrandal. Kimi-K3 — lipulaev, samuti nägemisvõimeline — on $3.83 / $19.12. Inkling on väljundil umbes kolm korda põrand ja umbes kolmandik lipulaevast.

Väljundihind USD miljoni tokeni kohta, Shannon AI lüüsi hinnakirja määrad, september 2026. Riba laius on hinnaga proportsionaalne; pikem on kallim.

Siin on aus lugemine sellest, kus see lisatasu ennast ära teenib — ja kus mitte.

Koormus	Kasutada Inklingit?	Miks
Diagrammide ja skeemide üle arutlemine	Jah	Avaldatud CharXivi ja MMMU Pro näitajad on see, milles see vundament kõige tugevam on.
Ekraanitõmmistel põhinevad agendid	Jah	Nägemine pluss tööriistakutsed pluss 262K ajalugu ühes mudelis, ilma üleandmiseta.
Pikad jooniseid sisaldavad dokumendid	Jah	Tekst ja pildid jagavad ühte dekoodrit ja ühte kontekstiakent.
Pelk tekstigenereerimine	Ei	Kuus mudelit hinnaga $0.50 / $2.00 teevad seda. Sa maksad nägemistee eest, mida sa kunagi ei kutsu.
Hulgi skeemiekstraktimine	Ei	json_schema-t ei ole. MiMo-V2.5 on odavam ja piiratud.
Absoluutne tipulagi	Ei	Kimi-K3 on lipulaev. Maksa see 3.1×, kui piiranguks on lagi.
Odavaim võimalik nägemine	Ei	MiniMax-M3-l on nägemine hinnaga $0.50 / $2.00. Alusta sealt ja astu üles, kui kvaliteet sunnib.

Loe seda marsruutimisreeglina, mitte pingereana. Inkling on õige kitsama töövahemiku jaoks, kui reklaamileht väidaks, ja selle vahemiku sees on teda hinna poolest raske lüüa. Väljaspool seda müüksime sulle pigem odavama mudeli ja hoiaksime sind alles.

06262K kontekstiaken ja mis sinna tegelikult mahub

Kõiki kahtteist lüüsi mudelit serveeritakse 262,144-tokenilise sisendikonteksti ja 16,384-tokenilise maksimaalse väljundiga päringu kohta. Ühtlane meelega: konteksti käsitlemine ei tohiks kunagi muutuda sinu koodis mudelipõhiseks haruks ja inkling-i vahetamine MiniMax-M3 vastu konfifailis ei tohiks vaikselt muuta seda, mis ära mahub.

Pane tähele vahet avaldatud vundamendiga: Thinking Machines dokumenteerib Inklingi 1,048,576 tokeni juures ja meie serveerime sellest 262K viilu. Kui sul on tõeline miljoni tokeni suurune ühepäringuline koormus, siis meie ei ole selle jaoks õige otspunkt ja parem, et sa tead seda enne ehitamist.

Mastaabi jaoks 262K juures: 400-leheküljeline tehniline PDF koos joonistega, keskmise suurusega koodibaas, mitu tundi transkriptsiooni või pikk agentne seanss, mis kannab kümneid tööriistatulemusi ja käputäie ekraanitõmmiseid — kõik mahub ühte päringusse. Nägemismudelil pea meeles, et ka pildid tarbivad konteksti; tihe ekraanitõmmis ei ole tasuta ja seanss, mis kaadreid voogedastab, täidab akna kiiremini kui ainult tekstiline. Arhitektuur sobib selleks hästi: 5:1 libiseva akna ja globaalse suhe tähendab, et enamik kihte vaatab 512-tokenilise naabruskonna sees, kusjuures globaalsed kihid toovad pikamaastruktuuri perioodiliselt tagasi sisse.

07Arutluspingutus: mõtlemise eest maksmine ainult siis, kui seda vaja on

Inkling pakub juhitavat arutluspingutust — üks kataloogi kasulikumaid nuppe. Ülesvoolu mudel võtab vastu tasemeid alates none-ist ja minimal-ist läbi low, medium, high, xhigh kuni max-ini, mis on kõigis kolmes dialektis kättesaadavad standardse reasoning_effort parameetri kaudu.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

See on hammastega kulukang, sest arutlustokeneid arveldatakse väljundtokenitena hinnaga $6.07 miljoni kohta. Thinking Machines teatab, et Terminal Bench 2.1-l saavutab Inkling Nemotron 3 Ultraga võrreldavad skoorid umbes kolmandiku tokenitega — tokenitõhusus on pingutussüsteemi väljaöeldud disainieesmärk, mitte õnnetus.

Praktikas: jooksuta low või minimal allkirjastamise, klassifitseerimise ja lihtsa ekstraktimise jaoks, kus vastus on pildis ja mingit järelduste ahelat vaja ei ole. Hoia high ja kõrgem diagrammide üle arutlemiseks, mitmesammuliseks visuaalseks võrdluseks ja agentseteks vooludeks, kus vale vahesamm on kallis. Enamik meeskondi ei sea seda parameetrit üldse ja jätab lauale mitmekordse väljundikulu vahe.

08Mida „tsenseerimata” siin tähendab — ja mida mitte

Konkreetselt: me jooksutame seda mudelit ilma keeldumiskihi ja väljundi filtreerimiseta. Ükski klassifikaator ei loe sinu viipa ega otsusta, kas mudel tohib vastata, ja ükski ei loe vastust enne, kui see voogu läheb. Kui mudel on ebakindel või tal puuduvad teadmised, ütleb ta seda — see on mudel, mitte poliitika. Mida sa ei saa, on refleksiivne keeldumine teemal, mida üldtarbijatoode käsitleb keelualana.

Nägemise jaoks on see kogu väärtuspakkumine. Pildiklassifikaatorid nägemis-API-de ees on ebatäpsed ja valepositiivide määr tabab kõige valusamalt just professionaalset tööd, mis seda võimekust kõige rohkem vajab: turvauuringud, kliinilised kontekstid, ajakirjandus ja kohtuekspertiis, filmi- ja kunstikriitika, modereerimistööriistad, mis peavad vaatama seda, mida nad modereerivad. Otspunkt, mis kategooria alusel keeldub, ei suuda neist ühtki usaldusväärselt teenindada.

Kaks ausat reservatsiooni. Esiteks avaldab Thinking Machines oma etalonpaigalduse kohta turvahinnangud — 78.0% FORTRESS adversariaalsel, 95.9% FORTRESS heatahtlikul, 98.6% StrongREJECTil. Need näitajad kirjeldavad nende virna nende kaitsepiiretega paigas. Nad ei kirjelda meie oma ja me ei tsiteeri neid nii, nagu kirjeldaksid. Me eemaldasime kihi, mida need numbrid osalt mõõdavad; see ongi toode ja vastutus.

Teiseks ei ole „keeldumiskihti ei ole” sama mis „reegleid ei ole”. Shannon Lab LLC tegutseb vastutustundliku kasutuse poliitika ja kohalduva USA õiguse alusel. Klassifikaatori eemaldamine nihutab otsustamise sinule, see ei kustuta seda. Kui sa selle peale ehitad, loe poliitikat enne, kui sa skaleerid.

09Alustamine

Sama baas-URL, sama võti, kolm dialekti. Kui sinu kood juba kutsub OpenAI-d, Anthropicut või Responses API-t, on mudelistringi muutmine tavaliselt kogu migratsioon.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Täielik parameetriviide, /v1/messages ja /v1/responses kujud, voogedastuse sündmusevormingud ja elav mänguväljak on API dokumentatsioonis. Ülejäänud üheteistkümne mudeli mudelijuhendid on Shannon Researchis.

Vundamendi näitajad on Thinking Machines Labi avaldatud numbrid kvantiseerimata Inklingi kontrollpunkti kohta ja kirjeldavad perekonna lage, mitte meie kvantiseeritud ehitust. Hinnad ja võimekuselipud on Shannon AI lüüsi hinnakirja väärtused 2026. aasta septembri seisuga.

10Korduma kippuvad küsimused

---

Allikad: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inklingi arhitektuuri- ja võrdlustestimärkmed. Vundamendi võrdlustestid on labori teatatud kvantiseerimata kontrollpunkti kohta.