API e pacensuruar e modelit Inkling

Shumica e dymbëdhjetë modeleve në portën tonë janë vetëm me tekst. Katër nuk janë, dhe mes atyre katërve Inkling mban një pozicion të caktuar: modeli me pamje te i cili shkoni kur fotografia është pjesa e vështirë e problemit, por buxheti nuk shtrihet deri te një flamurtar. Kjo kartë mbulon nga vjen themeli, çfarë i bëri prapashtesa W4A16-AUTOROUND-REAP, çfarë do dhe nuk do të bëjë te sipërfaqja e API-t, dhe — ndershmërisht — kur një model më i lirë në të njëjtin katalog është zgjedhja më e mirë.

01Çfarë është Inkling dhe kush e ndërtoi?

Inkling është modeli i parë me pesha të hapura nga Thinking Machines Lab, i botuar më 15 korrik 2026. Ndryshe nga shumica e publikimeve që pozicionohen si "të hapura", ai doli me pesha të plota të shkarkueshme në Hugging Face dhe me mbështetje që nga dita zero në transformers, SGLang, vLLM dhe llama.cpp — dhe pikërisht kjo e bëri fare të ekzekutueshëm mbi infrastrukturë si e jona. Shifrat kryesore, nga materialet e vetë Thinking Machines për publikimin:

Kjo është një skemë Mixture-of-Experts e rrallë: 66 shtresa dekoderi me përmasë të fshehur 6.144, dy të parat të dendura, 64 të mbeturat me 256 ekspertë të drejtuar plus 2 ekspertë të përbashkët, me 6 ekspertë të drejtuar aktivë për token. Rreth 4% e parametrave ndizen mbi çdo token të dhënë — dhe kjo është ajo që e bën një model me afër një trilion parametra fare të shërbyeshëm.

Dy zgjedhje arkitekturore janë mjaftueshëm të pazakonta sa t'i përmendim. Vëmendja është e ndërthurur — 55 shtresa me vëmendje me dritare rrëshqitëse mbi një dritare 512-tokenash kundrejt 11 shtresash globale, në një model të përsëritur 5:1. Dhe Inkling nuk përdor RoPE: përdor një anësi relative pozicioni të mësuar dhe të varur nga hyrja, krahas konvolucioneve të shkurtra shkakësore mbi projeksionet çelës/vlerë dhe degët e mbetjes. Shënimet e arkitekturës të Sebastian Raschka-s i shënojnë të dyja si largime të vërteta nga receta standarde e vitit 2026. Stërvitja përdori Muon për parametrat e mëdhenj matricorë dhe Adam për pjesën tjetër, pastaj mbi 30 milionë ekzekutime asinkrone RL në pas-stërvitje.

Pika për një konsumator API-je nuk janë kuriozitetet. Është që ky është një themel në shkallë të vijës së parë dhe multimodal vendas, i stërvitur mbi 45 trilion tokena që përfshijnë tekst, imazhe, audio dhe video — jo një model teksti me një përshtatës pamjeje të mbërthyer më vonë. Imazhet kodohen si pjesëza 40×40 piksele përmes një pjesëzuesi hierarkik MLP me katër shtresa dhe përpunohen bashkërisht me tekstin në të njëjtin dekoder. Kuptimi pamor ishte në objektivin e para-stërvitjes.

02Çfarë do të thotë W4A16-AUTOROUND-REAP?

Tri teknika të veçanta janë stivosur në atë prapashtesë, dhe bëjnë punë të ndryshme. Ia vlen të kuptohen, sepse prapashtesa është diferenca e vetme më e madhe mes modelit që thërrisni në API-në tonë dhe pikës së kontrollit që publikoi Thinking Machines.

REAP — krasitja e ekspertëve që askush nuk i drejton

REAP është Router-weighted Expert Activation Pruning, nga Cerebras Research (arXiv 2510.13999, e pranuar në ICLR 2026). Në një MoE me 256 ekspertë për shtresë, drejtuesi nuk e shpërndan punën në mënyrë të barabartë: disa ekspertë goditen vazhdimisht, të tjerë ndizen rrallë dhe kontribuojnë pak kur ndizen. REAP e vlerëson çdo ekspert mbi të dyja vlerat e portës së drejtuesit dhe normat e aktivizimit të ekspertit — një ekspert i përzgjedhur shpesh por që kontribuon me përditësime të vogla ka më pak rëndësi se sa sugjeron numri i përzgjedhjeve të tij — dhe i heq ata me rëndësi të ulët me një hedhje të vetme, përpara kuantizimit.

Arsyeja pse përdorim krasitjen e jo bashkimin më në modë të ekspertëve është se të dyja ndahen sipas llojit të detyrës. Bashkimi duket konkurrues te benchmark-et diskriminuese dhe shkatërrohet te ato gjeneruese. Autorët e REAP-it raportojnë se krasitja e ruan cilësinë më mirë pikërisht te ngarkesat për të cilat njerëzit blejnë një API — sintezë kodi, thirrje mjetesh, arsyetim shumëraundësh — me raporte ngjeshjeje mbi 50%, përgjatë modeleve nga 20B në 1T parametra. Bashkimi e shkatërron specializimin e drejtuesit; krasitja i lë ekspertët e mbijetuar dhe drejtimin mes tyre të paprekur.

AutoRound — të mësosh ku të rrumbullakosh

AutoRound është metoda e kuantizimit pas stërvitjes e Intel-it (arXiv 2309.05516, e botuar si SignRound). Kuantizimi naiv e rrumbullakos çdo peshë te vlera më e afërt 4-bitëshe e paraqitshme — një parazgjedhje e arsyeshme dhe e keqe në shkallë, sepse gabimet e rrumbullakimit nuk janë të pavarura dhe grumbullohen përgjatë një stive me 66 shtresa. AutoRound e trajton vendimin e rrumbullakimit si diçka për t'u optimizuar: zbritja e gradientit me shenjë i rregullon bashkërisht drejtimin e rrumbullakimit dhe rangjet e kufizimit të peshave përgjatë disa qindra hapave, duke huazuar saktësinë e stërvitjes së vetëdijshme për kuantizimin pa ristërvitje. Intel raporton fitimet më të mëdha me cilësime ekstreme me pak bita dhe një avantazh konkurrues me INT4.

W4A16 — ku shkojnë bitat

W4A16 është formati numerik: pesha 4-bitëshe, aktivizime 16-bitëshe. Peshat — që e sundojnë memorien te një model 975B — zvogëlohen në rreth një të katërtën e një gjurme BF16, ndërsa aritmetika mbetet me 16 bita. Ai ndarje ka rëndësi posaçërisht për një model me pamje: skemat me aktivizime të kuantizuara dëmtojnë pikërisht punën e imët numerike nga e cila varet kuptimi i imazheve — leximi i një etikete të vogël boshti, dallimi i një vije të hollë në një diagram, ndarja e dy hijeve të ngjashme. Mbajtja e aktivizimeve me 16 bita kushton gjerësi brezi dhe e kthen saktësinë atje ku një ngarkesë me pamje e vëren.

Të stivosura, të tria japin një model që hyn dhe mbetet i shpejtë pa rënien e cilësisë të nivelit agresiv 3BIT-REAP që e përdorim mbi themelet më të mëdha. Ky është shkëmbimi që pasqyron çmimi.

03Pamja: një API analize imazhesh pa refuzime

Inkling është një nga katër modelet me pamje në katalogun tonë, krahas Kimi-K3, Kimi-K2.6 dhe MiniMax-M3. Rezultatet e publikuara të pamjes për modelin bazë, nga publikimi i Thinking Machines, janë 73.3% në MMMU Pro (Standard 10) dhe 78.1% te pyetjet e arsyetimit të CharXiv — që ngjiten në 82.0% kur modelit i lejohet të ekzekutojë Python kundrejt grafikut. Këto janë shifrat e vetë laboratorit për pikën e kontrollit të pakuantizuar; trajtojini si tavanin e familjes, jo si matje të ndërtimit tonë.

CharXiv është ai që ia vlen të ndalemi, sepse hartohet mbi arsyen pse njerëzit blejnë një API pamjeje e jo një shërbim OCR. Ai teston arsyetimin mbi grafikë shkencorë — leximin e një vlere nga një bosht, krahasimin e dy serive, vënien re të një prirjeje që përmbyset. Jo "çfarë teksti ka në këtë imazh", por "çfarë pretendon kjo figurë dhe a qëndron pretendimi". Kjo është ajo që e përligj dërgimin e një fotografie te një model arsyetues 975B në vend të një përshkruesi të vogël.

Dërgimi i një imazhi është punë e zakonshme e pajtueshme me OpenAI-n — një pjesë përmbajtjeje image_url te /v1/chat/completions, një bllok image në stilin Anthropic te /v1/messages, ose ekuivalenti te /v1/responses. Të tri dialektet godasin po ato pesha dhe të tria transmetojnë; zgjidhni atë që flet tashmë SDK-ja juaj. Një shembull i punuar gjendet te seksioni 09.

Pjesa e pacensuruar ka më shumë rëndësi për pamjen se për tekstin. Një shtresë refuzimi mbi një endpoint me pamje është pazakonisht e trashë, sepse zakonisht e klasifikon imazhin përpara se modeli të ketë arsyetuar mbi kërkesën. Puna e ligjshme kapet vazhdimisht: një fotografi plage në një tubacion shënimesh klinike, një pamje ekrani forenzike në një shkrim mbi një incident, një kornizë nga një film që analizohet për një shkrim kritik, një skanim mjekësor, një imazh dokumenti që rastis të përmbajë një emër. Inkling në portën tonë nuk ka asnjë klasifikues të tillë para vetes. Ai shikon atë që dërguat dhe i përgjigjet pyetjes që bëtë. Ky është produkti.

04Dalja e strukturuar: response_format po, json_schema jo

Ky është vendi i vetëm ku Inkling është më pak i aftë se shumica e katalogut, dhe është më mirë ta planifikoni sesa ta zbuloni në prodhim.

Aftësia	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Pamje (hyrje me imazh)	Po	Po	Po	Jo
response_format	Po	Po	Po	Jo
json_schema	Jo	Po	Po	Jo
Thirrje mjetesh	Po	Po	Po	Po
Përpjekje arsyetimi	Po	Po	Po	Po

response_format: {"type": "json_object"} punon — merrni JSON sintaksisht të vlefshëm. Çfarë nuk merrni është dekodim i kufizuar nga gramatika kundrejt një skeme që e jepni ju, ku kampionuesit i ndalohet fizikisht të nxjerrë një token që e shkel strukturën tuaj. Emrat e fushave, anëtarësia në enum dhe prania e çelësave të detyrueshëm janë zgjedhje e modelit, jo garanci.

Tri mënyra për të jetuar me këtë, në rend rritës besueshmërie:

1. Vendoseni skemën në prompt dhe validoni. Vendosni skemën në promptin e sistemit si JSON të mirëfilltë, vendosni response_format në json_object dhe validojeni përgjigjen nga ana juaj. Riprovoni në rast dështimi të validimit, me mesazhin e gabimit të validuesit të bashkëngjitur. E lirë, funksionon, kërkon një buxhet riprovash.
2. Përdorni një përkufizim mjeti si skemë. Thirrja e mjeteve mbështetet, dhe përkufizimi i parametrave të një funksioni është një skemë JSON. Deklaroni një mjet të vetëm të emërtuar sipas nxjerrjes që doni, detyrojeni dhe lexoni argumentet. Kjo është zakonisht mundësia më e fortë te Inkling dhe nuk ju kushton asgjë shtesë.
3. Ndajeni punën mes dy modeleve. Lëreni Inkling ta bëjë pamjen dhe arsyetimin në prozë, pastaj jepjani atë prozë MiMo-V2.5-W8A16 me 0.50 $ / 2.00 $ me një json_schema të vërtetë për kalimin e strukturimit. Dy thirrje, por e dyta është e lirë, deterministe në formë, dhe modeli që duhet të jetë i zgjuar është ai që e pa imazhin.

Mundësia 3 është modeli që do të rekomandonim për çdo tubacion nxjerrjeje me volum të lartë. Paguajeni premiumin vetëm për hapin që ka nevojë për të.

05Çfarë blen premiumi i çmimit?

Me 1.42 $ hyrje / 6.07 $ dalje për milion tokena, Inkling qëndron qëllimisht në mes të katalogut tonë. Gjashtë nga dymbëdhjetë modelet janë te dyshemeja 0.50 $ / 2.00 $. Kimi-K3 — flamurtari, edhe ai me pamje — është 3.83 $ / 19.12 $. Inkling është afërsisht trefishi i dyshemesë në dalje dhe afërsisht një e treta e flamurtarit.

Çmimi i daljes, USD për 1M tokena, tarifat e listës së portës së Shannon AI, shtator 2026. Gjerësia e shiritit është në përpjesëtim me çmimin; më i gjatë do të thotë më i shtrenjtë.

Ja leximi i ndershëm se ku e fiton bukën ai premium — dhe ku jo.

Ngarkesa e punës	Të përdoret Inkling?	Pse
Arsyetim mbi grafikë / diagrame	Po	Shifrat e publikuara për CharXiv dhe MMMU Pro janë ajo ku ky themel është më i forti.
Agjentë të drejtuar nga pamjet e ekranit	Po	Pamje plus thirrje mjetesh plus 262K histori në një model të vetëm, pa dorëzim.
Dokumente të gjata me figura	Po	Teksti dhe imazhet ndajnë një dekoder dhe një dritare konteksti.
Gjenerim teksti të thjeshtë	Jo	Gjashtë modele me 0.50 $ / 2.00 $ e bëjnë këtë. Po paguani për një shteg pamjeje që nuk e thërrisni kurrë.
Nxjerrje masive me skemë	Jo	Pa json_schema. MiMo-V2.5 është më i lirë dhe i kufizuar nga skema.
Tavani absolut i vijës së parë	Jo	Kimi-K3 është flamurtari. Paguajeni 3.1-fishin nëse tavani është kufizimi.
Pamja më e lirë e mundshme	Jo	MiniMax-M3 ka pamje me 0.50 $ / 2.00 $. Nisni aty, ngjituni nëse cilësia ju detyron.

Lexojeni këtë si rregull drejtimi, jo si renditje. Inkling është i duhuri për një brez pune më të ngushtë se sa do të pretendonte një faqe marketingu, dhe brenda atij brezi është i vështirë për t'u mundur për nga çmimi. Jashtë tij, do të parapëlqenim t'ju shisnim modelin më të lirë e t'ju mbanim.

06Dritarja e kontekstit 262K dhe çfarë hyn vërtet në të

Të dymbëdhjetë modelet në portë shërbehen me një kontekst hyrjeje prej 262.144 tokenash dhe një dalje maksimale prej 16.384 tokenash për kërkesë. Uniforme me qëllim: trajtimi i kontekstit nuk duhet të bëhet kurrë një degëzim për çdo model në kodin tuaj, dhe ndërrimi i inkling me MiniMax-M3 në një skedar konfigurimi nuk duhet ta ndryshojë në heshtje atë çfarë hyn.

Vini re hendekun kundrejt themelit të publikuar: Thinking Machines e dokumenton Inkling me 1.048.576 tokena, dhe ne shërbejmë një pjesë 262K prej saj. Nëse keni një ngarkesë të vërtetë me një milion tokena në një kërkesë të vetme, ne nuk jemi endpoint-i për të, dhe është më mirë ta dini përpara se të ndërtoni.

Për përmasë me 262K: një PDF teknik me 400 faqe me figurat e tij, një bazë kodi e mesme, disa orë transkript, ose një seancë e gjatë agjentike që mbart dhjetëra rezultate mjetesh dhe një grusht pamjesh ekrani — secila hyn në një kërkesë të vetme. Te një model me pamje, mbani mend se edhe imazhet konsumojnë kontekst; një pamje ekrani e dendur nuk është falas, dhe një seancë që transmeton korniza e mbush dritaren më shpejt se një vetëm me tekst. Arkitektura i shkon mirë kësaj: modeli 5:1 mes dritares rrëshqitëse dhe globales do të thotë se shumica e shtresave vëmendjen e mbajnë brenda një fqinjësie prej 512 tokenash, ndërsa shtresat globale e rikthejnë periodikisht strukturën me rreze të gjatë.

07Përpjekja e arsyetimit: të paguash për mendim vetëm kur të duhet

Inkling ekspozon përpjekje arsyetimi të kontrollueshme — një nga rrotat më të dobishme në katalog. Modeli në burim pranon nivele nga none dhe minimal përmes low, medium, high, xhigh, deri te max, të nxjerra në të tri dialektet përmes parametrit standard reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Kjo është një levë kostoje me dhëmbë, sepse tokenat e arsyetimit faturohen si tokena dalje me 6.07 $ për milion. Thinking Machines raporton se te Terminal Bench 2.1 Inkling arrin pikë të krahasueshme me Nemotron 3 Ultra me rreth një të tretën e tokenave — efikasiteti i tokenave është objektiv i deklaruar projektimi i sistemit të përpjekjes, jo aksident.

Në praktikë: ekzekutoni me low ose minimal për përshkrime, klasifikim dhe nxjerrje të thjeshtë, ku përgjigjja gjendet në imazh dhe nuk nevojitet asnjë varg konkluzionesh. Ruajeni high dhe më lart për arsyetim mbi grafikë, krahasim pamor shumëhapësh dhe raunde agjentike ku një hap i ndërmjetëm i gabuar është i shtrenjtë. Shumica e ekipeve nuk e vendosin kurrë fare parametrin dhe lënë mbi tryezë një diferencë disafishe në koston e daljes.

08Çfarë do të thotë "i pacensuruar" këtu — dhe çfarë jo

Konkretisht: e ekzekutojmë këtë model pa shtresë refuzimi dhe pa filtrim mbi daljen. Asnjë klasifikues nuk e lexon promptin tuaj për të vendosur nëse modeli mund të përgjigjet, dhe asnjë nuk e lexon përgjigjen përpara se ajo të transmetohet. Kur modeli është i pasigurt ose i mungon dija, ai e thotë — kjo është modeli, jo një politikë. Ajo që nuk do të merrni është një refuzim refleksiv mbi një temë që një produkt për konsumatorin e gjerë e trajton si të ndaluar.

Për pamjen kjo është krejt propozimi i vlerës. Klasifikuesit e imazheve para API-ve me pamje janë të papërpiktë, dhe norma e alarmeve të rreme bie më rëndë mbi punën profesionale që ka më shumë nevojë për aftësinë: kërkimi i sigurisë, kontekstet klinike, gazetaria dhe forenzika, kritika e filmit dhe e artit, mjetet e moderimit që duhet ta shohin gjënë që moderojnë. Një endpoint që refuzon sipas kategorisë nuk mund t'i shërbejë asnjërës prej tyre në mënyrë të besueshme.

Dy vërejtje të ndershme. Së pari, Thinking Machines publikon vlerësime sigurie për vendosjen e tyre referencë — 78.0% në FORTRESS adversarial, 95.9% në FORTRESS benign, 98.6% në StrongREJECT. Ato shifra përshkruajnë stivën e tyre me mbrojtëset e tyre të vendosura. Nuk përshkruajnë tonën, dhe ne nuk do t'i citojmë sikur ta bënin. Ne e hoqëm shtresën që ato numra pjesërisht e matin; ky është produkti, dhe përgjegjësia.

Së dyti, "pa shtresë refuzimi" nuk është "pa rregulla". Shannon Lab LLC operon sipas një Politike Përdorimi të Përgjegjshëm dhe ligjit të zbatueshëm të SHBA-së. Heqja e një klasifikuesi e zhvendos gjykimin te ju, nuk e fshin. Nëse po ndërtoni mbi këtë, lexoni politikën përpara se të shkallëzoni.

09Si të nisni

E njëjta URL bazë, i njëjti çelës, tri dialekte. Nëse kodi juaj tashmë thërret OpenAI, Anthropic ose Responses API, ndryshimi i vargut të modelit është zakonisht krejt migrimi.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Referenca e plotë e parametrave, format e /v1/messages dhe /v1/responses, formatet e ngjarjeve të transmetimit dhe një terren prove i drejtpërdrejtë gjenden te dokumentacioni i API-t. Kartat e modeleve për njëmbëdhjetë modelet e tjera gjenden te Shannon Research.

Shifrat e themelit janë numrat e publikuar nga Thinking Machines Lab për pikën e kontrollit të pakuantizuar Inkling dhe përshkruajnë tavanin e familjes, jo ndërtimin tonë të kuantizuar. Çmimet dhe flamujt e aftësive janë vlera liste të portës së Shannon AI më shtator 2026.

10Pyetje të bëra shpesh

---

Burimet: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — shënime mbi arkitekturën dhe benchmark-et e Inkling-ut. Benchmark-et e themelit janë të raportuara nga laboratori për pikën e kontrollit të pakuantizuar.