Necenzēts Inkling modeļa API

Vairums no divpadsmit mūsu vārtejas modeļiem ir tikai teksts. Četri nav, un starp šiem četriem Inkling ieņem konkrētu vietu: tas ir redzes modelis, pēc kura sniedzaties, kad attēls ir problēmas grūtā daļa, bet budžets nesniedzas līdz flagmanim. Šī karte aptver, no kurienes nāk pamatmodelis, ko ar to izdarīja W4A16-AUTOROUND-REAP piedēklis, ko tas API virsmā darīs un ko nedarīs, un — godīgi — kad lētāks modelis tajā pašā katalogā ir labākā izvēle.

01Kas ir Inkling un kas to uzbūvēja?

Inkling ir pirmais atvērto svaru modelis no Thinking Machines Lab, publicēts 2026. gada 15. jūlijā. Atšķirībā no vairuma laidienu, kas pozicionēti kā „atvērti”, tas iznāca ar pilnībā lejupielādējamiem svariem Hugging Face un nulles dienas atbalstu transformers, SGLang, vLLM un llama.cpp — un tieši tāpēc tas vispār kļuva palaižams uz tādas infrastruktūras kā mūsējā. Galvenie skaitļi no pašas Thinking Machines laidiena materiāliem:

Tas ir rets Mixture-of-Experts izkārtojums: 66 dekodētāja slāņi ar 6,144 slēpto izmēru, pirmie divi blīvi, atlikušie 64 nes 256 maršrutētus ekspertus plus 2 koplietotus, ar 6 maršrutētiem ekspertiem, aktīviem uz tokenu. Jebkuram konkrētam tokenam nostrādā aptuveni 4% parametru — un tieši tas padara gandrīz triljona parametru modeli vispār pasniedzamu.

Divas arhitektūras izvēles ir pietiekami neparastas, lai tās nosauktu. Uzmanība ir pārmaiņus likta — 55 bīdāmā loga uzmanības slāņi pār 512 tokenu logu pret 11 globāliem slāņiem, atkārtojoties 5:1 rakstā. Un Inkling neizmanto RoPE: tas izmanto iemācītu, no ievades atkarīgu relatīvās pozīcijas nobīdi līdzās īsām kauzālām konvolūcijām uz atslēgu un vērtību projekcijām un atlikuma atzariem. Sebastian Raschka arhitektūras piezīmes abas atzīmē kā reālas atkāpes no standarta 2026. gada receptes. Treniņā lielajiem matricu parametriem izmantoja Muon un pārējiem Adam, pēc tam pēctreniņā vairāk nekā 30 miljonus asinhronu RL izvērsumu.

API patērētājam svarīgais nav sīkfakti. Svarīgi ir tas, ka šis ir priekšpulka mēroga, iedzimti multimodāls pamatmodelis, trenēts uz 45 triljoniem tokenu, kas aptver tekstu, attēlus, audio un video — nevis teksta modelis ar vēlāk pieskrūvētu redzes adapteri. Attēli tiek kodēti kā 40×40 pikseļu ielāpi caur četru slāņu hierarhisku MLP ielāpotāju un apstrādāti kopā ar tekstu tajā pašā dekodētājā. Vizuālā saprašana bija iepriekštreniņa mērķī.

02Ko nozīmē W4A16-AUTOROUND-REAP?

Šajā piedēklī ir sakrautas trīs atsevišķas metodes, un tās dara dažādus darbus. To ir vērts saprast, jo piedēklis ir lielākā atšķirība starp modeli, ko izsaucat mūsu API, un kontrolpunktu, ko publicēja Thinking Machines.

REAP — to ekspertu atzarošana, uz kuriem neviens nemaršrutē

REAP ir maršrutētāja svērtā ekspertu aktivācijas atzarošana no Cerebras Research (arXiv 2510.13999, pieņemta ICLR 2026). MoE ar 256 ekspertiem uz slāni maršrutētājs darbu nesadala vienmērīgi: dažos trāpa nemitīgi, citi nostrādā reti un tad dod maz. REAP katru ekspertu novērtē gan pēc maršrutētāja vārtu vērtībām, gan pēc eksperta aktivācijas normām — eksperts, kas tiek izvēlēts bieži, bet dod maza lieluma atjauninājumus, ir mazāk svarīgs, nekā tā izvēles skaits liek domāt —, un zemas izteiksmības ekspertus izmet vienā piegājienā, pirms kvantēšanas.

Iemesls, kāpēc mēs lietojam atzarošanu, nevis modernāko ekspertu apvienošanu, ir tas, ka abas metodes atšķiras pēc uzdevuma veida. Apvienošana izskatās konkurētspējīga diskriminatīvos etalonos un izjūk ģeneratīvajos. REAP autori ziņo, ka atzarošana kvalitāti labāk saglabā tieši tajās darba slodzēs, kuru dēļ cilvēki pērk API — koda sintēzē, rīku izsaukšanā, daudzgājienu spriešanā — pie saspiešanas pakāpēm virs 50%, modeļos no 20B līdz 1T parametru. Apvienošana iznīcina maršrutētāja specializāciju; atzarošana atstāj izdzīvojušos ekspertus un maršrutēšanu starp tiem neskartu.

AutoRound — iemācīties, kur noapaļot

AutoRound ir Intel pēctreniņa kvantēšanas metode (arXiv 2309.05516, publicēta kā SignRound). Naiva kvantēšana katru svaru noapaļo uz tuvāko attēlojamo 4 bitu vērtību — saprātīgs noklusējums un slikts noklusējums mērogā, jo noapaļošanas kļūdas nav neatkarīgas un uzkrājas cauri 66 slāņu stekam. AutoRound noapaļošanas lēmumu uzskata par optimizējamu: zīmotā gradienta nolaišanās pāris simtos soļu kopīgi noskaņo noapaļošanas virzienu un svaru apgriešanas diapazonus, aizņemoties kvantēšanu apzinoša treniņa precizitāti bez pārtreniņa. Intel ziņo par lielākajiem ieguvumiem galēji zemu bitu iestatījumos un konkurētspējīgu pārsvaru pie INT4.

W4A16 — kur aiziet biti

W4A16 ir skaitliskais formāts: 4 bitu svari, 16 bitu aktivācijas. Svari — kas 975B modelī dominē atmiņā — sarūk aptuveni līdz ceturtdaļai no BF16 nospieduma, kamēr aritmētika paliek 16 bitos. Šis dalījums ir svarīgs tieši redzes modelim: ar kvantētām aktivācijām shēmas kaitē tieši tam smalkajam skaitliskajam darbam, uz ko paļaujas attēlu saprašana — maza asu apzīmējuma nolasīšanai, plānas līnijas atšķiršanai diagrammā, divu līdzīgu toņu nošķiršanai. Aktivāciju paturēšana 16 bitos maksā caurlaidspēju un atpērk precizitāti tur, kur redzes darba slodze to pamana.

Sakrautas kopā, šīs trīs metodes dod modeli, kas ietilpst un paliek ātrs bez tā kvalitātes krituma, kāds ir agresīvajam 3BIT-REAP līmenim, ko lietojam pašiem lielākajiem pamatmodeļiem. Tā ir apmaiņa, ko atspoguļo cena.

03Redze: attēlu analīzes API bez atteikumiem

Inkling ir viens no četriem modeļiem ar redzi mūsu katalogā līdzās Kimi-K3, Kimi-K2.6 un MiniMax-M3. Bāzes modeļa publicētie redzes rezultāti no Thinking Machines laidiena ir 73.3% uz MMMU Pro (Standard 10) un 78.1% uz CharXiv spriešanas jautājumiem — kāpjot līdz 82.0%, kad modelim ļauj pret diagrammu palaist Python. Tie ir laboratorijas pašas skaitļi par nekvantēto kontrolpunktu; uztveriet tos kā saimes griestus, nevis kā mūsu būves mērījumu.

Pie CharXiv ir vērts pakavēties, jo tas sasaucas ar to, kāpēc cilvēki pērk redzes API, nevis OCR pakalpojumu. Tas pārbauda spriešanu pār zinātniskām diagrammām — vērtības nolasīšanu no ass, divu rindu salīdzināšanu, tendences apvēršanās pamanīšanu. Nevis „kāds teksts ir šajā attēlā”, bet „ko šis attēls apgalvo un vai apgalvojums turas”. Tieši tas attaisno attēla sūtīšanu 975B spriešanas modelim, nevis mazam parakstu veidotājam.

Attēla sūtīšana ir parasts ar OpenAI saderīgs darbs — image_url satura daļa uz /v1/chat/completions, Anthropic stila image bloks uz /v1/messages vai ekvivalents uz /v1/responses. Visi trīs dialekti sniedzas pie tiem pašiem svariem un visi trīs straumē; izvēlieties to, kuru jūsu esošais SDK jau runā. Izstrādāts piemērs ir 09. sadaļā.

Necenzētā daļa redzei nozīmē vairāk nekā tekstam. Atteikuma slānis uz redzes galapunkta ir neparasti neass, jo tas parasti klasificē attēlu, pirms modelis vispār ir spriedis par pieprasījumu. Likumīgs darbs tajā ķeras nemitīgi: brūces fotogrāfija klīnisko piezīmju konveijerā, tiesu ekspertīzes ekrānuzņēmums incidenta aprakstā, kadrs no filmas, ko analizē kritikas rakstam, medicīnisks skenējums, dokumenta attēls, kurā gadījies vārds. Inkling mūsu vārtejā šāda klasifikatora priekšā nav. Tas paskatās uz to, ko nosūtījāt, un atbild uz jūsu uzdoto jautājumu. Tas ir produkts.

04Strukturēta izvade: response_format jā, json_schema nē

Šī ir vienīgā vieta, kur Inkling ir mazāk spējīgs nekā lielākā daļa kataloga, un labāk to ieplānot, nekā atklāt ražošanā.

Iespēja	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Redze (attēlu ievade)	Jā	Jā	Jā	Nē
response_format	Jā	Jā	Jā	Nē
json_schema	Nē	Jā	Jā	Nē
Rīku izsaukšana	Jā	Jā	Jā	Jā
Spriešanas intensitāte	Jā	Jā	Jā	Jā

response_format: {"type": "json_object"} darbojas — jūs saņemat sintaktiski derīgu JSON. Ko jūs nesaņemat, ir ar gramatiku ierobežota dekodēšana pret jūsu padoto shēmu, kur atlasītājam fiziski nav iespējams izdot tokenu, kas pārkāpj jūsu struktūru. Lauku nosaukumi, piederība uzskaitījumam un obligāto atslēgu klātbūtne ir modeļa izvēle, nevis garantija.

Trīs veidi, kā ar to sadzīvot, augošā uzticamības secībā:

1. Ielieciet shēmu uzvednē un validējiet. Ielieciet shēmu sistēmas uzvednē kā burtisku JSON, iestatiet response_format uz json_object un validējiet atbildi savā pusē. Pie validācijas kļūmes atkārtojiet, pievienojot validētāja kļūdas ziņojumu. Lēti, darbojas, vajag atkārtojumu budžetu.
2. Izmantojiet rīka definīciju kā shēmu. Rīku izsaukšana ir atbalstīta, un funkcijas parametru definīcija ir JSON shēma. Deklarējiet vienu rīku, nosauktu pēc vēlamās ekstrakcijas, uzspiediet to un nolasiet argumentus. Uz Inkling šī parasti ir spēcīgākā iespēja, un tā jums nemaksā neko papildus.
3. Sadaliet darbu starp diviem modeļiem. Ļaujiet Inkling izdarīt redzi un spriešanu prozā, tad padodiet šo prozu modelim MiMo-V2.5-W8A16 par $0.50 / $2.00 ar īstu json_schema strukturēšanas caurlaidei. Divi izsaukumi, bet otrais ir lēts un formas ziņā noteikts, un modelis, kuram jābūt gudram, ir tas, kas redzēja attēlu.

3. iespēja ir aina, ko ieteiktu jebkuram lielapjoma ekstrakcijas konveijeram. Maksājiet piemaksu tikai par to soli, kuram tā vajadzīga.

05Ko nopērk cenas piemaksa?

Ar $1.42 ievadē / $6.07 izvadē uz miljonu tokenu Inkling apzināti atrodas mūsu kataloga vidū. Seši no divpadsmit modeļiem ir pie $0.50 / $2.00 grīdas. Kimi-K3 — flagmanis, arī ar redzi — maksā $3.83 / $19.12. Inkling izvadē ir aptuveni trīs reizes virs grīdas un aptuveni trešdaļa no flagmaņa.

Izvades cena, USD uz 1M tokenu, Shannon AI vārtejas cenrāža likmes, 2026. gada septembris. Joslas platums ir proporcionāls cenai; garāks nozīmē dārgāks.

Lūk godīgais lasījums par to, kur šī piemaksa sevi nopelna — un kur ne.

Darba slodze	Izmantot Inkling?	Kāpēc
Diagrammu un shēmu spriešana	Jā	Publicētie CharXiv un MMMU Pro skaitļi ir tas, kur šis pamatmodelis ir stiprākais.
Ekrānuzņēmumu vadīti aģenti	Jā	Redze plus rīku izsaukšana plus 262K vēstures vienā modelī, bez nodošanas tālāk.
Gari dokumenti ar attēliem	Jā	Teksts un attēli dala vienu dekodētāju un vienu konteksta logu.
Vienkārša teksta ģenerēšana	Nē	To dara seši modeļi par $0.50 / $2.00. Jūs maksātu par redzes ceļu, ko nekad neizsaucat.
Lielapjoma ekstrakcija pēc shēmas	Nē	Nav json_schema. MiMo-V2.5 ir lētāks un ierobežots ar shēmu.
Absolūtie priekšpulka griesti	Nē	Kimi-K3 ir flagmanis. Maksājiet 3.1×, ja ierobežojums ir griesti.
Pati lētākā redze	Nē	MiniMax-M3 ir ar redzi par $0.50 / $2.00. Sāciet tur un kāpiet augstāk, ja kvalitāte to prasa.

Lasiet to kā maršrutēšanas noteikumu, nevis kā rangu. Inkling ir pareizais šaurākam darbu lokam, nekā apgalvotu reklāmas lapa, un šī loka iekšienē to cenā ir grūti pārspēt. Ārpus tā mums labāk pārdot jums lētāko modeli un paturēt jūs.

06262K konteksta logs un kas tajā patiešām ietilpst

Visi divpadsmit vārtejas modeļi tiek pasniegti ar 262,144 tokenu ievades kontekstu un 16,384 tokenu maksimālo izvadi uz pieprasījumu. Vienoti ar nodomu: konteksta apstrādei nekad nevajadzētu kļūt par atzaru pēc modeļa jūsu kodā, un inkling nomaiņa pret MiniMax-M3 konfigurācijas failā nedrīkst klusi mainīt to, kas ietilpst.

Ievērojiet plaisu pret publicēto pamatmodeli: Thinking Machines Inkling dokumentē ar 1,048,576 tokeniem, un mēs pasniedzam 262K šķēli no tā. Ja jums ir īsta viena miljona tokenu viena pieprasījuma darba slodze, mēs neesam tai piemērotais galapunkts, un labāk to zināt, pirms būvējat.

Mērogam pie 262K: 400 lappušu tehnisks PDF ar attēliem, vidēja izmēra koda bāze, vairākas stundas transkripta vai gara aģentiska sesija, kas nes desmitiem rīku rezultātu un sauju ekrānuzņēmumu — katrs ietilpst vienā pieprasījumā. Uz redzes modeļa atcerieties, ka arī attēli patērē kontekstu; blīvs ekrānuzņēmums nav bez maksas, un sesija, kas straumē kadrus, logu piepilda ātrāk nekā tikai teksta sesija. Arhitektūra tam labi der: 5:1 bīdāmā loga un globālo slāņu raksts nozīmē, ka vairums slāņu uzmanību pievērš 512 tokenu apkaimē, kamēr globālie slāņi periodiski ievelk atpakaļ tāla darbības rādiusa struktūru.

07Spriešanas intensitāte: maksājiet par domāšanu tikai tad, kad tā vajadzīga

Inkling atklāj vadāmu spriešanas intensitāti — vienu no noderīgākajām grozāmpogām katalogā. Augšupējais modelis pieņem līmeņus no none un minimal caur low, medium, high, xhigh līdz pat max, un tie visos trīs dialektos ir pieejami caur standarta reasoning_effort parametru.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Šī ir izmaksu svira ar zobiem, jo spriešanas tokeni tiek norēķināti kā izvades tokeni par $6.07 uz miljonu. Thinking Machines ziņo, ka uz Terminal Bench 2.1 Inkling sasniedz vērtējumus, salīdzināmus ar Nemotron 3 Ultra, aptuveni ar trešdaļu tokenu — tokenu efektivitāte ir deklarēts intensitātes sistēmas projektēšanas mērķis, nevis nejaušība.

Praksē: darbiniet low vai minimal parakstu veidošanai, klasifikācijai un vienkāršai ekstrakcijai, kur atbilde ir attēlā un secinājumu ķēde nav vajadzīga. Rezervējiet high un augstāk diagrammu spriešanai, daudzsoļu vizuālai salīdzināšanai un aģentiskiem gājieniem, kur nepareizs starpsolis ir dārgs. Vairums komandu šo parametru nemaz neiestata un atstāj uz galda vairākkārtīgu izvades izmaksu starpību.

08Ko šeit nozīmē „necenzēts” — un ko nenozīmē

Konkrēti: mēs šo modeli darbinām bez atteikuma slāņa un bez izvades filtrēšanas. Neviens klasifikators neizlasa jūsu uzvedni un neizlemj, vai modelis drīkst atbildēt, un neviens neizlasa atbildi, pirms tā tiek straumēta. Kad modelis ir nedrošs vai tam trūkst zināšanu, tas to pasaka — tas ir modelis, nevis politika. Ko jūs nesaņemsiet, ir reflekss atteikums par tēmu, ko plaša patēriņa produkts uzskata par aizliegtu.

Redzei tas ir viss vērtības piedāvājums. Attēlu klasifikatori redzes API priekšā ir neprecīzi, un viltus pozitīvo īpatsvars vissmagāk skar tieši to profesionālo darbu, kuram šī spēja visvairāk vajadzīga: drošības pētniecību, klīniskos kontekstus, žurnālistiku un tiesu ekspertīzi, filmu un mākslas kritiku, moderācijas rīkus, kuriem jāpaskatās uz to, ko tie moderē. Galapunkts, kas atsaka pēc kategorijas, nevienu no tiem uzticami apkalpot nespēj.

Divas godīgas atrunas. Pirmkārt, Thinking Machines publicē drošības vērtējumus savam atsauces izvietojumam — 78.0% uz FORTRESS adversarial, 95.9% uz FORTRESS benign, 98.6% uz StrongREJECT. Šie skaitļi apraksta viņu steku ar viņu aizsargmargām savā vietā. Tie neapraksta mūsējo, un mēs tos necitēsim tā, it kā aprakstītu. Mēs noņēmām to slāni, ko šie skaitļi daļēji mēra; tas ir produkts un arī atbildība.

Otrkārt, „bez atteikuma slāņa” nav „bez noteikumiem”. Shannon Lab LLC darbojas saskaņā ar atbildīgas lietošanas politiku un piemērojamajiem ASV likumiem. Klasifikatora noņemšana pārceļ spriedumu uz jums, tā to neizdzēš. Ja būvējat uz šī, izlasiet politiku, pirms mērogojaties.

09Kā sākt

Tas pats bāzes URL, tā pati atslēga, trīs dialekti. Ja jūsu kods jau izsauc OpenAI, Anthropic vai Responses API, modeļa virknes nomaiņa parasti ir visa migrācija.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Pilna parametru atsauce, /v1/messages un /v1/responses formas, straumēšanas notikumu formāti un dzīva izmēģinājumu vide ir API dokumentācijā. Pārējo vienpadsmit modeļu kartes ir Shannon pētniecībā.

Pamatmodeļa skaitļi ir Thinking Machines Lab publicētie skaitļi par nekvantēto Inkling kontrolpunktu un apraksta saimes griestus, nevis mūsu kvantēto būvi. Cenas un iespēju karodziņi ir Shannon AI vārtejas cenrāža vērtības uz 2026. gada septembri.

10Biežāk uzdotie jautājumi

---

Avoti: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling arhitektūras un etalonu piezīmes. Pamatmodeļa etaloni ir laboratorijas ziņoti par nekvantēto kontrolpunktu.