Sencenzura API de la modelo Inkling

Plej multaj el la dek du modeloj sur nia Enirejo estas nur-tekstaj. Kvar ne estas, kaj inter tiuj kvar Inkling okupas specifan pozicion: la vida modelo, al kiu vi turnas vin, kiam la bildo estas la malfacila parto de la problemo, sed la buĝeto ne atingas ĝis ĉefŝipo. Ĉi tiu karto kovras, de kie venas la fundamento, kion la sufikso W4A16-AUTOROUND-REAP faris al ĝi, kion ĝi faros kaj ne faros ĉe la API-surfaco, kaj — honeste — kiam pli malmultekosta modelo en la sama katalogo estas la pli bona elekto.

01Kio estas Inkling, kaj kiu konstruis ĝin?

Inkling estas la unua malfermpeza modelo de Thinking Machines Lab, publikigita la 15-an de julio 2026. Malsame ol plej multaj eldonoj poziciitaj kiel "malfermaj", ĝi venis kun plene elŝuteblaj pezoj sur Hugging Face kaj subteno de la unua tago en transformers, SGLang, vLLM kaj llama.cpp — kaj ĝuste tial ĝi entute fariĝis rulebla sur infrastrukturo kiel la nia. La ĉefaj ciferoj, el la propraj eldonaj materialoj de Thinking Machines:

Tio estas maldensa aranĝo laŭ Miksaĵo de Spertuloj: 66 malkodilaj tavoloj je kaŝita grando 6,144, la unuaj du densaj, la restantaj 64 portantaj 256 enkursigitajn spertulojn plus 2 komunajn spertulojn, kun 6 enkursigitaj spertuloj aktivaj po ĵetono. Proksimume 4% de la parametroj ekbrulas ĉe iu ajn donita ĵetono — kaj ĝuste tio faras modelon kun preskaŭ biliono da parametroj entute servebla.

Du arkitekturaj elektoj estas sufiĉe nekutimaj por nomi ilin. La atento estas interplektita — 55 tavoloj de atento kun glitanta fenestro super fenestro de 512 ĵetonoj kontraŭ 11 tutmondaj tavoloj, en ripetiĝanta ŝablono 5:1. Kaj Inkling ne uzas RoPE: ĝi uzas lernitan, enig-dependan relativan pozician kliniĝon, apud mallongaj kaŭzaj konvolucioj sur la ŝlosil-/valor-projekcioj kaj sur la restaj branĉoj. La arkitekturaj notoj de Sebastian Raschka markas ambaŭ kiel verajn foriĝojn de la norma recepto de 2026. La trejnado uzis Muon por la grandaj matricaj parametroj kaj Adam por la ceteraj, poste pli ol 30 milionojn da nesinkronaj RL-ruloj en la posttrejnado.

La punkto por API-konsumanto ne estas la bagatelaĵoj. Ĝi estas, ke ĉi tio estas pintnivele skala, denaske plurmodala fundamento trejnita sur 45 bilionoj da ĵetonoj ampleksantaj tekston, bildojn, sonon kaj videon — ne teksta modelo kun poste alŝraŭbita vida adaptilo. Bildoj estas koditaj kiel pecoj de 40×40 rastrumeroj tra kvartavola hierarkia MLP-pecigilo kaj prilaboritaj kune kun teksto en la sama malkodilo. Vida kompreno estis en la antaŭtrejna celo.

02Kion signifas W4A16-AUTOROUND-REAP?

Tri apartaj teknikoj estas stakigitaj en tiu sufikso, kaj ili faras malsamajn laborojn. Indas kompreni ilin, ĉar la sufikso estas la plej granda unuopa diferenco inter la modelo, kiun vi vokas sur nia API, kaj la kontrolpunkto, kiun Thinking Machines publikigis.

REAP — pritondi la spertulojn, al kiuj neniu enkursigas

REAP estas Router-weighted Expert Activation Pruning, de Cerebras Research (arXiv 2510.13999, akceptita al ICLR 2026). En MoE kun 256 spertuloj po tavolo la enkursigilo ne distribuas la laboron egale: kelkaj spertuloj estas trafataj konstante, aliaj ekbrulas malofte kaj kontribuas malmulte, kiam ili ja ekbrulas. REAP taksas ĉiun spertulon laŭ ambaŭ la kluzaj valoroj de la enkursigilo kaj la normoj de la aktivigoj de la spertulo — spertulo ofte elektata sed kontribuanta malgrandajn ĝisdatigojn gravas malpli ol ĝia elektokvanto sugestas — kaj forlasas la malaltelstarajn per unu sola pafo, antaŭ la kvantigo.

La kialo, kial ni uzas pritondadon anstataŭ la pli modan kunfandadon de spertuloj, estas, ke la du diverĝas laŭ tasktipo. Kunfandado aspektas konkurenca ĉe distingaj benchmark-oj kaj disfalas ĉe generaj. La aŭtoroj de REAP raportas, ke pritondado konservas la kvaliton pli bone ĝuste ĉe la ŝarĝoj, por kiuj homoj aĉetas API-on — kodsintezo, ilvokado, plurvica rezonado — je kunpremaj proporcioj preter 50%, tra modeloj de 20 miliardoj ĝis 1 biliono da parametroj. Kunfandado detruas la specialiĝon de la enkursigilo; pritondado lasas la postvivantajn spertulojn kaj la enkursigadon inter ili netuŝitaj.

AutoRound — lerni, kien rondigi

AutoRound estas la posttrejna kvantiga metodo de Intel (arXiv 2309.05516, publikigita kiel SignRound). Naiva kvantigo rondigas ĉiun pezon al la plej proksima reprezentebla 4-bita valoro — racia defaŭlto kaj malbona je skalo, ĉar rondigaj eraroj ne estas sendependaj kaj akumuliĝas tra stako de 66 tavoloj. AutoRound traktas la rondigan decidon kiel ion optimumigendan: signuma gradienta descendo kune agordas la rondigan direkton kaj la tondajn gamojn de la pezoj tra kelkcent paŝoj, pruntante la precizecon de kvantig-konscia trejnado sen retrejnado. Intel raportas la plej grandajn gajnojn ĉe ekstremaj malaltbitaj agordoj kaj konkurencan avantaĝon ĉe INT4.

W4A16 — kien iras la bitoj

W4A16 estas la nombra formato: 4-bitaj pezoj, 16-bitaj aktivigoj. La pezoj — kiuj regas la memoron en modelo kun 975 miliardoj — ŝrumpas al proksimume kvarono de BF16-spuro, dum la aritmetiko restas je 16 bitoj. Tiu divido gravas por vida modelo specife: skemoj kun kvantigitaj aktivigoj damaĝas ĝuste la fajngrajnan nombran laboron, de kiu bildkompreno dependas — legi malgrandan aksan etikedon, distingi maldikan linion en diagramo, apartigi du similajn nuancojn. Teni la aktivigojn je 16 bitoj kostas bendolarĝon kaj reaĉetas precizecon tie, kie vida ŝarĝo rimarkas ĝin.

Stakigitaj, la tri donas modelon, kiu enteniĝas kaj restas rapida sen la kvalita falo de la agresa nivelo 3BIT-REAP, kiun ni uzas sur la plej grandaj fundamentoj. Jen la kompromiso, kiun la prezo respegulas.

03Vido: API por bildanalizo sen rifuzoj

Inkling estas unu el kvar modeloj kun vido en nia katalogo, apud Kimi-K3, Kimi-K2.6 kaj MiniMax-M3. La publikigitaj vidaj rezultoj de la baza modelo, el la eldono de Thinking Machines, estas 73.3% ĉe MMMU Pro (Standard 10) kaj 78.1% ĉe la rezonadaj demandoj de CharXiv — leviĝante al 82.0%, kiam la modelo rajtas ruli Python-on kontraŭ la diagramo. Tiuj estas la propraj ciferoj de la laboratorio pri la nekvantigita kontrolpunkto; traktu ilin kiel la plafonon de la familio, ne kiel mezuron de nia konstruo.

CharXiv estas tiu, ĉe kiu indas resti, ĉar ĝi mapas al la kialo, kial homoj aĉetas vidan API-on anstataŭ OCR-servon. Ĝi testas rezonadon super sciencaj diagramoj — legi valoron de akso, kompari du seriojn, rimarki inversiĝon de tendenco. Ne "kia teksto estas en ĉi tiu bildo", sed "kion ĉi tiu figuro asertas, kaj ĉu la aserto validas". Jen kio pravigas sendi bildon al rezonada modelo kun 975 miliardoj anstataŭ al malgranda subskribilo.

Sendi bildon estas ordinara laboro kongrua kun OpenAI — enhavparto image_url sur /v1/chat/completions, bloko image laŭ la stilo de Anthropic sur /v1/messages, aŭ la ekvivalento sur /v1/responses. Ĉiuj tri dialektoj trafas la samajn pezojn kaj ĉiuj tri flusendas; elektu tiun, kiun via ekzistanta SDK jam parolas. Ellaborita ekzemplo troviĝas en sekcio 09.

La sencenzura parto gravas pli por vido ol por teksto. Rifuza tavolo sur vida finpunkto estas nekutime kruda, ĉar ĝi tipe klasifikas la bildon antaŭ ol la modelo rezonis pri la peto. Legitima laboro estas kaptata konstante: vundofoto en ĉenstablo de klinikaj notoj, krimmedicina ekrankopio en incidenta raporto, kadro el filmo analizata por kritika verko, medicina skanaĵo, bildo de dokumento, kiu hazarde enhavas nomon. Inkling sur nia Enirejo havas neniun tian klasifikilon antaŭ si. Ĝi rigardas tion, kion vi sendis, kaj respondas la demandon, kiun vi faris. Jen la produkto.

04Strukturita eligo: response_format jes, json_schema ne

Jen la sola loko, kie Inkling estas malpli kapabla ol plej multe de la katalogo, kaj estas pli bone antaŭplani por tio ol malkovri ĝin en produktado.

Kapablo	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Vido (bilda enigo)	Jes	Jes	Jes	Ne
response_format	Jes	Jes	Jes	Ne
json_schema	Ne	Jes	Jes	Ne
Ilvokado	Jes	Jes	Jes	Jes
Rezonada peno	Jes	Jes	Jes	Jes

response_format: {"type": "json_object"} funkcias — vi ricevas sintakse validan JSON-on. Kion vi ne ricevas, estas gramatike limigita malkodado kontraŭ skemo, kiun vi provizas, kie la specimenigilo estas fizike malhelpata eligi ĵetonon, kiu malobservas vian strukturon. La kampnomoj, la aparteno al listoj de valoroj kaj la ĉeesto de devigaj ŝlosiloj estas la elekto de la modelo, ne garantio.

Tri manieroj vivi kun tio, en kreskanta ordo de fidindeco:

1. Petu la skemon kaj validigu. Metu la skemon en la sisteman peton kiel laŭvortan JSON-on, agordu response_format al json_object, kaj validigu la respondon ĉe via flanko. Reprovu ĉe validiga malsukceso kun la erarmesaĝo de la validigilo alkroĉita. Malmultekosta, funkcias, bezonas reprovan buĝeton.
2. Uzu ildifinon kiel la skemon. Ilvokado ja estas subtenata, kaj la parametra difino de funkcio estas JSON-skemo. Deklaru unu solan ilon nomitan laŭ la ekstraktado, kiun vi volas, devigu ĝin, kaj legu la argumentojn. Ĉi tio kutime estas la plej forta opcio ĉe Inkling kaj ĝi kostas al vi nenion kroman.
3. Dividu la laboron inter du modeloj. Lasu Inkling fari la vidon kaj la rezonadon en prozo, poste transdonu tiun prozon al MiMo-V2.5-W8A16 je $0.50 / $2.00 kun vera json_schema por la struktura paŝo. Du vokoj, sed la dua estas malmultekosta, deterministika laŭ formo, kaj la modelo, kiu devas esti lerta, estas tiu, kiu vidis la bildon.

Opcio 3 estas la ŝablono, kiun ni rekomendus por iu ajn altvoluma ekstrakta ĉenstablo. Pagu la kroman prezon nur por la paŝo, kiu bezonas ĝin.

05Kion la kroma prezo aĉetas?

Je $1.42 enige / $6.07 elige por miliono da ĵetonoj, Inkling sidas intence en la mezo de nia katalogo. Ses el la dek du modeloj estas je la planko de $0.50 / $2.00. Kimi-K3 — la ĉefŝipo, ankaŭ kapabla pri vido — kostas $3.83 / $19.12. Inkling estas proksimume trioble la planko elige kaj proksimume triono de la ĉefŝipo.

Eliga prezo, USD po 1M ĵetonoj, listaj tarifoj de la Enirejo de Shannon AI, septembro 2026. La larĝo de la stango estas proporcia al la prezo; pli longa estas pli multekosta.

Jen la honesta legado pri tio, kie tiu kroma prezo meritas sin — kaj kie ne.

Ŝarĝo	Ĉu uzi Inkling?	Kial
Rezonado pri diagramoj	Jes	La publikigitaj ciferoj pri CharXiv kaj MMMU Pro estas tio, pri kio ĉi tiu fundamento plej fortas.
Agentoj movataj de ekrankopioj	Jes	Vido plus ilvokado plus 262K da historio en unu modelo, sen transdono.
Longaj dokumentoj kun figuroj	Jes	Teksto kaj bildoj dividas unu malkodilon kaj unu kuntekstan fenestron.
Simpla teksta generado	Ne	Ses modeloj je $0.50 / $2.00 faras tion. Vi pagas por vida vojo, kiun vi neniam vokas.
Amasa ekstraktado laŭ skemo	Ne	Neniu json_schema. MiMo-V2.5 estas pli malmultekosta kaj limigita de skemo.
La absoluta pintnivela plafono	Ne	Kimi-K3 estas la ĉefŝipo. Pagu la 3.1-oblon, se la plafono estas la limigo.
La plej malmultekosta ebla vido	Ne	MiniMax-M3 havas vidon je $0.50 / $2.00. Komencu tie, eskalu, se la kvalito devigas.

Legu tion kiel enkursigan regulon, ne kiel rangolistan. Inkling taŭgas por pli mallarĝa bendo de laboro ol reklampaĝo asertus, kaj ene de tiu bendo ĝin estas malfacile venki laŭ prezo. Ekster ĝi, ni preferas vendi al vi la pli malmultekostan modelon kaj konservi vin.

06La kunteksta fenestro de 262K, kaj kio efektive enteniĝas

Ĉiuj dek du modeloj sur la Enirejo estas servataj kun eniga kunteksto de 262,144 ĵetonoj kaj maksimuma eligo de 16,384 ĵetonoj po peto. Unuforme intence: la traktado de kunteksto neniam fariĝu po-modela branĉo en via kodo, kaj interŝanĝi inkling kontraŭ MiniMax-M3 en agorda dosiero ne silente ŝanĝu tion, kio enteniĝas.

Rimarku la breĉon kontraŭ la publikigita fundamento: Thinking Machines dokumentas Inkling je 1,048,576 ĵetonoj, kaj ni servas 262K-tranĉaĵon el tio. Se vi havas veran unu-petan ŝarĝon de miliono da ĵetonoj, ni ne estas la finpunkto por ĝi, kaj estas pli bone, ke vi sciu tion antaŭ ol konstrui.

Pri la skalo je 262K: 400-paĝa teknika PDF kun siaj figuroj, mezgranda kodbazo, pluraj horoj da transskribo, aŭ longa agenta seanco portanta dekojn da ilrezultoj kaj manplenon da ekrankopioj — ĉiu enteniĝas en unu peto. Sur vida modelo, memoru, ke bildoj ankaŭ konsumas kuntekston; densa ekrankopio ne estas senpaga, kaj seanco, kiu flusendas kadrojn, plenigas la fenestron pli rapide ol nur-teksta. La arkitekturo bone taŭgas por tio: la ŝablono 5:1 inter glitanta fenestro kaj tutmonda atento signifas, ke plej multaj tavoloj atentas ene de najbaraĵo de 512 ĵetonoj, kun tutmondaj tavoloj periode retirantaj la longdistancan strukturon.

07Rezonada peno: pagi por pensado nur kiam vi bezonas ĝin

Inkling elmetas regeblan rezonadan penon — unu el la pli utilaj agordiloj en la katalogo. La fonta modelo akceptas nivelojn de none kaj minimal tra low, medium, high, xhigh, ĝis max, elmetitajn sur ĉiuj tri dialektoj tra la norma parametro reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Ĉi tio estas kosta levilo kun dentoj, ĉar rezonadaj ĵetonoj estas fakturataj kiel eligaj ĵetonoj je $6.07 por miliono. Thinking Machines raportas, ke ĉe Terminal Bench 2.1 Inkling atingas poentojn kompareblajn kun Nemotron 3 Ultra je proksimume triono de la ĵetonoj — la ĵetona efikeco estas deklarita dezajna celo de la pensistemo, ne akcidento.

Praktike: rulu low aŭ minimal por bildosubskriboj, klasifikadon kaj rektan ekstraktadon, kie la respondo estas en la bildo kaj neniu ĉeno de inferenco necesas. Rezervu high kaj pli por rezonado pri diagramoj, plurpaŝa vida komparo, kaj agentaj vicoj, kie malĝusta meza paŝo estas multekosta. Plej multaj teamoj neniam agordas la parametron entute, kaj lasas plurobligan diferencon de eliga kosto sur la tablo.

08Kion "sencenzura" signifas ĉi tie — kaj kion ne

Konkrete: ni rulas ĉi tiun modelon kun neniu rifuza tavolo kaj neniu filtrado de la eligo. Neniu klasifikilo legas vian peton kaj decidas, ĉu la modelo rajtas respondi, kaj neniu legas la respondon antaŭ ol ĝi flusendiĝas. Kiam la modelo estas necerta aŭ mankas al ĝi la scio, ĝi diras tion — tio estas la modelo, ne politiko. Kion vi ne ricevos, estas refleksa rifuzo pri temo, kiun ĝenerala konsumanta produkto traktas kiel malpermesitan.

Por vido ĉi tio estas la tuta valorpropono. Bildklasifikiloj antaŭ vidaj API-oj estas malprecizaj, kaj la kvoto de falsaj pozitivoj trafas plej forte la profesian laboron, kiu plej bezonas la kapablon: sekureca esplorado, klinikaj kuntekstoj, ĵurnalismo kaj krimmedicino, filma kaj arta kritiko, moderigaj iloj, kiuj devas rigardi tion, kion ili moderigas. Finpunkto, kiu rifuzas laŭ kategorio, ne povas fidinde servi iun el tiuj.

Du honestaj avertoj. Unue, Thinking Machines publikigas sekurecajn taksadojn por sia referenca disponigo — 78.0% ĉe FORTRESS adversarial, 95.9% ĉe FORTRESS benign, 98.6% ĉe StrongREJECT. Tiuj ciferoj priskribas ilian stakon kun iliaj gardreloj surloke. Ili ne priskribas la nian, kaj ni ne citos ilin kvazaŭ jes. Ni forigis la tavolon, kiun tiuj ciferoj parte mezuras; tio estas la produkto, kaj la respondeco.

Due, "neniu rifuza tavolo" ne estas "neniuj reguloj". Shannon Lab LLC funkcias sub politiko pri respondeca uzo kaj sub la aplikebla usona juro. Forigi klasifikilon movas la juĝon al vi, ĝi ne forigas ĝin. Se vi konstruas sur ĉi tio, legu la politikon antaŭ ol vi skaliĝas.

09Komenci

Sama baza URL, sama ŝlosilo, tri dialektoj. Se via kodo jam vokas OpenAI, Anthropic aŭ la Responses-API-on, ŝanĝi la modelĉenon kutime estas la tuta migrado.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

La plena referenco pri parametroj, la formoj de /v1/messages kaj /v1/responses, la flusendaj eventformatoj kaj viva ludejo troviĝas en la API-dokumentado. La modelkartoj pri la aliaj dek unu modeloj troviĝas en Shannon Research.

La ciferoj pri la fundamento estas la publikigitaj nombroj de Thinking Machines Lab pri la nekvantigita kontrolpunkto de Inkling kaj priskribas la plafonon de la familio, ne nian kvantigitan konstruon. La prezoj kaj kapablaj flagoj estas listaj valoroj de la Enirejo de Shannon AI je septembro 2026.

10Oftaj demandoj

---

Fontoj: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — arkitekturaj kaj benchmark-notoj pri Inkling. La benchmark-oj pri la fundamento estas raportitaj de la laboratorio pri la nekvantigita kontrolpunkto.