Uncensored na Inkling Model API

Karamihan sa labindalawang modelo sa aming gateway ay teksto lamang. Apat ang hindi, at sa apat na iyon may tiyak na puwesto ang Inkling: ito ang vision model na inaabot mo kapag ang larawan ang mahirap na bahagi ng problema ngunit hindi kayang abutin ng badyet ang isang flagship. Sinasaklaw ng card na ito kung saan nagmula ang pundasyon, ano ang ginawa rito ng suffix na W4A16-AUTOROUND-REAP, ano ang gagawin at hindi nito gagawin sa ibabaw ng API, at — nang tapatan — kung kailan mas tamang piliin ang mas murang modelo sa parehong katalogo.

01Ano ang Inkling, at sino ang gumawa nito?

Ang Inkling ang unang open-weights na modelo ng Thinking Machines Lab, inilathala noong Hulyo 15, 2026. Hindi tulad ng karamihan sa mga paglabas na ipinoposisyon bilang "bukas," dumating ito na may buong nada-download na weights sa Hugging Face at may suporta mula sa unang araw sa transformers, SGLang, vLLM at llama.cpp — at iyon ang dahilan kung bakit ito napatakbo sa imprastrukturang tulad ng amin. Ang mga pangunahing bilang, mula sa mismong materyales sa paglabas ng Thinking Machines:

Isang sparse na Mixture-of-Experts na layout iyon: 66 na decoder layer sa 6,144 na hidden size, dense ang unang dalawa, ang natitirang 64 ay may dalang 256 na niruruta na expert kasama ang 2 na ibinabahaging expert, na may 6 na niruruta na expert na aktibo kada token. Mga 4% ng parameter ang pumuputok sa alinmang token — at iyon ang nagpapaposible sa paghahain ng isang modelong halos trilyon ang parameter.

Dalawang pagpiling arkitektural ang sapat na hindi pangkaraniwan para pangalanan. Ang attention ay naghahalili — 55 na layer ng sliding-window attention sa isang 512-token na bintana laban sa 11 na global na layer, sa umuulit na 5:1 na padron. At hindi gumagamit ng RoPE ang Inkling: gumagamit ito ng natutunan at nakabatay-sa-input na relatibong bias sa posisyon, kasama ang maiikling causal convolution sa key/value projection at sa mga sangang residual. Tinutukoy ng mga tala ni Sebastian Raschka sa arkitektura na tunay na paglihis pareho ang mga ito sa karaniwang resipe ng 2026. Gumamit ang pagsasanay ng Muon para sa malalaking parameter ng matrix at ng Adam para sa iba, saka mahigit 30 milyong asynchronous na RL rollout sa post-training.

Hindi ang mga tidbit na ito ang punto para sa gumagamit ng API. Ang punto ay isa itong frontier-scale at likas na multimodal na pundasyong sinanay sa 45 trilyong token na sumasaklaw sa teksto, larawan, tunog at bidyo — hindi isang modelong pang-teksto na dinugtungan ng vision adapter kalaunan. Ini-encode ang mga larawan bilang 40×40 na pixel patch sa pamamagitan ng apat na layer na hierarchical MLP patchifier at pinoproseso nang magkasama ng teksto sa iisang decoder. Nasa layunin na ng pretraining ang pag-unawa sa larawan.

02Ano ang ibig sabihin ng W4A16-AUTOROUND-REAP?

Tatlong magkahiwalay na teknik ang nakasalansan sa suffix na iyon, at magkakaiba ang trabaho nila. Sulit itong maintindihan, dahil ang suffix ang pinakamalaking pagkakaiba ng modelong tinatawag mo sa aming API at ng checkpoint na inilathala ng Thinking Machines.

REAP — pagputol sa mga expert na walang nagruruta

Ang REAP ay Router-weighted Expert Activation Pruning, mula sa Cerebras Research (arXiv 2510.13999, tinanggap sa ICLR 2026). Sa isang MoE na may 256 na expert kada layer, hindi pantay ang paghahati ng router sa trabaho: tinatamaan nang tuloy-tuloy ang ilang expert, habang bihirang pumutok ang iba at maliit ang naiaambag kapag pumutok. Nagbibigay ng puntos ang REAP sa bawat expert sa parehong mga halaga ng gate ng router at mga norm ng aktibasyon ng expert — ang expert na madalas piliin ngunit maliit ang magnitude ng ibinibigay na update ay hindi kasinghalaga ng ipinapahiwatig ng bilang ng pagpili rito — at ibinabagsak ang mababa ang saliency sa isang hakbang, bago ang pagkuwantisa.

Ang dahilan kung bakit pagputol ang ginagamit namin at hindi ang mas mausong pagsasanib ng expert ay dahil naghihiwalay ang dalawa ayon sa uri ng gawain. Mukhang mapagkumpitensiya ang pagsasanib sa mga diskriminatibong benchmark at bumabagsak sa mga heneratibo. Iniuulat ng mga may-akda ng REAP na mas napapanatili ng pagputol ang kalidad sa mismong mga trabahong pinagbabayaran ng tao ng API — sintesis ng code, tool calling, maraming-turn na pangangatwiran — sa mga ratio ng pagsisiksik na lampas 50%, sa mga modelong mula 20B hanggang 1T na parameter. Sinisira ng pagsasanib ang espesyalisasyon ng router; iniiwang buo ng pagputol ang natirang mga expert at ang pagruruta sa kanila.

AutoRound — pag-aaral kung saan mag-round

Ang AutoRound ay ang paraan ng post-training quantization ng Intel (arXiv 2309.05516, inilathala bilang SignRound). Nagro-round ang payak na pagkuwantisa ng bawat weight sa pinakamalapit na maipapakitang 4-bit na halaga — makatuwirang default at masamang default sa laki, dahil hindi magkahiwalay ang mga pagkakamali sa pag-round at naiipon ang mga ito sa 66-layer na salansan. Tinatrato ng AutoRound ang desisyon sa pag-round bilang isang bagay na dapat optimisahin: sabay na tino-tune ng signed gradient descent ang direksiyon ng pag-round at ang saklaw ng clipping ng weight sa loob ng ilang daang hakbang, hinihiram ang katumpakan ng quantization-aware training nang walang muling pagsasanay. Iniuulat ng Intel ang pinakamalaking pakinabang sa sukdulang mababang-bit na setting at isang mapagkumpitensiyang bentahe sa INT4.

W4A16 — kung saan napupunta ang mga bit

Ang W4A16 ang numerikong pormat: 4-bit na weights, 16-bit na activations. Ang weights — na siyang nangingibabaw sa memorya ng isang 975B na modelo — ay lumiliit tungo sa mga ikaapat ng bakas ng BF16, habang nananatili sa 16 na bit ang aritmetika. Mahalaga ang hating iyon partikular sa isang vision model: ang mga iskemang kinuwantisa rin ang activation ay sumisira sa mismong pinong numerikong gawaing pinagbabatayan ng pag-unawa sa larawan — pagbasa ng maliit na label sa axis, paghihiwalay ng manipis na guhit sa isang diagram, paghihiwalay ng dalawang magkalapit na kulay. Ang pagpapanatili ng activations sa 16 na bit ay may halaga sa bandwidth at nagbabalik ng presisyon doon sa napapansin ng isang gawaing vision.

Nakasalansan, ang tatlo ay nagbibigay ng modelong kasya at mananatiling mabilis nang walang bangin sa kalidad ng agresibong antas na 3BIT-REAP na ginagamit namin sa pinakamalalaking pundasyon. Iyon ang palitang sinasalamin ng presyo.

03Vision: isang API sa pagsusuri ng larawan na walang pagtanggi

Ang Inkling ay isa sa apat na vision-capable na modelo sa aming katalogo, kasama ang Kimi-K3, Kimi-K2.6 at MiniMax-M3. Ang inilathalang resulta sa vision ng base na modelo, mula sa paglabas ng Thinking Machines, ay 73.3% sa MMMU Pro (Standard 10) at 78.1% sa mga tanong na pangangatwiran ng CharXiv — na umaakyat sa 82.0% kapag pinayagan ang modelong magpatakbo ng Python laban sa tsart. Sariling bilang iyon ng lab para sa hindi kinuwantisang checkpoint; ituring silang kisame ng pamilya, hindi sukat ng aming build.

Ang CharXiv ang sulit pagtuunan, dahil tumutugma ito sa dahilan kung bakit bumibili ang mga tao ng vision API sa halip na serbisyong OCR. Sinusubok nito ang pangangatwiran sa mga tsart na pang-agham — pagbasa ng halaga mula sa isang axis, paghahambing ng dalawang serye, pagpansin sa pagbaliktad ng isang takbo. Hindi "anong teksto ang nasa larawang ito" kundi "ano ang inaangkin ng pigurang ito, at tumitindig ba ang angkin." Iyon ang bumibigay-katwiran sa pagpapadala ng larawan sa isang 975B na modelong nangangatwiran sa halip na sa isang maliit na tagalapat ng kapsyon.

Karaniwang gawaing tugma sa OpenAI ang pagpapadala ng larawan — isang bahaging image_url sa /v1/chat/completions, isang blokeng image na estilong Anthropic sa /v1/messages, o ang katumbas sa /v1/responses. Iisang weights ang tinatamaan ng tatlong dayalekto at nagse-stream ang tatlo; piliin ang alinmang sinasalita na ng kasalukuyan mong SDK. May halimbawang naisagawa sa seksiyon 09.

Mas mahalaga ang bahaging uncensored sa vision kaysa sa teksto. Hindi karaniwang pumurol ang isang refusal layer sa isang vision endpoint, dahil karaniwan nitong inuuri ang larawan bago pa nangatwiran ang modelo tungkol sa hiling. Palaging nahuhuli ang lehitimong trabaho: litrato ng sugat sa isang daloy ng klinikal na tala, forensic na screenshot sa isang ulat ng insidente, kuwadro mula sa pelikulang sinusuri para sa isang pagpuna, isang medikal na scan, o larawan ng dokumentong nagkataong may pangalan. Walang ganoong klasipikador sa harap ng Inkling sa aming gateway. Tinitingnan nito ang ipinadala mo at sinasagot ang itinanong mo. Iyon ang produkto.

04Structured output: response_format oo, json_schema hindi

Dito lamang mas mahina ang Inkling kaysa sa halos buong katalogo, at mas mabuting planuhin ito kaysa matuklasan sa produksiyon.

Kakayahan	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Vision (input na larawan)	Oo	Oo	Oo	Hindi
response_format	Oo	Oo	Oo	Hindi
json_schema	Hindi	Oo	Oo	Hindi
Tool calling	Oo	Oo	Oo	Oo
Reasoning effort	Oo	Oo	Oo	Oo

Gumagana ang response_format: {"type": "json_object"} — makakakuha ka ng JSON na tama ang sintaks. Ang hindi mo makukuha ay ang decoding na pinipigilan ng gramatika laban sa schema na ibinibigay mo, kung saan pisikal na napipigilan ang sampler na maglabas ng token na lumalabag sa iyong istruktura. Pili ng modelo ang pangalan ng field, ang pagkakasapi sa enum at ang pagkakaroon ng kailangang key — hindi iyon garantiya.

Tatlong paraan para mabuhay kasama iyon, paakyat ayon sa pagiging maaasahan:

1. I-prompt ang schema at magpatunay. Ilagay ang schema sa system prompt bilang literal na JSON, itakda ang response_format sa json_object, at patunayan ang sagot sa iyong panig. Subukang muli kapag nabigo ang pagpapatunay, na may nakadugtong na mensahe ng pagkakamali ng validator. Mura, gumagana, kailangan ng badyet sa muling pagsubok.
2. Gamiting schema ang isang kahulugan ng tool. Suportado nga ang tool calling, at ang kahulugan ng parameter ng isang function ay isang JSON Schema. Magdeklara ng iisang tool na ipinangalan sa ekstraksiyong gusto mo, ipilit ito, at basahin ang mga argumento. Ito ang karaniwang pinakamalakas na opsiyon sa Inkling at wala itong dagdag na halaga.
3. Hatiin ang trabaho sa dalawang modelo. Ipagawa sa Inkling ang vision at pangangatwiran sa prosa, saka ibigay ang prosang iyon sa MiMo-V2.5-W8A16 sa $0.50 / $2.00 kasama ang tunay na json_schema para sa pasadang pag-aayos ng istruktura. Dalawang tawag, ngunit mura ang pangalawa, tiyak ang hugis, at ang modelong kailangang matalino ay ang nakakita ng larawan.

Ang opsiyon 3 ang padrong irerekomenda namin para sa anumang mataas-ang-volume na daloy ng ekstraksiyon. Bayaran ang premium para lamang sa hakbang na nangangailangan nito.

05Ano ang naibibili ng premium sa presyo?

Sa $1.42 in / $6.07 out kada milyong token, sadyang nasa gitna ng aming katalogo ang Inkling. Anim sa labindalawang modelo ay nasa sahig na $0.50 / $2.00. Ang Kimi-K3 — ang flagship, vision-capable din — ay $3.83 / $19.12. Ang Inkling ay mga tatlong beses ng sahig sa output at mga ikatlo ng flagship.

Presyo ng output, USD kada 1M na token, mga nakalistang halaga ng Shannon AI Gateway, Setyembre 2026. Proporsiyonal sa presyo ang lapad ng bar; mas mahaba, mas mahal.

Narito ang tapat na pagbasa kung saan kinikita ng premium na iyon ang sarili nito — at kung saan hindi.

Trabaho	Gamitin ang Inkling?	Bakit
Pangangatwiran sa tsart / diagram	Oo	Ang inilathalang bilang sa CharXiv at MMMU Pro ang pinakamalakas na bahagi ng pundasyong ito.
Mga agent na hinihimok ng screenshot	Oo	Vision kasama ang tool calling kasama ang 262K na kasaysayan sa isang modelo, walang pagpapasa.
Mahahabang dokumentong may pigura	Oo	Iisang decoder at iisang context window ang pinagsasaluhan ng teksto at larawan.
Payak na paglikha ng teksto	Hindi	Kaya ito ng anim na modelo sa $0.50 / $2.00. Nagbabayad ka para sa landas ng vision na hindi mo naman tinatawag.
Maramihang ekstraksiyon ayon sa schema	Hindi	Walang json_schema. Mas mura at napipigilan ang MiMo-V2.5.
Ganap na kisame ng prontera	Hindi	Ang Kimi-K3 ang flagship. Bayaran ang 3.1× kung ang kisame ang hadlang.
Pinakamurang posibleng vision	Hindi	May vision ang MiniMax-M3 sa $0.50 / $2.00. Doon magsimula, umakyat kung ipipilit ng kalidad.

Basahin iyon bilang tuntunin sa pagruruta, hindi bilang ranggo. Tama ang Inkling para sa mas makitid na hanay ng trabaho kaysa sa aangkinin ng isang pahinang pang-marketing, at sa loob ng hanay na iyon mahirap itong talunin sa presyo. Sa labas niyon, mas gugustuhin naming ibenta sa iyo ang mas murang modelo at panatilihin ka.

06Ang 262K na context window, at ang talagang kasya

Ang lahat ng labindalawang modelo sa gateway ay inihahain na may 262,144-token na input na context at 16,384-token na pinakamataas na output kada request. Sinadya ang pagkakapareho: hindi dapat maging sanga kada modelo sa iyong code ang paghawak sa context, at hindi dapat tahimik na magbago ang kasya kapag pinalitan mo ng MiniMax-M3 ang inkling sa isang config file.

Pansinin ang agwat laban sa inilathalang pundasyon: idinodokumento ng Thinking Machines ang Inkling sa 1,048,576 na token, at isang 262K na hiwa niyon ang inihahain namin. Kung may tunay kang trabahong milyong-token sa iisang request, hindi kami ang endpoint para roon, at mas mabuting malaman mo bago ka magtayo.

Para sa laki sa 262K: isang 400-pahinang teknikal na PDF kasama ang mga pigura nito, isang katamtamang codebase, ilang oras ng transkrip, o isang mahabang agentic na sesyong may dalang dose-dosenang resulta ng tool at ilang screenshot — kasya ang bawat isa sa isang request. Sa isang vision model, tandaang kumakain din ng context ang mga larawan; hindi libre ang isang siksik na screenshot, at mas mabilis mapuno ang bintana ng isang sesyong nagse-stream ng kuwadro kaysa sa teksto lamang. Bagay dito ang arkitektura: ang 5:1 na padrong sliding-window-tungo-sa-global ay nangangahulugang karamihan sa mga layer ay tumutuon sa loob ng isang 512-token na kapitbahayan, habang pana-panahong binabalik ng mga global na layer ang malayuang istruktura.

07Reasoning effort: pagbabayad sa pag-iisip kapag kailangan lang

Inilalantad ng Inkling ang nakokontrol na reasoning effort — isa sa mas kapaki-pakinabang na perilya sa katalogo. Tumatanggap ang modelo sa itaas ng mga antas mula none at minimal hanggang low, medium, high, xhigh, at hanggang max, na inilalabas sa tatlong dayalekto sa pamamagitan ng karaniwang parameter na reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Palanggana ito ng gastos na may ngipin, dahil sinisingil ang mga token ng pangangatwiran bilang output na token sa $6.07 kada milyon. Iniuulat ng Thinking Machines na sa Terminal Bench 2.1 umaabot ang Inkling sa iskor na maihahambing sa Nemotron 3 Ultra sa mga ikatlo lamang ng token — nakasaad na layunin ng disenyo ng sistemang ito ng effort ang kahusayan sa token, hindi aksidente.

Sa praktika: patakbuhin sa low o minimal ang paglalapat ng kapsyon, klasipikasyon at tuwirang ekstraksiyon, kung saan nasa larawan na ang sagot at walang kailangang tanikala ng hinuha. Ilaan ang high pataas para sa pangangatwiran sa tsart, maraming-hakbang na paghahambing ng nakikita, at mga agentic na turn kung saan mahal ang maling gitnang hakbang. Karamihan sa mga koponan ay hindi kailanman itinatakda ang parameter, at iniiwan nila sa mesa ang ilang-tiklop na pagkakaiba sa gastos ng output.

08Ang ibig sabihin ng "uncensored" dito — at ang hindi

Sa konkreto: pinapatakbo namin ang modelong ito nang walang refusal layer at walang pagsala sa output. Walang klasipikador na bumabasa sa iyong prompt at nagpapasya kung puwedeng sumagot ang modelo, at wala ring bumabasa sa sagot bago ito mag-stream. Kapag hindi tiyak ang modelo o kulang ang alam nito, sinasabi nito iyon — modelo iyon, hindi patakaran. Ang hindi mo makukuha ay ang padalus-dalos na pagtangging kaugnay ng paksang itinuturing na bawal ng isang produktong pangkalahatang mamimili.

Para sa vision ito ang buong halaga ng alok. Hindi tumpak ang mga klasipikador ng larawan sa harap ng mga vision API, at pinakamabigat na tumatama ang maling positibo sa propesyonal na trabahong pinakanangangailangan ng kakayahan: pananaliksik sa seguridad, klinikal na konteksto, pamamahayag at forensics, pagpuna sa pelikula at sining, at kasangkapan sa moderasyong kailangang tumingin sa mismong minomoderahan nito. Walang endpoint na tumatanggi ayon sa kategorya ang makapagsisilbi sa alinman sa mga iyon nang maaasahan.

Dalawang tapat na babala. Una, naglalathala ang Thinking Machines ng ebalwasyon sa kaligtasan para sa kanilang reference na deployment — 78.0% sa FORTRESS adversarial, 95.9% sa FORTRESS benign, 98.6% sa StrongREJECT. Inilalarawan ng mga bilang na iyon ang kanilang salansan kasama ang kanilang mga guardrail. Hindi nila inilalarawan ang amin, at hindi namin sila babanggitin na para bang ganoon. Inalis namin ang layer na bahagyang sinusukat ng mga bilang na iyon; iyon ang produkto, at ang pananagutan.

Pangalawa, ang "walang refusal layer" ay hindi "walang tuntunin." Tumatakbo ang Shannon Lab LLC sa ilalim ng isang Patakaran sa Responsableng Paggamit at ng naaangkop na batas ng Estados Unidos. Inililipat sa iyo ng pag-alis ng klasipikador ang paghatol, hindi nito binubura iyon. Kung magtatayo ka rito, basahin ang patakaran bago mo palakihin.

09Pagsisimula

Parehong base URL, parehong key, tatlong dayalekto. Kung tumatawag na ang iyong code sa OpenAI, Anthropic o sa Responses API, karaniwang ang pagpapalit ng string ng modelo na ang buong paglipat.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Nasa dokumentasyon ng API ang buong sanggunian ng parameter, ang mga hugis ng /v1/messages at /v1/responses, ang pormat ng kaganapan sa streaming, at isang buhay na playground. Nasa Shannon Research ang mga model card para sa iba pang labing-isang modelo.

Ang mga bilang sa pundasyon ay inilathalang numero ng Thinking Machines Lab para sa hindi kinuwantisang checkpoint ng Inkling at naglalarawan ng kisame ng pamilya, hindi ng aming kinuwantisang build. Ang mga presyo at bandila ng kakayahan ay nakalistang halaga ng Shannon AI Gateway noong Setyembre 2026.

10Mga madalas itanong

---

Mga sanggunian: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — mga tala sa arkitektura at benchmark ng Inkling. Iniulat ng lab ang mga benchmark ng pundasyon para sa hindi kinuwantisang checkpoint.