API ya Modeli ya Inkling bila udhibiti

Modeli nyingi kati ya kumi na mbili kwenye lango letu ni za maandishi pekee. Nne siyo, na kati ya hizo nne Inkling inashikilia nafasi mahususi: modeli ya uoni unayoifikia pale picha ndipo sehemu ngumu ya tatizo ilipo lakini bajeti haifiki kwenye bendera. Mwongozo huu unafunika msingi unatoka wapi, kiambishi cha W4A16-AUTOROUND-REAP kimeufanyia nini, itafanya nini na haitafanya nini kwenye uso wa API, na — kwa ukweli — lini modeli nafuu zaidi ndani ya katalogi ileile ndicho chaguo bora.

01Inkling ni nini, na nani aliijenga?

Inkling ni modeli ya kwanza ya uzani wazi kutoka Thinking Machines Lab, iliyochapishwa tarehe 15 Julai 2026. Tofauti na matoleo mengi yanayowekwa kama "wazi," ilitoka na uzani kamili unaoweza kupakuliwa kwenye Hugging Face na uungwaji mkono wa siku-sifuri katika transformers, SGLang, vLLM, na llama.cpp — ndiyo jinsi ilivyoweza kuendeshwa kwenye miundombinu kama yetu kabisa. Namba kuu, kutoka vifaa vya toleo vya Thinking Machines wenyewe:

Huo ni mpangilio wa Mixture-of-Experts nyembamba: tabaka 66 za kisimbuzi kwenye ukubwa fiche wa 6,144, mbili za kwanza zikiwa mnene, zilizobaki 64 zikibeba wataalamu 256 wanaoelekezwa pamoja na wataalamu 2 wanaoshirikiwa, ikiwa na wataalamu 6 wanaoelekezwa wanaowaka kwa kila tokeni. Takriban 4% ya vigezo vinawaka kwenye tokeni yoyote iliyotolewa — ndicho kinachofanya modeli inayokaribia trilioni ya vigezo iwezekane kuhudumiwa kabisa.

Chaguo mbili za kimuundo si za kawaida kiasi cha kustahili kutajwa. Attention imesukwa — imesukwa tabaka 55 za attention ya dirisha linalotelezea juu ya dirisha la tokeni 512 dhidi ya tabaka 11 za kimataifa, katika mchoro unaojirudia wa 5:1. Na Inkling haitumii RoPE: inatumia upendeleo wa nafasi linganishi uliojifunzwa, unaotegemea ingizo, pamoja na mikunjo mifupi ya kisababishi kwenye tupo za funguo/thamani na matawi ya masalio. Madokezo ya muundo ya Sebastian Raschka yanaashiria vyote viwili kama kuondoka halisi kutoka maelekezo ya kawaida ya 2026. Mafunzo yalitumia Muon kwa vigezo vikubwa vya matriki na Adam kwa vilivyobaki, kisha zaidi ya viringisho milioni 30 vya RL visivyosawazishwa katika mafunzo ya baadaye.

Jambo kwa mtumiaji wa API si habari ndogo. Ni kwamba huu ni msingi wa kiwango cha mstari wa mbele, wa njia nyingi kwa asili uliofunzwa kwenye tokeni trilioni 45 zinazovuka maandishi, picha, sauti na video — si modeli ya maandishi yenye kiungo cha uoni kilichoambatishwa baadaye. Picha zinasimbwa kama vipande vya pikseli 40×40 kupitia kigawa-vipande cha MLP cha ngazi nne na kuchakatwa kwa pamoja na maandishi ndani ya kisimbuzi kilekile. Uelewa wa kuona ulikuwa ndani ya lengo la mafunzo ya awali.

02W4A16-AUTOROUND-REAP inamaanisha nini?

Mbinu tatu tofauti zimerundikwa ndani ya kiambishi hicho, na zinafanya kazi tofauti. Inafaa kuelewa, kwa sababu kiambishi ndiyo tofauti kubwa kuliko zote kati ya modeli unayoiita kwenye API yetu na kituo ambacho Thinking Machines ilikichapisha.

REAP — kupogoa wataalamu ambao hakuna anayewaelekezea

REAP ni Router-weighted Expert Activation Pruning, kutoka Cerebras Research (arXiv 2510.13999, iliyokubaliwa ICLR 2026). Ndani ya MoE yenye wataalamu 256 kwa kila tabaka kielekezi hakigawi kazi kwa usawa: baadhi ya wataalamu wanapigwa mara kwa mara, wengine wanawaka mara chache na wanachangia kidogo wanapowaka. REAP inampa kila mtaalamu alama kwa vyote viwili: thamani za lango la kielekezi na kanuni za uwashaji wa mtaalamu — mtaalamu anayechaguliwa mara nyingi lakini akichangia masasisho ya ukubwa mdogo anahusu kidogo kuliko hesabu yake ya kuchaguliwa inavyodokeza — na inaondoa wenye umuhimu mdogo kwa pigo moja, kabla ya mbano.

Sababu tunatumia upogoaji badala ya kuunganisha wataalamu kunakopendwa zaidi ni kwamba mbinu hizo mbili zinatofautiana kwa aina ya kazi. Kuunganisha kunaonekana kushindana kwenye vipimo vya kutofautisha na kunaporomoka kwenye vya kuzalisha. Waandishi wa REAP wanaripoti kwamba kupogoa kunahifadhi ubora vizuri zaidi hasa kwenye mizigo ya kazi ambayo watu wananunua API kwa ajili yake — usanisi wa msimbo, kuita zana, hoja ya zamu nyingi — kwenye uwiano wa mbano unaozidi 50%, katika modeli kutoka vigezo bilioni 20 hadi trilioni 1. Kuunganisha kunaharibu ubingwa wa kielekezi; kupogoa kunaacha wataalamu waliobaki na uelekezaji kati yao ukiwa salama.

AutoRound — kujifunza mahali pa kuviringisha

AutoRound ni mbinu ya Intel ya mbano wa baada ya mafunzo (arXiv 2309.05516, iliyochapishwa kama SignRound). Mbano rahisi unaviringisha kila uzani hadi thamani ya biti 4 iliyo karibu zaidi inayoweza kuwakilishwa — chaguo la kawaida linalofaa na baya kwenye kiwango kikubwa, kwa sababu makosa ya kuviringisha hayajitegemei na yanalimbikizana katika rundo la tabaka 66. AutoRound inashughulikia uamuzi wa kuviringisha kama kitu cha kuboreshwa: mteremko wa gredienti wenye alama unarekebisha kwa pamoja mwelekeo wa kuviringisha na maeneo ya kukata uzani katika hatua mia chache, ukikopa usahihi wa mafunzo yanayozingatia mbano bila kufunza upya. Intel inaripoti faida kubwa kuliko zote kwenye mipangilio ya biti chache kupita kiasi na kingo ya ushindani kwenye INT4.

W4A16 — biti zinakwenda wapi

W4A16 ni umbo la kihesabu: uzani wa biti 4, uwashaji wa biti 16. Uzani — unaotawala kumbukumbu ndani ya modeli ya 975B — unapungua hadi takriban robo ya alama ya BF16, wakati hesabu inabaki kwa biti 16. Mgawanyo huo unahusu kwa modeli ya uoni mahususi: mipango inayobana uwashaji inadhuru hasa kazi nyeti ya kihesabu ya daraja jembamba ambayo uelewa wa picha unaitegemea — kusoma lebo ndogo ya mhimili, kutatua mstari mwembamba ndani ya mchoro, kutenganisha vivuli viwili vinavyofanana. Kuweka uwashaji kwa biti 16 kunagharimu upana wa njia na kunarudisha usahihi mahali ambapo mzigo wa kazi wa uoni unaugundua.

Zikirundikwa, tatu hizi zinatoa modeli inayotoshea na kubaki ya kasi bila mteremko wa ubora wa daraja kali la 3BIT-REAP tunalolitumia kwenye misingi mikubwa kuliko yote. Hilo ndilo badiliko ambalo bei inaliakisi.

03Uoni: API ya uchambuzi wa picha isiyokataa

Inkling ni mojawapo ya modeli nne zenye uwezo wa uoni ndani ya katalogi yetu, pamoja na Kimi-K3, Kimi-K2.6, na MiniMax-M3. Matokeo ya uoni yaliyochapishwa ya modeli ya msingi, kutoka toleo la Thinking Machines, ni 73.3% kwenye MMMU Pro (Standard 10) na 78.1% kwenye maswali ya hoja ya CharXiv — yakipanda hadi 82.0% modeli inaporuhusiwa kuendesha Python dhidi ya chati. Hizo ni namba za maabara yenyewe kwa kituo kisichobanwa; zishughulikie kama dari ya familia, si kipimo cha ujenzi wetu.

CharXiv ndiyo inayostahili kukaziwa, kwa sababu inaelekea kwenye sababu watu wanaonunua API ya uoni badala ya huduma ya OCR. Inapima hoja juu ya chati za kisayansi — kusoma thamani kutoka kwenye mhimili, kulinganisha mfululizo miwili, kutambua mwelekeo unaogeuka. Si "ni maandishi gani yaliyomo ndani ya picha hii" bali "kielelezo hiki kinadai nini, na je, dai lake linashikilia." Hicho ndicho kinachohalalisha kutuma picha kwa modeli ya hoja ya 975B badala ya kiandika-maelezo kidogo.

Kutuma picha ni kazi ya kawaida inayooana na OpenAI — sehemu ya maudhui ya image_url kwenye /v1/chat/completions, kitalu cha image cha mtindo wa Anthropic kwenye /v1/messages, au kinacholingana kwenye /v1/responses. Lahaja zote tatu zinagonga uzani uleule na zote tatu zinatiririsha; chagua ile ambayo SDK yako iliyopo tayari inaizungumza. Mfano uliofanyiwa kazi upo kwenye sehemu ya 09.

Sehemu ya bila udhibiti inahusu zaidi kwa uoni kuliko kwa maandishi. Safu ya kukataa kwenye ncha ya uoni ni butu kwa namna isiyo ya kawaida, kwa sababu kwa kawaida inaainisha picha kabla modeli haijafikiria kuhusu ombi. Kazi halali inanaswa mara kwa mara: picha ya jeraha ndani ya bomba la maandishi ya kliniki, picha ya skrini ya kiuchunguzi ndani ya maandishi ya tukio, fremu kutoka filamu inayochambuliwa kwa makala ya uhakiki, skani ya kimatibabu, picha ya hati inayobahatika kuwa na jina. Inkling kwenye lango letu haina kiainishi cha aina hiyo mbele yake. Inatazama ulichokituma na inajibu swali ulilouliza. Hiyo ndiyo bidhaa.

04Matokeo yenye muundo: response_format ndiyo, json_schema hapana

Hapa ndipo mahali pekee Inkling ina uwezo mdogo kuliko sehemu kubwa ya katalogi, na ni bora kulipangia kuliko kuligundua kwenye uzalishaji.

Uwezo	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Uoni (ingizo la picha)	Ndiyo	Ndiyo	Ndiyo	Hapana
response_format	Ndiyo	Ndiyo	Ndiyo	Hapana
json_schema	Hapana	Ndiyo	Ndiyo	Hapana
Kuita zana	Ndiyo	Ndiyo	Ndiyo	Ndiyo
Juhudi ya hoja	Ndiyo	Ndiyo	Ndiyo	Ndiyo

response_format: {"type": "json_object"} inafanya kazi — unapata JSON sahihi kisintaksia. Kile usichokipata ni usimbuaji uliobanwa na sarufi dhidi ya muundo unaoutoa, ambapo kichaguzi kinazuiwa kimwili kutoa tokeni inayovunja muundo wako. Majina ya uwanja, uanachama wa enum, na uwepo wa funguo zinazohitajika ni chaguo la modeli, si dhamana.

Njia tatu za kuishi na hilo, kwa mpangilio wa kupanda wa kuaminika:

1. Dokeza muundo na uthibitishe. Weka muundo ndani ya kidokezo cha mfumo kama JSON halisi, weka response_format kuwa json_object, na uthibitishe jibu upande wako. Jaribu tena ikishindwa uthibitishaji ukiambatanisha ujumbe wa hitilafu wa kithibitishi. Nafuu, inafanya kazi, inahitaji bajeti ya kujaribu tena.
2. Tumia fasili ya zana kama muundo wako. Kuita zana kunaungwa mkono, na fasili ya vigezo vya kazi ni JSON Schema. Tangaza zana moja iliyopewa jina la uchukuaji unaoutaka, ilazimishe, na usome hoja. Hii kwa kawaida ndiyo chaguo imara kuliko zote kwenye Inkling na haikugharimu chochote cha ziada.
3. Gawa kazi kati ya modeli mbili. Acha Inkling ifanye uoni na hoja kwa maandishi, kisha kabidhi maandishi hayo kwa MiMo-V2.5-W8A16 kwa $0.50 / $2.00 ukiwa na json_schema halisi kwa pigo la kuumba muundo. Miito miwili, lakini wa pili ni nafuu, wa uhakika kwa umbo, na modeli inayopaswa kuwa nadhifu ndiyo ile iliyoiona picha.

Chaguo la 3 ndilo mchoro tungeupendekeza kwa bomba lolote la uchukuaji la kiasi kikubwa. Lipa ziada kwa hatua inayoihitaji pekee.

05Ziada ya bei inanunua nini?

Kwa $1.42 ndani / $6.07 nje kwa tokeni milioni, Inkling inakaa kwa makusudi katikati ya katalogi yetu. Sita kati ya modeli kumi na mbili ziko kwenye sakafu ya $0.50 / $2.00. Kimi-K3 — bendera, pia yenye uwezo wa uoni — ni $3.83 / $19.12. Inkling ni takriban mara tatu ya sakafu kwenye matokeo na takriban theluthi moja ya bendera.

Bei ya matokeo, USD kwa tokeni 1M, viwango vya orodha vya Lango la Shannon AI, Septemba 2026. Upana wa mstari unalingana na bei; mrefu zaidi ni ghali zaidi.

Huu hapa usomaji wa kweli wa mahali ziada hiyo inapostahili — na mahali isipostahili.

Mzigo wa kazi	Utumie Inkling?	Kwa nini
Hoja ya chati / michoro	Ndiyo	Namba zilizochapishwa za CharXiv na MMMU Pro ndizo msingi huu ulipo imara kuliko pote.
Mawakala wanaoendeshwa na picha za skrini	Ndiyo	Uoni pamoja na kuita zana pamoja na historia ya 262K ndani ya modeli moja, bila kukabidhiana.
Hati ndefu zenye vielelezo	Ndiyo	Maandishi na picha vinashiriki kisimbuzi kimoja na dirisha moja la muktadha.
Uzalishaji wa maandishi matupu	Hapana	Modeli sita kwa $0.50 / $2.00 zinafanya hili. Unalipia njia ya uoni usiyoiita kamwe.
Uchukuaji wa muundo wa wingi	Hapana	Hakuna json_schema. MiMo-V2.5 ni nafuu na imebanwa na muundo.
Dari kamili ya mstari wa mbele	Hapana	Kimi-K3 ndiyo bendera. Lipa mara 3.1 kama dari ndicho kizuizi.
Uoni nafuu kuliko wote unaowezekana	Hapana	MiniMax-M3 ina uoni kwa $0.50 / $2.00. Anza hapo, panda ubora ukikulazimu.

Isome hiyo kama kanuni ya kuelekeza, si orodha ya vyeo. Inkling inafaa kwa ukanda mwembamba wa kazi kuliko ukurasa wa matangazo ungedai, na ndani ya ukanda huo ni vigumu kuishinda kwa bei. Nje yake, tungependelea kukuuzia modeli nafuu na kukubakiza.

06Dirisha la muktadha la 262K, na kinachotoshea hasa

Modeli zote kumi na mbili kwenye lango zinahudumiwa zikiwa na muktadha wa ingizo wa tokeni 262,144 na matokeo ya juu kabisa ya tokeni 16,384 kwa kila ombi. Ni sawa kwa makusudi: ushughulikiaji wa muktadha haupaswi kamwe kuwa tawi la kila modeli ndani ya msimbo wako, na kubadilisha inkling kuwa MiniMax-M3 ndani ya faili ya mipangilio hakupaswi kubadilisha kimyakimya kinachotoshea.

Angalia pengo dhidi ya msingi uliochapishwa: Thinking Machines inaandika Inkling kwa tokeni 1,048,576, na sisi tunahudumia kipande cha 262K cha hiyo. Kama una mzigo wa kazi halisi wa ombi moja la tokeni milioni, sisi si ncha kwa ajili yake, na ni bora ujue kabla hujajenga.

Kwa kiwango cha 262K: PDF ya kiufundi ya kurasa 400 pamoja na vielelezo vyake, hazina ya msimbo ya ukubwa wa kati, saa kadhaa za nakala ya mazungumzo, au kipindi kirefu cha kiwakala kikibeba matokeo mengi ya zana na picha chache za skrini — kila kimoja kinatoshea ndani ya ombi moja. Kwenye modeli ya uoni, kumbuka picha zinatumia muktadha pia; picha ya skrini yenye msongamano si ya bure, na kipindi kinachotiririsha fremu kinajaza dirisha haraka kuliko cha maandishi pekee. Muundo unafaa hili vizuri: mchoro wa 5:1 wa dirisha linalotelezea kwa la kimataifa unamaanisha tabaka nyingi zinashughulikia ndani ya jirani ya tokeni 512, tabaka za kimataifa zikirudisha muundo wa masafa marefu mara kwa mara.

07Juhudi ya hoja: kulipia kufikiri pale tu unapohitaji

Inkling inaweka wazi juhudi ya hoja inayodhibitika — mojawapo ya vifundo vyenye manufaa zaidi ndani ya katalogi. Modeli ya chanzo cha juu inapokea viwango kutoka none na minimal kupitia low, medium, high, xhigh, hadi max, vikiwekwa wazi kwenye lahaja zote tatu kupitia kigezo cha kawaida cha reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Hiki ni kifundo cha gharama chenye meno, kwa sababu tokeni za hoja zinatozwa kama tokeni za matokeo kwa $6.07 kwa milioni. Thinking Machines inaripoti kwamba kwenye Terminal Bench 2.1 Inkling inafikia alama zinazolingana na Nemotron 3 Ultra kwa takriban theluthi moja ya tokeni — ufanisi wa tokeni ni lengo lililoelezwa la muundo wa mfumo wa juhudi, si ajali.

Kiutendaji: endesha low au minimal kwa kuandika maelezo, uainishaji, na uchukuaji wa moja kwa moja, ambapo jibu lipo ndani ya picha na hakuna mnyororo wa hoja unaohitajika. Hifadhi high na juu yake kwa hoja ya chati, ulinganisho wa kuona wa hatua nyingi, na zamu za kiwakala ambapo hatua ya kati isiyo sahihi ni ghali. Timu nyingi hazikiweki kigezo hicho kabisa, na zinaacha tofauti ya gharama ya matokeo ya mara kadhaa mezani.

08"Bila udhibiti" kunamaanisha nini hapa — na hakumaanishi nini

Kwa uwazi: tunaendesha modeli hii bila safu ya kukataa na bila kuchuja kwenye matokeo. Hakuna kiainishi kinachosoma kidokezo chako na kuamua kama modeli inaweza kujibu, na hakuna kinachosoma jibu kabla halijatiririka. Modeli inapokuwa na shaka au haina maarifa, inasema hivyo — hiyo ni modeli, si sera. Kile usichokipata ni kukataa kwa mazoea kwenye mada ambayo bidhaa ya watumiaji wa jumla inaishughulikia kama isiyoruhusiwa.

Kwa uoni hii ndiyo hoja nzima ya thamani. Viainishi vya picha mbele ya API za uoni si sahihi, na kiwango cha alama za uongo kinaangukia kwa uzito zaidi kwenye kazi ya kitaalamu inayohitaji uwezo huo zaidi: utafiti wa usalama, mazingira ya kliniki, uandishi wa habari na uchunguzi, uhakiki wa filamu na sanaa, zana za usimamizi wa maudhui zinazopaswa kuangalia kitu zinachokisimamia. Ncha inayokataa kwa kundi haiwezi kuhudumia yoyote kati ya hizo kwa kuaminika.

Tahadhari mbili za kweli. Kwanza, Thinking Machines inachapisha tathmini za usalama kwa utoaji wao wa marejeo — 78.0% kwenye FORTRESS ya kipinzani, 95.9% kwenye FORTRESS isiyo ya kipinzani, 98.6% kwenye StrongREJECT. Namba hizo zinaeleza rundo lao likiwa na kinga zao zikiwepo. Haziyaelezi yetu, na hatutazitaja kana kwamba zinafanya hivyo. Tuliondoa safu ambayo namba hizo kwa sehemu zinaipima; hiyo ndiyo bidhaa, na jukumu.

Pili, "hakuna safu ya kukataa" si "hakuna sheria." Shannon Lab LLC inaendesha chini ya Sera ya Matumizi ya Kuwajibika na sheria inayotumika ya Marekani. Kuondoa kiainishi kunahamisha hukumu kwako, hakuifuti. Kama unajenga juu ya hii, soma sera kabla hujapanuka.

09Kuanza

URL ileile ya msingi, ufunguo uleule, lahaja tatu. Kama msimbo wako tayari unaita OpenAI, Anthropic, au API ya Responses, kubadilisha mfuatano wa modeli kwa kawaida ndiyo uhamisho wote.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Marejeo kamili ya vigezo, maumbo ya /v1/messages na /v1/responses, maumbo ya matukio ya utiririshaji, na uwanja hai wa majaribio vipo kwenye nyaraka za API. Miongozo ya modeli kwa modeli nyingine kumi na moja ipo ndani ya Utafiti wa Shannon.

Namba za msingi ni namba zilizochapishwa na Thinking Machines Lab kwa kituo cha Inkling kisichobanwa na zinaeleza dari ya familia, si ujenzi wetu uliobanwa. Bei na bendera za uwezo ni thamani za orodha za Lango la Shannon AI kufikia Septemba 2026.

10Maswali yanayoulizwa mara kwa mara

---

Vyanzo: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — madokezo ya muundo na vipimo vya Inkling. Vipimo vya msingi vimeripotiwa na maabara kwa kituo kisichobanwa.