API modely Inkling tsy voasivana

Ny ankamaroan'ny modely roa ambin'ny folo eo amin'ny vavahadinay dia lahatsoratra ihany. Efatra no tsy izany, ary amin'ireo efatra ireo dia manana toerana manokana ny Inkling: izy no modely fahitana alainao rehefa ny sary no ampahany sarotra amin'ny olana nefa tsy mahatratra ny sangany ny teti-bola. Ity tari-dalana ity dia mandrakotra ny niavian'ny fototra, ny nataon'ny tovana W4A16-AUTOROUND-REAP taminy, izay hataony sy tsy hataony eo amin'ny velaran'ny API, ary — am-pahamarinana — ny fotoana maha-safidy tsara kokoa ny modely mora kokoa ao amin'io katalaogy io ihany.

01Inona ny Inkling, ary iza no nanorina azy?

Ny Inkling no modely lanja misokatra voalohan'ny Thinking Machines Lab, navoaka ny 15 Jolay 2026. Tsy toy ny ankamaroan'ny famoahana lazaina ho "misokatra", dia navoaka niaraka tamin'ny lanja azo alaina feno tao amin'ny Hugging Face izy sy tohana andro voalohany tao amin'ny transformers, SGLang, vLLM, ary llama.cpp — izany no nahatonga azy ho azo ampandehanina amin'ny fotodrafitrasa toy ny anay mihitsy. Indro ny isa lohalaharana, avy amin'ny fitaovana famoahana an'ny Thinking Machines:

Fandaminana Mixture-of-Experts sparse izany: sosona decoder 66 amin'ny habe miafina 6 144, ny roa voalohany matevina, ny 64 sisa mitondra 256 manam-pahaizana voatondro miampy 2 iombonana, miaraka amin'ny 6 manam-pahaizana voatondro mavitrika isaky ny token. 4% eo ho eo amin'ny parametatra no mirehitra amin'ny token iray — izany no mahatonga ny modely manakaiky ny tapitrisa arivo parametatra ho azo atolotra mihitsy.

Safidy ara-drafitra roa no tsy mahazatra ampy hotononina. Mifandimby ny attention — sosona 55 sliding-window amin'ny varavarankely 512 token manoloana sosona 11 manerantany, amin'ny endrika miverimberina 5:1. Ary ny Inkling dia tsy mampiasa RoPE: mampiasa fironana toerana mifandraika, ianarana, miankina amin'ny input izy, miaraka amin'ny convolution causal fohy amin'ny projection key/value sy ny sampana residual. Ny fanamarihana ara-drafitra nataon'i Sebastian Raschka dia manondro azy roa ho fiviliana tena izy amin'ny recipe 2026 mahazatra. Ny fiofanana dia nampiasa Muon ho an'ny parametatra matrix lehibe sy Adam ho an'ny sisa, dia rollout RL asynchronous 30 tapitrisa mahery tamin'ny post-training.

Tsy ny zava-mahaliana no fototra ho an'ny mpanjifa API. Fa ny hoe ity dia fototra eo amin'ny haben'ny sisin-tany, multimodal natoraly nampiofanina tamin'ny 45 tapitrisa arivo token mirakitra lahatsoratra, sary, feo ary horonan-tsary — fa tsy modely lahatsoratra nasiana adapter fahitana taty aoriana. Ny sary dia atao code ho patch 40×40 pika amin'ny alalan'ny patchifier MLP mifanongoa efatra sosona ary karakaraina miaraka amin'ny lahatsoratra ao amin'ny decoder iray ihany. Tao anatin'ny tanjon'ny fiofanana mialoha ny fahazoana ara-tsary.

02Inona no dikan'ny W4A16-AUTOROUND-REAP?

Teknika telo samy hafa no mifanongoa ao amin'io tovana io, ary asa samy hafa no ataon'izy ireo. Mendrika ho takarina izany, satria ny tovana no fahasamihafana lehibe indrindra eo amin'ny modely antsoinao amin'ny API-nay sy ny checkpoint navoakan'ny Thinking Machines.

REAP — fanapahana ny manam-pahaizana tsy tondroin'olona

Ny REAP dia Router-weighted Expert Activation Pruning, avy amin'ny Cerebras Research (arXiv 2510.13999, nekena ho an'ny ICLR 2026). Ao anatin'ny MoE misy 256 manam-pahaizana isaky ny sosona dia tsy mizara ny asa mitovy ny router: misy tratra tsy an-kijanona, misy mirehitra tsy matetika ary tsy dia mandray anjara rehefa mirehitra. Manisa ny manam-pahaizana tsirairay ny REAP amin'ny roa: ny sandan'ny vavahadin'ny router sy ny norm-n'ny fanetsehan'ny manam-pahaizana — ny manam-pahaizana voafidy matetika nefa mandray anjara amin'ny fanovana kely halehibe dia tsy dia manan-danja noho ny lazain'ny isan'ny fifidianana azy — dia manaisotra ireo saliency ambany indray mandeha, alohan'ny quantization.

Ny antony ampiasainay ny fanapahana fa tsy ny fampifangaroana manam-pahaizana malaza kokoa dia satria misaraka arakaraka ny karazan'asa izy roa. Toa mifaninana amin'ny benchmark discriminative ny fampifangaroana ary mirodana amin'ny benchmark famokarana. Mitatitra ny mpanoratra ny REAP fa mitazona kalitao tsara kokoa ny fanapahana amin'ireo asa indrindra ividianan'ny olona API — fanamboarana kaody, fiantsoana fitaovana, fisainana misy fihodinana maro — amin'ny tahan'ny fanerena mihoatra ny 50%, manerana ny modely 20 miliara ka hatramin'ny 1 tapitrisa arivo parametatra. Manimba ny fahaizana manokan'ny router ny fampifangaroana; mamela ny manam-pahaizana tavela sy ny routing eo amin'izy ireo tsy simba kosa ny fanapahana.

AutoRound — mianatra ny toerana hanodinana

Ny AutoRound dia fomba quantization aorian'ny fiofanana an'ny Intel (arXiv 2309.05516, navoaka ho SignRound). Ny quantization tsotra dia manodina ny lanja tsirairay mankany amin'ny sanda 4-bit azo aseho akaiky indrindra — safidy mandeha ho azy mety, saingy ratsy amin'ny habe lehibe, satria tsy mahaleo tena ny hadisoana amin'ny fanodinana ary mitambatra manerana ny stack 66 sosona. Ny AutoRound dia mandray ny fanapahan-kevitra momba ny fanodinana ho zavatra tsaraina: ny signed gradient descent no manatsara miaraka ny lalan'ny fanodinana sy ny elanelana clipping amin'ny lanja mandritra ny dingana roanjato eo ho eo, mindrana ny fahamarinan'ny fiofanana mahatsapa quantization tsy misy fiofanana averina. Mitatitra ny Intel fa lehibe indrindra ny tombony amin'ny fandrindrana bit ambany mafy ary mifaninana amin'ny INT4.

W4A16 — ny toerana andehanan'ny bit

Ny W4A16 no endrika ara-isa: lanja 4-bit, fanetsehana 16-bit. Ny lanja — izay manjaka amin'ny fitadidiana amin'ny modely 975B — dia mihena ho ampahefatry ny toerana BF16 eo ho eo, raha mijanona amin'ny 16 bit ny aritmetika. Manan-danja manokana ho an'ny modely fahitana io fizarana io: ny rafitra manao quantization ny fanetsehana dia manimba indrindra ny asa ara-isa madinika iankinan'ny fahazoana sary — famakiana marika axe kely, fanavahana tsipika manify anaty kisary, fanasarahana loko roa mitovitovy. Ny fitazonana ny fanetsehana amin'ny 16 bit dia mandany bandwidth ary mamerina fahamarinana amin'ny toerana ahatsapan'ny asa fahitana azy.

Mifanongoa dia manome modely mifanaraka sy mijanona ho haingana ireo telo ireo tsy misy ny hantsan'ny kalitao amin'ny ambaratonga mahery 3BIT-REAP ampiasainay amin'ny fototra lehibe indrindra. Izany no fifanakalozana asehon'ny vidiny.

03Fahitana: API famakafakana sary tsy misy fandavana

Ny Inkling dia iray amin'ireo modely efatra mahay fahitana ao amin'ny katalaoginay, miaraka amin'ny Kimi-K3, Kimi-K2.6, ary MiniMax-M3. Ny valiny fahitana navoaka momba ny modely fototra, avy amin'ny famoahan'ny Thinking Machines, dia 73,3% amin'ny MMMU Pro (Standard 10) sy 78,1% amin'ny fanontaniana fisainana CharXiv — miakatra ho 82,0% rehefa avela hampandeha Python manoloana ny kisary ny modely. Tarehimarikan'ny laboratoara ho an'ny checkpoint tsy voatery quantization ireo; raiso ho valindrihan'ny fianakaviana izy ireo, fa tsy fandrefesana ny build anay.

Ny CharXiv no mendrika hijanonana, satria mifanaraka amin'ny antony ividianan'ny olona API fahitana fa tsy serivisy OCR. Mitsapa ny fisainana manoloana kisary siantifika izy — famakiana sanda avy amin'ny axe, fampitahana andiany roa, fahatsikaritana fivadihan'ny fironana. Tsy hoe "inona ny lahatsoratra ao anatin'ity sary ity" fa "inona no lazain'ity kisary ity, ary marina ve io filazana io". Izany no manamarina ny fandefasana sary any amin'ny modely fisainana 975B fa tsy any amin'ny mpanome famaritana kely.

Asa mahazatra mifanaraka amin'ny OpenAI ny fandefasana sary — ampahany votoaty image_url amin'ny /v1/chat/completions, bloc image karazana Anthropic amin'ny /v1/messages, na ny mitovy aminy amin'ny /v1/responses. Ny fitenim-paritra telo dia samy mikasika lanja mitovy ary samy manao streaming; fidio izay efa tenenin'ny SDK-nao. Misy ohatra voakajy ao amin'ny fizarana 09.

Manan-danja kokoa amin'ny fahitana noho ny amin'ny lahatsoratra ny ampahany tsy voasivana. Ny sosona fandavana eo amin'ny endpoint fahitana dia tsy dia mahitsy, satria mazàna manasokajy ny sary izy alohan'ny hisainan'ny modely momba ny fangatahana. Tratra tsy an-kijanona ny asa ara-drariny: sarin-dratra ao anaty lalana naotisy klinika, pikan'efijery forensika ao anaty tatitra momba ny tranga, frame avy amin'ny sarimihetsika dinihina ho an'ny lahatsoratra fanakianana, scan ara-pitsaboana, sarin'ny antontan-taratasy misy anarana. Tsy misy classifier toy izany eo alohan'ny Inkling eo amin'ny vavahadinay. Mijery izay nalefanao izy ary mamaly ny fanontaniana napetrakao. Izany no vokatra.

04Output voarafitra: eny amin'ny response_format, tsia amin'ny json_schema

Ity no toerana tokana mahalemy ny Inkling noho ny ankamaroan'ny katalaogy, ary tsara kokoa ny mikajy azy toy izay mahita azy any amin'ny famokarana.

Fahaiza-manao	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Fahitana (sary miditra)	Eny	Eny	Eny	Tsia
response_format	Eny	Eny	Eny	Tsia
json_schema	Tsia	Eny	Eny	Tsia
Fiantsoana fitaovana	Eny	Eny	Eny	Eny
Ezaka fisainana	Eny	Eny	Eny	Eny

Miasa ny response_format: {"type": "json_object"} — mahazo JSON manan-kery ara-tsintaksy ianao. Izay tsy azonao dia ny decoding voafehin'ny gramera manoloana schema omenao, izay sakanana ara-batana tsy hamoaka token manitsakitsaka ny firafitrao ny sampler. Ny anaran'ny saha, ny fikambanana amin'ny enum, ary ny fisian'ny fanalahidy takiana dia safidin'ny modely, fa tsy antoka.

Fomba telo hiainana amin'izany, milahatra araka ny fahamendrehan-kitokisana:

1. Ataovy prompt ny schema ary hamarino. Apetraho ho JSON ara-bakiteny ao amin'ny prompt rafitra ny schema, ataovy json_object ny response_format, dia hamarino eo anilanao ny valiny. Andramo indray amin'ny tsy fahombiazan'ny fanamarinana miaraka amin'ny hafatra hadisoan'ny mpanamarina napetaka. Mora, mandeha, mila teti-bola fanandramana indray.
2. Ampiasao ho schema ny famaritana fitaovana. Tohanana ny fiantsoana fitaovana, ary ny famaritana parametatry ny function dia JSON Schema. Ambarao fitaovana tokana mitondra ny anaran'ny fanesorana angona tianao, tereo izy, dia vakio ny argument. Matetika izy no safidy matanjaka indrindra amin'ny Inkling ary tsy mandany na inona na inona fanampiny aminao.
3. Zarao amin'ny modely roa ny asa. Avelao ny Inkling hanao ny fahitana sy ny fisainana amin'ny lahatsoratra, dia atolory ny MiMo-V2.5-W8A16 amin'ny $0.50 / $2.00 miaraka amin'ny json_schema tena izy io lahatsoratra io ho an'ny fandalovana fandaminana. Fiantsoana roa, fa mora ny faharoa, azo vinaniana ny endriny, ary ilay modely tsy maintsy mahay no ilay nahita ny sary.

Ny safidy 3 no endrika soso-kevitray ho an'ny lalana fanesorana angona be habetsahana rehetra. Aloavy ho an'ny dingana mila azy ihany ny vidiny ambony.

05Inona no vidin'ny vidiny ambony?

Amin'ny $1.42 miditra / $6.07 mivoaka isaky ny tapitrisa token, dia mipetraka an-tsitrapo eo afovoan'ny katalaoginay ny Inkling. Enina amin'ny modely roa ambin'ny folo no eo amin'ny fetra ambany $0.50 / $2.00. Ny Kimi-K3 — ilay sangany, mahay fahitana ihany koa — dia $3.83 / $19.12. Ny Inkling dia in-telo eo ho eo ny fetra ambany amin'ny output ary ampahatelon'ny sangany eo ho eo.

Vidin'ny output, USD isaky ny 1M token, tahan'ny lisitry ny Vavahady Shannon AI, Septambra 2026. Mifanaraka amin'ny vidiny ny sakan'ny baraingo; lava kokoa dia lafo kokoa.

Indro ny famakiana marina momba ny toerana ahazoan'io vidiny ambony io ny anjarany — sy ny toerana tsy ahazoany azy.

Asa	Hampiasa Inkling?	Antony
Fisainana momba ny kisary	Eny	Ny tarehimarika CharXiv sy MMMU Pro navoaka no toerana matanjaka indrindra amin'ity fototra ity.
Agent mifototra amin'ny pikan'efijery	Eny	Fahitana miampy fiantsoana fitaovana miampy tantara 262K ao anaty modely iray, tsy misy famindrana.
Antontan-taratasy lava misy kisary	Eny	Mizara decoder iray sy varavarankely context iray ny lahatsoratra sy ny sary.
Famokarana lahatsoratra tsotra	Tsia	Modely enina amin'ny $0.50 / $2.00 no manao izany. Mandoa lalana fahitana tsy antsoinao mihitsy ianao.
Fanesorana angona amin'ny schema be habetsahana	Tsia	Tsy misy json_schema. Mora kokoa sady voafehy ny MiMo-V2.5.
Valindrihan'ny sisin-tany tanteraka	Tsia	Ny Kimi-K3 no sangany. Aloavy ny 3,1× raha ny valindrihana no sakana.
Fahitana mora indrindra azo atao	Tsia	Manana fahitana amin'ny $0.50 / $2.00 ny MiniMax-M3. Manombòha eo, miakara raha terena noho ny kalitao.

Vakio ho fitsipika fitarihana izany, fa tsy laharana. Mety amin'ny sokajin'asa tery kokoa noho ny lazain'ny pejy dokambarotra ny Inkling, ary ao anatin'io sokajy io dia sarotra resena amin'ny vidiny izy. Ivelan'izany dia aleonay mivarotra aminao ny modely mora kokoa ary mitazona anao.

06Ny varavarankely context 262K, sy izay tena mifanaraka aminy

Ny modely roa ambin'ny folo rehetra eo amin'ny vavahady dia atolotra miaraka amin'ny context miditra 262 144 token sy output ambony indrindra 16 384 token isaky ny fangatahana. Natao an-tsitrapo ny fitoviana: tsy tokony ho lasa sampana isaky ny modely ao amin'ny kaodinao mihitsy ny fikarakarana ny context, ary ny fanoloana ny inkling amin'ny MiniMax-M3 ao anaty rakitra fandrindrana dia tsy tokony hanova mangina izay mifanaraka.

Marihina ny elanelana manoloana ny fototra navoaka: manoratra ny Inkling amin'ny 1 048 576 token ny Thinking Machines, ary sombiny 262K amin'izany no atolotray. Raha manana tena asa fangatahana tokana tapitrisa token ianao, dia tsy izahay no endpoint ho azy, ary aleo fantatrao izany alohan'ny hanorenanao.

Ho an'ny habe amin'ny 262K: PDF ara-teknika 400 pejy miaraka amin'ny kisariny, kaody antonony, transcript ora vitsivitsy, na fivoriana agentic lava mitondra valin'ny fitaovana am-polony sy pikan'efijery vitsivitsy — samy mifanaraka ao anaty fangatahana iray. Amin'ny modely fahitana dia tadidio fa mandany context koa ny sary; tsy maimaim-poana ny pikan'efijery matevina, ary ny fivoriana mandefa frame dia mameno ny varavarankely haingana kokoa noho ny lahatsoratra ihany. Mety tsara amin'izany ny firafitra: ny endrika 5:1 sliding-window manoloana manerantany dia midika fa ny ankamaroan'ny sosona dia mijery ao anatin'ny manodidina 512 token, miaraka amin'ny sosona manerantany mitarika ny firafitra lavitra hiverina tsindraindray.

07Ezaka fisainana: mandoa ny fisainana rehefa ilaina ihany

Manolotra ezaka fisainana azo fehezina ny Inkling — iray amin'ny bokotra mahasoa indrindra ao amin'ny katalaogy. Ny modely any ambony dia manaiky ambaratonga manomboka amin'ny none sy ny minimal mandalo ny low, medium, high, xhigh, hatramin'ny max, aseho amin'ny fitenim-paritra telo amin'ny alalan'ny parametatra reasoning_effort mahazatra.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Levier vidiny misy nify izany, satria isaina ho token output amin'ny $6.07 isaky ny tapitrisa ny token fisainana. Mitatitra ny Thinking Machines fa amin'ny Terminal Bench 2.1 dia mahatratra naoty mitovy amin'ny Nemotron 3 Ultra ny Inkling amin'ny ampahatelon'ny token eo ho eo — tanjona famolavolana voalaza amin'ny rafitry ny ezaka ny fahombiazan'ny token, fa tsy kisendrasendra.

Amin'ny fampiharana: ampandehano amin'ny low na minimal ny fanoratana famaritana, ny fanasokajiana ary ny fanesorana angona tsotra, izay ao anatin'ny sary ny valiny ary tsy mila rojo fanatsoahan-kevitra. Atokany ho an'ny fisainana kisary, ny fampitahana ara-tsary misy dingana maro, ary ny fihodinana agentic izay lafo ny dingana antonony diso ny high sy ny ambony. Ny ankamaroan'ny ekipa tsy mametraka io parametatra io mihitsy, ary mamela elanelam-bidin'ny output ambony in-telo eo ho eo tsy nampiasaina.

08Ny dikan'ny "tsy voasivana" eto — sy izay tsy dikany

Mazava: ampandehaninay tsy misy sosona fandavana ary tsy misy fanivanana amin'ny output ity modely ity. Tsy misy classifier mamaky ny prompt-nao ary manapa-kevitra hoe mahazo mamaly ve ny modely, ary tsy misy mamaky ny valiny alohan'ny fandefasana azy. Rehefa tsy azo antoka ny modely na tsy manana ny fahalalana izy, dia milaza izany — ny modely izany, fa tsy politika. Izay tsy ho azonao dia ny fandavana mandeha ho azy amin'ny lohahevitra raisin'ny vokatra ho an'ny besinimaro ho voarara.

Ho an'ny fahitana dia izany no vokatra manontolo. Tsy dia marina ny classifier sary eo alohan'ny API fahitana, ary ny tahan'ny diso positif no mianjera mafy indrindra amin'ny asa matihanina indrindra mila ny fahaiza-manao: fikarohana momba ny fiarovana, tontolo klinika, fanaovan-gazety sy forensika, fanakianana sarimihetsika sy zavakanto, fitaovana fanaraha-maso izay tsy maintsy mijery ny zavatra arahiny maso. Ny endpoint mandà araka ny sokajy dia tsy afaka manompo tsara ireo rehetra ireo.

Fanamarihana marina roa. Voalohany, mamoaka fanombanana momba ny fiarovana ho an'ny fametrahany fanovozan-kevitra ny Thinking Machines — 78,0% amin'ny FORTRESS mifanandrina, 95,9% amin'ny FORTRESS tsotra, 98,6% amin'ny StrongREJECT. Manoritsoritra ny stack an'izy ireo misy ny fefy an'izy ireo ireo tarehimarika ireo. Tsy manoritsoritra ny anay izy ireo, ary tsy hitanisa azy ireo toy ny hoe izany izahay. Nesorinay ny sosona izay refesin'ireo isa ireo amin'ny ampahany; izany no vokatra, sy ny andraikitra.

Faharoa, ny "tsy misy sosona fandavana" dia tsy hoe "tsy misy fitsipika". Miasa eo ambanin'ny politikam-pampiasana tomponandraikitra sy ny lalàna amerikana mihatra ny Shannon Lab LLC. Ny fanesorana classifier dia mamindra ny fitsarana aminao, fa tsy mamafa azy. Raha manorina eo amboniny ianao, dia vakio ny politika alohan'ny hitomboanao.

09Fanombohana

URL fototra mitovy, fanalahidy mitovy, fitenim-paritra telo. Raha efa miantso ny OpenAI, ny Anthropic, na ny API Responses ny kaodinao, dia matetika ny fanovana ny tady modely no fifindrana manontolo.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Ny fanovozan-kevitra feno momba ny parametatra, ny endriky ny /v1/messages sy ny /v1/responses, ny endriky ny hetsika streaming, ary ny playground velona dia ao amin'ny antontan-taratasin'ny API. Ny tari-dalana modely ho an'ny modely iraika ambin'ny folo hafa dia ao amin'ny Shannon Research.

Ny tarehimarika momba ny fototra dia isa navoakan'ny Thinking Machines Lab ho an'ny checkpoint Inkling tsy voatery quantization ary manoritsoritra ny valindrihan'ny fianakaviana, fa tsy ny build natao quantization anay. Ny vidiny sy ny saina fahaiza-manao dia sanda an-tsoratry ny Vavahady Shannon AI mifanaraka amin'ny Septambra 2026.

10Fanontaniana apetraka matetika

---

Loharano: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — fanamarihana momba ny firafitra sy ny benchmark Inkling. Ny benchmark momba ny fototra dia notaterin'ny laboratoara ho an'ny checkpoint tsy voatery quantization.