වාරණයෙන් තොර Inkling ආකෘති API
Thinking Machines හි 975B Inkling Mixture-of-Experts පදනමේ දෘශ්‍ය හැකියාව සහිත, වාරණයෙන් තොර නිමැවුමක් — 262K සන්දර්භය, රූප ආදානය, ප්‍රතික්ෂේප ස්තරයක් නැත.
TL;DR
inkling-W4A16-AUTOROUND-REAP යනු Thinking Machines Lab විසින් 2026 ජූලි 15 දින නිකුත් කළ පරාමිති 975B විවෘත-බර MoE එක වන Inkling පිළිබඳ අපගේ නිමැවුමයි. එය දෘශ්‍ය හැකියාව සහිත අතර, මෙවලම් ඇමතුම් සහ තර්කන-ප්‍රයත්න පාලනය ඉටු කරයි, තවද අපගේම GPU පොකුරේ ප්‍රතික්ෂේප ස්තරයක් හෝ ප්‍රතිදාන පෙරහනක් නොමැතිව ධාවනය වේ. සන්දර්භය ටෝකන 262,144ක් වන අතර ප්‍රතිදානය 16,384 දක්වා යයි. මිල ටෝකන මිලියනයකට $1.42 ආදාන / $6.07 ප්‍රතිදාන — මධ්‍ය-අධිභාර ස්තරයකි, අපගේ $0.50 බිම් ස්තරයට ඉහළින් සහ Kimi-K3 ප්‍රමුඛ ආකෘතියට හොඳටම පහළින්. සැලසුම් කිරීමට එක් අවවාදයක්: එය response_format සඳහා සහාය දක්වයි, එහෙත් json_schema සඳහා නොදක්වයි.
අපගේ gateway එකේ ඇති ආකෘති දොළහෙන් බොහොමයක් පෙළ-පමණයි. හතරක් එසේ නොවේ, තවද එම හතර අතරින් Inkling දරන්නේ නිශ්චිත ස්ථානයකි: ගැටලුවේ දුෂ්කර කොටස රූපය වන නමුත් අයවැය ප්‍රමුඛ ආකෘතියක් දක්වා දිගු නොවන විට ඔබ අත දිගු කරන දෘශ්‍ය ආකෘතිය. මෙම කාඩ්පත ආවරණය කරන්නේ පදනම පැමිණෙන්නේ කොහෙන්ද, W4A16-AUTOROUND-REAP අගපදය එයට කළේ කුමක්ද, API මතුපිටින් එය කරන දේ සහ නොකරන දේ කුමක්ද — සහ, අවංකවම, එකම නාමාවලියේ ලාභ ආකෘතියක් වඩා හොඳ තේරීම වන්නේ කවදාද යන්නයි.
01Inkling යනු කුමක්ද, එය තැනුවේ කවුරුන්ද?
Inkling යනු Thinking Machines Lab හි පළමු විවෘත-බර ආකෘතිය වන අතර, එය 2026 ජූලි 15 දින ප්‍රකාශයට පත් විය. "විවෘත" ලෙස ඉදිරිපත් කරන බොහෝ නිකුතු මෙන් නොව, එය Hugging Face මත සම්පූර්ණයෙන් බාගත කළ හැකි බර සමඟත්, transformers, SGLang, vLLM සහ llama.cpp හි ශුන්‍ය-දින සහාය සමඟත් පැමිණියේය — අප වැනි යටිතල පහසුකම් මත එය කිසිසේත් ධාවනය කළ හැකි වූයේ ඒ නිසාය. Thinking Machines හි ම නිකුතු ද්‍රව්‍යවලින් ලැබෙන ප්‍රධාන සංඛ්‍යා:
එය විරල Mixture-of-Experts සැකැස්මකි: සැඟවුණු ප්‍රමාණය 6,144 වන විකේතක ස්තර 66ක්, පළමු දෙක ඝන වන අතර ඉතිරි 64 මාර්ගගත විශේෂඥයන් 256ක් සහ බෙදාගත් විශේෂඥයන් 2ක් දරයි, ටෝකනයකට මාර්ගගත විශේෂඥයන් 6ක් ක්‍රියාකාරී වේ. ඕනෑම ටෝකනයක් මත ක්‍රියාත්මක වන්නේ පරාමිතිවලින් දළ වශයෙන් 4%ක් පමණි — ට්‍රිලියනයකට ආසන්න පරාමිති ආකෘතියක් කිසිසේත් සේවය කළ හැකි කරන්නේ එයයි.
නම් කිරීමට තරම් අසාමාන්‍ය ගෘහ නිර්මාණ තේරීම් දෙකකි. අවධානය අන්තර්ග්‍රහණය කර ඇත — ටෝකන 512ක කවුළුවක් මත ලිස්සන-කවුළු අවධාන ස්තර 55ක් ගෝලීය ස්තර 11කට එරෙහිව, 5:1 පුනරාවර්තන රටාවකින්. තවද Inkling RoPE භාවිත නොකරයි: එය ඉගෙනගත්, ආදානය මත රඳා පවතින සාපේක්ෂ-පිහිටුම් නැඹුරුවක් භාවිත කරයි, යතුරු/අගය ප්‍රක්ෂේපනවල සහ අවශේෂ ශාඛාවල කෙටි හේතුකාරක සම්මිශ්‍රණ සමඟින්. Sebastian Raschka ගේ ගෘහ නිර්මාණ සටහන් මේ දෙකම සම්මත 2026 වට්ටෝරුවෙන් සැබෑ බැහැරවීම් ලෙස සලකුණු කරයි. පුහුණුවේදී විශාල න්‍යාස පරාමිති සඳහා Muon සහ ඉතිරියට Adam භාවිත වූ අතර, පසුව පශ්චාත්-පුහුණුවේදී අසමමුහුර්ත RL rollout මිලියන 30කට වඩා සිදු විය.
API පරිභෝගිකයෙකුට වැදගත් වන්නේ මෙම කුතුහලය නොවේ. වැදගත් වන්නේ මෙය පෙළ, රූප, ශ්‍රව්‍ය සහ වීඩියෝ පුරා විහිදෙන ටෝකන ට්‍රිලියන 45ක් මත පුහුණු කරන ලද ඉදිරිපෙළ පරිමාණයේ, ස්වභාවිකවම බහුමාධ්‍ය පදනමක් වීමයි — පසුව දෘශ්‍ය ඇඩැප්ටරයක් බෝල්ට් කළ පෙළ ආකෘතියක් නොවේ. රූප, ස්තර හතරක ධූරාවලි MLP patchifier එකක් හරහා පික්සල 40×40 patch ලෙස කේතනය කර, එකම විකේතකයේ පෙළ සමඟ ඒකාබද්ධව සැකසෙයි. දෘශ්‍ය අවබෝධය පූර්ව-පුහුණු අරමුණේ කොටසක් විය.
02W4A16-AUTOROUND-REAP යන්නෙන් අදහස් වන්නේ කුමක්ද?
එම අගපදයේ වෙන් වෙන් ශිල්පීය ක්‍රම තුනක් තට්ටු කර ඇති අතර, ඒවා විවිධ කාර්යයන් ඉටු කරයි. තේරුම් ගැනීම වටී, මන්ද අපගේ API එකේ ඔබ අමතන ආකෘතිය සහ Thinking Machines ප්‍රකාශයට පත් කළ චෙක්පොයින්ට් අතර තනි විශාලතම වෙනස එම අගපදයයි.
REAP — කිසිවෙකු මාර්ගගත නොකරන විශේෂඥයන් ඉවත් කිරීම
REAP යනු Cerebras Research හි Router-weighted Expert Activation Pruning ය (arXiv 2510.13999, ICLR 2026 සඳහා පිළිගෙන ඇත). ස්තරයකට විශේෂඥයන් 256ක් ඇති MoE එකක රවුටරය වැඩ සමානව බෙදන්නේ නැත: සමහර විශේෂඥයන් නිරන්තරයෙන් පහර කන අතර, අනෙක් අය කලාතුරකින් ක්‍රියාත්මක වන අතර එසේ වන විටද දායක වන්නේ ස්වල්පයකි. REAP එක් එක් විශේෂඥයා ලකුණු කරන්නේ රවුටරයේ ගේට් අගයන් සහ විශේෂඥයාගේ සක්‍රියතා සම්මත යන දෙකෙන්ම ය — නිතර තෝරාගන්නා නමුත් කුඩා විශාලත්වයේ යාවත්කාලීන දායක කරන විශේෂඥයෙකු, ඔහුගේ තේරීම් ගණන යෝජනා කරනවාට වඩා අඩුවෙන් වැදගත් වේ — සහ අඩු වැදගත්කමක් ඇති ඒවා එක් ගමනකින්, ප්‍රමාණකරණයට පෙර ඉවත් කරයි.
වඩාත් විලාසිතාවක් වූ විශේෂඥ ඒකාබද්ධ කිරීම වෙනුවට කප්පාදුව භාවිත කරන්නේ, එම දෙක කාර්ය වර්ගය අනුව බෙදී යන නිසාය. ඒකාබද්ධ කිරීම වෙනස්කාරක ප්‍රමිති පරීක්ෂණවල තරඟකාරී ලෙස පෙනෙන අතර උත්පාදන ඒවායේ බිඳ වැටේ. REAP හි කතුවරු වාර්තා කරන්නේ, පරාමිති 20B සිට 1T දක්වා ආකෘති පුරා, සම්පීඩන අනුපාත 50% ඉක්මවා ගිය විටද, මිනිසුන් API එකක් මිලදී ගන්නා හරියටම එම වැඩ බර මත — කේත සංශ්ලේෂණය, මෙවලම් ඇමතුම්, බහු-වාර තර්කනය — කප්පාදුව ගුණාත්මකභාවය වඩා හොඳින් රඳවා ගන්නා බවයි. ඒකාබද්ධ කිරීම රවුටරයේ විශේෂීකරණය විනාශ කරයි; කප්පාදුව ඉතිරි වන විශේෂඥයන් සහ ඔවුන් අතර මාර්ගගත කිරීම නොනැසී තබයි.
AutoRound — කොතැනට වට කළ යුතුදැයි ඉගෙනීම
AutoRound යනු Intel හි පශ්චාත්-පුහුණු ප්‍රමාණකරණ ක්‍රමයයි (arXiv 2309.05516, SignRound ලෙස ප්‍රකාශිත). බොළඳ ප්‍රමාණකරණය එක් එක් බර ළඟම නිරූපණය කළ හැකි බිට් 4 අගයට වට කරයි — සාධාරණ පෙරනිමියක් වන අතර පරිමාණයේදී නරක එකකි, මන්ද වට කිරීමේ දෝෂ ස්වායත්ත නොවන අතර ස්තර 66ක තට්ටුවක් හරහා එකතු වේ. AutoRound වට කිරීමේ තීරණය ප්‍රශස්තකරණය කළ යුත්තක් ලෙස සලකයි: ලකුණු සහිත අනුක්‍රමණ බැසීම පියවර සිය දෙකක් පමණ පුරා වට කිරීමේ දිශාව සහ බර කැපීමේ පරාස ඒකාබද්ධව සීරුමාරු කරයි, නැවත පුහුණු කිරීමකින් තොරව ප්‍රමාණකරණ-දැනුවත් පුහුණුවේ නිරවද්‍යතාව ණයට ගනිමින්. අන්ත අඩු-බිට් සැකසුම්වලදී විශාලතම ලාභ ලැබෙන බවත් INT4 හි තරඟකාරී තලයක් ලැබෙන බවත් Intel වාර්තා කරයි.
W4A16 — බිට් යන තැන
W4A16 යනු සංඛ්‍යාත්මක ආකෘතියයි: බිට් 4 බර, බිට් 16 සක්‍රියතා. 975B ආකෘතියක මතකයට ආධිපත්‍යය දරන බර, BF16 පියසටහනකින් දළ වශයෙන් හතරෙන් එකකට හැකිළෙන අතර, අංක ගණිතය බිට් 16හිම පවතී. එම බෙදීම දෘශ්‍ය ආකෘතියකට විශේෂයෙන් වැදගත් වේ: සක්‍රියතා-ප්‍රමාණකරණය කරන ක්‍රම හානි කරන්නේ රූප අවබෝධය රඳා පවතින හරියටම එම සියුම් සංඛ්‍යාත්මක වැඩයටයි — කුඩා අක්ෂ ලේබලයක් කියවීම, රූප සටහනක තුනී රේඛාවක් වෙන් කර ගැනීම, සමාන සෙවනැලි දෙකක් වෙන් කිරීම. සක්‍රියතා බිට් 16හි තබා ගැනීම කලාප පළලක් වැය කරන අතර දෘශ්‍ය වැඩ බරක් දැනෙන තැන නිරවද්‍යතාව නැවත ලබා දෙයි.
තට්ටු කළ විට, මෙම තුන ලබා දෙන්නේ ගැලපෙන සහ වේගවත්ව පවතින ආකෘතියකි, ඉතා විශාලතම පදනම් මත අප භාවිත කරන ආක්‍රමණශීලී 3BIT-REAP ස්තරයේ ගුණාත්මක බෑවුම නොමැතිව. මිල පිළිබිඹු කරන්නේ එම හුවමාරුවයි.
03දෘශ්‍ය හැකියාව: ප්‍රතික්ෂේපයක් නැති රූප විශ්ලේෂණ API එකක්
Kimi-K3, Kimi-K2.6 සහ MiniMax-M3 සමඟින්, අපගේ නාමාවලියේ දෘශ්‍ය හැකියාව සහිත ආකෘති හතරෙන් එකක් Inkling ය. Thinking Machines හි නිකුතුවෙන් ලැබෙන මූලික ආකෘතියේ ප්‍රකාශිත දෘශ්‍ය ප්‍රතිඵල නම් MMMU Pro (Standard 10) හි 73.3% සහ CharXiv තර්කන ප්‍රශ්නවල 78.1% — ප්‍රස්තාරයට එරෙහිව Python ධාවනය කිරීමට ආකෘතියට ඉඩ දුන් විට 82.0% දක්වා නැගේ. ඒවා ප්‍රමාණකරණය නොකළ චෙක්පොයින්ට් සඳහා රසායනාගාරයේම සංඛ්‍යා ය; ඒවා අපගේ නිමැවුමේ මිනුමක් ලෙස නොව පවුලේ සීමාව ලෙස සලකන්න.
දිගටම කතා කිරීමට වටින්නේ CharXiv ය, මන්ද මිනිසුන් OCR සේවාවක් වෙනුවට දෘශ්‍ය API එකක් මිලදී ගන්නේ ඇයිද යන්න එය පෙන්වයි. එය විද්‍යාත්මක ප්‍රස්තාර මත තර්කනය පරීක්ෂා කරයි — අක්ෂයකින් අගයක් කියවීම, ශ්‍රේණි දෙකක් සැසඳීම, ප්‍රවණතාවක් ආපසු හැරෙන බව දැකීම. "මෙම රූපයේ ඇති පෙළ කුමක්ද" නොව "මෙම රූප සටහන කියා සිටින්නේ කුමක්ද, එම කියාපෑම නොනැසී පවතීද". කුඩා ශීර්ෂක ජනකයෙකු වෙනුවට 975B තර්කන ආකෘතියකට රූපයක් යැවීම සාධාරණීකරණය කරන්නේ එයයි.
රූපයක් යැවීම සාමාන්‍ය OpenAI-අනුකූල වැඩකි — /v1/chat/completions මත image_url අන්තර්ගත කොටසක්, /v1/messages මත Anthropic-විලාසයේ image කොටසක්, නැතහොත් /v1/responses මත එයට සමානය. උපභාෂා තුනම එකම බර වෙත පහර දෙන අතර තුනම ප්‍රවාහනය කරයි; ඔබේ පවතින SDK එක දැනටමත් කතා කරන එක තෝරන්න. ක්‍රියාකාරී උදාහරණයක් 09 කොටසේ ඇත.
වාරණයෙන් තොර වීම පෙළට වඩා දෘශ්‍ය හැකියාවට වැදගත් වේ. දෘශ්‍ය endpoint එකක් මත ප්‍රතික්ෂේප ස්තරයක් අසාමාන්‍ය ලෙස මොට ය, මන්ද එය සාමාන්‍යයෙන් ඉල්ලීම ගැන ආකෘතිය තර්කනය කිරීමට පෙර රූපය වර්ගීකරණය කරයි. නීත්‍යානුකූල වැඩ නිරන්තරයෙන් අල්ලාගනී: සායනික සටහන් නල මාර්ගයක තුවාල ඡායාරූපයක්, සිද්ධි වාර්තාවක අධිකරණ වෛද්‍ය තිර රුවක්, විවේචන කෘතියක් සඳහා විශ්ලේෂණය කරන චිත්‍රපටයක රාමුවක්, වෛද්‍ය ස්කෑන් එකක්, නමක් අඩංගු වන ලේඛනයක රූපයක්. අපගේ gateway එකේ Inkling ඉදිරියේ එවැනි වර්ගීකාරකයක් නැත. ඔබ එවූ දේ එය බලා, ඔබ ඇසූ ප්‍රශ්නයට පිළිතුරු දෙයි. එයයි නිෂ්පාදනය.
04ව්‍යුහගත ප්‍රතිදානය: response_format ඔව්, json_schema නැත
නාමාවලියේ බොහොමයකට වඩා Inkling අඩු හැකියාවක් දක්වන එකම ස්ථානය මෙයයි, තවද එය නිෂ්පාදනයේදී සොයාගැනීමට වඩා ඒ සඳහා සැලසුම් කිරීම වඩා හොඳය.
| හැකියාව | inkling | Kimi-K2.6 | MiMo-V2.5 | Laguna-S-2.1 |
|---|---|---|---|---|
| දෘශ්‍ය හැකියාව (රූප ආදානය) | ඔව් | ඔව් | ඔව් | නැත |
response_format | ඔව් | ඔව් | ඔව් | නැත |
json_schema | නැත | ඔව් | ඔව් | නැත |
| මෙවලම් ඇමතුම් | ඔව් | ඔව් | ඔව් | ඔව් |
| තර්කන ප්‍රයත්නය | ඔව් | ඔව් | ඔව් | ඔව් |
response_format: {"type": "json_object"} ක්‍රියා කරයි — ඔබට වාක්‍ය ඛණ්ඩමය වශයෙන් වලංගු JSON ලැබේ. ඔබට නොලැබෙන්නේ ඔබ සපයන schema එකකට එරෙහිව ව්‍යාකරණ-සීමිත විකේතනයයි, එහිදී ඔබේ ව්‍යුහය කඩ කරන ටෝකනයක් නිකුත් කිරීමෙන් sampler භෞතිකවම වළක්වනු ලැබේ. ක්ෂේත්‍ර නාම, enum සාමාජිකත්වය සහ අවශ්‍ය යතුරු පැවතීම යනු ආකෘතියේ තේරීමක් මිස සහතිකයක් නොවේ.
එය සමඟ ජීවත් වීමට ක්‍රම තුනක්, විශ්වසනීයත්වයේ ආරෝහණ අනුපිළිවෙලින්:
- schema එක විමසුමට දමා වලංගු කරන්න. schema එක පද්ධති විමසුමේ වචනාර්ථ JSON ලෙස තබන්න,
response_formatඑකjson_objectලෙස සකසන්න, සහ පිළිතුර ඔබේ පැත්තෙන් වලංගු කරන්න. වලංගු කිරීම අසාර්ථක වූ විට වලංගුකාරකයේ දෝෂ පණිවිඩය එකතු කර නැවත උත්සාහ කරන්න. ලාභයි, ක්‍රියා කරයි, නැවත උත්සාහ කිරීමේ අයවැයක් අවශ්‍යයි. - schema එක ලෙස මෙවලම් නිර්වචනයක් භාවිත කරන්න. මෙවලම් ඇමතුම් සහාය දක්වන අතර, ශ්‍රිතයක පරාමිති නිර්වචනය JSON Schema එකකි. ඔබට අවශ්‍ය නිස්සාරණය සඳහා නම් කළ තනි මෙවලමක් ප්‍රකාශ කරන්න, එය බලෙන් යොදවන්න, සහ තර්ක කියවන්න. සාමාන්‍යයෙන් Inkling මත ප්‍රබලම විකල්පය මෙයයි, තවද එයට ඔබට අමතර පිරිවැයක් නැත.
- කාර්යය ආකෘති දෙකකට බෙදන්න. දෘශ්‍ය හැකියාව සහ තර්කනය ගද්‍යයෙන් Inkling ලවා කරවා, පසුව එම ගද්‍යය ව්‍යුහගත කිරීමේ පියවර සඳහා සැබෑ
json_schemaඑකක් සමඟ $0.50 / $2.00 හිMiMo-V2.5-W8A16වෙත භාර දෙන්න. ඇමතුම් දෙකකි, නමුත් දෙවැන්න ලාභයි, හැඩයෙන් නිශ්චිතයි, තවද දක්ෂ විය යුතු ආකෘතිය රූපය දුටු එකයි.
ඉහළ පරිමාවේ ඕනෑම නිස්සාරණ නල මාර්ගයක් සඳහා අප නිර්දේශ කරන රටාව විකල්ප 3 ය. අවශ්‍ය පියවරට පමණක් අධිභාරය ගෙවන්න.
05මිල අධිභාරයෙන් ලැබෙන්නේ කුමක්ද?
ටෝකන මිලියනයකට $1.42 ආදාන / $6.07 ප්‍රතිදාන යටතේ, Inkling අපගේ නාමාවලියේ මැද කොටසේ හිතාමතාම වාඩි වී සිටී. ආකෘති දොළහෙන් හයක් $0.50 / $2.00 බිම් මිලේ ඇත. Kimi-K3 — ප්‍රමුඛ ආකෘතිය, එයද දෘශ්‍ය හැකියාව සහිතයි — $3.83 / $19.12 කි. Inkling ප්‍රතිදානයේදී බිම් මිලට වඩා දළ වශයෙන් තුන් ගුණයක් වන අතර ප්‍රමුඛ ආකෘතියෙන් දළ වශයෙන් තුනෙන් එකකි.
ප්‍රතිදාන මිල, ටෝකන 1M කට USD, Shannon AI Gateway ලැයිස්තු ගාස්තු, 2026 සැප්තැම්බර්. තීරු පළල මිලට සමානුපාතික වේ; දිගු වන තරමට මිල අධිකය.
එම අධිභාරය එහි වටිනාකම උපයන්නේ කොතැනද — සහ නොඋපයන්නේ කොතැනද — යන්න පිළිබඳ අවංක කියවීම මෙන්න.
| වැඩ බර | Inkling භාවිත කරන්නද? | ඇයි |
|---|---|---|
| ප්‍රස්තාර / රූප සටහන් තර්කනය | ඔව් | ප්‍රකාශිත CharXiv සහ MMMU Pro සංඛ්‍යා පෙන්වන්නේ මෙම පදනම ප්‍රබලම වන්නේ මෙහිදී බවයි. |
| තිර රුවෙන් මෙහෙයවන නියෝජිතයන් | ඔව් | දෘශ්‍ය හැකියාව, මෙවලම් ඇමතුම් සහ 262K ඉතිහාසය එකම ආකෘතියක, භාර දීමක් නැත. |
| රූප සටහන් සහිත දිගු ලේඛන | ඔව් | පෙළ සහ රූප එකම විකේතකයක් සහ එකම සන්දර්භ කවුළුවක් බෙදාගනී. |
| සරල පෙළ උත්පාදනය | නැත | $0.50 / $2.00 හි ආකෘති හයක් මෙය කරයි. ඔබ කිසිදා නොඅමතන දෘශ්‍ය මාර්ගයකට ඔබ ගෙවනවා. |
| තොග schema නිස්සාරණය | නැත | json_schema නැත. MiMo-V2.5 ලාභ වන අතර සීමා කර ඇත. |
| නිරපේක්ෂ ඉදිරිපෙළ සීමාව | නැත | Kimi-K3 යනු ප්‍රමුඛ ආකෘතියයි. සීමාව ම බාධකය නම් 3.1× ගෙවන්න. |
| හැකි ලාභම දෘශ්‍ය හැකියාව | නැත | MiniMax-M3 හට $0.50 / $2.00 හි දෘශ්‍ය හැකියාව ඇත. එතැනින් අරඹන්න, ගුණාත්මකභාවය බල කරන්නේ නම් උත්සන්න කරන්න. |
එය ශ්‍රේණිගත කිරීමක් ලෙස නොව මාර්ගගත කිරීමේ නීතියක් ලෙස කියවන්න. අලෙවිකරණ පිටුවක් කියා සිටිනවාට වඩා පටු වැඩ පටියකට Inkling නිවැරදි වන අතර, එම පටිය තුළ මිලෙන් එය පරදවා ගැනීම අසීරුය. ඉන් පිටත, අප කැමති ලාභ ආකෘතිය ඔබට විකුණා ඔබව රඳවා ගැනීමටයි.
json_schema සහාය සමඟ $0.50 / $2.00 හි — ඔබ උත්සන්න කිරීමට පෙර ස්වාභාවික පළමු නැවතුම. ප්‍රායෝගිකව මේ දෙක වෙනස් වන ආකාරය සඳහා වාරණයෙන් තොර MiniMax-M3 ආකෘති කාඩ්පත බලන්න.
06262K සන්දර්භ කවුළුව, සහ ඇත්තටම ගැලපෙන්නේ කුමක්ද
gateway එකේ ආකෘති දොළහම ටෝකන 262,144ක ආදාන සන්දර්භයක් සහ ඉල්ලීමකට උපරිම ටෝකන 16,384ක ප්‍රතිදානයක් සමඟ සේවය කෙරේ. එය හිතාමතාම ඒකාකාරයි: සන්දර්භ හැසිරවීම ඔබේ කේතයේ ආකෘතියෙන් ආකෘතියට වෙනස් වන ශාඛාවක් නොවිය යුතු අතර, වින්‍යාස ගොනුවක inkling වෙනුවට MiniMax-M3 මාරු කිරීමෙන් ගැලපෙන දේ නිහඬව වෙනස් නොවිය යුතුය.
ප්‍රකාශිත පදනමට එරෙහි පරතරය සලකන්න: Thinking Machines Inkling ටෝකන 1,048,576ක් ලෙස ලේඛනගත කරන අතර, අප එයින් 262K කැබැල්ලක් සේවය කරමු. ඔබට සැබෑ ටෝකන මිලියනයක තනි-ඉල්ලීම් වැඩ බරක් ඇත්නම්, අප ඒ සඳහා endpoint එක නොවේ, තවද ඔබ ගොඩනැගීමට පෙර දැනගැනීම වඩා හොඳය.
262K හි පරිමාණය සඳහා: රූප සටහන් සමඟ පිටු 400ක තාක්ෂණික PDF එකක්, මධ්‍යම ප්‍රමාණයේ කේත ගබඩාවක්, පිටපත් පැය කිහිපයක්, නැතහොත් මෙවලම් ප්‍රතිඵල දුසිම් ගණනක් සහ තිර රූ අතලොස්සක් රැගෙන යන දිගු නියෝජිත සැසියක් — එක් ඉල්ලීමකට එකක් බැගින් ගැලපේ. දෘශ්‍ය ආකෘතියක් මත, රූපද සන්දර්භය පරිභෝජනය කරන බව මතක තබා ගන්න; ඝන තිර රුවක් නොමිලේ නොවේ, තවද රාමු ප්‍රවාහනය කරන සැසියක් පෙළ-පමණක් එකකට වඩා වේගයෙන් කවුළුව පුරවයි. ගෘහ නිර්මාණය මෙයට හොඳින් ගැලපේ: 5:1 ලිස්සන-කවුළු-සිට-ගෝලීය රටාව අදහස් කරන්නේ බොහෝ ස්තර ටෝකන 512ක අසල්වැසියක් තුළ අවධානය යොමු කරන අතර, ගෝලීය ස්තර වරින් වර දිගු-පරාස ව්‍යුහය නැවත ඇද ගන්නා බවයි.
07තර්කන ප්‍රයත්නය: අවශ්‍ය විට පමණක් සිතීමට ගෙවීම
Inkling පාලනය කළ හැකි තර්කන ප්‍රයත්නයක් නිරාවරණය කරයි — නාමාවලියේ ඇති වඩාත් ප්‍රයෝජනවත් ඇදීම් අතරින් එකකි. ඉහළ ආකෘතිය none සහ minimal සිට low, medium, high, xhigh හරහා max දක්වා මට්ටම් පිළිගන්නා අතර, ඒවා සම්මත reasoning_effort පරාමිතිය හරහා උපභාෂා තුනේම මතු වේ.
{
"model": "inkling-W4A16-AUTOROUND-REAP",
"reasoning_effort": "low",
"messages": [ ... ]
}මෙය දත් ඇති පිරිවැය ලීවරයකි, මන්ද තර්කන ටෝකන මිලියනයකට $6.07 බැගින් ප්‍රතිදාන ටෝකන ලෙස බිල් කරනු ලැබේ. Terminal Bench 2.1 මත Inkling ටෝකන දළ වශයෙන් තුනෙන් එකකින් Nemotron 3 Ultra හා සැසඳිය හැකි ලකුණු කරා ළඟා වන බව Thinking Machines වාර්තා කරයි — ටෝකන කාර්යක්ෂමතාව ප්‍රයත්න පද්ධතියේ ප්‍රකාශිත සැලසුම් අරමුණක් මිස අහම්බයක් නොවේ.
ප්‍රායෝගිකව: ශීර්ෂක යෙදීම, වර්ගීකරණය සහ සරල නිස්සාරණය සඳහා low හෝ minimal ධාවනය කරන්න — එහිදී පිළිතුර රූපයේ ඇති අතර අනුමාන දාමයක් අවශ්‍ය නොවේ. ප්‍රස්තාර තර්කනය, බහු-පියවර දෘශ්‍ය සැසඳීම, සහ වැරදි අතරමැදි පියවරක් මිල අධික වන නියෝජිත වාර සඳහා high සහ ඉහළ ඒවා වෙන් කරන්න. බොහෝ කණ්ඩායම් කිසිදා පරාමිතිය සකසන්නේ නැත, තවද ප්‍රතිදාන පිරිවැයේ ගුණාකාර කිහිපයක වෙනසක් මේසය මත අත්හැර දමයි.
08මෙහි "වාරණයෙන් තොර" යන්නෙන් අදහස් වන්නේ කුමක්ද — සහ නොවන්නේ කුමක්ද
සංයුක්තව: අප මෙම ආකෘතිය ධාවනය කරන්නේ ප්‍රතික්ෂේප ස්තරයක් නොමැතිව සහ ප්‍රතිදානය මත පෙරහනක් නොමැතිව ය. ඔබේ විමසුම කියවා ආකෘතියට පිළිතුරු දිය හැකිද යන්න තීරණය කරන වර්ගීකාරකයක් නැත, තවද ප්‍රවාහනය වීමට පෙර ප්‍රතිචාරය කියවන එකක්ද නැත. ආකෘතිය අවිනිශ්චිත වූ විට හෝ දැනුම නොමැති විට, එය එසේ කියයි — එය ප්‍රතිපත්තියක් නොව ආකෘතියයි. ඔබට නොලැබෙන්නේ, සාමාන්‍ය-පාරිභෝගික නිෂ්පාදනයක් සීමාවෙන් පිටත ලෙස සලකන මාතෘකාවක් මත ප්‍රත්‍යාවර්ත ප්‍රතික්ෂේපයකි.
දෘශ්‍ය හැකියාව සඳහා මෙයයි මුළු වටිනාකම් යෝජනාව. දෘශ්‍ය API ඉදිරියේ ඇති රූප වර්ගීකාරක නොපැහැදිලි වන අතර, ව්‍යාජ-ධනාත්මක අනුපාතය දරුණුම ලෙස වදින්නේ එම හැකියාව වඩාත්ම අවශ්‍ය වෘත්තීය කාර්යයටයි: ආරක්ෂක පර්යේෂණ, සායනික සන්දර්භ, පුවත්පත් කලාව සහ අධිකරණ වෛද්‍ය විද්‍යාව, චිත්‍රපට සහ කලා විවේචනය, තමන් මධ්‍යස්ථ කරන දේ දෙස බැලීමට සිදුවන මධ්‍යස්ථ කිරීමේ මෙවලම්. ප්‍රවර්ගය මත ප්‍රතික්ෂේප කරන endpoint එකකට ඒවායින් කිසිවකට විශ්වාසදායක ලෙස සේවය කළ නොහැක.
අවංක අවවාද දෙකක්. පළමුව, Thinking Machines ඔවුන්ගේ යොමු නිමැවුම සඳහා ආරක්ෂක ඇගයීම් ප්‍රකාශ කරයි — FORTRESS adversarial හි 78.0%, FORTRESS benign හි 95.9%, StrongREJECT හි 98.6%. එම සංඛ්‍යා විස්තර කරන්නේ ඔවුන්ගේ ආරක්ෂක තීරු සවි කර ඇති ඔවුන්ගේ තට්ටුවයි. ඒවා අපගේ එක විස්තර නොකරන අතර, එසේ කරන්නාක් මෙන් අප ඒවා උපුටා නොදක්වන්නෙමු. එම සංඛ්‍යා අර්ධ වශයෙන් මනින ස්තරය අප ඉවත් කළෙමු; එයයි නිෂ්පාදනය, එයයි වගකීම.
දෙවනුව, "ප්‍රතික්ෂේප ස්තරයක් නැත" යනු "නීති නැත" නොවේ. Shannon Lab LLC ක්‍රියාත්මක වන්නේ වගකීම් සහගත භාවිත ප්‍රතිපත්තියක් සහ අදාළ එක්සත් ජනපද නීතිය යටතේය. වර්ගීකාරකයක් ඉවත් කිරීම විනිශ්චය ඔබ වෙත මාරු කරයි, එය එය මකා දමන්නේ නැත. ඔබ මෙය මත ගොඩනඟන්නේ නම්, පරිමාණය කිරීමට පෙර ප්‍රතිපත්තිය කියවන්න.
09ආරම්භ කිරීම
එකම base URL එක, එකම යතුර, උපභාෂා තුනක්. ඔබේ කේතය දැනටමත් OpenAI, Anthropic හෝ Responses API අමතන්නේ නම්, ආකෘති string එක වෙනස් කිරීම සාමාන්‍යයෙන් සම්පූර්ණ සංක්‍රමණයයි.
from openai import OpenAI
client = OpenAI(
base_url="https://api.shannon-ai.com/v1",
api_key=SHANNON_API_KEY,
)
stream = client.chat.completions.create(
model="inkling-W4A16-AUTOROUND-REAP",
messages=[{"role": "user", "content": [
{"type": "text", "text": "What does this figure actually show?"},
{"type": "image_url", "image_url": {"url": image_data_url}},
]}],
reasoning_effort="high",
max_tokens=4000,
stream=True,
)
for chunk in stream:
delta = chunk.choices[0].delta.content
if delta:
print(delta, end="")සම්පූර්ණ පරාමිති යොමුව, /v1/messages සහ /v1/responses හැඩතල, ප්‍රවාහන සිදුවීම් ආකෘති සහ සජීවී ක්‍රීඩා පිටියක් API ලේඛනයේ ඇත. අනෙක් ආකෘති එකොළහේ ආකෘති කාඩ්පත් Shannon Research හි ඇත.
ඉහත සෑම පදනම් සහ ක්‍රම සංඛ්‍යාවක්ම පැමිණෙන්නේ ප්‍රසිද්ධ ප්‍රාථමික මූලාශ්‍රයකින්. මෙහි කිසිවක් Shannon විසින් මනින ලද ප්‍රමිති පරීක්ෂණයක් නොවන අතර, අප එය එසේ ලෙස ඉදිරිපත් නොකරමු — මුල් ඒවා පරීක්ෂා කරන්න.
පදනම් සංඛ්‍යා යනු ප්‍රමාණකරණය නොකළ Inkling චෙක්පොයින්ට් සඳහා Thinking Machines Lab විසින් ප්‍රකාශිත සංඛ්‍යා වන අතර, ඒවා අපගේ ප්‍රමාණකරණය කළ නිමැවුම නොව පවුලේ සීමාව විස්තර කරයි. මිල සහ හැකියාව සලකුණු 2026 සැප්තැම්බර් වන විට Shannon AI Gateway ලැයිස්තු අගයන් වේ.
10නිතර අසන ප්‍රශ්න
වාරණයෙන් තොර Inkling ආකෘති API යනු කුමක්ද?
Thinking Machines Lab විසින් 2026 ජූලි 15 දින නිකුත් කරන ලද පරාමිති 975B විවෘත-බර MoE එක වන Inkling පිළිබඳ Shannon AI හි නිමැවුමයි. අප එය inkling-W4A16-AUTOROUND-REAP ලෙස, ටෝකන 262,144ක සන්දර්භයක්, රූප ආදානය, මෙවලම් ඇමතුම් සහ තර්කන ප්‍රයත්න පාලනය සමඟ, අපගේම GPU පොකුරේ, ප්‍රතික්ෂේප ස්තරයක් හෝ ප්‍රතිදාන පෙරහනක් නොමැතිව සේවය කරමු.
Shannon API මත Inkling රූප ආදානයට සහාය දක්වයිද?
ඔව් — නාමාවලියේ දෘශ්‍ය හැකියාව සහිත ආකෘති හතරෙන් එකකි. /v1/chat/completions මත image_url අන්තර්ගත කොටසක්, නැතහොත් /v1/messages මත image කොටසක් යවන්න. ප්‍රතික්ෂේප ස්තරයක් නොමැති නිසා, එය ප්‍රවර්ගය මත ප්‍රතික්ෂේප කරනවා වෙනුවට රාමුවේ ඇති දේ විස්තර කරයි.
Inkling json_schema ව්‍යුහගත ප්‍රතිදානයට සහාය දක්වයිද?
නැත. response_format JSON-වස්තු ආකාරය සඳහා ක්‍රියා කරයි; ව්‍යාකරණ-බලාත්මක json_schema ක්‍රියා නොකරයි. ඔබට එය අවශ්‍ය නම් Kimi-K2.6 හෝ MiMo-V2.5 භාවිත කරන්න, නැතහොත් Inkling මත ඔබේ schema එක ලෙස බලෙන් යොදවන ලද මෙවලම් නිර්වචනයක් භාවිත කර ඔබේ පැත්තෙන් වලංගු කරන්න.
W4A16-AUTOROUND-REAP යන්නෙන් අදහස් වන්නේ කුමක්ද?
බිට් 16 සක්‍රියතා සමඟ බිට් 4 බර; ළඟම අගයට වට කරනවා වෙනුවට ලකුණු සහිත අනුක්‍රමණ බැසීමෙන් වට කිරීම සහ කැපීම ඉගෙන ගන්නා AutoRound (Intel); සහ රවුටර ගේට් අගයන් සහ සක්‍රියතා සම්මත මත ලකුණු කරන ලද අඩු වැදගත්කමක් ඇති MoE විශේෂඥයන් එක් ගමනකින් කප්පාදු කරන REAP (Cerebras).
එහි මිල කීයද, තවද අධිභාරය වටීද?
ටෝකන මිලියනයකට $1.42 ආදාන / $6.07 ප්‍රතිදාන — අපගේ බිම් ස්තරයට වඩා දළ වශයෙන් 3× ක් සහ Kimi-K3 ප්‍රමුඛ ආකෘතියෙන් දළ වශයෙන් තුනෙන් එකක්. ප්‍රස්තාර තර්කනය, තිර රු නියෝජිතයන් සහ රූප සටහන් බහුල ලේඛන සඳහා එය වටී. සරල පෙළ හෝ තොග schema නිස්සාරණය සඳහා එය නොවටී.
සන්දර්භ කවුළුව කුමක්ද?
ඉල්ලීමකට ආදාන ටෝකන 262,144ක් සහ ප්‍රතිදාන ටෝකන 16,384ක්, ආකෘති දොළහම පුරා සමානයි. ඉහළ පදනම ටෝකන 1,048,576ක් ලෙස ලේඛනගත කරයි; සන්දර්භ හැසිරීම කිසිදා ආකෘතියෙන් ආකෘතියට විශේෂ අවස්ථාවක් නොවන පරිදි අප 262K කැබැල්ලක් සේවය කරමු.
වාරණයෙන් තොර Inkling API එක අත්හදා බලන්න
දෘශ්‍ය හැකියාව, 262K සන්දර්භය, API උපභාෂා තුනක්, ප්‍රතික්ෂේප ස්තරයක් නැත.
API ලේඛන කියවන්න සියලු ආකෘති කාඩ්පත් බලන්නShannon Lab LLC · New Mexico, USA · අපගේ වගකීම් සහගත භාවිත ප්‍රතිපත්තිය යටතේ ක්‍රියාත්මක වේ
මූලාශ්‍ර: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling architecture and benchmark notes. පදනම් ප්‍රමිති සංඛ්‍යා ප්‍රමාණකරණය නොකළ චෙක්පොයින්ට් සඳහා රසායනාගාරය විසින් වාර්තා කරන ලද ඒවා වේ.