API-и бесензураи модели Inkling API
Сохти бесензура ва қобили биноии асоси Омехтаи Мутахассисони 975B-и Inkling аз Thinking Machines — контексти 262K, вуруди тасвир, бе қабати рад кардан.
Мухтасар
inkling-W4A16-AUTOROUND-REAP ҷойгиркунии мо барои Inkling аст, MoE-и 975B-параметрӣ бо вазнҳои кушода, ки Thinking Machines Lab 15 июли соли 2026 баровард. Он қобили биноӣ аст, фарохонии абзорҳо ва идораи кӯшиши мулоҳизаро мекунад ва дар кластери GPU-и худамон бо бе қабати рад кардан ва бе филтри баромад кор мекунад. Контекст 262,144 токен, баромад то 16,384. Нарх $1.42 вуруд / $6.07 баромад барои як миллион токен аст — миёна-имтиёзнок, болотар аз зинаи фарши $0.50-и мо ва хеле поёнтар аз парчамбардори Kimi-K3. Як огоҳӣ, ки бояд ба нақша гирифт: он response_format-ро дастгирӣ мекунад, вале json_schema-ро не.
Аксари дувоздаҳ модели шлюзи мо танҳо матниянд. Чортоаш не, ва дар байни ин чорто Inkling мавқеи мушаххас дорад: моделе, ки шумо вақте мегиред, ки тасвир қисми душвори масъала аст, вале буҷа то парчамбардор намерасад. Ин корт фаро мегирад, ки асос аз куҷо меояд, пасванди W4A16-AUTOROUND-REAP бо он чӣ кард, он дар сатҳи API чӣ мекунад ва чӣ намекунад ва — ростқавлона — кай модели арзонтари ҳамон каталог интихоби беҳтар аст.
01Inkling чист ва онро кӣ сохт?
Inkling аввалин модели вазнҳои кушода аз Thinking Machines Lab аст, ки 15 июли соли 2026 нашр шудааст. Баръакси аксари барорише, ки ҳамчун «кушод» муаррифӣ мешаванд, он бо вазнҳои пурраи боргиришаванда дар Hugging Face ва дастгирии рӯзи сифр дар transformers, SGLang, vLLM ва llama.cpp фиристода шуд — маҳз бинобар ин он умуман дар инфрасохторе мисли инфрасохтори мо иҷрошаванда шуд. Рақамҳои сарлавҳавӣ, аз маводи барории худи Thinking Machines:
Ин тарҳи сироҷи Омехтаи Мутахассисон аст: 66 қабати декодер бо андозаи ниҳонии 6,144, ду қабати аввал зич, 64-и боқимонда бо 256 мутахассиси маршрутшуда ба замми 2 мутахассиси муштарак, бо 6 мутахассиси маршрутшудаи фаъол дар як токен. Тақрибан 4% параметрҳо дар ҳар токени додашуда фаъол мешаванд — ва маҳз ҳамин хизматрасонии модели қариб триллионпараметриро умуман имконпазир мегардонад.
Ду интихоби меъморӣ он қадар ғайриоддианд, ки номбар кардан лозим аст. Таваҷҷуҳ омехта аст — 55 қабати таваҷҷуҳи тирезаи лағжанда дар тирезаи 512-токенӣ дар муқобили 11 қабати глобалӣ, дар намунаи такрории 5:1. Ва Inkling RoPE-ро истифода намебарад: он тамоюли мавқеии нисбии омӯхташуда ва аз вуруд вобастаро истифода мебарад, дар паҳлӯи конволютсияҳои кӯтоҳи сабабӣ дар проексияҳои калид/қимат ва шохаҳои боқимонда. Қайдҳои меъмории Sebastian Raschka ҳар дуро ҳамчун дуршавии воқеӣ аз дастури стандартии соли 2026 нишон медиҳанд. Таълим барои параметрҳои калони матрисӣ Muon ва барои боқимонда Adam-ро истифода бурд, сипас зиёда аз 30 миллион гузариши асинхронии RL дар пас аз таълим.
Барои истеъмолкунандаи API нуктаи асосӣ ин маълумоти ҷолиб нест. Он ин аст, ки ин асоси миқёси сарҳадӣ ва ватанан бисёрмодалӣ аст, ки дар 45 триллион токени фарогири матн, тасвир, аудио ва видео таълим гирифтааст — на модели матнӣ бо адаптери биноии дертар часпондашуда. Тасвирҳо ҳамчун порчаҳои 40×40 пиксел тавассути порчакунандаи иерархии чорқабатаи MLP кодгузорӣ мешаванд ва якҷоя бо матн дар ҳамон декодер коркард мешаванд. Фаҳмиши визуалӣ дар ҳадафи пештаълим буд.
02W4A16-AUTOROUND-REAP чӣ маъно дорад?
Дар ин пасванд се техникаи алоҳида ҷамъ шудаанд ва онҳо корҳои гуногун мекунанд. Фаҳмиданашон меарзад, зеро маҳз пасванд бузургтарин фарқи байни моделе, ки шумо дар API-и мо фаро мехонед, ва нуқтаи назорате мебошад, ки Thinking Machines нашр кардааст.
REAP — буридани мутахассисоне, ки касе ба онҳо маршрут намекунад
REAP Буридани Фаъолсозии Мутахассисон бо Вазни Маршрутизатор аз Cerebras Research аст (arXiv 2510.13999, ба ICLR 2026 қабулшуда). Дар MoE бо 256 мутахассис дар як қабат маршрутизатор корро баробар тақсим намекунад: баъзе мутахассисон доимо истифода мешаванд, дигарон нодир фаъол мешаванд ва ҳангоми фаъол шудан кам саҳм мегузоранд. REAP ҳар мутахассисро ҳам аз рӯи қиматҳои дарвозаи маршрутизатор ва ҳам меъёрҳои фаъолсозии мутахассис баҳо медиҳад — мутахассисе, ки зуд-зуд интихоб мешавад, вале навсозиҳои камбузург мегузорад, камтар аз он аҳамият дорад, ки шумораи интихобаш ишора мекунад — ва камбарҷастаҳоро дар як зарба, пеш аз квантизатсия мепартояд.
Сабаби он ки мо буриданро ба ҷои якҷоякунии мутахассисони бештар модшуда истифода мебарем, ин аст, ки ин ду аз рӯи навъи вазифа фарқ мекунанд. Якҷоякунӣ дар бенчмаркҳои таъйинкунанда рақобатпазир менамояд ва дар тавлидӣ фурӯ мерезад. Муаллифони REAP хабар медиҳанд, ки буридан сифатро маҳз дар бори кориҳое беҳтар нигоҳ медорад, ки одамон барояшон API мехаранд — синтези код, фарохонии абзорҳо, мулоҳизаи бисёрдавра — дар таносубҳои фишурдасозии зиёда аз 50%, дар моделҳои аз 20B то 1T параметр. Якҷоякунӣ мутахассисияти маршрутизаторро нобуд мекунад; буридан мутахассисони боқимонда ва маршрутониро дар байни онҳо солим мегузорад.
AutoRound — омӯхтани он ки дар куҷо мудаввар кардан
AutoRound усули квантизатсияи пас аз таълими Intel аст (arXiv 2309.05516, ҳамчун SignRound нашршуда). Квантизатсияи оддӣ ҳар вазнро ба наздиктарин қимати ифодашавандаи 4-битӣ мудаввар мекунад — пешфарзи оқилона ва дар миқёс бад, зеро хатоҳои мудавварсозӣ мустақил нестанд ва дар стеки 66-қабата ҷамъ мешаванд. AutoRound қарори мудавварсозиро ҳамчун чизе меҳисобад, ки бояд оптимизатсия шавад: фуруди градиенти аломатдор самти мудавварсозӣ ва доираҳои буриши вазнро дар давоми чанд сад қадам якҷоя танзим мекунад ва дақиқии таълими ба квантизатсия огоҳро бе таълими такрорӣ мегирад. Intel хабар медиҳад, ки бузургтарин бартариҳо дар танзимоти шадиди камбитӣ ва лабаи рақобатпазир дар INT4 ҳастанд.
W4A16 — битҳо ба куҷо мераванд
W4A16 формати рақамист: вазнҳои 4-битӣ, фаъолсозиҳои 16-битӣ. Вазнҳо — ки дар модели 975B хотираро зери худ мегиранд — то тақрибан чоряки ҳаҷми BF16 хурд мешаванд, дар ҳоле ки арифметика дар 16 бит мемонад. Ин тақсим махсусан барои модели биноӣ муҳим аст: нақшаҳои бо фаъолсозии квантизатсияшуда маҳз ба кори нозуки рақамӣ зарар мерасонанд, ки фаҳмиши тасвир ба он такя мекунад — хондани нишонаи хурди меҳвар, ҳал кардани хати борик дар диаграмма, ҷудо кардани ду сояи ба ҳам монанд. Нигоҳ доштани фаъолсозиҳо дар 16 бит паҳнои барро меарзад ва дақиқиро дар ҷое бармегардонад, ки бори кории биноӣ онро ҳис мекунад.
Дар маҷмӯъ ин се моделе медиҳанд, ки ҷойгир мешавад ва тез мемонад, бе партгоҳи сифати зинаи шадиди 3BIT-REAP, ки мо онро дар бузургтарин асосҳо истифода мебарем. Ҳамин мубодиларо нарх инъикос мекунад.
03Биноӣ: API-и таҳлили тасвир бе рад кардан
Inkling яке аз чор модели қобили биноӣ дар каталоги мост, дар паҳлӯи Kimi-K3, Kimi-K2.6 ва MiniMax-M3. Натиҷаҳои нашршудаи биноии модели асосӣ, аз барории Thinking Machines, 73.3% дар MMMU Pro (Standard 10) ва 78.1% дар саволҳои мулоҳизавии CharXiv мебошанд — ва то 82.0% мебарояд, вақте ки ба модел иҷозат дода мешавад, ки Python-ро дар муқобили диаграмма иҷро кунад. Инҳо рақамҳои худи озмоишгоҳ барои нуқтаи назорати квантизатсиянашуда мебошанд; онҳоро ҳамчун ҳадди оила ҳисоб кунед, на ченкунии сохти мо.
CharXiv он чизест, ки ба он бештар таваҷҷуҳ кардан меарзад, зеро он ба он мувофиқ меояд, ки чаро одамон API-и биноиро мехаранд, на хизматрасонии OCR-ро. Он мулоҳизаро дар болои диаграммаҳои илмӣ месанҷад — хондани қимат аз меҳвар, муқоисаи ду силсила, пай бурдани баргаштани тамоюл. На «дар ин тасвир чӣ матн ҳаст», балки «ин расм чиро даъво мекунад ва оё даъво дуруст аст». Маҳз ҳамин фиристодани тасвирро ба модели мулоҳизавии 975B ба ҷои сарлавҳанависи хурд асоснок мекунад.
Фиристодани тасвир кори маъмулии бо OpenAI мувофиқ аст — қисми мазмуни image_url дар /v1/chat/completions, блоки image-и услуби Anthropic дар /v1/messages ё муодили он дар /v1/responses. Ҳар се лаҳҷа ба ҳамон вазнҳо мерасанд ва ҳар се ҷараён медиҳанд; ҳамонеро гиред, ки SDK-и мавҷудаи шумо аллакай медонад. Намунаи таҳлилшуда дар бахши 09 аст.
Қисми бесензура барои биноӣ аз матн бештар муҳим аст. Қабати рад кардан дар нуқтаи интиҳоии биноӣ ғайриоддӣ дағал аст, зеро он одатан тасвирро пеш аз он ки модел дар бораи дархост мулоҳиза кунад, тасниф мекунад. Кори қонунӣ доимо ба дом меафтад: акси ҷароҳат дар конвейери қайдҳои клиникӣ, скриншоти криминалистӣ дар шарҳи ҳодиса, кадр аз филме, ки барои мақолаи танқидӣ таҳлил мешавад, скани тиббӣ, тасвири ҳуҷҷате, ки тасодуфан ном дорад. Inkling дар шлюзи мо чунин таснифкунандаро дар пеши худ надорад. Он ба он чи шумо фиристодед, нигоҳ мекунад ва ба саволе, ки додед, ҷавоб медиҳад. Ҳамин маҳсулот аст.
04Баромади сохторӣ: response_format бале, json_schema не
Ин ягона ҷоест, ки дар он Inkling нисбат ба аксари каталог камқобилтар аст ва беҳтар аст, ки барояш нақша гиред, на он ки дар истеҳсолот кашф кунед.
| Имконият | inkling | Kimi-K2.6 | MiMo-V2.5 | Laguna-S-2.1 |
|---|---|---|---|---|
| Биноӣ (вуруди тасвир) | Бале | Бале | Бале | Не |
response_format | Бале | Бале | Бале | Не |
json_schema | Не | Бале | Бале | Не |
| Фарохонии абзорҳо | Бале | Бале | Бале | Бале |
| Кӯшиши мулоҳиза | Бале | Бале | Бале | Бале |
response_format: {"type": "json_object"} кор мекунад — шумо JSON-и аз ҷиҳати синтаксис дурустро мегиред. Он чи шумо намегиред, декодиронии бо грамматика маҳдудшуда дар муқобили схемае, ки шумо медиҳед, аст, ки дар он намунагир ҷисман аз тавлиди токене, ки сохтори шуморо вайрон мекунад, боздошта мешавад. Номҳои майдонҳо, аъзогии enum ва мавҷудияти калидҳои ҳатмӣ интихоби модел мебошанд, на кафолат.
Се роҳи зиндагӣ бо ин, дар тартиби афзоиши эътимоднокӣ:
- Схемаро дар дархост диҳед ва тасдиқ кунед. Схемаро ҳамчун JSON-и айнан дар дархости системавӣ гузоред,
response_format-ро баjson_objectгузоред ва ҷавобро дар тарафи худ тасдиқ кунед. Дар ҳолати нокомии тасдиқ бо паёми хатои тасдиқкунандаи замимашуда такрор кунед. Арзон, кор мекунад, буҷаи такрор мехоҳад. - Таърифи абзорро ҳамчун схема истифода баред. Фарохонии абзорҳо дастгирӣ мешавад ва таърифи параметри функсия JSON Schema аст. Як абзорро бо номи истихроҷе, ки мехоҳед, эълон кунед, онро маҷбур кунед ва далелҳоро хонед. Ин одатан қавитарин варианти Inkling аст ва ба шумо чизи иловагӣ намеарзад.
- Корро байни ду модел тақсим кунед. Бигзоред Inkling биноӣ ва мулоҳизаро дар наср иҷро кунад, сипас он насрро ба
MiMo-V2.5-W8A16бо $0.50 / $2.00 боjson_schema-и воқеӣ барои гузариши сохторбандӣ супоред. Ду фарохонӣ, вале дуюмаш арзон ва аз рӯи шакл детерминистӣ аст, ва моделе, ки бояд оқил бошад, ҳамонест, ки тасвирро дидааст.
Варианти 3 намунаест, ки мо онро барои ҳар конвейери истихроҷи ҳаҷми калон тавсия медиҳем. Иловапулиро танҳо барои қадаме пардозед, ки ба он ниёз дорад.
05Иловапулии нарх чӣ мехарад?
Бо $1.42 вуруд / $6.07 баромад барои як миллион токен, Inkling дидаву дониста дар мобайни каталоги мо ҷойгир аст. Шашто аз дувоздаҳ модел дар фарши $0.50 / $2.00 ҳастанд. Kimi-K3 — парчамбардор, низ қобили биноӣ — $3.83 / $19.12 аст. Inkling тақрибан се маротиба аз фарш дар баромад ва тақрибан сеяки парчамбардор аст.
Нархи баромад, доллари ИМА барои 1M токен, меъёрҳои рӯйхати Шлюзи Shannon AI, сентябри соли 2026. Паҳнои сутун ба нарх мутаносиб аст; дарозтар гаронтар аст.
Инак хониши ростқавлона дар бораи он, ки ин иловапулӣ дар куҷо худро сазовор аст — ва дар куҷо не.
| Бори корӣ | Inkling-ро истифода барам? | Чаро |
|---|---|---|
| Мулоҳиза дар болои диаграмма | Бале | Рақамҳои нашршудаи CharXiv ва MMMU Pro маҳз он чизеанд, ки ин асос дар онҳо қавитарин аст. |
| Агентҳое, ки бо скриншот кор мекунанд | Бале | Биноӣ ба замми фарохонии абзорҳо ба замми 262K таърих дар як модел, бе супоридан. |
| Ҳуҷҷатҳои дароз бо расмҳо | Бале | Матн ва тасвирҳо як декодер ва як тирезаи контекстро мубодила мекунанд. |
| Тавлиди матни оддӣ | Не | Шаш модел бо $0.50 / $2.00 инро мекунанд. Шумо барои роҳи биноӣ мепардозед, ки ҳеҷ гоҳ фаро намехонед. |
| Истихроҷи оммавӣ бо схема | Не | Бе json_schema. MiMo-V2.5 арзонтар ва маҳдудшуда аст. |
| Ҳадди мутлақи сарҳадӣ | Не | Kimi-K3 парчамбардор аст. Агар ҳадд маҳдудкунанда бошад, 3.1×-ро пардохт кунед. |
| Арзонтарин биноии имконпазир | Не | MiniMax-M3 биноиро бо $0.50 / $2.00 дорад. Аз он ҷо оғоз кунед ва танҳо агар сифат маҷбур кунад, боло равед. |
Инро ҳамчун қоидаи маршрутонӣ хонед, на рейтинг. Inkling барои доираи тангтари кор нисбат ба он чи саҳифаи таблиғотӣ даъво мекард, дуруст аст ва дар дохили он доира онро аз рӯи нарх мағлуб кардан душвор аст. Берун аз он, мо беҳтар мебинем, ки ба шумо модели арзонтарро фурӯшем ва шуморо нигоҳ дорем.
json_schema — истгоҳи табиии аввал пеш аз он ки боло равед. Бинед, ки ин ду дар амал чӣ гуна фарқ мекунанд, дар корти модели бесензураи MiniMax-M3.
06Тирезаи контексти 262K ва он чи воқеан ҷойгир мешавад
Ҳамаи дувоздаҳ модели шлюз бо контексти вуруди 262,144-токенӣ ва баромади ҳадди аксари 16,384-токенӣ дар як дархост хизмат мерасонанд. Ягона аз рӯи қасд: коркарди контекст ҳеҷ гоҳ набояд ба шохаи барои ҳар модел алоҳида дар коди шумо табдил ёбад ва иваз кардани inkling ба MiniMax-M3 дар файли конфигуратсия набояд хомӯшона тағйир диҳад, ки чӣ ҷойгир мешавад.
Фарқро бо асоси нашршуда қайд кунед: Thinking Machines Inkling-ро бо 1,048,576 токен ҳуҷҷатгузорӣ мекунад ва мо пораи 262K-и онро хизмат мерасонем. Агар шумо бори кории воқеии як миллион токен дар як дархост дошта бошед, мо нуқтаи интиҳоии он нестем ва беҳтар аст, ки инро пеш аз сохтан бидонед.
Барои миқёс дар 262K: PDF-и техникии 400-саҳифагӣ бо расмҳояш, кодбазаи миёнаандоза, якчанд соат нусхаи сӯҳбат ё сессияи дарози агентӣ, ки даҳҳо натиҷаи абзорҳо ва чанд скриншотро мебарад — ҳар кадом дар як дархост ҷойгир мешавад. Дар модели биноӣ дар хотир доред, ки тасвирҳо низ контекстро истеъмол мекунанд; скриншоти зич ройгон нест ва сессияе, ки кадрҳоро ҷараён медиҳад, тирезаро аз сессияи танҳо матнӣ тезтар пур мекунад. Меъморӣ барои ин хуб мувофиқ аст: намунаи 5:1-и тирезаи лағжанда ба глобалӣ маънои онро дорад, ки аксари қабатҳо дар ҳамсоягии 512-токенӣ таваҷҷуҳ мекунанд ва қабатҳои глобалӣ давра ба давра сохтори дурдастро бармегардонанд.
07Кӯшиши мулоҳиза: пардохт барои андеша танҳо вақте ки лозим аст
Inkling кӯшиши мулоҳизаи идорашавандаро ошкор мекунад — яке аз фишангҳои муфидтарини каталог. Модели болооб сатҳҳоро аз none ва minimal то low, medium, high, xhigh ва то max қабул мекунад, ки дар ҳар се лаҳҷа тавассути параметри стандартии reasoning_effort ошкор мешаванд.
{
"model": "inkling-W4A16-AUTOROUND-REAP",
"reasoning_effort": "low",
"messages": [ ... ]
}
Ин фишанги арзиши дандондор аст, зеро токенҳои мулоҳиза ҳамчун токенҳои баромад бо $6.07 барои як миллион ҳисоб мешаванд. Thinking Machines хабар медиҳад, ки дар Terminal Bench 2.1 Inkling ба холҳои бо Nemotron 3 Ultra муқоисашаванда бо тақрибан сеяки токенҳо мерасад — самаранокии токен ҳадафи эълоншудаи тарҳи системаи кӯшиш аст, на тасодуф.
Дар амал: барои сарлавҳанависӣ, таснифот ва истихроҷи содда low ё minimal-ро кор фармоед, ки дар онҳо ҷавоб дар тасвир аст ва занҷири хулосабарорӣ лозим нест. high ва болотарро барои мулоҳиза дар болои диаграмма, муқоисаи бисёрзинагии визуалӣ ва давраҳои агентӣ нигоҳ доред, ки дар онҳо қадами мобайнии нодуруст гарон аст. Аксари дастаҳо ин параметрро умуман намегузоранд ва фарқи чандкаратаи арзиши баромадро аз даст медиҳанд.
08«Бесензура» дар ин ҷо чӣ маъно дорад — ва чӣ маъно надорад
Мушаххасан: мо ин моделро бо бе қабати рад кардан ва бе филтр дар баромад кор мефармоем. Ҳеҷ таснифкунанда дархости шуморо намехонад ва қарор намедиҳад, ки оё модел ҷавоб дода метавонад, ва ҳеҷ кас ҷавобро пеш аз ҷараён гирифтан намехонад. Вақте модел бешубҳа нест ё дониш надорад, инро мегӯяд — ин модел аст, на сиёсат. Он чи шумо намегиред, рад кардани рефлексӣ дар мавзӯест, ки маҳсулоти умумиистеъмолӣ онро мамнӯъ мешуморад.
Барои биноӣ ин тамоми пешниҳоди арзиш аст. Таснифкунандаҳои тасвир дар пеши API-ҳои биноӣ бедиққатанд ва меъёри мусбати бардурӯғ сахттар аз ҳама ба кори касбие мезанад, ки ба ин имконият бештар ниёз дорад: тадқиқоти амният, заминаҳои клиникӣ, журналистика ва криминалистика, танқиди филм ва санъат, абзорҳои модератсия, ки бояд ба худи чизи модератсияшаванда нигоҳ кунанд. Нуқтаи интиҳоӣ, ки аз рӯи категория рад мекунад, ҳеҷ кадоми инҳоро боэътимод хизмат карда наметавонад.
Ду огоҳии ростқавлона. Аввал, Thinking Machines арзёбиҳои бехатариро барои ҷойгиркунии истинодии худ нашр мекунад — 78.0% дар FORTRESS-и муқобилавӣ, 95.9% дар FORTRESS-и безарар, 98.6% дар StrongREJECT. Ин рақамҳо стеки онҳо-ро бо монеаҳои муҳофизатии онҳо тавсиф мекунанд. Онҳо стеки моро тавсиф намекунанд ва мо онҳоро тавре иқтибос намеорем, ки гӯё тавсиф мекунанд. Мо ҳамон қабатеро бартараф кардем, ки ин рақамҳо қисман онро чен мекунанд; ҳамин маҳсулот ва ҳамин масъулият аст.
Дуюм, «бе қабати рад кардан» «бе қоидаҳо» нест. Shannon Lab LLC тибқи Сиёсати Истифодаи Масъулона ва қонуни татбиқшавандаи ИМА кор мекунад. Бартараф кардани таснифкунанда довариро ба шумо мегузаронад, онро нест намекунад. Агар шумо дар ин асос месозед, пеш аз миқёс сиёсатро хонед.
09Оғози кор
Ҳамон URL-и асосӣ, ҳамон калид, се лаҳҷа. Агар коди шумо аллакай OpenAI, Anthropic ё Responses API-ро фаро хонад, тағйири сатри модел одатан тамоми муҳоҷират аст.
from openai import OpenAI
client = OpenAI(
base_url="https://api.shannon-ai.com/v1",
api_key=SHANNON_API_KEY,
)
stream = client.chat.completions.create(
model="inkling-W4A16-AUTOROUND-REAP",
messages=[{"role": "user", "content": [
{"type": "text", "text": "What does this figure actually show?"},
{"type": "image_url", "image_url": {"url": image_data_url}},
]}],
reasoning_effort="high",
max_tokens=4000,
stream=True,
)
for chunk in stream:
delta = chunk.choices[0].delta.content
if delta:
print(delta, end="")
Маълумотномаи пурраи параметрҳо, шаклҳои /v1/messages ва /v1/responses, форматҳои рӯйдодҳои ҷараёнӣ ва майдончаи зинда дар ҳуҷҷатгузории API ҳастанд. Кортҳои модел барои ёздаҳ модели дигар дар Тадқиқоти Shannon мебошанд.
Ҳар рақами асос ва усули боло аз манбаи аввалияи оммавӣ меояд. Ҳеҷ чизи ин ҷо бенчмарки аз ҷониби Shannon ченшуда нест ва мо онро ҳамчун чунин пешниҳод намекунем — аслҳоро тафтиш кунед.
Рақамҳои асос рақамҳои нашркардаи Thinking Machines Lab барои нуқтаи назорати квантизатсиянашудаи Inkling мебошанд ва ҳадди оиларо тавсиф мекунанд, на сохти квантизатсияшудаи моро. Нархҳо ва парчамҳои имкониятҳо қиматҳои рӯйхати Шлюзи Shannon AI ба ҳолати сентябри соли 2026 мебошанд.
10Саволҳои маъмул
API-и бесензураи модели Inkling чист?
Ҷойгиркунии Shannon AI барои Inkling, MoE-и 975B-параметрӣ бо вазнҳои кушода, ки Thinking Machines Lab 15 июли соли 2026 баровард. Мо онро ҳамчун inkling-W4A16-AUTOROUND-REAP бо контексти 262,144 токен, вуруди тасвир, фарохонии абзорҳо ва идораи кӯшиши мулоҳиза, дар кластери GPU-и худамон, бе қабати рад кардан ва бе филтри баромад хизмат мерасонем.
Оё Inkling вуруди тасвирро дар API-и Shannon дастгирӣ мекунад?
Бале — яке аз чор модели қобили биноӣ дар каталог. Қисми мазмуни image_url-ро дар /v1/chat/completions ё блоки image-ро дар /v1/messages фиристед. Бе қабати рад кардан, он он чиро, ки дар кадр аст, тавсиф мекунад, на он ки аз рӯи категория рад кунад.
Оё Inkling баромади сохтории json_schema-ро дастгирӣ мекунад?
Не. response_format барои реҷаи объекти JSON кор мекунад; json_schema-и бо грамматика таъминшуда не. Агар ба шумо лозим бошад, Kimi-K2.6 ё MiMo-V2.5-ро истифода баред, ё дар Inkling таърифи маҷбурии абзорро ҳамчун схемаи худ истифода баред ва дар тарафи худ тасдиқ кунед.
W4A16-AUTOROUND-REAP чӣ маъно дорад?
Вазнҳои 4-битӣ бо фаъолсозиҳои 16-битӣ; AutoRound (Intel), ки мудавварсозӣ ва буришро ба ҷои мудавварсозӣ ба наздиктарин бо фуруди градиенти аломатдор меомӯзад; ва REAP (Cerebras), буридани якзарбаи мутахассисони камбарҷастаи MoE, ки аз рӯи қиматҳои дарвозаи маршрутизатор ва меъёрҳои фаъолсозӣ баҳо дода мешаванд.
Он чанд меарзад ва оё иловапулӣ меарзад?
$1.42 вуруд / $6.07 баромад барои як миллион токен — тақрибан 3× зинаи фарши мо ва тақрибан сеяки парчамбардори Kimi-K3. Барои мулоҳиза дар болои диаграмма, агентҳои скриншот ва ҳуҷҷатҳои пур аз расм меарзад. Барои матни оддӣ ё истихроҷи оммавӣ бо схема намеарзад.
Тирезаи контекст чист?
262,144 токени вуруд ва 16,384 токени баромад дар як дархост, дар ҳамаи дувоздаҳ модел якхела. Асоси болооб 1,048,576 токенро ҳуҷҷатгузорӣ мекунад; мо пораи 262K-ро хизмат мерасонем, то рафтори контекст ҳеҷ гоҳ ба ҳолати махсуси ҳар модел табдил наёбад.
API-и бесензураи Inkling-ро санҷед
Биноӣ, контексти 262K, се лаҳҷаи API, бе қабати рад кардан.
Хондани ҳуҷҷатгузории API Дидани ҳамаи кортҳои моделShannon Lab LLC · Ню-Мексико, ИМА · тибқи Сиёсати Истифодаи Масъулонаи мо кор мекунад
Манбаъҳо: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — қайдҳои меъморӣ ва бенчмаркии Inkling. Бенчмаркҳои асос аз ҷониби озмоишгоҳ барои нуқтаи назорати квантизатсиянашуда эълон шудаанд.