Цензурасыз Inkling модель API

Шлюзіміздегі он екі модельдің көбі — тек мәтіндік. Төртеуі олай емес, ал сол төртеудің ішінде Inkling нақты орын алады: мәселенің қиын жері сурет болғанда, бірақ бюджет флагманға жетпегенде жүгінетін көру моделі. Бұл карта негіздің қайдан шыққанын, W4A16-AUTOROUND-REAP жұрнағының онымен не істегенін, API бетінде нені істейтінін және нені істемейтінін, әрі — адал айтқанда — дәл сол каталогтағы арзанырақ модель қашан дұрысырақ таңдау болатынын қамтиды.

01Inkling деген не және оны кім жасады?

Inkling — Thinking Machines Lab-тің 2026 жылғы 15 шілдеде жарияланған алғашқы ашық салмақты моделі. «Ашық» деп ұсынылатын шығарылымдардың көбінен өзгеше, ол Hugging Face-те толық жүктелетін салмақтарымен әрі transformers, SGLang, vLLM және llama.cpp-те нөлінші күннен қолдауымен шықты — біздікі сияқты инфрақұрылымда жалпы жүргізуге жарамды болуының себебі де осы. Thinking Machines-тің өз шығарылым материалдарынан алынған басты сандар:

Бұл — сирек Mixture-of-Experts сұлбасы: жасырын өлшемі 6,144 болатын 66 декодер қабаты, алғашқы екеуі тығыз, қалған 64-і 256 бағдарланатын сарапшы плюс 2 ортақ сарапшы алып жүреді, токенге 6 бағдарланатын сарапшы белсенді. Кез келген нақты токенде параметрлердің шамамен 4%-ы іске қосылады — триллионға жуық параметрлі модельді жалпы ұсынуға болатын ететін де осы.

Екі архитектуралық таңдау атап өтетіндей әдеттен тыс. Зейін кезектесіп жүреді — 512 токендік терезедегі жылжымалы терезелі зейіннің 55 қабаты 11 жаһандық қабатқа қарсы, 5:1 қайталанатын үлгіде. Әрі Inkling RoPE қолданбайды: ол үйренілген, кіріске тәуелді салыстырмалы позиция ығысуын пайдаланады, оған қоса кілт/мән жобаларында және қалдық тармақтарында қысқа себепті бүктемелер бар. Sebastian Raschka-ның архитектура жазбалары екеуін де 2026 жылғы стандартты рецептіден нағыз ауытқу деп белгілейді. Оқытуда үлкен матрицалық параметрлер үшін Muon, қалғаны үшін Adam қолданылды, содан кейін кейінгі оқытуда 30 миллионнан астам асинхронды RL жүгірісі өтті.

API тұтынушысы үшін мәні қызық деректерде емес. Мәні — бұның кейін көру адаптері жапсырылған мәтіндік модель емес, мәтінді, суреттерді, дыбысты және бейнені қамтитын 45 триллион токенде оқытылған фронтир ауқымындағы, нативті мультимодал негіз екенінде. Суреттер төрт қабатты иерархиялық MLP тілімдеушісі арқылы 40×40 пиксельдік тілімдер түрінде кодталады әрі мәтінмен бірге сол декодерде өңделеді. Көрнекі түсіну алдын ала оқыту мақсатының ішінде болды.

02W4A16-AUTOROUND-REAP нені білдіреді?

Ол жұрнақта үш бөлек әдіс жинақталған әрі олар әртүрлі жұмыс атқарады. Түсінуге тұрарлық, өйткені жұрнақ — біздің API-да шақыратын модель мен Thinking Machines жариялаған бақылау нүктесінің арасындағы ең үлкен айырма.

REAP — ешкім бағдарламайтын сарапшыларды кесу

REAP — Cerebras Research-тен шыққан Router-weighted Expert Activation Pruning (arXiv 2510.13999, ICLR 2026-ға қабылданған). Әр қабатында 256 сарапшысы бар MoE-де маршрутизатор жұмысты біркелкі таратпайды: кейбір сарапшыларға үнемі жүгінеді, ал басқалары сирек іске қосылады әрі қосылғанда да аз үлес қосады. REAP әр сарапшыны маршрутизатор қақпасының мәндері бойынша да, сарапшы активациясының нормалары бойынша да — екеуі бойынша — бағалайды: жиі таңдалып, бірақ шамасы кіші жаңартулар қосатын сарапшының маңызы таңдалу саны меңзегеннен төмен — содан кейін маңыздылығы төмендерін кванттауға дейін бір рет тастап кетеді.

Біздің сәнді сарапшыларды біріктірудің орнына кесуді қолдануымыздың себебі — екеуінің тапсырма түріне қарай алшақтауында. Біріктіру дискриминативті бенчмарктарда бәсекеге қабілетті көрінеді де, генеративтілерінде күйрейді. REAP авторлары кесудің дәл адамдар API сатып алатын жүктемелерде — код синтезінде, құралдарды шақыруда, көп айналымды пайымдауда — 50%-дан асқан қысу коэффициенттерінде де, 20B-дан 1T параметрге дейінгі модельдерде де сапаны жақсырақ сақтайтынын хабарлайды. Біріктіру маршрутизатордың мамандануын құртады; кесу аман қалған сарапшыларды да, олардың арасындағы бағдарлауды да бүтін қалдырады.

AutoRound — қай жерде дөңгелектеу керегін үйрену

AutoRound — Intel-дің кейінгі оқытудан соңғы кванттау әдісі (arXiv 2309.05516, SignRound ретінде жарияланған). Қарапайым кванттау әр салмақты ең жақын берілетін 4-биттік мәнге дөңгелектейді — ақылға қонымды әдепкі, бірақ ауқымда нашар шешім, өйткені дөңгелектеу қателері тәуелсіз емес әрі 66 қабатты жинақ бойы жинақталады. AutoRound дөңгелектеу шешімін оңтайландыруға болатын нәрсе деп қарайды: таңбалы градиенттік түсу бірнеше жүз қадам бойы дөңгелектеу бағыты мен салмақты кесу ауқымдарын бірге баптайды әрі кванттауды ескеретін оқытудың дәлдігін қайта оқытусыз алады. Intel ең үлкен ұтысты биттердің өте төмен баптауларында әрі INT4-те бәсекелі артықшылықты хабарлайды.

W4A16 — биттер қайда кетеді

W4A16 — сандық пішім: 4-биттік салмақтар, 16-биттік активациялар. 975B модельде жадта басым тұратын салмақтар BF16 көлемінің шамамен төрттен біріне дейін кішірейеді, ал арифметика 16 битте қалады. Бұл бөліну дәл көру моделі үшін маңызды: активацияларды кванттайтын сұлбалар суретті түсіну сүйенетін ұсақ түйіршікті сандық жұмысқа зиян тигізеді — ұсақ өс белгісін оқуға, диаграммадағы жіңішке сызықты ажыратуға, екі ұқсас реңкті бөлуге. Активацияларды 16 битте ұстау өткізу қабілетінен шығын әкеледі де, көру жүктемесі байқайтын жерде дәлдікті қайтарады.

Жинақталып, үшеуі ең үлкен негіздерге қолданатын агрессивті 3BIT-REAP деңгейіндегі сапа құлауынсыз сыятын әрі жылдам қалатын модель береді. Баға көрсететін айырбас — сол.

03Көру: бас тартпайтын сурет талдау API-ы

Inkling — каталогымыздағы Kimi-K3, Kimi-K2.6 және MiniMax-M3-пен қатар көре алатын төрт модельдің бірі. Thinking Machines шығарылымындағы базалық модельдің жарияланған көру нәтижелері — MMMU Pro-да (Standard 10) 73.3% және CharXiv пайымдау сұрақтарында 78.1%, ал модельге диаграммаға қарсы Python жүргізуге рұқсат етілгенде 82.0%-ға дейін көтеріледі. Бұл — зертхананың кванттаудан өтпеген бақылау нүктесі үшін берген өз сандары; оларды біздің құрамамыздың өлшемі емес, отбасының шыңы деп қараңыз.

CharXiv-ке тоқталған жөн, өйткені ол адамдардың OCR қызметін емес, көру API-ын сатып алу себебіне тікелей қатысты. Ол ғылыми диаграммалар бойынша пайымдауды сынайды — өстен мән оқу, екі қатарды салыстыру, үрдістің бағыты өзгергенін байқау. «Бұл суретте қандай мәтін бар» емес, «бұл сурет нені мәлімдейді әрі мәлімдеме дұрыс па» деген сұрақ. Суретті кішкене сипаттаушыға емес, 975B пайымдау моделіне жіберуді ақтайтын да осы.

Сурет жіберу — әдеттегі OpenAI үйлесімді жұмыс: /v1/chat/completions-те image_url мазмұн бөлігі, /v1/messages-те Anthropic үлгісіндегі image блогы немесе /v1/responses-те соның баламасы. Үш диалект те дәл сол салмақтарға жетеді әрі үшеуі де ағын береді; бар SDK-ңыз қайсысын сөйлесе, соны таңдаңыз. Есептелген мысал 09-бөлімде.

Цензурасыздықтың маңызы көру үшін мәтіндегіден де зор. Көру эндпоинтіндегі бас тарту қабаты әдеттен тыс дөрекі, өйткені ол әдетте модель сұранысты пайымдап үлгергенше суретті сыныптайды. Заңды жұмыс үнемі ілініп қалады: клиникалық жазба конвейеріндегі жара фотосы, оқиға шолуындағы сот-медициналық скриншот, сын мақала үшін талданып жатқан фильм кадры, медициналық сканер, кездейсоқ есім кездесетін құжат суреті. Біздің шлюзіміздегі Inkling-тің алдында мұндай классификатор жоқ. Ол не жібергеніңізге қарайды да, қойған сұрағыңызға жауап береді. Өнім — осы.

04Құрылымдалған шығыс: response_format бар, json_schema жоқ

Inkling каталогтың көбінен кем түсетін жалғыз жер — осы, әрі оны өндірісте білгеннен гөрі, алдын ала жоспарлаған дұрыс.

Мүмкіндік	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Көру (сурет кірісі)	Иә	Иә	Иә	Жоқ
response_format	Иә	Иә	Иә	Жоқ
json_schema	Жоқ	Иә	Иә	Жоқ
Құралдарды шақыру	Иә	Иә	Иә	Иә
Пайымдау күші	Иә	Иә	Иә	Иә

response_format: {"type": "json_object"} жұмыс істейді — синтаксисі дұрыс JSON аласыз. Ал алмайтыныңыз — өзіңіз берген схемаға қарсы грамматикамен шектелген декодтау, яғни үлгі алушының құрылымыңызды бұзатын токенді шығаруға физикалық тұрғыда жол берілмеуі. Өріс атаулары, тізімге кіретін мәндер және міндетті кілттердің болуы — кепілдік емес, модельдің таңдауы.

Онымен бірге өмір сүрудің үш жолы, сенімділігі бойынша өсу ретімен:

1. Схеманы промптқа салып, тексеріңіз. Схеманы жүйелік промптқа тікелей JSON түрінде қойып, response_format-ты json_object етіңіз де, жауапты өз жағыңызда тексеріңіз. Тексеру сәтсіз болса, тексерушінің қате хабарын тіркеп қайталаңыз. Арзан, жұмыс істейді, қайталау бюджеті керек.
2. Схема ретінде құрал анықтамасын қолданыңыз. Құралдарды шақыру қолдау табады, ал функцияның параметр анықтамасы — JSON Schema. Керекті шығарып алуға сай аталған бір құралды жариялап, оны міндеттеңіз де, аргументтерін оқыңыз. Бұл Inkling-те әдетте ең күшті нұсқа әрі оның қосымша құны жоқ.
3. Жұмысты екі модельге бөліңіз. Inkling көру мен пайымдауды прозамен істесін, содан кейін сол прозаны құрылымдау өтуі үшін нағыз json_schema-мен $0.50 / $2.00 бағасындағы MiMo-V2.5-W8A16-ға беріңіз. Екі шақыру, бірақ екіншісі арзан әрі пішіні детерминистік, ал ақылды болуға тиіс модель — суретті көргені.

Үшінші нұсқа — көлемі үлкен кез келген шығарып алу конвейері үшін ұсынатын үлгіміз. Үстемені тек соны қажет ететін қадамға төлеңіз.

05Баға үстемесі не әперді?

Миллион токенге $1.42 кіріс / $6.07 шығыс бағасымен Inkling каталогымыздың дәл ортасында әдейі тұр. Он екі модельдің алтауы $0.50 / $2.00 еденінде. Флагман әрі көре алатын Kimi-K3 — $3.83 / $19.12. Inkling шығыс бойынша еденнен шамамен үш есе қымбат әрі флагманның шамамен үштен бірі.

Шығыс бағасы, 1M токенге доллармен, Shannon AI шлюзінің тізімдік мөлшерлемелері, 2026 жылғы қыркүйек. Жолақ ені бағаға пропорционал; ұзынырағы қымбатырақ.

Ол үстеменің қай жерде өзін ақтайтыны — және қай жерде ақтамайтыны — туралы адал оқылым мынадай.

Жүктеме	Inkling қолдану керек пе?	Неге
Диаграмма / сызба бойынша пайымдау	Иә	Жарияланған CharXiv пен MMMU Pro көрсеткіштері — бұл негіздің ең күшті жері.
Скриншотқа негізделген агенттер	Иә	Бір модельде көру плюс құралдарды шақыру плюс 262K тарих, тапсырма беру жоқ.
Суреттері бар ұзын құжаттар	Иә	Мәтін мен суреттер бір декодерді әрі бір контекст терезесін бөліседі.
Қарапайым мәтін жасау	Жоқ	Мұны $0.50 / $2.00 бағасындағы алты модель істейді. Ешқашан шақырмайтын көру жолына төлеп отырсыз.
Көлемді схемамен шығарып алу	Жоқ	json_schema жоқ. MiMo-V2.5 арзанырақ әрі шектелген.
Абсолютті фронтир шыңы	Жоқ	Флагман — Kimi-K3. Шектеу шың болса, 3.1 есені төлеңіз.
Мүмкін болатын ең арзан көру	Жоқ	MiniMax-M3-те көру $0.50 / $2.00 бағасында бар. Содан бастаңыз, сапа мәжбүрлесе көтерілерсіз.

Мұны рейтинг емес, бағдарлау ережесі ретінде оқыңыз. Inkling жарнамалық бет мәлімдейтіннен тар жұмыс жолағы үшін дұрыс, ал сол жолақтың ішінде оны бағасы бойынша жеңу қиын. Одан тыс жерде біз сізге арзанырақ модельді сатып, сізді ұстап қалғанды жөн көреміз.

06262K контекст терезесі әрі оған не сыяды

Шлюздегі он екі модельдің бәрі 262,144 токендік кіріс контексімен әрі сұранысына 16,384 токендік ең үлкен шығыспен ұсынылады. Бұл әдейі бірыңғай: контекстті өңдеу ешқашан кодыңыздағы модельге тиесілі тармаққа айналмауға тиіс, ал конфигурация файлында inkling-ті MiniMax-M3-ке ауыстыру нәрсенің сыятын-сыймайтынын үнсіз өзгертпеуге тиіс.

Жарияланған негізбен айырманы ескеріңіз: Thinking Machines Inkling-ті 1,048,576 токенмен құжаттайды, ал біз оның 262K тілімін ұсынамыз. Егер сізде шынымен бір сұраныста миллион токендік жүктеме болса, біз ол үшін керекті эндпоинт емеспіз, әрі мұны құрар алдында білгеніңіз жақсы.

262K-дың ауқымы туралы: суреттерімен бірге 400 беттік техникалық PDF, орташа өлшемді код базасы, бірнеше сағаттық транскрипт немесе ондаған құрал нәтижесі мен бірнеше скриншот алып жүрген ұзақ агенттік сеанс — әрқайсысы бір сұранысқа сыяды. Көру моделінде суреттердің де контекст жейтінін ұмытпаңыз; тығыз скриншот тегін емес, ал кадрларды ағынмен беретін сеанс терезені тек мәтіндікке қарағанда тезірек толтырады. Архитектура бұған жақсы келеді: жылжымалы терезенің жаһандыққа 5:1 үлгісі қабаттардың көбінің 512 токендік маңайда зейін салатынын, ал жаһандық қабаттардың мезгіл-мезгіл ұзын қашықтықтағы құрылымды қайта тартатынын білдіреді.

07Пайымдау күші: ойлауға тек керек кезде төлеу

Inkling басқарылатын пайымдау күшін ашады — каталогтағы ең пайдалы тұтқалардың бірі. Жоғарғы жақтағы модель none және minimal деңгейлерінен бастап low, medium, high, xhigh арқылы max-қа дейінгі деңгейлерді қабылдайды әрі олар үш диалектте де стандартты reasoning_effort параметрі арқылы беріледі.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Бұл — тісі бар құн тұтқасы, өйткені пайымдау токендері миллионға $6.07 бағасымен шығыс токендері ретінде есептеледі. Thinking Machines Terminal Bench 2.1-де Inkling токендердің шамамен үштен бірімен Nemotron 3 Ultra-мен салыстырмалы ұпайға жететінін хабарлайды — токен тиімділігі күш жүйесінің кездейсоқ емес, мәлімделген жобалау мақсаты.

Іс жүзінде: сурет астын жазуда, сыныптауда және тікелей шығарып алуда — жауап суреттің өзінде тұрып, тұжырым тізбегі қажет болмағанда — low немесе minimal жүргізіңіз. high және одан жоғарысын диаграмма бойынша пайымдауға, көп қадамды көрнекі салыстыруға және аралық қадамдағы қате қымбатқа түсетін агенттік айналымдарға сақтаңыз. Топтардың көбі бұл параметрді мүлдем қоймайды әрі шығыс құнындағы бірнеше еселік айырманы қолдан шығарып алады.

08Мұндағы «цензурасыз» нені білдіреді — және нені білдірмейді

Нақтырақ: біз бұл модельді бас тарту қабатынсыз әрі шығысты сүзбей жүргіземіз. Ешбір классификатор промптыңызды оқып, модельдің жауап беруге құқығын шешпейді әрі ешбірі жауапты ағынға шыққанға дейін оқымайды. Модель сенімсіз болса немесе білімі жетпесе, соны айтады — бұл саясат емес, модельдің өзі. Ал алмайтыныңыз — жалпы тұтынушыға арналған өнім рұқсат етілмеген деп санайтын тақырыпта рефлекс бойынша бас тарту.

Көру үшін бүкіл құндылық ұсынысы — осы. Көру API-ларының алдындағы сурет классификаторлары дәл емес, ал жалған дабыл үлесі бұл мүмкіндікті ең қажет ететін кәсіби жұмысқа ең қатты соғады: қауіпсіздік зерттеулеріне, клиникалық жағдайларға, журналистика мен сот-медицинаға, кино мен өнер сынына, өзі модерациялайтын нәрсеге қарауға мәжбүр модерация құралдарына. Санат бойынша бас тартатын эндпоинт бұлардың бірде-бірін сенімді түрде қамтамасыз ете алмайды.

Екі адал ескертпе. Біріншіден, Thinking Machines өз эталондық орналастырылымы үшін қауіпсіздік бағалауларын жариялайды — FORTRESS adversarial-да 78.0%, FORTRESS benign-де 95.9%, StrongREJECT-те 98.6%. Бұл көрсеткіштер олардың қоршаулары орнында тұрған олардың жинағын сипаттайды. Олар біздікін сипаттамайды әрі біз оларды солай сипаттайтындай етіп келтірмейміз. Біз сол сандар ішінара өлшейтін қабатты алып тастадық; өнім — сол, жауапкершілік те сол.

Екіншіден, «бас тарту қабаты жоқ» дегеніміз «ереже жоқ» дегені емес. Shannon Lab LLC Жауапты пайдалану саясаты мен қолданылатын АҚШ заңдары аясында жұмыс істейді. Классификаторды алып тастау шешім қабылдауды сізге ауыстырады, оны жойып жібермейді. Осының үстінде құрып жатсаңыз, ауқымдамас бұрын саясатты оқыңыз.

09Бастау

Бірдей базалық URL, бірдей кілт, үш диалект. Кодыңыз бұрыннан OpenAI-ды, Anthropic-ті немесе Responses API-ды шақыратын болса, көші-қон әдетте модель жолын өзгертумен бітеді.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Параметрлердің толық анықтамасы, /v1/messages пен /v1/responses пішіндері, ағын оқиғаларының пішімдері және тірі ойын алаңы API құжаттамасында. Қалған он бір модельдің карталары Shannon зерттеулерінде.

Негіздің көрсеткіштері — Thinking Machines Lab-тың кванттаудан өтпеген Inkling бақылау нүктесі үшін жариялаған сандары әрі олар біздің кванттаудан өткен құрамамызды емес, отбасының шыңын сипаттайды. Бағалар мен мүмкіндік жалаушалары — 2026 жылғы қыркүйектегі жағдай бойынша Shannon AI шлюзінің тізімдік мәндері.

10Жиі қойылатын сұрақтар

---

Дереккөздер: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling архитектурасы мен бенчмарктары туралы жазбалар. Негіздің бенчмарктарын зертхана кванттаудан өтпеген бақылау нүктесі үшін хабарлаған.