Цензурасыз Inkling модель API

Шлюзубуздагы он эки моделдин көбү текст гана. Төртөө андай эмес, ал эми ошол төртөөнүн ичинде Inkling так бир орунду ээлейт: көйгөйдүн оор жери сүрөт болуп, бирок бюджет флагманга жетпей турганда кайрыла турган көрүү модели. Бул карточка негиз кайдан келгенин, W4A16-AUTOROUND-REAP кошумчасы ага эмне жасаганын, API бетинде эмне кыларын жана эмне кылбасын, жана — чынын айтканда — ошол эле каталогдогу арзаныраак модель качан жакшыраак тандоо экенин камтыйт.

01Inkling деген эмне жана аны ким курган?

Inkling — Thinking Machines Lab'дын биринчи ачык салмактуу модели, 2026-жылдын 15-июлунда жарыяланган. «Ачык» деп жайгаштырылган чыгарылыштардын көбүнөн айырмаланып, ал Hugging Face'те толук жүктөлүүчү салмактары жана transformers, SGLang, vLLM жана llama.cpp'де нөлүнчү күндөгү колдоосу менен чыккан — ал жалпы эле бизге окшош инфраструктурада иштей алышынын себеби ушул. Thinking Machines'тин өз чыгарылыш материалдарынан алынган башкы сандар:

Бул — сейрек эксперттер аралашмасынын түзүлүшү: жашыруун өлчөмү 6 144 болгон 66 декодер катмары, биринчи экөө тыгыз, калган 64ү 256 маршруттолгон эксперт плюс 2 жалпы экспертти алып жүрөт, токенге 6 маршруттолгон эксперт активдүү. Параметрлердин болжол менен 4%ы ар бир айрым токенде иштейт — дал ушул триллионго жакын параметрлик моделди жалпы эле тейлөөгө мүмкүн кылат.

Эки архитектуралык тандоо аталууга татыгыдай адаттан тыш. Көңүл буруу кезектешет — 512 токендик терезедеги 55 катмар жылма терезе көңүл буруусу 11 глобалдык катмарга каршы, 5:1 кайталанма үлгүдө. Жана Inkling RoPE колдонбойт: ал үйрөнүлгөн, кириштен көз каранды салыштырмалуу позиция жантаюусун, ошондой эле ачкыч/маани проекцияларында жана калдык бутактарда кыска себептик конволюцияларды колдонот. Себастьян Рашканын архитектура эскертүүлөрү экөөнү тең 2026-жылдын стандарттык рецептинен чыныгы четтөө деп белгилейт. Үйрөтүүдө чоң матрицалык параметрлер үчүн Muon, калганы үчүн Adam колдонулган, андан соң кийинки үйрөтүүдө 30 миллиондон ашык асинхрондук RL айлампасы жүргөн.

API колдонуучусу үчүн маанилүүсү бул майда-чүйдө эмес. Маанилүүсү — бул текст, сүрөт, аудио жана видеону камтыган 45 триллион токенде үйрөтүлгөн алдыңкы масштабдагы, өзүнөн мультимодалдык негиз — кийин көрүү адаптери бекитилген текст модели эмес. Сүрөттөр төрт катмарлуу иерархиялык MLP бөлүктөгүч аркылуу 40×40 пиксель бөлүктөрү катары коддолуп, текст менен бирге ошол эле декодерде иштетилет. Визуалдык түшүнүү алдын ала үйрөтүү максатында эле болгон.

02W4A16-AUTOROUND-REAP эмнени билдирет?

Ал кошумчада үч башка ыкма үстөккө-босток турат жана алар ар башка жумуш аткарат. Түшүнүүгө арзыйт, анткени кошумча — биздин API'дан чакырган моделиңиз менен Thinking Machines жарыялаган чекпоинттин ортосундагы эң чоң айырма.

REAP — эч ким маршруттабаган эксперттерди кыскартуу

REAP — Cerebras Research'тен чыккан Router-weighted Expert Activation Pruning (arXiv 2510.13999, ICLR 2026'га кабыл алынган). Катмарында 256 эксперти бар MoE'де маршрутизатор жумушту бирдей бөлүштүрбөйт: кээ бир эксперттерге тынымсыз кайрылат, кээ бирлери сейрек иштейт жана иштегенде да аз салым кошот. REAP ар бир экспертти эки сигнал боюнча — маршрутизатордун дарбаза маанилери жана эксперттин активация нормалары боюнча — баалайт, анткени көп тандалып, бирок чоңдугу кичине жаңыртуу кошкон эксперт тандалуу санынан күтүлгөндөн азыраак маанилүү, — андан соң маанилүүлүгү төмөндөрүн кванттоодон мурун бир жолу алып салат.

Биздин модалуураак эксперт бириктирүүнүн ордуна кыскартууну колдонушубуздун себеби — экөө тапшырма түрү боюнча ажырайт. Бириктирүү дискриминациялык бенчмарктарда атаандаш көрүнөт жана жаратуучу бенчмарктарда талкаланат. REAP авторлору 20B'ден 1T параметрге чейинки моделдерде 50%дан ашкан кысуу катыштарында кыскартуу так эле адамдар API сатып алган жүктөрдө — код синтези, курал чакыруу, көп кезектүү ой жүгүртүү — сапатты жакшыраак сактаарын билдирет. Бириктирүү маршрутизатордун адистешүүсүн жок кылат; кыскартуу аман калган эксперттерди да, алардын ортосундагы маршруттоону да бузбай калтырат.

AutoRound — кайда тегеректөөнү үйрөнүү

AutoRound — Intel'дин кийинки үйрөтүү кванттоо ыкмасы (arXiv 2309.05516, SignRound катары жарыяланган). Жөнөкөй кванттоо ар бир салмакты эң жакын көрсөтүлүүчү 4 биттик мааниге тегеректейт — акылга сыярлык демейки жөндөө жана масштабда начар жөндөө, анткени тегеректөө каталары көзкарандысыз эмес жана 66 катмарлуу түзүлүш аркылуу топтолот. AutoRound тегеректөө чечимин оптималдаштыруучу нерсе катары карайт: белгиленген градиенттик түшүү бир нече жүз кадамда тегеректөө багытын жана салмак кесүү диапазондорун чогуу тууралайт, кванттоону эске алган үйрөтүүнүн тактыгын кайра үйрөтүүсүз алат. Intel эң чоң утушту өтө төмөн бит режимдеринде жана INT4'те атаандаштык артыкчылыгын билдирет.

W4A16 — биттер кайда кетет

W4A16 — сандык формат: 4 биттик салмактар, 16 биттик активациялар. 975B моделде эстутумда үстөмдүк кылган салмактар BF16 изинин болжол менен төрттөн бирине кичирейет, ал эми арифметика 16 битте калат. Бул бөлүнүү айрыкча көрүү модели үчүн маанилүү: активацияны кванттаган схемалар так эле сүрөт түшүнүү таянган майда сандык ишке зыян келтирет — кичине ок белгисин окуу, диаграммадагы ичке сызыкты ажыратуу, эки окшош түстү бөлүү. Активацияларды 16 битте кармоо өткөрүмдүүлүккө турат жана көрүү жүгү байкаган жерде тактыкты кайтарып берет.

Чогуу алганда, бул үчөө эң чоң негиздерге колдонгон агрессивдүү 3BIT-REAP деңгээлинин сапат кулашысыз батып, тез бойдон калган моделди берет. Баа ошол алмашууну чагылдырат.

03Көрүү: баш тартпаган сүрөт талдоо API'си

Inkling — каталогубуздагы көрүүсү бар төрт моделдин бири, Kimi-K3, Kimi-K2.6 жана MiniMax-M3 менен катар. Thinking Machines'тин чыгарылышынан алынган базалык моделдин жарыяланган көрүү натыйжалары: MMMU Pro'до (Standard 10) 73,3% жана CharXiv ой жүгүртүү суроолорунда 78,1% — модельге диаграммага каршы Python иштетүүгө уруксат берилгенде 82,0%га чейин көтөрүлөт. Булар — лабораториянын кванттелбеген чекпоинт үчүн өз сандары; аларды биздин курулуштун өлчөөсү эмес, үй-бүлөнүн чеги катары кабыл алыңыз.

CharXiv токтолууга арзыйт, анткени ал адамдар эмне үчүн OCR кызматын эмес, көрүү API'син сатып аларына дал келет. Ал илимий диаграммалар боюнча ой жүгүртүүнү сынайт — октон маанини окуу, эки катарды салыштыруу, тенденциянын тескери бурулушун байкоо. «Бул сүрөттө кандай текст бар» эмес, «бул сүрөт эмнени доолайт жана ал доомат туура турабы» деген нерсе. Дал ушул сүрөттү кичине жазуучунун ордуна 975B ой жүгүртүү моделине жөнөтүүнү актайт.

Сүрөт жөнөтүү — кадимки OpenAI'ге шайкеш иш: /v1/chat/completions'то image_url мазмун бөлүгү, /v1/messages'те Anthropic стилиндеги image блогу же /v1/responses'те эквиваленти. Үч диалект тең ошол эле салмактарга кайрылат жана үчөө тең агым берет; учтагы SDK'ңыз кайсынысын билсе, ошону тандаңыз. Иштелген мисал 09-бөлүмдө.

Цензурасыз бөлүгү көрүү үчүн текстке караганда маанилүүрөөк. Көрүү учундагы баш тартуу катмары адаттан тыш одоно, анткени ал адатта модель сурам тууралуу ой жүгүртө электе эле сүрөттү классификациялайт. Мыйзамдуу иш тынымсыз кармалат: клиникалык жазуулар түтүгүндөгү жараат сүрөтү, инцидент сыпаттамасындагы соттук-медициналык скриншот, сын макаласы үчүн талданып жаткан тасманын кадры, медициналык скан, ичинде ат кездешкен документтин сүрөтү. Шлюзубуздагы Inkling'дин алдында мындай классификатор жок. Ал сиз жөнөткөн нерсеге карап, сиз берген суроого жооп берет. Продукт ошол.

04Структураланган чыгуу: response_format ооба, json_schema жок

Бул — Inkling каталогдун көбүнөн азыраак жөндөмдүү болгон жалгыз жери, жана аны продакшндан ачкандан көрө алдын ала пландаган жакшы.

Мүмкүнчүлүк	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Көрүү (сүрөт киргизүү)	Ооба	Ооба	Ооба	Жок
response_format	Ооба	Ооба	Ооба	Жок
json_schema	Жок	Ооба	Ооба	Жок
Курал чакыруу	Ооба	Ооба	Ооба	Ооба
Ой жүгүртүү аракети	Ооба	Ооба	Ооба	Ооба

response_format: {"type": "json_object"} иштейт — синтаксиси туура JSON аласыз. Албай турганыңыз — өзүңүз берген схемага каршы грамматика менен чектелген декоддоо, б.а. тандагычка түзүмүңүздү бузган токенди чыгарууга физикалык жактан жол берилбеген режим. Талаа аттары, санамактын мүчөлүгү жана талап кылынган ачкычтардын болушу — кепилдик эмес, моделдин тандоосу.

Аны менен жашоонун үч жолу, ишенимдүүлүгү өсүү тартибинде:

1. Схеманы промптко салып, текшериңиз. Схеманы системалык промптко түз JSON катары коюп, response_format'ту json_object'ке коюп, жоопту өз тарабыңызда текшериңиз. Текшерүү бузулганда текшергичтин ката билдирүүсүн кошуп, кайра аракет кылыңыз. Арзан, иштейт, кайра аракет бюджетин талап кылат.
2. Курал аныктамасын схема катары колдонуңуз. Курал чакыруу колдоого алынат, ал эми функциянын параметр аныктамасы — JSON схема. Каалаган чыгарып алууга ат коюлган бир куралды жарыялап, аны мажбурлап, аргументтерин окуңуз. Бул адатта Inkling'деги эң күчтүү вариант жана ал сизге эч кандай кошумча чыгым бербейт.
3. Жумушту эки моделге бөлүңүз. Inkling көрүү менен ой жүгүртүүнү прозада аткарсын, андан соң ошол прозаны структуралоо өтүшү үчүн чыныгы json_schema менен $0.50 / $2.00 баасындагы MiMo-V2.5-W8A16'га бериңиз. Эки чакыруу, бирок экинчиси арзан, формасы боюнча детерминисттик, ал эми акылдуу болушу керек модель — сүрөттү көргөнү.

3-вариант — каалаган көлөмдүү чыгарып алуу түтүгү үчүн сунуштай турган үлгүбүз. Кошумча төлөмдү ага муктаж кадам үчүн гана төлөңүз.

05Кошумча төлөм эмне сатып алат?

Миллион токенге $1.42 кирүү / $6.07 чыгуу баасында Inkling каталогубуздун так ортосунда, атайын турат. Он эки моделдин алтоо $0.50 / $2.00 түбүндө. Kimi-K3 — флагман, ал да көрүүсү бар — $3.83 / $19.12. Inkling чыгууда түптөн болжол менен үч эсе жогору жана флагмандын болжол менен үчтөн бири.

Чыгуу баасы, 1M токенге АКШ доллары, Shannon AI шлюзүнүн прайс-тарифтери, 2026-жылдын сентябры. Тилкенин туурасы баага пропорционалдуу; узунураагы кымбатыраак.

Мына, ошол кошумча төлөм кайда актаарынын — жана кайда актабасынын — чынчыл окулушу.

Жүк	Inkling'ди колдонобузбу?	Эмне үчүн
Диаграмма / схема боюнча ой жүгүртүү	Ооба	Жарыяланган CharXiv жана MMMU Pro сандары — бул негиз эң күчтүү болгон нерсе.
Скриншотко негизделген агенттер	Ооба	Бир моделде көрүү плюс курал чакыруу плюс 262K тарых, өткөрүп берүүсүз.
Сүрөттөрү бар узун документтер	Ооба	Текст менен сүрөттөр бир декодерди жана бир контекст терезесин бөлүшөт.
Жөнөкөй текст жаратуу	Жок	Муну $0.50 / $2.00 баасындагы алты модель аткарат. Эч качан чакырбаган көрүү жолу үчүн төлөп жатасыз.
Көлөмдүү схема боюнча чыгарып алуу	Жок	json_schema жок. MiMo-V2.5 арзаныраак жана чектелген.
Абсолюттук алдыңкы чек	Жок	Kimi-K3 — флагман. Эгер чек чектөө болсо, 3,1 эсени төлөңүз.
Мүмкүн болгон эң арзан көрүү	Жок	MiniMax-M3'тө көрүү $0.50 / $2.00 баада бар. Ошондон баштап, сапат мажбурласа гана көтөрүлүңүз.

Муну рейтинг эмес, багыттоо эрежеси катары окуңуз. Inkling жарнак барагы доолой турганга караганда тарыраак иш тилкеси үчүн туура келет, ал эми ошол тилкенин ичинде аны баада утуу кыйын. Андан сырткары биз сизге арзаныраак моделди сатып, сизди кармап калганды каалайбыз.

06262K контекст терезеси жана ага чындыгында эмне батат

Шлюздагы он эки моделдин баары 262 144 токендик кириш контексти жана ар бир сурамга 16 384 токендик эң чоң чыгуусу менен тейленет. Бирдейлиги атайын: контекстти иштетүү эч качан кодуңуздагы модель боюнча бутакка айланбашы керек, ал эми конфигурация файлындагы inkling'ди MiniMax-M3'кө алмаштыруу эмне батарын үнсүз өзгөртпөшү керек.

Жарыяланган негизге каршы ажырымды байкаңыз: Thinking Machines Inkling'ди 1 048 576 токен деп документтейт, ал эми биз анын 262K тилкесин тейлейбиз. Эгер чындап бир сурамдык миллион токендик жүгүңүз болсо, биз ал үчүн туура уч эмеспиз, жана муну куруудан мурун билгениңиз жакшы.

262K'дагы масштаб үчүн: сүрөттөрү менен 400 барактуу техникалык PDF, орто өлчөмдөгү код базасы, бир нече сааттык транскрипт же ондогон курал натыйжасын жана бир нече скриншотту алып жүргөн узун агенттик сессия — ар бири бир сурамга батат. Көрүү моделинде сүрөттөр да контекст жээрин эстен чыгарбаңыз; тыгыз скриншот бекер эмес, ал эми кадрларды агым менен берген сессия терезени текст гана сессиясына караганда тезирээк толтурат. Архитектура буга жакшы дал келет: 5:1 жылма терезе-глобалдык үлгүсү катмарлардын көбү 512 токендик айланада көңүл бураарын, ал эми глобалдык катмарлар мезгил-мезгили менен алыскы түзүмдү кайра киргизерин билдирет.

07Ой жүгүртүү аракети: ойлонгонго керек болгондо гана төлөө

Inkling башкарылуучу ой жүгүртүү аракетин ачат — каталогдогу эң пайдалуу рычагдардын бири. Түптөгү модель none менен minimal'дан баштап low, medium, high, xhigh аркылуу max'ка чейинки деңгээлдерди кабыл алат, алар үч диалектте тең стандарттык reasoning_effort параметри аркылуу ачылат.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Бул — тиши бар чыгым рычагы, анткени ой жүгүртүү токендери миллионуна $6.07 баада чыгуу токендери катары эсептелет. Thinking Machines Terminal Bench 2.1'де Inkling Nemotron 3 Ultra'га салыштырма упайларга болжол менен үчтөн бир токен менен жетерин билдирет — токен натыйжалуулугу аракет системасынын кокустук эмес, жарыяланган долбоордук максаты.

Практикада: жооп сүрөттө турган жана эч кандай ой жүгүртүү чынжыры керек болбогон жазуу түшүрүү, классификация жана түз чыгарып алуу үчүн low же minimal иштетиңиз. high жана андан жогорусун диаграмма боюнча ой жүгүртүү, көп кадамдуу визуалдык салыштыруу жана туура эмес аралык кадам кымбатка турган агенттик кезектер үчүн калтырыңыз. Командалардын көбү бул параметрди такыр койбойт жана бир нече эселик чыгуу чыгымынын айырмасын үстөлдө калтырат.

08Бул жерде «цензурасыз» эмнени билдирет — жана эмнени билдирбейт

Так түрдө: биз бул моделди баш тартуу катмарысыз жана чыгууга чыпкасыз иштетебиз. Эч бир классификатор промптуңузду окуп, модель жооп берсе болобу деп чечпейт, ал эми жооп агым менен кетээрден мурун эч ким аны окубайт. Модель ишенбегенде же билими жетпегенде, ошондой дейт — бул саясат эмес, модель. Албай турганыңыз — жалпы керектөөчү продукту тыюу салынган деп эсептеген темада рефлекстүү баш тартуу.

Көрүү үчүн бул — бүткүл наркы сунушу. Көрүү API'леринин алдындагы сүрөт классификаторлору так эмес, ал эми жалган позитивдердин деңгээли эң катуу так ушул мүмкүнчүлүккө эң муктаж кесиптик ишке тиет: коопсуздук изилдөөсү, клиникалык шарттар, журналистика жана соттук-медицина, кино менен искусство сыны, өзү модерациялаган нерсеге кароого тийиш модерация куралдары. Категория боюнча баш тарткан уч булардын бирин да ишенимдүү тейлей албайт.

Эки чынчыл эскертүү. Биринчиден, Thinking Machines өз шилтеме жайгаштыруусу үчүн коопсуздук баалоолорун жарыялайт — FORTRESS adversarial боюнча 78,0%, FORTRESS benign боюнча 95,9%, StrongREJECT боюнча 98,6%. Ал сандар алардын коргоочу тосмолору орнотулган алардын түзүлүшүн сүрөттөйт. Алар биздикин сүрөттөбөйт, жана биз аларды сүрөттөгөндөй кылып келтирбейбиз. Ошол сандар жарым-жартылай өлчөгөн катмарды биз алып салдык; продукт да, жоопкерчилик да ушул.

Экинчиден, «баш тартуу катмары жок» дегени «эреже жок» дегени эмес. Shannon Lab LLC жоопкерчиликтүү колдонуу саясаты жана колдонулуучу АКШ мыйзамдарынын алкагында иштейт. Классификаторду алып салуу сотту сизге жылдырат, аны өчүрбөйт. Эгер муну негиз кылып курсаңыз, масштабдоодон мурун саясатты окуңуз.

09Баштоо

Ошол эле базалык URL, ошол эле ачкыч, үч диалект. Эгер кодуңуз OpenAI, Anthropic же Responses API'ди чакырып жатса, модель сабын өзгөртүү адатта бүткүл миграция болуп саналат.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Параметрлердин толук справкасы, /v1/messages менен /v1/responses формалары, агымдуу берүү окуяларынын форматтары жана жандуу аянтча API документтеринде. Калган он бир моделдин карточкалары Shannon Research бөлүмүндө.

Негиздин сандары — Thinking Machines Lab'дын кванттелбеген Inkling чекпоинти үчүн жарыялаган сандары жана алар биздин кванттелген курулушубузду эмес, үй-бүлөнүн чегин сүрөттөйт. Баалар менен мүмкүнчүлүк желекчелери — 2026-жылдын сентябрына карата Shannon AI шлюзүнүн прайс-маанилери.

10Көп берилүүчү суроолор

---

Булактар: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Себастьян Рашка — Inkling архитектурасы жана бенчмарктары боюнча эскертүүлөр. Негиздин бенчмарктары кванттелбеген чекпоинт үчүн лаборатория тарабынан билдирилген.