Нецензуриран Inkling API

Повечето от дванадесетте модела в шлюза ни са само текстови. Четири не са, и сред тези четири Inkling заема конкретна позиция: моделът със зрение, към който посягате, когато трудната част от задачата е картината, но бюджетът не стига до флагман. Тази карта покрива откъде идва основата, какво ѝ е направила наставката W4A16-AUTOROUND-REAP, какво ще прави и какво няма да прави на ниво API и — честно — кога по-евтин модел от същия каталог е по-добрият избор.

01Какво е Inkling и кой го е изградил?

Inkling е първият модел с отворени тегла на Thinking Machines Lab, публикуван на 15 юли 2026 г. За разлика от повечето издания, позиционирани като „отворени“, той излезе с напълно изтегляеми тегла в Hugging Face и с поддръжка от нулевия ден в transformers, SGLang, vLLM и llama.cpp — което изобщо го направи изпълним върху инфраструктура като нашата. Основните числа, по собствените материали на Thinking Machines:

Това е разредена схема Mixture-of-Experts: 66 декодерни слоя със скрит размер 6144, първите два плътни, а останалите 64 носят 256 маршрутизирани експерта плюс 2 споделени, с 6 маршрутизирани експерта, активни на токен. Около 4% от параметрите се задействат за даден токен — именно това прави модел, близък до трилион параметъра, изобщо обслужваем.

Два архитектурни избора са достатъчно необичайни, за да бъдат назовани. Вниманието е преплетено — 55 слоя внимание с плъзгащ прозорец от 512 токена срещу 11 глобални слоя, в повтарящ се модел 5:1. И Inkling не използва RoPE: използва научено, зависещо от входа отместване за относителна позиция, заедно с къси каузални конволюции върху проекциите ключ/стойност и върху остатъчните разклонения. Архитектурните бележки на Sebastian Raschka отбелязват и двете като реални отклонения от стандартната рецепта за 2026 г. Обучението използва Muon за големите матрични параметри и Adam за останалите, а след това над 30 милиона асинхронни RL итерации в следобучението.

За потребителя на API същественото не са любопитните факти. То е, че това е основа от граничен мащаб, изначално мултимодална, обучена върху 45 трилиона токена, обхващащи текст, изображения, звук и видео — а не текстов модел с добавен по-късно адаптер за зрение. Изображенията се кодират като лепенки от 40×40 пиксела през четирислоен йерархичен MLP разделител и се обработват съвместно с текста в същия декодер. Визуалното разбиране е било част от целта на предобучението.

02Какво означава W4A16-AUTOROUND-REAP?

В тази наставка са наслоени три отделни техники и те вършат различна работа. Струва си да бъдат разбрани, защото наставката е най-голямата единична разлика между модела, който извиквате през нашия API, и контролната точка, публикувана от Thinking Machines.

REAP — отрязване на експертите, към които никой не маршрутизира

REAP е Router-weighted Expert Activation Pruning от Cerebras Research (arXiv 2510.13999, приет на ICLR 2026). В MoE с 256 експерта на слой маршрутизаторът не разпределя работата равномерно: едни експерти се удрят постоянно, други се задействат рядко и допринасят малко, когато го правят. REAP оценява всеки експерт по едновременно стойностите на вратата на маршрутизатора и нормите на активациите му — експерт, избиран често, но допринасящ обновления с малка големина, значи по-малко, отколкото подсказва броят на избиранията му — и изхвърля тези с ниска значимост наведнъж, преди квантуването.

Причината да използваме отрязване, а не по-модното сливане на експерти, е че двете се разминават според типа задача. Сливането изглежда конкурентно при дискриминативни тестове и се разпада при генеративните. Авторите на REAP съобщават, че отрязването запазва качеството по-добре точно при натоварванията, заради които хората купуват API — синтез на код, извикване на инструменти, разсъждение в много ходове — при степени на компресия над 50% и за модели от 20B до 1T параметъра. Сливането унищожава специализацията на маршрутизатора; отрязването оставя оцелелите експерти и маршрутизирането между тях непокътнати.

AutoRound — научаване къде да се закръгля

AutoRound е методът на Intel за квантуване след обучението (arXiv 2309.05516, публикуван като SignRound). Наивното квантуване закръгля всяко тегло до най-близката представима 4-битова стойност — разумна подразбираща се настройка и лоша в мащаб, защото грешките от закръгляне не са независими и се натрупват през стек от 66 слоя. AutoRound третира решението за закръгляне като нещо, което да се оптимизира: знаково градиентно спускане настройва съвместно посоката на закръгляне и диапазоните на отрязване на теглата в рамките на няколкостотин стъпки, като заема точността на обучението с отчитане на квантуването, без да преобучава. Intel съобщава за най-големи печалби при крайно ниска битност и за конкурентно предимство при INT4.

W4A16 — къде отиват битовете

W4A16 е числовият формат: 4-битови тегла, 16-битови активации. Теглата — които доминират паметта в модел с 975B — се свиват до около четвърт от отпечатъка при BF16, докато аритметиката остава на 16 бита. Това разделение има значение специално за модел със зрение: схемите с квантувани активации увреждат точно фината числова работа, от която зависи разбирането на изображения — прочитането на малък етикет по ос, различаването на тънка линия в диаграма, отделянето на два близки нюанса. Задържането на активациите на 16 бита струва честотна лента и връща точност там, където натоварване със зрение го забелязва.

Наслоени, трите дават модел, който се побира и остава бърз без пропадането в качеството на агресивното ниво 3BIT-REAP, което използваме за най-големите основи. Това е компромисът, който цената отразява.

03Зрение: API за анализ на изображения без откази

Inkling е един от четирите модела със зрение в каталога ни, наред с Kimi-K3, Kimi-K2.6 и MiniMax-M3. Публикуваните резултати за зрение на базовия модел, по изданието на Thinking Machines, са 73.3% на MMMU Pro (Standard 10) и 78.1% на въпросите за разсъждение в CharXiv — покачвайки се до 82.0%, когато на модела е позволено да изпълни Python върху графиката. Това са собствените числа на лабораторията за неквантуваната контролна точка; третирайте ги като таван на семейството, а не като измерване на нашата версия.

CharXiv е този, върху който си струва да се задържим, защото се съотнася с това защо хората купуват API за зрение, а не OCR услуга. Той тества разсъждение върху научни графики — отчитане на стойност по ос, сравняване на две редици, забелязване на обръщане на тенденция. Не „какъв текст има в това изображение“, а „какво твърди тази фигура и издържа ли твърдението“. Именно това оправдава изпращането на картина към модел за разсъждение с 975B параметъра вместо към малък генератор на надписи.

Изпращането на изображение е обичайна съвместима с OpenAI работа — част от съдържанието image_url на /v1/chat/completions, блок image в стил Anthropic на /v1/messages или еквивалентът на /v1/responses. И трите диалекта удрят едни и същи тегла и трите поточат; изберете който вече говори вашият SDK. Разработен пример има в раздел 09.

Нецензурираната част има по-голямо значение за зрението, отколкото за текста. Слоят за откази пред крайна точка със зрение е необичайно груб, защото обикновено класифицира изображението, преди моделът да е разсъждавал върху заявката. Законна работа се хваща постоянно: снимка на рана в поток от клинични бележки, криминалистична екранна снимка в доклад за инцидент, кадър от филм, анализиран за критически текст, медицинско сканиране, изображение на документ, в което случайно има име. Inkling в нашия шлюз няма такъв класификатор пред себе си. Той гледа какво сте изпратили и отговаря на въпроса, който сте задали. Това е продуктът.

04Структуриран изход: response_format да, json_schema не

Това е единственото място, където Inkling е по-малко способен от повечето от каталога, и е по-добре да го заложите в плана, отколкото да го откриете в продукция.

Възможност	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Зрение (вход с изображения)	Да	Да	Да	Не
response_format	Да	Да	Да	Не
json_schema	Не	Да	Да	Не
Извикване на инструменти	Да	Да	Да	Да
Усилие за разсъждение	Да	Да	Да	Да

response_format: {"type": "json_object"} работи — получавате синтактично валиден JSON. Това, което не получавате, е ограничено от граматика декодиране спрямо схема, която подавате, при което семплерът е физически възпрепятстван да излъчи токен, нарушаващ вашата структура. Имената на полетата, принадлежността към изброен тип и наличието на задължителните ключове са избор на модела, а не гаранция.

Три начина да живеете с това, във възходящ ред на надеждност:

1. Подайте схемата в промпта и валидирайте. Сложете схемата в системния промпт като буквален JSON, задайте response_format на json_object и валидирайте отговора от ваша страна. При провал на валидацията опитайте отново, добавяйки съобщението за грешка на валидатора. Евтино, работи, изисква бюджет за повторни опити.
2. Използвайте дефиниция на инструмент като схема. Извикването на инструменти се поддържа, а дефиницията на параметрите на една функция е JSON схема. Декларирайте един инструмент, кръстен на извличането, което искате, наложете го и прочетете аргументите. Това обикновено е най-силният вариант при Inkling и не ви струва нищо допълнително.
3. Разделете задачата между два модела. Нека Inkling свърши зрението и разсъждението в проза, после подайте тази проза на MiMo-V2.5-W8A16 на $0.50 / $2.00 с истинска json_schema за структуриращото минаване. Две извиквания, но второто е евтино, детерминирано по форма, а моделът, който трябва да е умен, е този, който е видял изображението.

Вариант 3 е моделът на работа, който бихме препоръчали за всеки поток за извличане с голям обем. Плащайте премията само за стъпката, която я изисква.

05Какво купува премията в цената?

На $1.42 вход / $6.07 изход на милион токена Inkling стои умишлено в средата на каталога ни. Шест от дванадесетте модела са на минималното ниво от $0.50 / $2.00. Kimi-K3 — флагманът, също със зрение — е $3.83 / $19.12. Inkling е приблизително три пъти минималното ниво на изход и приблизително една трета от флагмана.

Цена на изхода, USD на 1M токена, по ценоразписа на шлюза Shannon AI, септември 2026 г. Ширината на лентата е пропорционална на цената; по-дълга значи по-скъпо.

Ето честният прочит къде тази премия си заслужава — и къде не.

Натоварване	Да ползвам ли Inkling?	Защо
Разсъждение върху графики / диаграми	Да	Публикуваните числа за CharXiv и MMMU Pro са това, в което тази основа е най-силна.
Агенти, водени от екранни снимки	Да	Зрение плюс извикване на инструменти плюс 262K история в един модел, без предаване.
Дълги документи с фигури	Да	Текстът и изображенията споделят един декодер и един контекстен прозорец.
Генериране на обикновен текст	Не	Шест модела на $0.50 / $2.00 вършат това. Плащате за път през зрението, който никога не извиквате.
Масово извличане по схема	Не	Няма json_schema. MiMo-V2.5 е по-евтин и ограничен.
Абсолютен граничен таван	Не	Kimi-K3 е флагманът. Платете 3.1×, ако ограничението е таванът.
Възможно най-евтино зрение	Не	MiniMax-M3 има зрение на $0.50 / $2.00. Започнете оттам и ескалирайте, ако качеството ви принуди.

Четете това като правило за маршрутизиране, а не като класация. Inkling е правилен за по-тясна ивица работа, отколкото би твърдяла една маркетингова страница, а вътре в тази ивица е трудно да бъде победен по цена. Извън нея бихме предпочели да ви продадем по-евтиния модел и да ви задържим.

06Контекстният прозорец от 262K и какво реално се побира

И дванадесетте модела в шлюза се обслужват с входен контекст от 262 144 токена и максимален изход от 16 384 токена на заявка. Еднакво нарочно: работата с контекста никога не бива да се превръща в разклонение по модел в кода ви, а смяната на inkling с MiniMax-M3 в конфигурационен файл не бива мълчаливо да променя какво се побира.

Обърнете внимание на разликата спрямо публикуваната основа: Thinking Machines документира Inkling с 1 048 576 токена, а ние обслужваме отрязък от 262K. Ако имате истинско натоварване от милион токена в една заявка, ние не сме крайната точка за него, и е по-добре да го знаете, преди да строите.

За мащаб при 262K: технически PDF от 400 страници с фигурите му, средно голяма кодова база, няколко часа транскрипция или дълга агентна сесия, носеща десетки резултата от инструменти и шепа екранни снимки — всяко от тях се побира в една заявка. При модел със зрение помнете, че и изображенията изяждат контекст; плътната екранна снимка не е безплатна, а сесия, която поточи кадри, пълни прозореца по-бързо от текстова. Архитектурата пасва добре на това: моделът 5:1 между плъзгащ прозорец и глобални слоеве означава, че повечето слоеве внимават в съседство от 512 токена, а глобалните слоеве периодично връщат структурата на далечни разстояния.

07Усилие за разсъждение: плащайте за мислене само когато ви трябва

Inkling излага управляемо усилие за разсъждение — един от по-полезните регулатори в каталога. Моделът нагоре по веригата приема нива от none и minimal през low, medium, high, xhigh до max, изложени и в трите диалекта през стандартния параметър reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Това е лост за разходите със зъби, защото токените за разсъждение се таксуват като изходни токени по $6.07 на милион. Thinking Machines съобщава, че на Terminal Bench 2.1 Inkling достига резултати, сравними с Nemotron 3 Ultra, при около една трета от токените — ефективността по токени е заявена цел на дизайна на системата за усилие, а не случайност.

На практика: пускайте low или minimal за надписи, класификация и праволинейно извличане, където отговорът е в изображението и не е нужна верига от изводи. Пазете high и по-горе за разсъждение върху графики, многостъпково визуално сравнение и агентни ходове, където сгрешена междинна стъпка е скъпа. Повечето екипи изобщо не задават параметъра и оставят на масата няколкократна разлика в цената на изхода.

08Какво означава „нецензуриран“ тук — и какво не

Конкретно: пускаме този модел без слой за откази и без филтриране на изхода. Никакъв класификатор не чете промпта ви и не решава дали моделът може да отговори, и никакъв не чете отговора, преди той да се излее. Когато моделът е несигурен или му липсва знанието, той го казва — това е моделът, а не политика. Това, което няма да получите, е рефлекторен отказ по тема, която масов потребителски продукт третира като забранена.

За зрението това е цялото ценностно предложение. Класификаторите на изображения пред API-та със зрение са неточни, а делът на фалшивите положителни удря най-силно точно професионалната работа, която най-много се нуждае от тази възможност: изследване на сигурността, клинични контексти, журналистика и криминалистика, филмова и художествена критика, инструменти за модерация, които трябва да гледат нещото, което модерират. Крайна точка, която отказва по категория, не може да обслужва надеждно нито едно от тях.

Две честни уговорки. Първо, Thinking Machines публикува оценки за безопасност за своето референтно внедряване — 78.0% на FORTRESS adversarial, 95.9% на FORTRESS benign, 98.6% на StrongREJECT. Тези числа описват техния стек с техните предпазни механизми на място. Те не описват нашия и няма да ги цитираме, все едно го правят. Ние премахнахме слоя, който тези числа отчасти измерват; това е продуктът и отговорността.

Второ, „без слой за откази“ не е „без правила“. Shannon Lab LLC работи под Политика за отговорна употреба и приложимото право на САЩ. Премахването на класификатор прехвърля преценката към вас, не я изтрива. Ако строите върху това, прочетете политиката, преди да мащабирате.

09Първи стъпки

Същият базов URL, същият ключ, три диалекта. Ако кодът ви вече вика OpenAI, Anthropic или Responses API, смяната на низа с името на модела обикновено е цялата миграция.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Пълната справка за параметрите, формите на /v1/messages и /v1/responses, форматите на поточните събития и жива площадка за игра има в документацията на API. Картите на другите единадесет модела са в Shannon Research.

Числата за основата са публикуваните от Thinking Machines Lab стойности за неквантуваната контролна точка Inkling и описват тавана на семейството, а не нашата квантувана версия. Цените и флаговете за възможности са стойности по ценоразписа на шлюза Shannon AI към септември 2026 г.

10Често задавани въпроси

---

Източници: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling architecture and benchmark notes. Бенчмарковете за основата са докладвани от лабораторията за неквантуваната контролна точка.