Нецензурований API моделі Inkling

Більшість із дванадцяти моделей нашого шлюзу працюють лише з текстом. Чотири — ні, і серед цих чотирьох Inkling посідає цілком конкретне місце: це модель із зором, до якої тягнешся тоді, коли найважче в задачі — саме картинка, але бюджету на флагман немає. Ця картка розповідає, звідки взявся фундамент, що зробив із ним суфікс W4A16-AUTOROUND-REAP, що вона робитиме й чого не робитиме на рівні API — і, чесно, коли дешевша модель із того самого каталогу буде кращим вибором.

01Що таке Inkling і хто її побудував?

Inkling — перша модель із відкритими вагами від Thinking Machines Lab, опублікована 15 липня 2026 року. На відміну від більшості релізів, що позиціонуються як «відкриті», вона вийшла з повністю завантажуваними вагами на Hugging Face і підтримкою в transformers, SGLang, vLLM і llama.cpp із першого дня — саме тому її взагалі можна запустити на інфраструктурі на кшталт нашої. Ключові цифри, з релізних матеріалів самої Thinking Machines:

Це розріджена компоновка Mixture-of-Experts: 66 шарів декодера з прихованим розміром 6 144, перші два — щільні, решта 64 несуть 256 маршрутизованих експертів плюс 2 спільні, і 6 маршрутизованих експертів активні на токен. На будь-якому окремому токені спрацьовує приблизно 4% параметрів — саме це робить модель майже на трильйон параметрів придатною до обслуговування взагалі.

Два архітектурні рішення настільки незвичні, що варті окремої згадки. Увага тут чергується: 55 шарів уваги з ковзним вікном на 512 токенів проти 11 глобальних шарів, у повторюваному візерунку 5:1. І Inkling не використовує RoPE: вона застосовує вивчений, залежний від входу зсув відносних позицій, а також короткі каузальні згортки на проєкціях ключів/значень і на залишкових гілках. Архітектурні нотатки Себастьяна Рашки відзначають обидва рішення як справжній відхід від стандартного рецепта 2026 року. Для тренування використали Muon для великих матричних параметрів і Adam для решти, а потім понад 30 мільйонів асинхронних RL-розгортань у пост-тренуванні.

Для споживача API суть не в цих деталях. Суть у тому, що це нативно мультимодальний фундамент фронтирного масштабу, навчений на 45 трильйонах токенів тексту, зображень, аудіо й відео, — а не текстова модель із приробленим згодом адаптером зору. Зображення кодуються як патчі 40×40 пікселів через чотиришаровий ієрархічний MLP-патчифікатор і обробляються спільно з текстом у тому самому декодері. Візуальне розуміння було закладене в саму мету передтренування.

02Що означає W4A16-AUTOROUND-REAP?

У цьому суфіксі складено три окремі техніки, і кожна виконує свою роботу. Варто в них розібратися, бо саме суфікс — найбільша різниця між моделлю, яку ви викликаєте в нашому API, і чекпоїнтом, що його опублікувала Thinking Machines.

REAP — проріджування експертів, до яких ніхто не маршрутизує

REAP — це Router-weighted Expert Activation Pruning від Cerebras Research (arXiv 2510.13999, прийнято на ICLR 2026). У MoE з 256 експертами на шар маршрутизатор не розподіляє роботу рівномірно: в одних експертів влучає постійно, інші спрацьовують рідко й мало що додають, коли спрацьовують. REAP оцінює кожного експерта і за значеннями воріт маршрутизатора, і за нормами його активацій — експерт, якого обирають часто, але який дає оновлення малої величини, важить менше, ніж підказує кількість його виборів, — і відкидає малозначущих за один прохід, ще до квантування.

Причина, чому ми беремо проріджування, а не модніше злиття експертів, у тому, що ці два підходи розходяться за типом задачі. Злиття виглядає конкурентно на дискримінативних бенчмарках і розсипається на генеративних. Автори REAP повідомляють, що проріджування краще зберігає якість саме на тих навантаженнях, заради яких люди купують API, — синтез коду, виклик інструментів, багатоходове міркування — при коефіцієнтах стиснення понад 50% і на моделях від 20 млрд до 1 трлн параметрів. Злиття руйнує спеціалізацію маршрутизатора; проріджування лишає вцілілих експертів і маршрутизацію між ними недоторканими.

AutoRound — навчитися, куди округляти

AutoRound — метод післятренувального квантування від Intel (arXiv 2309.05516, опублікований як SignRound). Наївне квантування округлює кожну вагу до найближчого представного 4-бітного значення — розумний варіант за замовчуванням і поганий у масштабі, бо помилки округлення не є незалежними й накопичуються крізь стос із 66 шарів. AutoRound розглядає рішення про округлення як те, що можна оптимізувати: знаковий градієнтний спуск спільно налаштовує напрямок округлення й діапазони обрізання ваг за пару сотень кроків, запозичуючи точність тренування з урахуванням квантування без самого перетренування. Intel повідомляє про найбільший приріст на екстремально низькій бітності й про конкурентну перевагу на INT4.

W4A16 — куди йдуть біти

W4A16 — це числовий формат: 4-бітні ваги, 16-бітні активації. Ваги, що домінують у пам'яті моделі на 975 млрд параметрів, стискаються приблизно до чверті сліду BF16, тоді як арифметика лишається 16-бітною. Для моделі із зором цей поділ важить окремо: схеми з квантуванням активацій б'ють саме по тонкій числовій роботі, від якої залежить розуміння зображень, — прочитати дрібну підпис осі, розрізнити тонку лінію на діаграмі, відділити два схожі відтінки. Зберігання активацій у 16 бітах коштує пропускної здатності, але повертає точність там, де навантаження із зором це помічає.

Разом ці три дають модель, яка вміщується й лишається швидкою без обриву якості, властивого агресивнішому рівню 3BIT-REAP, який ми застосовуємо до найбільших фундаментів. Саме цей компроміс і відображено в ціні.

03Зір: API аналізу зображень без відмов

Inkling — одна з чотирьох моделей із зором у нашому каталозі, поряд із Kimi-K3, Kimi-K2.6 і MiniMax-M3. Опубліковані результати базової моделі на зорі, з релізу Thinking Machines, — 73.3% на MMMU Pro (Standard 10) і 78.1% на питаннях із міркуванням CharXiv, зі зростанням до 82.0%, коли моделі дозволено запускати Python на самій діаграмі. Це власні цифри лабораторії для неквантованого чекпоїнта; сприймайте їх як стелю сімейства, а не як вимір нашої збірки.

На CharXiv варто спинитися, бо він добре лягає на те, чому люди купують саме API зору, а не сервіс OCR. Він перевіряє міркування над науковими діаграмами — зчитати значення з осі, порівняти два ряди, помітити розворот тренду. Не «який текст на цьому зображенні», а «що стверджує цей рисунок і чи витримує це твердження». Саме це виправдовує надсилання картинки в модель на 975 млрд параметрів замість маленького підписувача.

Надіслати зображення — звичайна робота в OpenAI-сумісному стилі: частина контенту image_url на /v1/chat/completions, блок image в стилі Anthropic на /v1/messages або еквівалент на /v1/responses. Усі три діалекти б'ють в ті самі ваги й усі три стримлять; беріть той, яким уже говорить ваш SDK. Робочий приклад — у розділі 09.

Нецензурованість важить для зору більше, ніж для тексту. Шар відмов на ендпоїнті зору напрочуд тупий, бо зазвичай класифікує зображення ще до того, як модель поміркувала над запитом. Легітимна робота потрапляє під нього постійно: фотографія рани в конвеєрі клінічних нотаток, криміналістичний скріншот у звіті про інцидент, кадр із фільму, який розбирають для критичної статті, медичний знімок, зображення документа, у якому випадково є ім'я. Перед Inkling на нашому шлюзі такого класифікатора немає. Вона дивиться на те, що ви надіслали, і відповідає на поставлене питання. Це і є продукт.

04Структурований вивід: response_format — так, json_schema — ні

Це єдине місце, де Inkling слабша за більшість каталогу, і краще закласти це в план, ніж виявити в продакшені.

Можливість	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Зір (вхідні зображення)	Так	Так	Так	Ні
response_format	Так	Так	Так	Ні
json_schema	Ні	Так	Так	Ні
Виклик інструментів	Так	Так	Так	Так
Зусилля міркування	Так	Так	Так	Так

response_format: {"type": "json_object"} працює — ви отримуєте синтаксично коректний JSON. Чого ви не отримуєте, так це обмеженого граматикою декодування за наданою вами схемою, де семплеру фізично не дають видати токен, що порушує вашу структуру. Імена полів, належність до переліку enum і наявність обов'язкових ключів — це вибір моделі, а не гарантія.

Три способи з цим жити, у порядку зростання надійності:

1. Підказуйте схему й перевіряйте. Покладіть схему в системний промпт як буквальний JSON, поставте response_format у json_object і перевіряйте відповідь на своєму боці. У разі невдалої перевірки повторюйте запит із доданим повідомленням про помилку від валідатора. Дешево, працює, потребує бюджету на повтори.
2. Використайте визначення інструмента як схему. Виклик інструментів підтримується, а визначення параметрів функції — це і є JSON Schema. Оголосіть єдиний інструмент, названий за тим витягуванням, яке вам потрібне, змусьте його викликати й читайте аргументи. Зазвичай це найсильніший варіант на Inkling, і він не коштує вам нічого додатково.
3. Розділіть роботу між двома моделями. Нехай Inkling робить зір і міркування прозою, а потім передайте цю прозу в MiMo-V2.5-W8A16 за $0.50 / $2.00 зі справжньою json_schema для проходу структурування. Два виклики, але другий дешевий і детермінований за формою, а розумною має бути та модель, яка бачила зображення.

Варіант 3 — це той шаблон, який ми порадили б для будь-якого обсягового конвеєра витягування. Платіть надбавку лише за той крок, якому вона потрібна.

05Що дає надбавка до ціни?

За $1.42 вхід / $6.07 вихід за мільйон токенів Inkling свідомо стоїть посередині нашого каталогу. Шість із дванадцяти моделей — на мінімальному рівні $0.50 / $2.00. Kimi-K3, флагман, теж із зором, — це $3.83 / $19.12. Inkling приблизно втричі дорожча за мінімальний рівень на виході й приблизно втричі дешевша за флагман.

Ціна виходу, доларів США за 1 млн токенів, прейскурант шлюзу Shannon AI, вересень 2026 року. Ширина смуги пропорційна ціні; довша означає дорожча.

Ось чесне прочитання того, де ця надбавка себе окупає, — і де ні.

Навантаження	Брати Inkling?	Чому
Міркування над діаграмами й схемами	Так	Опубліковані цифри CharXiv і MMMU Pro — саме те, у чому цей фундамент найсильніший.
Агенти, керовані скріншотами	Так	Зір плюс виклик інструментів плюс 262K історії в одній моделі, без передачі між ними.
Довгі документи з рисунками	Так	Текст і зображення ділять один декодер і одне контекстне вікно.
Генерація звичайного тексту	Ні	Це роблять шість моделей за $0.50 / $2.00. Ви платите за шлях зору, до якого ніколи не звертаєтеся.
Обсягове витягування за схемою	Ні	Немає json_schema. MiMo-V2.5 дешевша й обмежена схемою.
Абсолютна фронтирна стеля	Ні	Флагман — це Kimi-K3. Платіть 3.1×, якщо обмеженням є саме стеля.
Найдешевший можливий зір	Ні	MiniMax-M3 має зір за $0.50 / $2.00. Починайте звідти й підвищуйте рівень, якщо якість змусить.

Читайте це як правило маршрутизації, а не як рейтинг. Inkling підходить для вужчої смуги роботи, ніж стверджувала б маркетингова сторінка, а всередині цієї смуги її важко перебити за ціною. Поза нею ми радше продамо вам дешевшу модель і збережемо вас як клієнта.

06Контекстне вікно на 262K і що в нього насправді вміщується

Усі дванадцять моделей на шлюзі обслуговуються з вхідним контекстом на 262 144 токени й максимальним виводом 16 384 токени на запит. Однаково — і це навмисно: робота з контекстом ніколи не має ставати розгалуженням за моделлю у вашому коді, а заміна inkling на MiniMax-M3 у конфізі не має мовчки змінювати те, що вміщується.

Зверніть увагу на розрив із опублікованим фундаментом: Thinking Machines документує Inkling на 1 048 576 токенів, а ми обслуговуємо зріз на 262K. Якщо у вас є справжнє навантаження на мільйон токенів в одному запиті — ми не той ендпоїнт, і краще знати це до того, як ви почнете будувати.

Щодо масштабу 262K: технічний PDF на 400 сторінок разом із рисунками, кодова база середнього розміру, кілька годин транскрипту або довга агентна сесія з десятками результатів інструментів і кількома скріншотами — кожне вміщується в один запит. На моделі із зором пам'ятайте, що зображення теж споживають контекст: щільний скріншот не безкоштовний, а сесія, яка стримить кадри, заповнює вікно швидше за суто текстову. Архітектура добре під це підходить: візерунок 5:1 між ковзним вікном і глобальними шарами означає, що більшість шарів дивляться в межах околу на 512 токенів, а глобальні шари періодично повертають далекосяжну структуру.

07Зусилля міркування: платити за мислення лише тоді, коли воно потрібне

Inkling відкриває кероване зусилля міркування — один із найкорисніших регуляторів у каталозі. Вихідна модель приймає рівні від none й minimal через low, medium, high, xhigh аж до max, і вони доступні в усіх трьох діалектах через стандартний параметр reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Це важіль вартості із зубами, бо токени міркування тарифікуються як вихідні за $6.07 за мільйон. Thinking Machines повідомляє, що на Terminal Bench 2.1 Inkling досягає результатів, порівнянних із Nemotron 3 Ultra, приблизно на третині токенів: ефективність за токенами — заявлена мета проєктування системи зусиль, а не випадковість.

На практиці: ставте low або minimal для підписування, класифікації й простого витягування, де відповідь є в самому зображенні й ланцюжок висновків не потрібен. Приберігайте high і вище для міркування над діаграмами, багатокрокового візуального порівняння й агентних ходів, де хибний проміжний крок дорого коштує. Більшість команд взагалі ніколи не виставляє цей параметр і лишає на столі кількаразову різницю у вартості виходу.

08Що тут означає «нецензурований» — і чого не означає

Конкретно: ми запускаємо цю модель без шару відмов і без фільтрації виводу. Жоден класифікатор не читає ваш промпт і не вирішує, чи можна моделі відповісти, і жоден не читає відповідь перед стримінгом. Коли модель не впевнена або їй бракує знань, вона так і каже — це модель, а не політика. Чого ви не отримаєте, так це рефлекторної відмови на тему, яку загальноспоживчий продукт вважає забороненою.

Для зору в цьому вся ціннісна пропозиція. Класифікатори зображень перед API зору неточні, і рівень хибних спрацювань найдужче б'є саме по професійній роботі, якій ця можливість потрібна найбільше: дослідження безпеки, клінічні контексти, журналістика й криміналістика, кіно- й мистецька критика, інструменти модерації, які мусять дивитися на те, що модерують. Ендпоїнт, який відмовляє за категорією, не може надійно обслуговувати жоден із цих випадків.

Два чесні застереження. По-перше, Thinking Machines публікує оцінки безпеки для свого еталонного розгортання: 78.0% на FORTRESS adversarial, 95.9% на FORTRESS benign, 98.6% на StrongREJECT. Ці цифри описують їхній стек із їхніми запобіжниками на місці. Нашого вони не описують, і ми не цитуватимемо їх так, ніби описують. Ми зняли той шар, який ці числа частково й вимірюють; це і є продукт, і це відповідальність.

По-друге, «без шару відмов» не означає «без правил». Shannon Lab LLC працює за Політикою відповідального використання й чинним законодавством США. Зняття класифікатора перекладає судження на вас, а не скасовує його. Якщо ви будуєте на цьому, прочитайте політику, перш ніж масштабуватися.

09Із чого почати

Той самий базовий URL, той самий ключ, три діалекти. Якщо ваш код уже звертається до OpenAI, Anthropic або Responses API, зміна рядка з моделлю зазвичай і є всією міграцією.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Повний довідник параметрів, формати /v1/messages і /v1/responses, формати подій стримінгу й живий майданчик для експериментів — у документації API. Картки решти одинадцяти моделей — у Shannon Research.

Цифри фундаменту — це опубліковані Thinking Machines Lab числа для неквантованого чекпоїнта Inkling, і вони описують стелю сімейства, а не нашу квантовану збірку. Ціни й прапорці можливостей — прейскурантні значення шлюзу Shannon AI станом на вересень 2026 року.

10Часті запитання

---

Джерела: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — архітектурні нотатки й бенчмарки Inkling. Бенчмарки фундаменту повідомлені лабораторією для неквантованого чекпоїнта.