Inkling без цензуры API

Большинство из двенадцати моделей нашего шлюза работают только с текстом. Четыре — нет, и среди этих четырёх Inkling занимает конкретную позицию: это модель со зрением, к которой обращаются, когда самая трудная часть задачи — картинка, но бюджета на флагман не хватает. Эта карточка рассказывает, откуда взялась основа, что с ней сделал суффикс W4A16-AUTOROUND-REAP, что она будет и чего не будет делать на уровне API и — честно — когда более дешёвая модель того же каталога подходит лучше.

01Что такое Inkling и кто её построил?

Inkling — первая модель с открытыми весами от Thinking Machines Lab, опубликованная 15 июля 2026 года. В отличие от большинства релизов, позиционируемых как «открытые», она вышла с полностью скачиваемыми весами на Hugging Face и поддержкой в день ноль в transformers, SGLang, vLLM и llama.cpp — благодаря чему её вообще стало возможно запустить на инфраструктуре вроде нашей. Заглавные цифры из релизных материалов самой Thinking Machines:

Это разреженная раскладка Mixture-of-Experts: 66 слоёв декодера с размерностью скрытого состояния 6 144, первые два плотные, остальные 64 несут 256 маршрутизируемых экспертов плюс 2 общих, при 6 активных маршрутизируемых экспертах на токен. На любом отдельном токене срабатывает примерно 4% параметров — именно это делает модель почти на триллион параметров пригодной к обслуживанию в принципе.

Два архитектурных решения достаточно необычны, чтобы их назвать. Внимание чередующееся — 55 слоёв со скользящим окном в 512 токенов против 11 глобальных слоёв, в повторяющемся узоре 5:1. И Inkling не использует RoPE: она применяет обучаемое, зависящее от входа смещение относительной позиции вместе с короткими каузальными свёртками на проекциях ключей/значений и на остаточных ветвях. Архитектурные заметки Себастьяна Рашки отмечают оба решения как реальные отступления от стандартного рецепта 2026 года. При обучении использовался Muon для больших матричных параметров и Adam для остального, а затем более 30 миллионов асинхронных RL-роллаутов на посттренировке.

Для потребителя API суть не в этих мелочах. Суть в том, что это фронтирного масштаба, нативно мультимодальная основа, обученная на 45 триллионах токенов, охватывающих текст, изображения, аудио и видео, — а не текстовая модель с позже прикрученным визуальным адаптером. Изображения кодируются как патчи 40×40 пикселей через четырёхслойный иерархический MLP-патчифайер и обрабатываются совместно с текстом в одном декодере. Понимание изображений было в цели предобучения.

02Что означает W4A16-AUTOROUND-REAP?

В этом суффиксе сложены три отдельные техники, и делают они разную работу. Их стоит понять, потому что суффикс — самое большое различие между моделью, которую вы вызываете в нашем API, и чекпойнтом, опубликованным Thinking Machines.

REAP — отсечение экспертов, к которым никто не маршрутизирует

REAP — это Router-weighted Expert Activation Pruning от Cerebras Research (arXiv 2510.13999, принята на ICLR 2026). В MoE с 256 экспертами на слой маршрутизатор распределяет работу неравномерно: к одним экспертам обращаются постоянно, другие срабатывают редко и вносят мало, когда срабатывают. REAP оценивает каждого эксперта по обоим сигналам — по значениям гейта маршрутизатора и по нормам активаций эксперта: эксперт, выбираемый часто, но вносящий обновления малой величины, значит меньше, чем подсказывает число его выборов, — и одним шагом выбрасывает малозначимых, ещё до квантизации.

Причина, по которой мы используем отсечение, а не более модное слияние экспертов, в том, что эти два подхода расходятся по типу задач. Слияние выглядит конкурентоспособно на дискриминативных бенчмарках и разваливается на генеративных. Авторы REAP сообщают, что отсечение лучше сохраняет качество ровно на тех нагрузках, ради которых люди покупают API — синтез кода, вызов инструментов, многоходовое рассуждение — при коэффициентах сжатия выше 50%, на моделях от 20B до 1T параметров. Слияние разрушает специализацию маршрутизатора; отсечение оставляет выживших экспертов и маршрутизацию между ними нетронутыми.

AutoRound — обучиться тому, где округлять

AutoRound — метод посттренировочной квантизации от Intel (arXiv 2309.05516, опубликован как SignRound). Наивная квантизация округляет каждый вес к ближайшему представимому 4-битному значению — разумное умолчание и плохое решение на масштабе, потому что ошибки округления не независимы и накапливаются через стек из 66 слоёв. AutoRound рассматривает решение об округлении как то, что надо оптимизировать: знаковый градиентный спуск совместно настраивает направление округления и диапазоны отсечения весов за пару сотен шагов, заимствуя точность обучения с учётом квантизации без переобучения. Intel сообщает о наибольшем выигрыше на экстремально низкобитных настройках и о конкурентном преимуществе на INT4.

W4A16 — куда уходят биты

W4A16 — это числовой формат: 4-битные веса, 16-битные активации. Веса, которые доминируют в памяти у модели на 975B, сжимаются примерно до четверти объёма в BF16, тогда как арифметика остаётся 16-битной. Именно для модели со зрением это разделение особенно важно: схемы с квантизацией активаций бьют ровно по той тонкой численной работе, от которой зависит понимание изображений — прочитать мелкую подпись оси, различить тонкую линию на диаграмме, разделить два похожих оттенка. Сохранение 16-битных активаций стоит пропускной способности и возвращает точность там, где визуальная нагрузка это замечает.

Сложенные вместе, три техники дают модель, которая помещается и остаётся быстрой без обрыва качества, свойственного агрессивному уровню 3BIT-REAP, который мы применяем к самым крупным основам. Именно этот размен и отражён в цене.

03Зрение: API анализа изображений без отказов

Inkling — одна из четырёх моделей нашего каталога со зрением, наряду с Kimi-K3, Kimi-K2.6 и MiniMax-M3. Опубликованные визуальные результаты базовой модели из релиза Thinking Machines: 73,3% на MMMU Pro (Standard 10) и 78,1% на вопросах рассуждения CharXiv, поднимаясь до 82,0%, когда модели разрешено запускать Python по графику. Это собственные цифры лаборатории для неквантизованного чекпойнта; воспринимайте их как потолок семейства, а не как измерение нашей сборки.

Задержаться стоит на CharXiv, потому что он ложится ровно на то, зачем люди покупают API со зрением, а не сервис OCR. Он проверяет рассуждение по научным графикам — считать значение с оси, сравнить два ряда, заметить разворот тренда. Не «какой текст на этом изображении», а «что утверждает этот рисунок и держится ли это утверждение». Именно это оправдывает отправку картинки в модель рассуждения на 975B вместо маленького описателя.

Отправка изображения — обычная OpenAI-совместимая работа: часть содержимого image_url на /v1/chat/completions, блок image в стиле Anthropic на /v1/messages или эквивалент на /v1/responses. Все три диалекта попадают в одни и те же веса, и все три стримят; берите тот, на котором ваш SDK уже говорит. Разобранный пример — в разделе 09.

Отсутствие цензуры для зрения важнее, чем для текста. Слой отказов на визуальном эндпоинте необычно груб, потому что обычно классифицирует изображение ещё до того, как модель осмыслила запрос. Законная работа попадает под него постоянно: фотография раны в конвейере клинических записей, криминалистический скриншот в отчёте об инциденте, кадр из фильма, разбираемого в критической статье, медицинский снимок, изображение документа, в котором просто оказалось имя. У Inkling на нашем шлюзе такого классификатора перед ней нет. Она смотрит на то, что вы прислали, и отвечает на заданный вопрос. В этом и продукт.

04Структурированный вывод: response_format — да, json_schema — нет

Это единственное место, где Inkling слабее большей части каталога, и лучше это заранее заложить в план, чем обнаружить в продакшене.

Возможность	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Зрение (ввод изображений)	Да	Да	Да	Нет
response_format	Да	Да	Да	Нет
json_schema	Нет	Да	Да	Нет
Вызов инструментов	Да	Да	Да	Да
Усилие рассуждения	Да	Да	Да	Да

response_format: {"type": "json_object"} работает — вы получаете синтаксически корректный JSON. Чего вы не получаете, так это декодирования, ограниченного грамматикой по вашей схеме, где сэмплер физически не может выдать токен, нарушающий вашу структуру. Имена полей, принадлежность к перечислению и наличие обязательных ключей остаются выбором модели, а не гарантией.

Три способа с этим жить, по возрастанию надёжности:

1. Задать схему промптом и валидировать. Положите схему в системный промпт как буквальный JSON, поставьте response_format в json_object и проверяйте ответ на своей стороне. При провале валидации повторяйте запрос, приписав сообщение об ошибке валидатора. Дёшево, работает, требует бюджета на повторы.
2. Использовать определение инструмента как схему. Вызов инструментов поддерживается, а определение параметров функции — это и есть JSON Schema. Объявите один инструмент, названный по нужному вам извлечению, принудите его вызов и читайте аргументы. Обычно это самый сильный вариант на Inkling, и он не стоит вам ничего дополнительно.
3. Разделить работу между двумя моделями. Пусть Inkling делает зрение и рассуждение прозой, а затем передайте эту прозу в MiMo-V2.5-W8A16 по $0.50 / $2.00 с настоящей json_schema для прохода структурирования. Два вызова, но второй дёшев, предсказуем по форме, а умной должна быть та модель, которая видела изображение.

Вариант 3 — та схема, которую мы рекомендовали бы для любого высоконагруженного конвейера извлечения. Платите надбавку только за тот шаг, которому она нужна.

05Что покупает надбавка к цене?

При $1.42 вход / $6.07 выход за миллион токенов Inkling намеренно стоит в середине нашего каталога. Шесть из двенадцати моделей находятся на нижней планке $0.50 / $2.00. Kimi-K3 — флагман, тоже со зрением — стоит $3.83 / $19.12. Inkling примерно втрое дороже нижней планки по выходу и примерно втрое дешевле флагмана.

Цена выхода, USD за 1M токенов, прайс-ставки шлюза Shannon AI Gateway, сентябрь 2026 года. Ширина полосы пропорциональна цене; длиннее — дороже.

Вот честное прочтение того, где эта надбавка себя оправдывает, а где нет.

Нагрузка	Брать Inkling?	Почему
Рассуждение по графикам и диаграммам	Да	Опубликованные цифры CharXiv и MMMU Pro — самая сильная сторона этой основы.
Агенты, управляемые скриншотами	Да	Зрение плюс вызов инструментов плюс 262K истории в одной модели, без передачи между моделями.
Длинные документы с иллюстрациями	Да	Текст и изображения делят один декодер и одно контекстное окно.
Генерация простого текста	Нет	Это делают шесть моделей по $0.50 / $2.00. Вы платите за визуальный путь, который никогда не вызываете.
Массовое извлечение по схеме	Нет	Нет json_schema. MiMo-V2.5 дешевле и ограничена схемой.
Абсолютный фронтирный потолок	Нет	Флагман — Kimi-K3. Платите 3.1×, если ограничение именно в потолке.
Самое дешёвое зрение	Нет	У MiniMax-M3 есть зрение по $0.50 / $2.00. Начните с неё и поднимайтесь, если качество вынудит.

Читайте это как правило маршрутизации, а не как ранжирование. Inkling подходит для более узкой полосы работ, чем заявила бы рекламная страница, а внутри этой полосы её трудно превзойти по цене. Вне её мы предпочтём продать вам модель дешевле и сохранить вас как клиента.

06Контекстное окно 262K и что в него реально влезает

Все двенадцать моделей на шлюзе обслуживаются с входным контекстом в 262 144 токена и максимальным выводом в 16 384 токена на запрос. Единообразно намеренно: работа с контекстом никогда не должна превращаться в ветвление по модели в вашем коде, а замена inkling на MiniMax-M3 в конфиге не должна молча менять то, что помещается.

Отметьте разрыв с опубликованной основой: Thinking Machines документирует Inkling на 1 048 576 токенов, а мы обслуживаем срез в 262K. Если у вас настоящая нагрузка на миллион токенов в одном запросе, наш эндпоинт вам не подходит, и лучше узнать это до того, как вы начнёте строить.

О масштабе при 262K: технический PDF на 400 страниц с иллюстрациями, кодовая база среднего размера, несколько часов транскрипта или длинная агентная сессия с десятками результатов инструментов и горсткой скриншотов — каждое помещается в один запрос. На модели со зрением помните, что изображения тоже потребляют контекст; плотный скриншот не бесплатен, и сессия, стримящая кадры, заполняет окно быстрее текстовой. Архитектура к этому хорошо приспособлена: узор скользящего окна к глобальному 5:1 означает, что большинство слоёв смотрят внутри окрестности в 512 токенов, а глобальные слои периодически возвращают дальнюю структуру.

07Усилие рассуждения: платить за размышление только когда нужно

Inkling открывает управляемое усилие рассуждения — одна из самых полезных ручек в каталоге. Первоисточная модель принимает уровни от none и minimal через low, medium, high, xhigh и до max, доступные во всех трёх диалектах через стандартный параметр reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Это рычаг стоимости с зубами, потому что токены рассуждения тарифицируются как выходные по $6.07 за миллион. Thinking Machines сообщает, что на Terminal Bench 2.1 Inkling достигает результатов, сопоставимых с Nemotron 3 Ultra, примерно на трети токенов — эффективность по токенам заявлена как цель проектирования системы усилий, а не случайность.

На практике: ставьте low или minimal для описания изображений, классификации и прямолинейного извлечения, где ответ есть в самом изображении и цепочка вывода не нужна. Держите high и выше для рассуждения по графикам, многошагового визуального сравнения и агентных ходов, где неверный промежуточный шаг дорого обходится. Большинство команд вообще не выставляют этот параметр и оставляют на столе несколькократную разницу в стоимости вывода.

08Что здесь означает «без цензуры» — и чего не означает

Конкретно: мы гоняем эту модель без слоя отказов и без фильтрации вывода. Ни один классификатор не читает ваш промпт, решая, можно ли модели отвечать, и ни один не читает ответ до того, как он пойдёт в стрим. Когда модель не уверена или ей не хватает знаний, она так и говорит — это модель, а не политика. Чего вы не получите, так это рефлекторного отказа по теме, которую массовый потребительский продукт считает запретной.

Для зрения в этом и вся ценность. Классификаторы изображений перед визуальными API неточны, и доля ложных срабатываний бьёт сильнее всего по профессиональной работе, которой эта возможность нужнее всего: исследования безопасности, клинические контексты, журналистика и криминалистика, кино- и художественная критика, инструменты модерации, которым приходится смотреть на то, что они модерируют. Эндпоинт, отказывающий по категории, ни одну из этих задач надёжно обслужить не может.

Две честные оговорки. Во-первых, Thinking Machines публикует оценки безопасности для своего эталонного развёртывания — 78,0% на FORTRESS adversarial, 95,9% на FORTRESS benign, 98,6% на StrongREJECT. Эти цифры описывают их стек с их ограждениями на месте. Они не описывают наш, и мы не станем цитировать их так, будто описывают. Мы убрали слой, который эти числа отчасти и измеряют; в этом и продукт, и ответственность.

Во-вторых, «нет слоя отказов» — не то же самое, что «нет правил». Shannon Lab LLC работает в рамках Политики ответственного использования и применимого права США. Удаление классификатора переносит суждение на вас, а не отменяет его. Если вы строите на этом, прочитайте политику, прежде чем масштабироваться.

09С чего начать

Тот же базовый URL, тот же ключ, три диалекта. Если ваш код уже обращается к OpenAI, Anthropic или Responses API, смена строки модели обычно и есть вся миграция.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Полный справочник параметров, формы /v1/messages и /v1/responses, форматы событий стриминга и живая песочница — в документации API. Карточки остальных одиннадцати моделей — в Shannon Research.

Цифры по основе — опубликованные Thinking Machines Lab числа для неквантизованного чекпойнта Inkling; они описывают потолок семейства, а не нашу квантизованную сборку. Цены и флаги возможностей — прайс-значения шлюза Shannon AI Gateway по состоянию на сентябрь 2026 года.

10Часто задаваемые вопросы

---

Источники: Thinking Machines Lab — представление Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Себастьян Рашка — заметки об архитектуре и бенчмарках Inkling. Бенчмарки основы приведены лабораторией для неквантизованного чекпойнта.