Нецензуриран модел Inkling API

Повеќето од дванаесетте модели на нашата порта се само за текст. Четири не се, а меѓу тие четири Inkling држи конкретна позиција: моделот со вид по кој посегнуваш кога сликата е тешкиот дел од проблемот, но буџетот не се протега до водечки модел. Оваа картичка покрива од каде доаѓа фундаментот, што му направила наставката W4A16-AUTOROUND-REAP, што ќе прави и што нема да прави на API површината, и — чесно — кога поевтин модел од истиот каталог е подобриот избор.

01Што е Inkling и кој го изградил?

Inkling е првиот модел со отворени тежини од Thinking Machines Lab, објавен на 15 јули 2026 година. За разлика од повеќето изданија претставени како „отворени“, тој излезе со целосно преземливи тежини на Hugging Face и поддршка од нулти ден во transformers, SGLang, vLLM и llama.cpp — што е и причината воопшто да може да се пушти на инфраструктура како нашата. Главните бројки, од сопствените материјали за издавање на Thinking Machines:

Тоа е редок распоред со мешавина од експерти: 66 декодерски слоја со скриена големина 6.144, првите два густи, а преостанатите 64 носат 256 рутирани експерти плус 2 заеднички експерти, со 6 рутирани експерти активни по токен. Приближно 4% од параметрите се палат на кој било даден токен — токму тоа овозможува модел близу до трилион параметри воопшто да може да се послужува.

Две архитектонски одлуки се доволно необични за да се именуваат. Вниманието е преплетено — 55 слоја со лизгачки прозорец од 512 токени наспроти 11 глобални слоја, во образец што се повторува 5:1. И Inkling не користи RoPE: користи научена релативна позициска пристрасност зависна од влезот, заедно со кратки каузални конволуции врз проекциите за клуч/вредност и врз резидуалните гранки. Архитектонските белешки на Sebastian Raschka ги означуваат обете како вистински отстапувања од стандардниот рецепт на 2026 година. Тренирањето користело Muon за големите матрични параметри и Adam за остатокот, па потоа над 30 милиони асинхрони извршувања со поттикнато учење во пост-тренирањето.

Поентата за корисник на API не е ситницата. Поентата е дека ова е родно мултимодален фундамент од врвна големина трениран на 45 трилиони токени што опфаќаат текст, слики, аудио и видео — а не текстуален модел со подоцна прицврстен адаптер за вид. Сликите се кодираат како парчиња од 40×40 пиксели низ четворослоен хиерархиски MLP расечувач на парчиња и се обработуваат заедно со текстот во истиот декодер. Визуелното разбирање било во целта на претренирањето.

02Што значи W4A16-AUTOROUND-REAP?

Во таа наставка се наслагани три одделни техники, и тие вршат различни работи. Вреди да се разберат, зашто наставката е најголемата единечна разлика меѓу моделот што го повикуваш на нашето API и контролната точка што ја објави Thinking Machines.

REAP — поткастрување на експертите кон кои никој не рутира

REAP е поткастрување на активацијата на експертите пондерирано по рутерот, од Cerebras Research (arXiv 2510.13999, прифатено на ICLR 2026). Во еден MoE со 256 експерти по слој рутерот не ја распределува работата рамномерно: некои експерти се погодуваат постојано, други ретко се палат и малку придонесуваат кога ќе се запалат. REAP го оценува секој експерт по обете — вредностите на портите на рутерот и нормите на активација на експертот — зашто експерт што се избира често, но придонесува со ажурирања со мала големина, значи помалку отколку што сугерира бројот на неговите избори — и во еден потег ги отфрла оние со ниска истакнатост, пред квантизацијата.

Причината зошто користиме поткастрување наместо помодното спојување на експерти е тоа што двете се разидуваат по тип на задача. Спојувањето изгледа конкурентно на дискриминативни репери и се распаѓа на генеративните. Авторите на REAP пријавуваат дека поткаструвањето подобро го чува квалитетот токму на оптоварувањата поради кои луѓето купуваат API — синтеза на код, повикување алатки, расудување во повеќе кругови — при односи на компресија над 50%, низ модели од 20 милијарди до 1 трилион параметри. Спојувањето ја уништува специјализацијата на рутерот; поткаструвањето ги остава преживеаните експерти и рутирањето меѓу нив недопрени.

AutoRound — учење каде да се заокружи

AutoRound е методот на Intel за квантизација по тренирање (arXiv 2309.05516, објавен како SignRound). Наивната квантизација ја заокружува секоја тежина на најблиската претставлива 4-битна вредност — разумна стандардна поставка и лоша при голем обем, зашто грешките од заокружувањето не се независни и се натрупуваат низ стек од 66 слоја. AutoRound ја третира одлуката за заокружување како нешто што треба да се оптимизира: предзначен градиентен спуст заеднички ги нагодува насоката на заокружување и опсезите на отсекување на тежините низ стотина-двесте чекори, позајмувајќи ја точноста на тренирањето свесно за квантизација без дотренирање. Intel пријавува најголеми добивки при екстремно ниски битни поставки и конкурентна предност при INT4.

W4A16 — каде одат битовите

W4A16 е нумеричкиот формат: 4-битни тежини, 16-битни активации. Тежините — кои доминираат во меморијата кај модел со 975 милијарди — се смалуваат на приближно четвртина од BF16 отпечатокот, додека аритметиката останува на 16 бита. Таа поделба е важна конкретно за модел со вид: шемите со квантизирани активации ѝ штетат токму на ситнозрнестата нумеричка работа од која зависи разбирањето слики — читање мала ознака на оска, разрешување тенка линија во дијаграм, разделување две слични нијанси. Држењето на активациите на 16 бита чини пропусен опсег и враќа прецизност таму каде оптоварувањето со вид ја забележува.

Наслагани, трите даваат модел што собира и останува брз без падот во квалитетот на агресивното ниво 3BIT-REAP што го користиме на најголемите фундаменти. Тоа е размената што ја одразува цената.

03Вид: API за анализа на слики без одбивање

Inkling е еден од четирите модели со вид во нашиот каталог, заедно со Kimi-K3, Kimi-K2.6 и MiniMax-M3. Објавените резултати за вид на основниот модел, од изданието на Thinking Machines, се 73,3% на MMMU Pro (Standard 10) и 78,1% на прашањата за расудување од CharXiv — што расте на 82,0% кога на моделот му е дозволено да пушти Python врз графиконот. Тоа се сопствените бројки на лабораторијата за неквантизираната контролна точка; третирај ги како таван на семејството, а не како мерење на нашата верзија.

CharXiv е оној на кој вреди да се задржиш, зашто се пресликува на тоа зошто луѓето купуваат API за вид наместо OCR услуга. Тој тестира расудување врз научни графикони — читање вредност од оска, споредување две серии, забележување свртување на трендот. Не „каков текст има на оваа слика“, туку „што тврди оваа фигура и дали тврдењето издржува“. Токму тоа го оправдува праќањето слика кон модел за расудување со 975 милијарди наместо кон мал описувач.

Праќањето слика е обична работа компатибилна со OpenAI — дел од содржината image_url на /v1/chat/completions, блок image во стил на Anthropic на /v1/messages или еквивалентот на /v1/responses. Сите три дијалекти удираат во истите тежини и сите три стримуваат; избери го оној што твојот постоечки SDK веќе го зборува. Разработен пример има во делот 09.

Нецензурираниот дел е поважен за видот отколку за текстот. Слојот за одбивање на крајна точка со вид е необично тап, зашто типично ја класифицира сликата пред моделот воопшто да расудувал за барањето. Легитимната работа постојано се фаќа: фотографија на рана во процес со клинички белешки, форензичка снимка од екран во извештај за инцидент, кадар од филм што се анализира за критика, медицинска снимка, слика од документ што случајно содржи име. Inkling на нашата порта нема таков класификатор пред себе. Гледа што си пратил и одговара на прашањето што си го поставил. Тоа е производот.

04Структуриран излез: response_format да, json_schema не

Ова е единственото место каде Inkling е послабо способен од поголемиот дел од каталогот, и подобро е да планираш за тоа отколку да го откриеш во продукција.

Можност	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Вид (влез со слика)	Да	Да	Да	Не
response_format	Да	Да	Да	Не
json_schema	Не	Да	Да	Не
Повикување алатки	Да	Да	Да	Да
Напор на расудување	Да	Да	Да	Да

response_format: {"type": "json_object"} работи — добиваш синтаксички валиден JSON. Она што не го добиваш е декодирање ограничено со граматика спрема шема што ја даваш ти, каде на семплерот физички му е спречено да испушти токен што ја крши твојата структура. Имињата на полињата, припадноста на набројувањата и присуството на задолжителните клучеви се избор на моделот, а не гаранција.

Три начини да се живее со тоа, по растечка доверливост:

1. Промптирај ја шемата и потврдувај. Стави ја шемата во системскиот промпт како буквален JSON, постави response_format на json_object и потврди го одговорот на своја страна. Повтори при неуспешна потврда со прикачена порака за грешка од потврдувачот. Евтино, работи, треба буџет за повторувања.
2. Користи дефиниција на алатка како шема. Повикувањето алатки е поддржано, а дефиницијата на параметрите на една функција е JSON шема. Декларирај една алатка именувана според извлекувањето што го сакаш, наметни ја и прочитај ги аргументите. Ова е обично најсилната опција на Inkling и не те чини ништо дополнително.
3. Подели ја работата меѓу два модела. Остави го Inkling да го направи видот и расудувањето во проза, па дај ја таа проза на MiMo-V2.5-W8A16 по 0,50 / 2,00 со вистинска json_schema за преминот на структурирање. Два повика, но вториот е евтин, детерминистички по облик, а моделот што треба да е паметен е оној што ја видел сликата.

Опцијата 3 е образецот што би го препорачале за кој било процес за извлекување со голем обем. Плати ја премијата само за чекорот на кој му треба.

05Што купува ценовната премија?

По 1,42 навнатре / 6,07 нанадвор на милион токени, Inkling седи намерно во средината на нашиот каталог. Шест од дванаесетте модели се на подот од 0,50 / 2,00. Kimi-K3 — водечкиот, исто така со вид — е 3,83 / 19,12. Inkling е приближно трипати од подот на излез и приближно третина од водечкиот.

Цена на излез, долари на 1M токени, каталошки стапки на портата Shannon AI, септември 2026 година. Ширината на лентата е сразмерна на цената; подолго значи поскапо.

Еве го чесното читање за тоа каде таа премија си ја заслужува платата — а каде не.

Оптоварување	Да се користи Inkling?	Зошто
Расудување за графикони / дијаграми	Да	Објавените бројки за CharXiv и MMMU Pro се тоа во што овој фундамент е најсилен.
Агенти водени од снимки од екран	Да	Вид плус повикување алатки плус 262K историја во еден модел, без предавање на друг.
Долги документи со фигури	Да	Текстот и сликите делат еден декодер и еден контекстен прозорец.
Обично генерирање текст	Не	Шест модели по 0,50 / 2,00 го прават ова. Плаќаш за патека за вид што никогаш не ја повикуваш.
Масовно извлекување по шема	Не	Нема json_schema. MiMo-V2.5 е поевтин и ограничен со шема.
Апсолутниот врвен таван	Не	Kimi-K3 е водечкиот. Плати ги 3,1× ако таванот е ограничувањето.
Најевтин можен вид	Не	MiniMax-M3 има вид по 0,50 / 2,00. Почни таму, качи се ако квалитетот те присили.

Читај го тоа како правило за рутирање, а не како ранг-листа. Inkling е вистински за потесен појас работа отколку што би тврдела една маркетинг страница, а внатре во тој појас тешко се победува по цена. Надвор од него, повеќе сакаме да ти го продадеме поевтиниот модел и да те задржиме.

06Контекстниот прозорец од 262K и што всушност собира

Сите дванаесет модели на портата се послужуваат со влезен контекст од 262.144 токени и максимален излез од 16.384 токени по барање. Единствено е намерно: ракувањето со контекстот никогаш не смее да стане гранка по модел во твојот код, а замената на inkling со MiniMax-M3 во конфигурациска датотека не смее тивко да го смени тоа што собира.

Забележи го јазот наспроти објавениот фундамент: Thinking Machines го документира Inkling на 1.048.576 токени, а ние послужуваме парче од 262K од тоа. Ако имаш вистинско оптоварување со милион токени во едно барање, ние не сме крајната точка за тоа, и подобро да го знаеш пред да градиш.

За чувство на размер при 262K: технички PDF од 400 страници со неговите фигури, кодна база со средна големина, неколку часа транскрипт или долга агентска сесија што носи десетици резултати од алатки и неколку снимки од екран — секое собира во едно барање. Кај модел со вид, запомни дека и сликите трошат контекст; густа снимка од екран не е бесплатна, а сесија што стримува кадри го полни прозорецот побрзо од онаа со само текст. Архитектурата добро се вклопува во тоа: односот 5:1 меѓу лизгачки прозорец и глобални слоеви значи дека повеќето слоја внимаваат во соседство од 512 токени, додека глобалните слоја периодично ја враќаат долгодофатната структура.

07Напор на расудување: плаќање за размислување само кога ти треба

Inkling изложува контролирачки напор на расудување — едно од покорисните копчиња во каталогот. Изворниот модел прима нивоа од none и minimal преку low, medium, high, xhigh, сè до max, изложени на сите три дијалекти преку стандардниот параметар reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Ова е ценовна рачка со заби, зашто токените за расудување се наплаќаат како излезни токени по 6,07 долари на милион. Thinking Machines пријавува дека на Terminal Bench 2.1 Inkling достигнува резултати споредливи со Nemotron 3 Ultra со приближно третина од токените — ефикасноста по токен е наведена цел на дизајнот на системот за напор, а не случајност.

Во пракса: пушти low или minimal за опишување, класификација и праволиниско извлекување, каде одговорот е во сликата и не е потребен синџир заклучоци. Чувај го high и погоре за расудување врз графикони, визуелна споредба во повеќе чекори и агентски кругови каде погрешен меѓучекор е скап. Повеќето тимови воопшто не го поставуваат параметарот и оставаат неколкукратна разлика во цената на излезот на маса.

08Што значи „нецензурирано“ тука — и што не значи

Конкретно: овој модел го водиме без слој за одбивање и без филтрирање врз излезот. Ниту еден класификатор не го чита твојот промпт за да одлучи смее ли моделот да одговори, и ниту еден не го чита одговорот пред тој да се стримува. Кога моделот е несигурен или му недостасува знаење, тоа го кажува — тоа е моделот, а не политика. Она што нема да го добиеш е рефлексно откажување на тема што производ за широка потрошувачка ја смета за забранета.

За видот ова е целата вредносна понуда. Класификаторите на слики пред API-јата со вид се непрецизни, а стапката на лажни позитиви удира најсилно во професионалната работа на која способноста ѝ треба најмногу: безбедносно истражување, клинички контексти, новинарство и форензика, филмска и уметничка критика, алатки за модерација што мора да го гледаат тоа што го модерираат. Крајна точка што одбива по категорија не може доверливо да послужи ниту една од тие.

Две чесни ограничувања. Прво, Thinking Machines објавува безбедносни евалуации за својата референтна поставеност — 78,0% на FORTRESS adversarial, 95,9% на FORTRESS benign, 98,6% на StrongREJECT. Тие бројки го опишуваат нивниот стек со нивните заштитни огради на место. Тие не го опишуваат нашиот, и нема да ги цитираме како да го опишуваат. Ние го отстранивме слојот што тие бројки делумно го мерат; тоа е производот, и одговорноста.

Второ, „без слој за одбивање“ не е „без правила“. Shannon Lab LLC работи според Политика за одговорна употреба и важечкото право на САД. Отстранувањето на класификаторот го поместува расудувањето кон тебе, но не го брише. Ако градиш врз ова, прочитај ја политиката пред да зголемуваш обем.

09Како да почнеш

Ист основен URL, ист клуч, три дијалекти. Ако твојот код веќе повикува OpenAI, Anthropic или Responses API, менувањето на низата со моделот обично е целата миграција.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Целосна референца за параметрите, обликот на /v1/messages и /v1/responses, форматите на настаните при стриминг и живо игралиште има во API документацијата. Картичките на другите единаесет модели се во Shannon Research.

Бројките за фундаментот се објавени од Thinking Machines Lab за неквантизираната контролна точка на Inkling и го опишуваат таванот на семејството, а не нашата квантизирана верзија. Цените и ознаките за можности се каталошки вредности на портата Shannon AI заклучно со септември 2026 година.

10Често поставувани прашања

---

Извори: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — архитектонски белешки и бројки од репери за Inkling. Реперите за фундаментот се објавени од лабораторијата за неквантизираната контролна точка.