Senzurasiz Inkling model API

Gateway imizdagi o'n ikkita modelning aksariyati faqat matnli. To'rttasi undaymas va o'sha to'rttasi orasida Inkling aniq bir o'rinni egallaydi: rasm muammoning qiyin qismi bo'lganda, lekin byudjet flagmangacha yetmaganda qo'l cho'zadigan tasvir modeli. Bu qo'llanma poydevor qayerdan kelganini, W4A16-AUTOROUND-REAP qo'shimchasi unga nima qilganini, API yuzasida u nima qiladi va nima qilmasligini hamda — halol aytganda — o'sha katalogdagi arzonroq model qachon yaxshiroq tanlov ekanini qamrab oladi.

01Inkling nima va uni kim qurgan?

Inkling — Thinking Machines Lab dan chiqqan birinchi ochiq og'irlikli model, 2026-yil 15-iyulda chop etilgan. "Ochiq" deb joylashtirilgan chiqarilishlarning aksariyatidan farqli o'laroq, u Hugging Face da to'liq yuklab olsa bo'ladigan og'irliklar hamda transformers, SGLang, vLLM va llama.cpp da birinchi kundanoq qo'llab-quvvatlash bilan chiqdi — u bizniki kabi infratuzilmada umuman ishga tushirsa bo'ladigan bo'lishining sababi ham shu. Thinking Machines ning o'z chiqarilish materiallaridan olingan asosiy raqamlar:

Bu — siyrak Mixture-of-Experts tartibi: yashirin o'lchami 6,144 bo'lgan 66 dekoder qatlami, birinchi ikkitasi zich, qolgan 64 tasi 256 yo'naltiriladigan ekspert plyus 2 umumiy ekspertni olib yuradi, har bir tokenda 6 yo'naltiriladigan ekspert aktiv. Har qanday berilgan tokenda parametrlarning taxminan 4% i ishga tushadi — trillionga yaqin parametrli modelni umuman xizmatga yaroqli qiladigan narsa aynan shu.

Ikkita arxitektura tanlovi nomlashga arziydigan darajada g'ayrioddiy. E'tibor navbatlashgan — 512 tokenli oyna ustidan 55 qatlam suriladigan oynali e'tibor 11 global qatlamga qarshi, 5:1 takrorlanuvchi naqshda. Va Inkling RoPE ishlatmaydi: u o'rganilgan, kirishga bog'liq nisbiy pozitsiya siljishidan foydalanadi, kalit/qiymat proyeksiyalari va qoldiq shoxlarida qisqa kauzal svyortkalar bilan birga. Sebastian Raschka ning arxitektura qaydlari ikkalasini ham standart 2026 retseptidan haqiqiy chetlanish deb belgilaydi. O'qitishda katta matritsa parametrlari uchun Muon, qolganlari uchun Adam ishlatilgan, so'ng post-treyningda 30 milliondan ortiq asinxron RL yurishi bo'lgan.

API iste'molchisi uchun gap mayda-chuydada emas. Gap shundaki, bu — matn, rasm, audio va videoni qamrab olgan 45 trillion tokenda o'qitilgan chegara miqyosidagi, nativ multimodal poydevor — keyinroq tasvir adapteri mahkamlangan matn modeli emas. Rasmlar to'rt qatlamli iyerarxik MLP bo'laklovchi orqali 40×40 pikselli bo'laklar sifatida kodlanadi va o'sha dekoderda matn bilan birgalikda qayta ishlanadi. Vizual tushunish oldindan o'qitish maqsadining ichida bo'lgan.

02W4A16-AUTOROUND-REAP nimani anglatadi?

O'sha qo'shimchada uchta alohida usul ustma-ust turadi va ular har xil ish bajaradi. Tushunishga arziydi, chunki qo'shimcha — siz bizning API mizda chaqiradigan model bilan Thinking Machines chop etgan nazorat nuqtasi orasidagi eng katta yagona farq.

REAP — hech kim yo'naltirmaydigan ekspertlarni kesish

REAP — Cerebras Research dan chiqqan Router-weighted Expert Activation Pruning (arXiv 2510.13999, ICLR 2026 ga qabul qilingan). Har bir qatlamda 256 ekspertli MoE da router ishni teng taqsimlamaydi: ba'zi ekspertlar doimiy ishlatiladi, boshqalari kamdan-kam ishga tushadi va ishga tushganda ham kam hissa qo'shadi. REAP har bir ekspertni ikkalasi — routerning darvoza qiymatlari va ekspertning aktivatsiya normalari — bo'yicha baholaydi, chunki tez-tez tanlanadigan, ammo kichik kattalikdagi yangilanishlar qo'shadigan ekspert tanlanish soni ko'rsatganidan kamroq ahamiyatga ega — va kam ahamiyatlilarini kvantlashdan oldin bir zarbada tashlaydi.

Bizning ko'proq urfda bo'lgan ekspert birlashtirish emas, kesishni ishlatishimizning sababi shundaki, ikkalasi vazifa turiga qarab ajralib ketadi. Birlashtirish diskriminativ benchmarklarda raqobatbardosh ko'rinadi va generativlarida qulaydi. REAP mualliflari 20B dan 1T parametrgacha bo'lgan modellar bo'ylab 50% dan oshgan siqish nisbatlarida kesish sifatni aynan odamlar API sotib oladigan ish yuklarida — kod sintezi, vosita chaqirish, ko'p navbatli fikrlash — yaxshiroq saqlab qolishini xabar qiladi. Birlashtirish routerning ixtisoslashuvini yo'q qiladi; kesish esa omon qolgan ekspertlarni va ular orasidagi yo'naltirishni butun qoldiradi.

AutoRound — qayerda yaxlitlashni o'rganish

AutoRound — Intel ning post-treyning kvantlash usuli (arXiv 2309.05516, SignRound sifatida chop etilgan). Sodda kvantlash har bir og'irlikni eng yaqin ifodalasa bo'ladigan 4-bitli qiymatga yaxlitlaydi — oqilona standart va miqyosda yomon standart, chunki yaxlitlash xatoliklari mustaqil emas va 66 qatlamli to'plam bo'ylab to'planadi. AutoRound yaxlitlash qarorini optimallashtiriladigan narsa deb qaraydi: ishorali gradient tushishi bir necha yuz qadam davomida yaxlitlash yo'nalishini va og'irlik kesish oraliqlarini birgalikda sozlaydi va kvantlashni hisobga oluvchi o'qitishning aniqligini qayta o'qitishsiz oladi. Intel eng katta yutuqni ekstremal past bitli sozlamalarda va INT4 da raqobatbardosh ustunlikni xabar qiladi.

W4A16 — bitlar qayerga ketadi

W4A16 — sonli format: 4-bitli og'irliklar, 16-bitli aktivatsiyalar. 975B modelda xotirada hukmronlik qiladigan og'irliklar BF16 izining taxminan chorak qismiga qisqaradi, arifmetika esa 16 bitda qoladi. Bu bo'linish aynan tasvir modeli uchun muhim: aktivatsiyasi kvantlangan sxemalar rasmni tushunish tayanadigan mayda donali sonli ishga aynan zarar yetkazadi — mayda o'q yorlig'ini o'qish, diagrammadagi ingichka chiziqni ajratish, ikkita o'xshash tusni bir-biridan farqlash. Aktivatsiyalarni 16 bitda saqlash o'tkazuvchanlikka tushadi va tasvir ish yuki payqaydigan joyda aniqlikni qaytarib beradi.

Ustma-ust qo'yilganda uchalasi juda katta poydevorlarda ishlatadigan agressiv 3BIT-REAP darajasining sifat jarligisiz sig'adigan va tez qoladigan modelni beradi. Narx aks ettiradigan kelishuv — shu.

03Tasvir: rad etishsiz rasm tahlili API si

Inkling — katalogimizdagi Kimi-K3, Kimi-K2.6 va MiniMax-M3 yonidagi tasvirga qodir to'rtta modeldan biri. Thinking Machines ning chiqarilishidan olingan bazaviy modelning chop etilgan tasvir natijalari — MMMU Pro (Standard 10) da 73.3% va CharXiv fikrlash savollarida 78.1% — modelga diagrammaga qarshi Python ishlatishga ruxsat berilganda 82.0% gacha ko'tariladi. Bular kvantlanmagan nazorat nuqtasi uchun laboratoriyaning o'z ko'rsatkichlari; ularni bizning yig'mamizning o'lchovi emas, oilaning shifti deb qabul qiling.

CharXiv ustida to'xtalishga arziydi, chunki u odamlar nega OCR xizmatini emas, tasvir API sini sotib olishini tushuntiradi. U ilmiy diagrammalar ustidan fikrlashni sinaydi — o'qdan qiymatni o'qish, ikkita qatorni taqqoslash, tendensiya teskari burilganini payqash. "Bu rasmda qanday matn bor" emas, "bu shakl nimani da'vo qilyapti va da'vo o'rinlimi". Rasmni kichik sarlavhalovchi o'rniga 975B fikrlovchi modelga jo'natishni oqlaydigan narsa aynan shu.

Rasm jo'natish — oddiy OpenAI mos ish: /v1/chat/completions da image_url kontent qismi, /v1/messages da Anthropic uslubidagi image bloki yoki /v1/responses da ekvivalenti. Uchala dialekt ham bir xil og'irliklarga uriladi va uchalasi ham oqadi; mavjud SDK ingiz qaysi tilda gaplashsa, o'shanisini tanlang. Ishlangan misol 09-bo'limda.

Senzurasizlik tasvir uchun matndan ham ko'proq ahamiyatli. Tasvir endpointidagi rad etish qatlami g'ayrioddiy qo'pol, chunki u odatda model so'rov haqida mulohaza yuritishidan oldin rasmni tasniflaydi. Qonuniy ish doim ilinib qoladi: klinik qaydlar quvuridagi jarohat surati, hodisa sharhidagi ekspertiza skrinshoti, tanqid maqolasi uchun tahlil qilinayotgan filmdan kadr, tibbiy skan, tasodifan ism tushib qolgan hujjat rasmi. Gateway imizdagi Inkling ning oldida bunday klassifikator yo'q. U siz jo'natgan narsaga qaraydi va siz bergan savolga javob beradi. Mahsulot shu.

04Tuzilmali chiqish: response_format ha, json_schema yo'q

Bu — Inkling katalogning aksariyatidan kamroq qobiliyatli bo'lgan yagona joy va uni ishlab chiqarishda kashf etishdan ko'ra oldindan rejaga kiritgan ma'qul.

Qobiliyat	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Tasvir (rasm kirishi)	Ha	Ha	Ha	Yo'q
response_format	Ha	Ha	Ha	Yo'q
json_schema	Yo'q	Ha	Ha	Yo'q
Vosita chaqirish	Ha	Ha	Ha	Ha
Fikrlash intensivligi	Ha	Ha	Ha	Ha

response_format: {"type": "json_object"} ishlaydi — siz sintaktik jihatdan to'g'ri JSON olasiz. Olmaydigan narsangiz — siz beradigan sxemaga qarshi grammatika bilan cheklangan dekodlash, ya'ni namuna oluvchi tuzilmangizni buzadigan tokenni chiqarishdan jismonan to'sib qo'yiladigan holat. Maydon nomlari, enum a'zoligi va majburiy kalitlarning mavjudligi — kafolat emas, modelning tanlovi.

Bu bilan yashashning uchta yo'li, ishonchlilik bo'yicha o'sib boruvchi tartibda:

1. Sxemani so'rovda bering va tekshiring. Sxemani tizim so'roviga tom ma'nodagi JSON sifatida qo'ying, response_format ni json_object ga o'rnating va javobni o'z tomoningizda tekshiring. Tekshiruv muvaffaqiyatsiz bo'lsa, tekshiruvchining xato xabarini qo'shib qayta urining. Arzon, ishlaydi, qayta urinish byudjeti kerak.
2. Vosita ta'rifini sxema sifatida ishlating. Vosita chaqirish qo'llab-quvvatlanadi va funksiyaning parametr ta'rifi — JSON Schema ning o'zi. Siz istagan ajratib olish uchun nomlangan bitta vositani e'lon qiling, uni majburlang va argumentlarni o'qing. Bu odatda Inkling dagi eng kuchli variant va u sizga qo'shimcha hech narsaga tushmaydi.
3. Vazifani ikkita model bo'ylab bo'ling. Inkling tasvir va fikrlashni nasr bilan bajarsin, so'ng o'sha nasrni tuzilmalashtirish o'tishi uchun haqiqiy json_schema bilan $0.50 / $2.00 dagi MiMo-V2.5-W8A16 ga bering. Ikkita chaqiriq, lekin ikkinchisi arzon, shakli bo'yicha determinlashgan va aqlli bo'lishi kerak bo'lgan model — rasmni ko'rgani.

3-variant — biz har qanday katta hajmli ajratib olish quvuri uchun tavsiya qiladigan naqsh. Ustamani faqat unga muhtoj qadam uchun to'lang.

05Narx ustamasi nima sotib oladi?

Million tokenga $1.42 kirish / $6.07 chiqish narxida Inkling katalogimizning o'rtasida ataylab turadi. O'n ikkita modeldan oltitasi $0.50 / $2.00 eng quyi chegarasida. Kimi-K3 — flagman, u ham tasvirga qodir — $3.83 / $19.12. Inkling chiqishda eng quyi chegaraning taxminan uch barobari va flagmanning taxminan uchdan biri.

Chiqish narxi, 1M token uchun AQSh dollarida, Shannon AI Gateway ro'yxat stavkalari, 2026-yil sentabr. Ustun kengligi narxga proporsional; uzunroq — qimmatroq.

Mana o'sha ustama qayerda o'zini oqlashi — va qayerda oqlamasligi — haqidagi halol o'qish.

Ish yuki	Inkling ni ishlatasizmi?	Nega
Diagramma / sxema bo'yicha fikrlash	Ha	Chop etilgan CharXiv va MMMU Pro ko'rsatkichlari — bu poydevor eng kuchli bo'lgan narsa.
Skrinshotga tayanadigan agentlar	Ha	Bitta modelda tasvir plyus vosita chaqirish plyus 262K tarix, hech qanday uzatishsiz.
Shakllarga ega uzun hujjatlar	Ha	Matn va rasmlar bitta dekoder va bitta kontekst oynasini bo'lishadi.
Oddiy matn generatsiyasi	Yo'q	$0.50 / $2.00 dagi oltita model buni bajaradi. Siz hech qachon chaqirmaydigan tasvir yo'li uchun to'layapsiz.
Ommaviy sxema bo'yicha ajratib olish	Yo'q	json_schema yo'q. MiMo-V2.5 arzonroq va cheklangan.
Mutlaq chegara shifti	Yo'q	Kimi-K3 — flagman. Shift cheklov bo'lsa, 3.1× ni to'lang.
Iloji boricha eng arzon tasvir	Yo'q	MiniMax-M3 da $0.50 / $2.00 da tasvir bor. O'sha yerdan boshlang, sifat majbur qilsa, ko'taring.

Buni reyting emas, yo'naltirish qoidasi sifatida o'qing. Inkling reklama sahifasi da'vo qilganidan torroq ish oralig'i uchun to'g'ri keladi va o'sha oraliq ichida uni narxda yengish qiyin. Undan tashqarida esa biz sizga arzonroq modelni sotib, sizni saqlab qolishni afzal ko'ramiz.

06262K kontekst oynasi va unga aslida nima sig'adi

Gateway dagi o'n ikkala model ham 262,144 tokenli kirish konteksti va har bir so'rovga 16,384 tokenli maksimal chiqish bilan xizmat qiladi. Ataylab bir xil: kontekst bilan ishlash hech qachon kodingizdagi modelga xos shoxga aylanmasligi kerak va konfiguratsiya faylida inkling ni MiniMax-M3 ga almashtirish nima sig'ishini jimgina o'zgartirmasligi kerak.

Chop etilgan poydevorga nisbatan tafovutga e'tibor bering: Thinking Machines Inkling ni 1,048,576 token deb hujjatlashtiradi, biz esa uning 262K lik bo'lagini xizmatga qo'yamiz. Agar sizda chinakam million tokenli bitta so'rovli ish yuki bo'lsa, biz uning uchun kerakli endpoint emasmiz va buni qurishdan oldin bilganingiz yaxshi.

262K dagi miqyos uchun: shakllari bilan 400 sahifali texnik PDF, o'rta o'lchamli kod bazasi, bir necha soatlik transkript yoki o'nlab vosita natijasi va bir hovuch skrinshotni olib yuradigan uzun agentlik seansi — har biri bitta so'rovga sig'adi. Tasvir modelida rasmlar ham kontekstni sarflashini unutmang; zich skrinshot bepul emas va kadrlarni oqizadigan seans oynani faqat matnli seansdan tezroq to'ldiradi. Arxitektura bunga yaxshi mos keladi: 5:1 suriladigan oyna va global nisbati qatlamlarning aksariyati 512 tokenli qo'shnilik ichida e'tibor berishini, global qatlamlar esa vaqti-vaqti bilan uzoq masofali tuzilmani qaytarib olib kirishini anglatadi.

07Fikrlash intensivligi: o'ylash uchun faqat kerak bo'lganda to'lash

Inkling boshqarilishi mumkin bo'lgan fikrlash intensivligini ochadi — katalogdagi eng foydali richaglardan biri. Yuqori oqimdagi model none va minimal dan low, medium, high, xhigh orqali max gacha bo'lgan darajalarni qabul qiladi, ular uchala dialektda standart reasoning_effort parametri orqali ochiladi.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Bu — tishli narx richagi, chunki fikrlash tokenlari chiqish tokenlari sifatida million uchun $6.07 da hisoblanadi. Thinking Machines xabar berishicha, Terminal Bench 2.1 da Inkling Nemotron 3 Ultra ga solishtirma ballarga tokenlarning taxminan uchdan biri bilan erishadi — token samaradorligi tasodif emas, intensivlik tizimining e'lon qilingan loyihalash maqsadi.

Amalda: sarlavhalash, tasniflash va oddiy ajratib olish uchun low yoki minimal ishlating — javob rasmda va hech qanday xulosa zanjiri kerak emas. high va undan yuqorisini diagramma bo'yicha fikrlash, ko'p bosqichli vizual taqqoslash va noto'g'ri oraliq qadam qimmatga tushadigan agentlik navbatlari uchun saqlang. Jamoalarning aksariyati bu parametrni umuman o'rnatmaydi va bir necha barobarlik chiqish narxi farqini stolda qoldiradi.

08Bu yerda "senzurasiz" nimani anglatadi — va nimani anglatmaydi

Aniq qilib: biz bu modelni rad etish qatlamisiz va chiqishga filtrsiz ishlatamiz. Hech qanday klassifikator so'rovingizni o'qib, model javob bera oladimi-yo'qmi deb hal qilmaydi va hech biri javobni oqishdan oldin o'qimaydi. Model noaniq bo'lganda yoki bilim yetishmaganda, u shunday deydi — bu siyosat emas, modelning o'zi. Siz olmaydigan narsa — umumiy iste'molchi mahsuloti taqiqlangan deb qaraydigan mavzuda refleksli rad javobi.

Tasvir uchun bu — butun qiymat taklifi. Tasvir API lari oldidagi rasm klassifikatorlari noaniq va yolg'on ijobiy natijalar darajasi eng ko'p bu qobiliyatga eng muhtoj professional ishga tushadi: xavfsizlik tadqiqoti, klinik kontekstlar, jurnalistika va ekspertiza, kino va san'at tanqidi, moderatsiya qiladigan narsasiga qarashi shart bo'lgan moderatsiya asboblari. Toifa bo'yicha rad etadigan endpoint bularning birortasiga ham ishonchli xizmat qila olmaydi.

Ikkita halol izoh. Birinchidan, Thinking Machines o'zining mos yozuvli joylashtirishi uchun xavfsizlik baholovlarini chop etadi — FORTRESS adversarial da 78.0%, FORTRESS benign da 95.9%, StrongREJECT da 98.6%. Bu ko'rsatkichlar ularning himoya to'siqlari o'rnida turgan ularning to'plamini ta'riflaydi. Ular bizni ta'riflamaydi va biz ularni shundaymish deb keltirmaymiz. Biz o'sha raqamlar qisman o'lchaydigan qatlamni olib tashladik; mahsulot ham, mas'uliyat ham shu.

Ikkinchidan, "rad etish qatlami yo'q" — "qoidalar yo'q" degani emas. Shannon Lab LLC Mas'uliyatli Foydalanish Siyosati va amaldagi AQSh qonuni doirasida ishlaydi. Klassifikatorni olib tashlash mulohazani sizga o'tkazadi, uni o'chirmaydi. Agar shu ustiga qurayotgan bo'lsangiz, miqyoslashdan oldin siyosatni o'qing.

09Ishni boshlash

O'sha bazaviy URL, o'sha kalit, uchta dialekt. Agar kodingiz allaqachon OpenAI, Anthropic yoki Responses API ni chaqirsa, model qatorini o'zgartirish odatda butun ko'chishning o'zi.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Parametrlarning to'liq ma'lumotnomasi, /v1/messages va /v1/responses shakllari, striming hodisa formatlari va jonli sinov maydoni API hujjatlarida. Qolgan o'n bitta model uchun model qo'llanmalari Shannon Research da.

Poydevor ko'rsatkichlari — Thinking Machines Lab ning kvantlanmagan Inkling nazorat nuqtasi uchun chop etilgan raqamlari va ular bizning kvantlangan yig'mamizni emas, oila shiftini ta'riflaydi. Narxlar va qobiliyat bayroqlari 2026-yil sentabr holatiga ko'ra Shannon AI Gateway ro'yxat qiymatlari.

10Ko'p beriladigan savollar

---

Manbalar: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling arxitektura va benchmark qaydlari. Poydevor benchmarklari kvantlanmagan nazorat nuqtasi uchun laboratoriya tomonidan xabar qilingan.