Senzurasız Inkling Model API

Gateway-imizdəki on iki modelin çoxu yalnız mətnlə işləyir. Dördü belə deyil və həmin dördlükdə Inkling-in xüsusi yeri var: şəkil məsələnin çətin hissəsi olanda, amma büdcə flaqmana çatmayanda müraciət etdiyiniz görmə modeli. Bu bələdçi təməlin haradan gəldiyini, W4A16-AUTOROUND-REAP sonluğunun ona nə etdiyini, API səthində nəyi edib nəyi etmədiyini və — dürüstcəsinə — eyni kataloqdakı daha ucuz modelin nə vaxt daha düzgün seçim olduğunu əhatə edir.

01Inkling nədir və onu kim qurub?

Inkling — Thinking Machines Lab-ın 15 iyul 2026-da dərc etdiyi ilk açıq çəkili modeldir. "Açıq" kimi təqdim olunan buraxılışların çoxundan fərqli olaraq, o, Hugging Face-də tam yüklənə bilən çəkilərlə və transformers, SGLang, vLLM, llama.cpp üçün ilk gündən dəstəklə gəldi — bizimki kimi infrastrukturda ümumiyyətlə işlədilə bilməsinin səbəbi də budur. Thinking Machines-in öz buraxılış materiallarından əsas rəqəmlər:

Bu, seyrək Mixture-of-Experts quruluşudur: 6,144 gizli ölçüdə 66 dekoder qatı, ilk ikisi sıx, qalan 64-ü isə 256 marşrutlanan ekspert üstəgəl 2 paylaşılan ekspert daşıyır və token başına 6 marşrutlanan ekspert aktivdir. İstənilən tokendə parametrlərin təxminən 4%-i işə düşür — bir trilyona yaxın parametrli modeli ümumiyyətlə verilə bilən edən də budur.

İki arxitektura qərarı adını çəkməyə dəyəcək qədər qeyri-adidir. Diqqət növbələşəndir — 512 tokenlik pəncərə üzərində 55 qat sürüşən pəncərə diqqəti, buna qarşı 11 qlobal qat, 5:1 təkrarlanan naxışda. Həmçinin Inkling RoPE istifadə etmir: o, açar/dəyər proyeksiyalarında və qalıq budaqlarında qısa səbəbli konvolyusiyalarla yanaşı, öyrənilmiş, girişdən asılı nisbi mövqe meylindən istifadə edir. Sebastian Raschka-nın arxitektura qeydləri hər ikisini standart 2026 reseptindən real ayrılma kimi qeyd edir. Öyrətmədə böyük matris parametrləri üçün Muon, qalanları üçün Adam işlədilib, sonra öyrətmədən sonrakı mərhələdə 30 milyondan çox asinxron RL qaçışı aparılıb.

API istifadəçisi üçün əsas məsələ bu təfərrüatlar deyil. Əsas odur ki, bu, mətn, şəkil, səs və videonu əhatə edən 45 trilyon token üzərində öyrədilmiş cəbhə miqyaslı, doğma multimodal təməldir — sonradan görmə adapteri bərkidilmiş mətn modeli deyil. Şəkillər dörd qatlı iyerarxik MLP patçlayıcı vasitəsilə 40×40 piksellik yamaqlar kimi kodlanır və eyni dekoderdə mətnlə birgə emal olunur. Vizual anlama ilkin öyrətmə məqsədinin içindəydi.

02W4A16-AUTOROUND-REAP nə deməkdir?

Həmin sonluqda üç ayrı texnika üst-üstə yığılıb və onlar müxtəlif işlər görür. Anlamağa dəyər, çünki API-mizdə çağırdığınız modellə Thinking Machines-in dərc etdiyi yoxlama nöqtəsi arasındakı ən böyük tək fərq məhz bu sonluqdur.

REAP — heç kimin marşrutlamadığı ekspertləri budamaq

REAP — Marşrutlayıcı Çəkili Ekspert Aktivasiya Budaması — Cerebras Research-dən gəlir (arXiv 2510.13999, ICLR 2026-ya qəbul olunub). Qat başına 256 eksperti olan MoE-də marşrutlayıcı işi bərabər paylamır: bəzi ekspertlərə daim müraciət olunur, bəziləri isə nadir hallarda işə düşür və işə düşəndə də az şey qatır. REAP hər eksperti həm marşrutlayıcının qapı dəyərləri, həm də ekspertin aktivasiya normaları üzrə qiymətləndirir — tez-tez seçilən, amma kiçik böyüklüklü yeniləmələr verən ekspert seçilmə sayının göstərdiyindən az əhəmiyyətlidir — və az əhəmiyyətliləri kvantlamadan əvvəl bir addımda çıxarır.

Daha dəbdə olan ekspert birləşdirməsi yerinə budamadan istifadə etməyimizin səbəbi odur ki, bu ikisi tapşırıq tipinə görə ayrılır. Birləşdirmə diskriminativ benchmarklarda rəqabətli görünür, generativ olanlarda isə dağılır. REAP-in müəllifləri bildirir ki, budama keyfiyyəti məhz insanların API aldığı iş yüklərində daha yaxşı qoruyur — kod sintezi, alət çağırışı, çoxnövbəli düşünmə — 50%-i keçən sıxılma nisbətlərində, 20B-dən 1T-yə qədər modellərdə. Birləşdirmə marşrutlayıcının ixtisaslaşmasını məhv edir; budama sağ qalan ekspertləri və onlar arasındakı marşrutlaşdırmanı toxunulmaz saxlayır.

AutoRound — harada yuvarlaqlaşdırmağı öyrənmək

AutoRound — Intel-in öyrətmədən sonrakı kvantlama metodudur (arXiv 2309.05516, SignRound adı ilə dərc olunub). Sadəlövh kvantlama hər çəkini ən yaxın təmsil oluna bilən 4-bitlik dəyərə yuvarlaqlaşdırır — məqbul standart, amma miqyasda pis seçim, çünki yuvarlaqlaşdırma xətaları müstəqil deyil və 66 qatlıq yığın boyunca toplanır. AutoRound yuvarlaqlaşdırma qərarına optimallaşdırılası bir şey kimi baxır: işarəli qradiyent enişi bir neçə yüz addım ərzində yuvarlaqlaşdırma istiqamətini və çəki kəsmə diapazonlarını birgə tənzimləyir, kvantlamaya uyğun öyrətmənin dəqiqliyini yenidən öyrətmədən götürür. Intel ən böyük qazancları həddindən artıq aşağı bitlərdə və INT4-də rəqabətli üstünlük olduğunu bildirir.

W4A16 — bitlərin hara getdiyi

W4A16 ədədi formatdır: 4-bitlik çəkilər, 16-bitlik aktivasiyalar. 975B modelində yaddaşa hakim olan çəkilər BF16 həcminin təxminən dörddə birinə enir, hesablama isə 16 bitdə qalır. Bu bölgü xüsusilə görmə modeli üçün önəmlidir: aktivasiyanı da kvantlayan sxemlər məhz şəkil anlamanın söykəndiyi incə ədədi işə zərər vurur — kiçik ox etiketini oxumaq, diaqramdakı nazik xətti ayırd etmək, iki oxşar çaları bir-birindən seçmək. Aktivasiyaları 16 bitdə saxlamaq buraxma qabiliyyətinə baha başa gəlir, əvəzində görmə iş yükünün hiss etdiyi yerdə dəqiqliyi geri qaytarır.

Üçü birlikdə elə bir model verir ki, o həm sığır, həm sürətli qalır, üstəlik ən böyük təməllərdə işlətdiyimiz aqressiv 3BIT-REAP pilləsinin keyfiyyət uçurumu olmadan. Qiymətin əks etdirdiyi güzəşt budur.

03Görmə: imtinasız şəkil təhlili API-si

Inkling kataloqumuzdakı dörd görmə qabiliyyətli modeldən biridir; digərləri Kimi-K3, Kimi-K2.6 və MiniMax-M3-dür. Baza modelinin Thinking Machines buraxılışından dərc olunmuş görmə nəticələri MMMU Pro-da (Standard 10) 73.3% və CharXiv düşünmə suallarında 78.1%-dir — modelə qrafik üzərində Python işlətməyə icazə veriləndə isə 82.0%-ə qalxır. Bunlar laboratoriyanın kvantlanmamış yoxlama nöqtəsi üçün öz rəqəmləridir; onları bizim quruluşun ölçməsi kimi deyil, ailənin tavanı kimi qəbul edin.

Üzərində dayanmağa dəyəni CharXiv-dir, çünki o, insanların niyə OCR xidməti deyil, görmə API-si aldığını izah edir. Test elmi qrafiklər üzərində düşünməni yoxlayır — ox üzərindən dəyər oxumaq, iki sıranı müqayisə etmək, trendin dönüşünü sezmək. "Bu şəkildə hansı mətn var" deyil, "bu qrafik nə iddia edir və iddia doğrudurmu". Şəkli kiçik başlıq yazana deyil, 975B düşünmə modelinə göndərməyi haqq qazandıran budur.

Şəkil göndərmək adi OpenAI-uyğun işdir — /v1/chat/completions-da image_url məzmun hissəsi, /v1/messages-da Anthropic üslubunda image bloku və ya /v1/responses-da onun ekvivalenti. Hər üç dialekt eyni çəkilərə düşür və hər üçü axın verir; mövcud SDK-nızın onsuz da danışdığını seçin. İşlənmiş nümunə 09-cu bölmədədir.

Senzurasız olmaq görmə üçün mətndən daha çox önəmlidir. Görmə uc nöqtəsindəki imtina qatı qeyri-adi dərəcədə kobuddur, çünki o, adətən model sorğu haqqında düşünməmiş şəkli təsnif edir. Qanuni iş daim ilişir: klinik qeydlər boru kəmərindəki yara fotoşəkli, insident hesabatındakı məhkəmə-tibbi ekran görüntüsü, tənqid yazısı üçün təhlil edilən film kadrı, tibbi müayinə şəkli, təsadüfən ad olan sənəd şəkli. Gateway-imizdəki Inkling-in qarşısında belə təsnifatçı yoxdur. O, göndərdiyinizə baxır və verdiyiniz suala cavab verir. Məhsul budur.

04Strukturlaşdırılmış çıxış: response_format bəli, json_schema yox

Inkling-in kataloqun çoxundan daha az bacarıqlı olduğu yeganə yer budur və bunu istehsalatda kəşf etmək yerinə əvvəlcədən planlaşdırmaq daha yaxşıdır.

Qabiliyyət	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Görmə (şəkil girişi)	Bəli	Bəli	Bəli	Yox
response_format	Bəli	Bəli	Bəli	Yox
json_schema	Yox	Bəli	Bəli	Yox
Alət çağırışı	Bəli	Bəli	Bəli	Bəli
Düşünmə səyi	Bəli	Bəli	Bəli	Bəli

response_format: {"type": "json_object"} işləyir — sintaktik baxımdan etibarlı JSON alırsınız. Almadığınız şey verdiyiniz sxemə qarşı qrammatika ilə məhdudlanmış dekodlaşdırmadır, yəni seçicinin strukturunuzu pozan tokeni fiziki olaraq buraxa bilməməsi. Sahə adları, enum üzvlüyü və məcburi açarların mövcudluğu zəmanət deyil, modelin seçimidir.

Bununla yaşamağın üç yolu, etibarlılıq artımı sırası ilə:

1. Sxemi prompta qoyun və doğrulayın. Sxemi sistem promptuna hərfi JSON kimi yazın, response_format-ı json_object qoyun və cavabı öz tərəfinizdə doğrulayın. Doğrulama uğursuz olanda doğrulayıcının xəta mesajını əlavə edərək təkrar cəhd edin. Ucuz, işləyir, təkrar cəhd büdcəsi tələb edir.
2. Alət tərifini sxem kimi işlədin. Alət çağırışı dəstəklənir və funksiyanın parametr tərifi JSON Sxemidir. İstədiyiniz çıxarma üçün adlandırılmış tək bir alət elan edin, onu məcbur edin və arqumentləri oxuyun. Bu, adətən Inkling-də ən güclü seçimdir və sizə əlavə heç nəyə başa gəlmir.
3. İşi iki model arasında bölün. Görməni və düşünməni Inkling nəsr şəklində etsin, sonra həmin nəsri strukturlaşdırma keçidi üçün real json_schema ilə $0.50 / $2.00 qiymətinə MiMo-V2.5-W8A16-ya verin. İki çağırış, amma ikincisi ucuzdur, forması müəyyəndir və ağıllı olmalı model şəkli görən modeldir.

3-cü variant istənilən yüksək həcmli çıxarma boru kəməri üçün tövsiyə edəcəyimiz naxışdır. Premiumu yalnız ona ehtiyacı olan addıma ödəyin.

05Qiymət premiumu nə alır?

Milyon token üçün $1.42 giriş / $6.07 çıxış qiyməti ilə Inkling qəsdən kataloqumuzun ortasında dayanır. On iki modeldən altısı $0.50 / $2.00 döşəməsindədir. Kimi-K3 — flaqman, o da görmə qabiliyyətli — $3.83 / $19.12-dir. Inkling çıxışda döşəmənin təxminən üç misli, flaqmanın isə təxminən üçdə biridir.

Çıxış qiyməti, 1M token üçün ABŞ dolları, Shannon AI Gateway siyahı tarifləri, sentyabr 2026. Zolağın eni qiymətə mütənasibdir; uzun olan bahadır.

Həmin premiumun harada özünü doğrultduğu — və harada doğrultmadığı — barədə dürüst oxunuş budur.

İş yükü	Inkling işlətmək?	Niyə
Qrafik / diaqram üzərində düşünmə	Bəli	Dərc olunmuş CharXiv və MMMU Pro rəqəmləri bu təməlin ən güclü olduğu sahədir.
Ekran görüntüsü ilə işləyən agentlər	Bəli	Görmə, alət çağırışı və 262K tarixçə bir modeldə, ötürmə yoxdur.
Şəkilli uzun sənədlər	Bəli	Mətn və şəkillər bir dekoderi və bir kontekst pəncərəsini paylaşır.
Sadə mətn yaratma	Yox	Bunu $0.50 / $2.00-lıq altı model edir. Heç çağırmadığınız görmə yoluna pul verirsiniz.
Kütləvi sxem çıxarma	Yox	json_schema yoxdur. MiMo-V2.5 həm ucuz, həm məhdudlanmışdır.
Mütləq cəbhə tavanı	Yox	Flaqman Kimi-K3-dür. Məhdudiyyət tavandırsa, 3.1 misli ödəyin.
Mümkün olan ən ucuz görmə	Yox	MiniMax-M3-də görmə $0.50 / $2.00-dır. Oradan başlayın, keyfiyyət məcbur edərsə qalxın.

Bunu reytinq kimi deyil, marşrutlaşdırma qaydası kimi oxuyun. Inkling marketinq səhifəsinin iddia edəcəyindən daha dar bir iş zolağı üçün uyğundur və həmin zolağın içində qiymətinə görə onu üstələmək çətindir. Zolaqdan kənarda isə sizə daha ucuz modeli satıb sizi saxlamağa üstünlük veririk.

06262K kontekst pəncərəsi və ora əslində nə sığır

Gateway-dəki on iki modelin hamısı 262,144 tokenlik giriş konteksti və sorğu başına 16,384 tokenlik maksimum çıxışla verilir. Bu vahidlik qəsdəndir: kontekstin idarəsi heç vaxt kodunuzda model üzrə budaqlanmaya çevrilməməlidir və konfiqurasiya faylında inkling-i MiniMax-M3 ilə əvəzləmək nəyin sığdığını səssizcə dəyişməməlidir.

Dərc olunmuş təməllə fərqi qeyd edin: Thinking Machines Inkling-i 1,048,576 token kimi sənədləşdirir, biz isə onun 262K-lıq hissəsini veririk. Həqiqətən bir sorğuda milyon tokenlik iş yükünüz varsa, biz bunun üçün uyğun uc nöqtə deyilik və bunu qurmazdan əvvəl bilməyiniz yaxşıdır.

262K-nın miqyası üçün: şəkilləri ilə birlikdə 400 səhifəlik texniki PDF, orta ölçülü kod bazası, bir neçə saatlıq transkript və ya onlarla alət nəticəsi və bir neçə ekran görüntüsü daşıyan uzun agentik sessiya — hər biri bir sorğuya sığır. Görmə modelində unutmayın ki, şəkillər də kontekst yeyir; sıx ekran görüntüsü pulsuz deyil və kadr axını verən sessiya pəncərəni yalnız mətnli sessiyadan tez doldurur. Arxitektura buna yaxşı uyğun gəlir: 5:1 sürüşən pəncərə – qlobal naxışı o deməkdir ki, qatların çoxu 512 tokenlik ətrafda diqqət yetirir, qlobal qatlar isə vaxtaşırı uzunmüddətli strukturu geri gətirir.

07Düşünmə səyi: düşünməyə yalnız lazım olanda pul ödəmək

Inkling idarə oluna bilən düşünmə səyini açıq qoyur — kataloqdakı daha faydalı düymələrdən biri. Yuxarı axın modeli none və minimal-dan tutmuş low, medium, high, xhigh və max-a qədər səviyyələri qəbul edir; hamısı standart reasoning_effort parametri vasitəsilə hər üç dialektdə mövcuddur.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Bu, dişi olan xərc lingidir, çünki düşünmə tokenləri milyon üçün $6.07 ilə çıxış tokeni kimi hesablanır. Thinking Machines bildirir ki, Terminal Bench 2.1-də Inkling təxminən üçdə bir token sərf edərək Nemotron 3 Ultra ilə müqayisə oluna bilən bal toplayır — token qənaətcilliyi səy sisteminin təsadüfü deyil, elan edilmiş dizayn məqsədidir.

Praktikada: başlıq yazma, təsnifat və düz çıxarma üçün low və ya minimal işlədin — cavab şəklin içindədir və nəticə zənciri lazım deyil. high və yuxarısını qrafik üzərində düşünmə, çoxaddımlı vizual müqayisə və səhv aralıq addımın baha başa gəldiyi agentik növbələr üçün saxlayın. Komandaların çoxu bu parametri heç vaxt qoymur və çıxış xərcində bir neçə misillik fərqi masada qoyur.

08Burada "senzurasız" nə deməkdir — və nə demək deyil

Konkret olaraq: biz bu modeli imtina qatı və çıxışa filtr olmadan işlədirik. Heç bir təsnifatçı promptunuzu oxuyub modelin cavab verib-verə bilməyəcəyini qərara almır və heç biri cavabı axın verilməzdən əvvəl oxumur. Model əmin olmayanda və ya biliyi çatmayanda bunu deyir — bu, siyasət deyil, modelin özüdür. Almayacağınız şey ümumi istehlakçı məhsulunun qadağan saydığı mövzuda refleks kimi gələn imtinadır.

Görmə üçün bütün dəyər təklifi budur. Görmə API-lərinin qarşısındakı şəkil təsnifatçıları qeyri-dəqiqdir və yalançı müsbətlərin yükü ən çox bu qabiliyyətə ən çox ehtiyacı olan peşəkar işə düşür: təhlükəsizlik tədqiqatı, klinik kontekstlər, jurnalistika və məhkəmə ekspertizası, film və incəsənət tənqidi, moderasiya etdiyi şeyə baxmalı olan moderasiya alətləri. Kateqoriyaya görə imtina edən uc nöqtə bunların heç birinə etibarlı xidmət göstərə bilməz.

İki dürüst şərt. Birincisi, Thinking Machines öz istinad quruluşu üçün təhlükəsizlik qiymətləndirmələri dərc edir — FORTRESS adversarialda 78.0%, FORTRESS benignda 95.9%, StrongREJECT-də 98.6%. Bu rəqəmlər onların mühafizələri yerində olan onların yığınını təsvir edir. Onlar bizimkini təsvir etmir və biz onları sanki edirmiş kimi sitat gətirməyəcəyik. Həmin rəqəmlərin qismən ölçdüyü qatı biz çıxarmışıq; məhsul da, məsuliyyət də budur.

İkincisi, "imtina qatı yoxdur" "qayda yoxdur" demək deyil. Shannon Lab LLC Məsuliyyətli İstifadə Siyasəti və tətbiq olunan ABŞ qanunu çərçivəsində fəaliyyət göstərir. Təsnifatçını çıxarmaq mühakiməni sizə keçirir, onu silmir. Bunun üzərində qurursunuzsa, miqyaslanmazdan əvvəl siyasəti oxuyun.

09Necə başlamalı

Eyni baza URL, eyni açar, üç dialekt. Kodunuz onsuz da OpenAI, Anthropic və ya Responses API-ni çağırırsa, model sətrini dəyişmək adətən bütün köçürmə deməkdir.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Tam parametr arayışı, /v1/messages və /v1/responses formaları, axın hadisə formatları və canlı sınaq meydançası API sənədlərindədir. Digər on bir modelin bələdçiləri Shannon Research bölməsindədir.

Təməl rəqəmləri Thinking Machines Lab-ın kvantlanmamış Inkling yoxlama nöqtəsi üçün dərc etdiyi rəqəmlərdir və bizim kvantlanmış quruluşumuzu deyil, ailənin tavanını təsvir edir. Qiymətlər və qabiliyyət bayraqları sentyabr 2026 tarixinə Shannon AI Gateway siyahı dəyərləridir.

10Tez-tez verilən suallar

---

Mənbələr: Thinking Machines Lab — Inkling ilə tanışlıq · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling arxitektura və benchmark qeydləri. Təməl benchmarkları kvantlanmamış yoxlama nöqtəsi üçün laboratoriya tərəfindən bildirilib.