अनसेंसर्ड Inkling मॉडल API

हमारे गेटवे पर मौजूद बारह में से ज़्यादातर मॉडल सिर्फ़ टेक्स्ट वाले हैं। चार नहीं हैं, और उन चार में Inkling की एक ख़ास जगह है: यह वह विज़न मॉडल है जिसे आप तब उठाते हैं जब समस्या का कठिन हिस्सा तस्वीर है, पर बजट फ़्लैगशिप तक नहीं पहुँचता। यह कार्ड बताता है कि फ़ाउंडेशन कहाँ से आया, W4A16-AUTOROUND-REAP सफ़िक्स ने उसके साथ क्या किया, API सतह पर यह क्या करेगा और क्या नहीं — और ईमानदारी से, कब उसी कैटलॉग का कोई सस्ता मॉडल बेहतर चुनाव है।

01Inkling क्या है, और इसे बनाया किसने?

Inkling Thinking Machines Lab का पहला ओपन-वेट्स मॉडल है, जो 15 जुलाई 2026 को प्रकाशित हुआ। "ओपन" के तौर पर पेश की गई ज़्यादातर रिलीज़ों के उलट, यह Hugging Face पर पूरे डाउनलोड-योग्य वेट्स के साथ आया, और transformers, SGLang, vLLM तथा llama.cpp में पहले दिन से समर्थन के साथ — यही वजह है कि यह हमारे जैसे इन्फ़्रास्ट्रक्चर पर चलने लायक बन सका। Thinking Machines की अपनी रिलीज़ सामग्री से मुख्य आँकड़े:

यह एक स्पार्स Mixture-of-Experts लेआउट है: 6,144 हिडन साइज़ पर 66 डिकोडर लेयर, पहली दो डेंस, बाकी 64 में 256 राउटेड एक्सपर्ट और 2 शेयर्ड एक्सपर्ट, जिनमें प्रति टोकन 6 राउटेड एक्सपर्ट सक्रिय होते हैं। किसी भी दिए गए टोकन पर लगभग 4% पैरामीटर ही चलते हैं — यही वजह है कि लगभग एक ट्रिलियन पैरामीटर वाला मॉडल परोसा जाना संभव है।

दो आर्किटेक्चरल चुनाव इतने असामान्य हैं कि उनका नाम लेना बनता है। अटेंशन इंटरलीव्ड है — 512-टोकन विंडो पर स्लाइडिंग-विंडो अटेंशन की 55 लेयर के मुक़ाबले 11 ग्लोबल लेयर, 5:1 के दोहराते पैटर्न में। और Inkling RoPE इस्तेमाल नहीं करता: यह एक सीखा हुआ, इनपुट-निर्भर सापेक्ष-स्थिति बायस इस्तेमाल करता है, साथ में की/वैल्यू प्रोजेक्शन और रेज़िडुअल शाखाओं पर छोटे कॉज़ल कॉन्वोल्यूशन। Sebastian Raschka के आर्किटेक्चर नोट्स दोनों को 2026 की मानक रेसिपी से असली विचलन बताते हैं। ट्रेनिंग में बड़े मैट्रिक्स पैरामीटर के लिए Muon और बाकी के लिए Adam इस्तेमाल हुआ, फिर पोस्ट-ट्रेनिंग में तीन करोड़ से ज़्यादा असिंक्रोनस RL रोलआउट।

API इस्तेमाल करने वाले के लिए अहमियत इन जानकारियों की नहीं है। अहमियत इसकी है कि यह एक फ़्रंटियर-स्केल, मूल रूप से मल्टीमॉडल फ़ाउंडेशन है, जिसे टेक्स्ट, इमेज, ऑडियो और वीडियो में फैले 45 ट्रिलियन टोकन पर प्रशिक्षित किया गया — बाद में विज़न अडैप्टर जोड़ा गया कोई टेक्स्ट मॉडल नहीं। इमेजें चार-लेयर हायरार्किकल MLP पैचिफ़ायर के ज़रिए 40×40 पिक्सेल पैच के रूप में एनकोड होती हैं और उसी डिकोडर में टेक्स्ट के साथ मिलकर प्रोसेस होती हैं। विज़ुअल समझ प्रीट्रेनिंग के उद्देश्य में ही शामिल थी।

02W4A16-AUTOROUND-REAP का मतलब क्या है?

उस सफ़िक्स में तीन अलग तकनीकें एक के ऊपर एक रखी हैं, और वे अलग-अलग काम करती हैं। इन्हें समझना ठीक रहेगा, क्योंकि हमारे API पर जिस मॉडल को आप कॉल करते हैं और Thinking Machines द्वारा प्रकाशित चेकपॉइंट के बीच सबसे बड़ा फ़र्क़ यही सफ़िक्स है।

REAP — उन एक्सपर्ट्स की छँटाई जिन तक कोई राउट नहीं होता

REAP यानी Router-weighted Expert Activation Pruning, Cerebras Research की तरफ़ से (arXiv 2510.13999, ICLR 2026 में स्वीकृत)। प्रति लेयर 256 एक्सपर्ट वाले MoE में राउटर काम को बराबर नहीं बाँटता: कुछ एक्सपर्ट लगातार चुने जाते हैं, कुछ कभी-कभार चलते हैं और चलने पर भी बहुत कम योगदान देते हैं। REAP हर एक्सपर्ट को दोनों पर स्कोर करता है — राउटर की गेट वैल्यू और एक्सपर्ट के एक्टिवेशन नॉर्म — क्योंकि बार-बार चुना जाने वाला पर छोटे परिमाण के अपडेट देने वाला एक्सपर्ट उतना मायने नहीं रखता जितना उसकी चयन-संख्या से लगता है — और क्वांटाइज़ेशन से पहले, एक ही शॉट में कम-सैलिएंसी वालों को हटा देता है।

हम ज़्यादा चलन में रहने वाले एक्सपर्ट मर्जिंग के बजाय प्रूनिंग इसलिए इस्तेमाल करते हैं क्योंकि दोनों कार्य-प्रकार के हिसाब से अलग-अलग नतीजे देते हैं। मर्जिंग डिस्क्रिमिनेटिव बेंचमार्क पर प्रतिस्पर्धी लगती है और जनरेटिव पर बिखर जाती है। REAP के लेखक बताते हैं कि 50% से ज़्यादा कंप्रेशन अनुपात पर भी प्रूनिंग ठीक उन्हीं वर्कलोड पर गुणवत्ता बेहतर बचाए रखती है जिनके लिए लोग API खरीदते हैं — कोड सिंथेसिस, टूल कॉलिंग, मल्टी-टर्न रीज़निंग — और यह 20B से 1T पैरामीटर तक के मॉडलों पर लागू है। मर्जिंग राउटर की विशेषज्ञता नष्ट कर देती है; प्रूनिंग बचे हुए एक्सपर्ट और उनके बीच की राउटिंग को यथावत छोड़ देती है।

AutoRound — यह सीखना कि राउंड कहाँ करना है

AutoRound Intel की पोस्ट-ट्रेनिंग क्वांटाइज़ेशन विधि है (arXiv 2309.05516, SignRound के रूप में प्रकाशित)। सीधी-सादी क्वांटाइज़ेशन हर वेट को निकटतम प्रतिनिधित्व-योग्य 4-बिट मान पर राउंड कर देती है — एक वाजिब डिफ़ॉल्ट, और बड़े पैमाने पर एक बुरा डिफ़ॉल्ट, क्योंकि राउंडिंग त्रुटियाँ स्वतंत्र नहीं होतीं और 66 लेयर के ढेर से गुज़रते हुए जमा होती जाती हैं। AutoRound राउंडिंग के फ़ैसले को अनुकूलित करने लायक चीज़ मानता है: साइन्ड ग्रेडिएंट डिसेंट कुछ सौ स्टेप में राउंडिंग की दिशा और वेट क्लिपिंग रेंज दोनों को साथ-साथ ट्यून करता है, यानी दोबारा ट्रेन किए बिना क्वांटाइज़ेशन-अवेयर ट्रेनिंग जैसी सटीकता। Intel सबसे बड़ा फ़ायदा अत्यधिक कम-बिट सेटिंग्स पर और INT4 पर प्रतिस्पर्धी बढ़त बताता है।

W4A16 — बिट कहाँ जाते हैं

W4A16 संख्यात्मक फ़ॉर्मैट है: 4-बिट वेट्स, 16-बिट एक्टिवेशन। वेट्स — जो 975B मॉडल में मेमोरी पर हावी रहते हैं — सिकुड़कर BF16 फ़ुटप्रिंट के करीब एक-चौथाई रह जाते हैं, जबकि गणित 16 बिट पर ही रहता है। यह बँटवारा विज़न मॉडल के लिए ख़ास तौर पर मायने रखता है: एक्टिवेशन-क्वांटाइज़्ड स्कीम ठीक उसी बारीक संख्यात्मक काम को नुकसान पहुँचाती हैं जिस पर इमेज समझ टिकी है — किसी छोटे अक्ष-लेबल को पढ़ना, डायग्राम में एक पतली रेखा को अलग करना, दो मिलती-जुलती छाया में फ़र्क़ करना। एक्टिवेशन को 16 बिट पर रखने में बैंडविड्थ खर्च होती है और बदले में वहीं सटीकता मिलती है जहाँ विज़न वर्कलोड को उसका फ़र्क़ दिखता है।

तीनों मिलकर एक ऐसा मॉडल देते हैं जो फ़िट भी होता है और तेज़ भी रहता है, बिना उस गुणवत्ता की खाई के जो सबसे बड़े फ़ाउंडेशनों पर इस्तेमाल होने वाले आक्रामक 3BIT-REAP टियर में आती है। कीमत यही सौदा दर्शाती है।

03विज़न: बिना इनकार वाला इमेज एनालिसिस API

Inkling हमारे कैटलॉग के चार विज़न-सक्षम मॉडलों में से एक है, Kimi-K3, Kimi-K2.6 और MiniMax-M3 के साथ। Thinking Machines की रिलीज़ से बेस मॉडल के प्रकाशित विज़न नतीजे हैं MMMU Pro (Standard 10) पर 73.3% और CharXiv रीज़निंग सवालों पर 78.1% — जो मॉडल को चार्ट पर Python चलाने की छूट देने पर बढ़कर 82.0% हो जाता है। ये अनक्वांटाइज़्ड चेकपॉइंट के लिए लैब के अपने आँकड़े हैं; इन्हें इस परिवार की छत मानिए, हमारे बिल्ड की माप नहीं।

CharXiv पर थोड़ा रुकना बनता है, क्योंकि यह ठीक उस बात से जुड़ता है कि लोग OCR सेवा के बजाय विज़न API क्यों खरीदते हैं। यह वैज्ञानिक चार्ट पर तर्क करने की परीक्षा लेता है — अक्ष से कोई मान पढ़ना, दो शृंखलाओं की तुलना करना, किसी रुझान का पलटना पकड़ना। "इस इमेज में कौन-सा टेक्स्ट है" नहीं, बल्कि "यह आकृति क्या दावा करती है, और क्या वह दावा टिकता है।" यही बात किसी छोटे कैप्शनर के बजाय 975B रीज़निंग मॉडल को तस्वीर भेजने को जायज़ ठहराती है।

इमेज भेजना सामान्य OpenAI-कम्पैटिबल काम है — /v1/chat/completions पर एक image_url कंटेंट पार्ट, /v1/messages पर Anthropic-शैली का image ब्लॉक, या /v1/responses पर उसका समकक्ष। तीनों डायलेक्ट एक ही वेट्स तक पहुँचते हैं और तीनों स्ट्रीम करते हैं; वही चुनिए जो आपका मौजूदा SDK पहले से बोलता है। एक पूरा उदाहरण खंड 09 में है।

अनसेंसर्ड वाला हिस्सा टेक्स्ट से ज़्यादा विज़न के लिए मायने रखता है। विज़न एंडपॉइंट पर रिफ्यूज़ल लेयर असामान्य रूप से भोंथरी होती है, क्योंकि वह आम तौर पर मॉडल के अनुरोध पर सोचने से पहले ही इमेज को वर्गीकृत कर देती है। जायज़ काम लगातार फँसता है: क्लिनिकल-नोट्स पाइपलाइन में किसी घाव की तस्वीर, घटना-रिपोर्ट में फ़ोरेंसिक स्क्रीनशॉट, आलोचना लिखने के लिए विश्लेषित की जा रही किसी फ़िल्म का फ़्रेम, कोई मेडिकल स्कैन, किसी दस्तावेज़ की इमेज जिसमें संयोग से कोई नाम आ गया हो। हमारे गेटवे पर Inkling के आगे ऐसा कोई क्लासिफ़ायर नहीं है। यह देखता है कि आपने क्या भेजा और आपके पूछे सवाल का जवाब देता है। उत्पाद यही है।

04स्ट्रक्चर्ड आउटपुट: response_format हाँ, json_schema नहीं

यही एक जगह है जहाँ Inkling बाकी कैटलॉग से कम सक्षम है, और इसे प्रोडक्शन में खोजने से बेहतर है पहले से इसका इंतज़ाम करना।

क्षमता	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
विज़न (इमेज इनपुट)	हाँ	हाँ	हाँ	नहीं
response_format	हाँ	हाँ	हाँ	नहीं
json_schema	नहीं	हाँ	हाँ	नहीं
टूल कॉलिंग	हाँ	हाँ	हाँ	हाँ
रीज़निंग एफ़र्ट	हाँ	हाँ	हाँ	हाँ

response_format: {"type": "json_object"} काम करता है — आपको वाक्य-रचना की दृष्टि से वैध JSON मिलता है। जो नहीं मिलता वह है आपके दिए गए स्कीमा के विरुद्ध ग्रामर-प्रतिबंधित डिकोडिंग, जिसमें सैंपलर को आपकी संरचना तोड़ने वाला टोकन निकालने से भौतिक रूप से रोका जाता है। फ़ील्ड नाम, enum सदस्यता और ज़रूरी कुंजियों की मौजूदगी मॉडल का चुनाव है, गारंटी नहीं।

इसके साथ जीने के तीन तरीके, भरोसेमंदी के बढ़ते क्रम में:

1. स्कीमा को प्रॉम्प्ट कीजिए और वैलिडेट कीजिए। स्कीमा को सिस्टम प्रॉम्प्ट में सीधे JSON के रूप में रखिए, response_format को json_object पर सेट कीजिए, और जवाब को अपनी ओर से वैलिडेट कीजिए। वैलिडेशन विफल होने पर वैलिडेटर का एरर संदेश जोड़कर दोबारा कोशिश कीजिए। सस्ता, चलता है, और रिट्राई का बजट माँगता है।
2. टूल डेफ़िनिशन को ही स्कीमा बनाइए। टूल कॉलिंग समर्थित है, और किसी फ़ंक्शन की पैरामीटर परिभाषा एक JSON Schema ही होती है। जिस एक्सट्रैक्शन की आपको ज़रूरत है, उसी नाम का एक टूल घोषित कीजिए, उसे फ़ोर्स कीजिए, और आर्ग्युमेंट पढ़ लीजिए। Inkling पर यह आम तौर पर सबसे मज़बूत विकल्प है और इसमें अतिरिक्त कुछ खर्च नहीं होता।
3. काम को दो मॉडलों में बाँटिए। विज़न और तर्क का काम गद्य में Inkling से कराइए, फिर उस गद्य को $0.50 / $2.00 पर MiMo-V2.5-W8A16 को सौंप दीजिए, असली json_schema के साथ, संरचना बनाने वाले चरण के लिए। दो कॉल, पर दूसरी सस्ती है, आकार में नियत है, और जिस मॉडल को समझदार होना था वही वह है जिसने इमेज देखी।

किसी भी बड़े पैमाने वाली एक्सट्रैक्शन पाइपलाइन के लिए हम विकल्प 3 का ही पैटर्न सुझाएँगे। प्रीमियम सिर्फ़ उसी चरण के लिए चुकाइए जिसे उसकी ज़रूरत है।

05कीमत का प्रीमियम बदले में क्या देता है?

$1.42 इन / $6.07 आउट प्रति दस लाख टोकन पर Inkling जान-बूझकर हमारे कैटलॉग के बीच में बैठता है। बारह में से छह मॉडल $0.50 / $2.00 के फ़्लोर पर हैं। Kimi-K3 — फ़्लैगशिप, वह भी विज़न-सक्षम — $3.83 / $19.12 पर है। Inkling आउटपुट पर फ़्लोर से करीब तीन गुना और फ़्लैगशिप का करीब एक-तिहाई है।

आउटपुट कीमत, USD प्रति 1M टोकन, Shannon AI Gateway की सूची दरें, सितंबर 2026। बार की चौड़ाई कीमत के अनुपात में है; जितनी लंबी, उतनी महँगी।

यह रहा ईमानदार आकलन कि वह प्रीमियम कहाँ अपनी क़ीमत वसूल करता है — और कहाँ नहीं।

वर्कलोड	Inkling इस्तेमाल करें?	क्यों
चार्ट / डायग्राम पर तर्क	हाँ	प्रकाशित CharXiv और MMMU Pro आँकड़े ठीक वही हैं जिनमें यह फ़ाउंडेशन सबसे मज़बूत है।
स्क्रीनशॉट-चालित एजेंट	हाँ	एक ही मॉडल में विज़न, टूल कॉलिंग और 262K इतिहास, कोई हैंडऑफ़ नहीं।
आकृतियों वाले लंबे दस्तावेज़	हाँ	टेक्स्ट और इमेज एक ही डिकोडर और एक ही कॉन्टेक्स्ट विंडो साझा करते हैं।
सादा टेक्स्ट जनरेशन	नहीं	$0.50 / $2.00 वाले छह मॉडल यह कर देते हैं। आप उस विज़न पाथ के पैसे दे रहे हैं जिसे आप कभी कॉल ही नहीं करते।
थोक स्कीमा एक्सट्रैक्शन	नहीं	कोई json_schema नहीं। MiMo-V2.5 सस्ता भी है और प्रतिबंधित भी।
बिल्कुल फ़्रंटियर छत	नहीं	Kimi-K3 फ़्लैगशिप है। अगर छत ही अड़चन है तो 3.1× चुकाइए।
सबसे सस्ता संभव विज़न	नहीं	MiniMax-M3 के पास $0.50 / $2.00 पर विज़न है। वहीं से शुरू कीजिए, गुणवत्ता मजबूर करे तो ऊपर जाइए।

इसे रैंकिंग नहीं, राउटिंग नियम की तरह पढ़िए। Inkling किसी मार्केटिंग पेज के दावे से कहीं संकरी पट्टी के काम के लिए सही है, और उस पट्टी के भीतर कीमत पर इसे हराना मुश्किल है। उसके बाहर, हम आपको सस्ता मॉडल बेचकर आपको बनाए रखना ज़्यादा पसंद करेंगे।

06262K कॉन्टेक्स्ट विंडो, और उसमें असल में समाता क्या है

गेटवे पर बारहों मॉडल 262,144-टोकन इनपुट कॉन्टेक्स्ट और प्रति रिक्वेस्ट अधिकतम 16,384-टोकन आउटपुट के साथ परोसे जाते हैं। यह एकरूपता जान-बूझकर है: कॉन्टेक्स्ट संभालना आपके कोड में कभी हर मॉडल की अलग शाखा नहीं बनना चाहिए, और कॉन्फ़िग फ़ाइल में inkling की जगह MiniMax-M3 लिखने से चुपचाप यह नहीं बदलना चाहिए कि क्या समाता है।

प्रकाशित फ़ाउंडेशन के मुक़ाबले अंतर पर ध्यान दीजिए: Thinking Machines Inkling को 1,048,576 टोकन पर दस्तावेज़ करता है, और हम उसका 262K हिस्सा परोसते हैं। अगर आपके पास सचमुच दस लाख टोकन वाली एकल-रिक्वेस्ट वर्कलोड है, तो हम उसके लिए सही एंडपॉइंट नहीं हैं, और बेहतर है कि आप यह बनाने से पहले जान लें।

262K के पैमाने का अंदाज़ा: अपनी आकृतियों समेत 400 पन्नों की तकनीकी PDF, मध्यम आकार का कोडबेस, कई घंटों का ट्रांसक्रिप्ट, या दर्जनों टूल नतीजे और कुछ स्क्रीनशॉट ढोता एक लंबा एजेंटिक सेशन — हर एक अकेली रिक्वेस्ट में समा जाता है। विज़न मॉडल पर याद रखिए कि इमेजें भी कॉन्टेक्स्ट खाती हैं; घना स्क्रीनशॉट मुफ़्त नहीं है, और फ़्रेम स्ट्रीम करने वाला सेशन विंडो को सिर्फ़-टेक्स्ट वाले सेशन से तेज़ी से भरता है। आर्किटेक्चर इसके लिए ठीक बैठता है: स्लाइडिंग-विंडो से ग्लोबल का 5:1 पैटर्न मतलब ज़्यादातर लेयर 512-टोकन पड़ोस के भीतर ध्यान देती हैं, और ग्लोबल लेयर समय-समय पर लंबी दूरी की संरचना वापस खींच लाती हैं।

07रीज़निंग एफ़र्ट: सोचने के पैसे तभी चुकाना जब ज़रूरत हो

Inkling नियंत्रित करने योग्य रीज़निंग एफ़र्ट देता है — कैटलॉग के ज़्यादा उपयोगी नॉब्स में से एक। अपस्ट्रीम मॉडल none और minimal से लेकर low, medium, high, xhigh होते हुए max तक के स्तर स्वीकार करता है, जो तीनों डायलेक्ट पर मानक reasoning_effort पैरामीटर के ज़रिए उपलब्ध हैं।

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

यह दाँत रखने वाला लागत-लीवर है, क्योंकि रीज़निंग टोकन $6.07 प्रति दस लाख की दर पर आउटपुट टोकन के रूप में बिल होते हैं। Thinking Machines बताता है कि Terminal Bench 2.1 पर Inkling करीब एक-तिहाई टोकन में Nemotron 3 Ultra के बराबर स्कोर तक पहुँचता है — टोकन दक्षता एफ़र्ट सिस्टम का घोषित डिज़ाइन लक्ष्य है, कोई संयोग नहीं।

व्यवहार में: कैप्शनिंग, वर्गीकरण और सीधे-सादे एक्सट्रैक्शन के लिए low या minimal चलाइए, जहाँ जवाब इमेज में ही है और अनुमान की कोई शृंखला नहीं चाहिए। high और उससे ऊपर को चार्ट पर तर्क, बहु-चरणीय दृश्य तुलना और उन एजेंटिक टर्न के लिए बचाकर रखिए जहाँ बीच का एक ग़लत कदम महँगा पड़ता है। ज़्यादातर टीमें यह पैरामीटर सेट ही नहीं करतीं, और आउटपुट लागत में कई गुना का फ़र्क़ यूँ ही छोड़ देती हैं।

08यहाँ "अनसेंसर्ड" का मतलब क्या है — और क्या नहीं

ठोस शब्दों में: हम यह मॉडल बिना किसी रिफ्यूज़ल लेयर और आउटपुट पर बिना फ़िल्टरिंग के चलाते हैं। कोई क्लासिफ़ायर आपका प्रॉम्प्ट पढ़कर यह तय नहीं करता कि मॉडल जवाब दे सकता है या नहीं, और कोई भी जवाब को स्ट्रीम होने से पहले नहीं पढ़ता। जब मॉडल अनिश्चित होता है या उसके पास जानकारी नहीं होती, तो वह ऐसा कह देता है — वह मॉडल है, कोई नीति नहीं। जो आपको नहीं मिलेगा वह है किसी ऐसे विषय पर आदत से निकला इनकार जिसे आम उपभोक्ता उत्पाद वर्जित मानते हैं।

विज़न के लिए यही पूरा मूल्य-प्रस्ताव है। विज़न API के आगे लगे इमेज क्लासिफ़ायर सटीक नहीं होते, और फ़ॉल्स-पॉज़िटिव दर सबसे ज़्यादा उसी पेशेवर काम पर गिरती है जिसे इस क्षमता की सबसे ज़्यादा ज़रूरत है: सुरक्षा शोध, क्लिनिकल संदर्भ, पत्रकारिता और फ़ोरेंसिक, फ़िल्म और कला आलोचना, और वे मॉडरेशन टूल जिन्हें उसी चीज़ को देखना पड़ता है जिसका वे मॉडरेशन करते हैं। श्रेणी के आधार पर इनकार करने वाला एंडपॉइंट इनमें से किसी की भी भरोसेमंद सेवा नहीं कर सकता।

दो ईमानदार चेतावनियाँ। पहली, Thinking Machines अपने रेफ़रेंस डिप्लॉयमेंट के लिए सुरक्षा मूल्यांकन प्रकाशित करता है — FORTRESS adversarial पर 78.0%, FORTRESS benign पर 95.9%, StrongREJECT पर 98.6%। ये आँकड़े उनके गार्डरेल के साथ उनके स्टैक का वर्णन करते हैं। वे हमारे स्टैक का वर्णन नहीं करते, और हम उन्हें ऐसे पेश नहीं करेंगे मानो करते हों। हमने वही परत हटाई है जिसे ये आँकड़े आंशिक रूप से मापते हैं; उत्पाद यही है, और ज़िम्मेदारी भी।

दूसरी, "कोई रिफ्यूज़ल लेयर नहीं" का मतलब "कोई नियम नहीं" नहीं है। Shannon Lab LLC एक ज़िम्मेदार उपयोग नीति और लागू अमेरिकी क़ानून के तहत काम करता है। क्लासिफ़ायर हटाने से विवेक का काम आप पर आ जाता है, वह मिट नहीं जाता। अगर आप इस पर कुछ बना रहे हैं, तो पैमाना बढ़ाने से पहले नीति पढ़ लीजिए।

09शुरुआत कैसे करें

वही बेस URL, वही की, तीन डायलेक्ट। अगर आपका कोड पहले से OpenAI, Anthropic या Responses API को कॉल करता है, तो मॉडल स्ट्रिंग बदलना ही आम तौर पर पूरा माइग्रेशन है।

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

पूरा पैरामीटर संदर्भ, /v1/messages तथा /v1/responses के आकार, स्ट्रीमिंग इवेंट फ़ॉर्मैट और एक लाइव प्लेग्राउंड API दस्तावेज़ीकरण में हैं। बाकी ग्यारह मॉडलों के मॉडल कार्ड Shannon Research में हैं।

फ़ाउंडेशन आँकड़े अनक्वांटाइज़्ड Inkling चेकपॉइंट के लिए Thinking Machines Lab के प्रकाशित नंबर हैं और परिवार की छत बताते हैं, हमारे क्वांटाइज़्ड बिल्ड की नहीं। कीमतें और क्षमता फ़्लैग सितंबर 2026 तक Shannon AI Gateway की सूची वैल्यू हैं।

10अक्सर पूछे जाने वाले सवाल

---

स्रोत: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling architecture and benchmark notes। फ़ाउंडेशन बेंचमार्क अनक्वांटाइज़्ड चेकपॉइंट के लिए लैब द्वारा रिपोर्ट किए गए हैं।