असेन्सॉर्ड Inkling मॉडेल API

आमच्या गेटवेवरची बारापैकी बहुतेक मॉडेल फक्त मजकुराची आहेत. चार तशी नाहीत, आणि त्या चारांमध्ये Inkling ची जागा ठरावीक आहे: समस्येतला कठीण भाग चित्र आहे पण अंदाजपत्रक अग्रणी मॉडेलपर्यंत पोहोचत नाही, तेव्हा तुम्ही ज्याकडे वळता ते व्हिजन मॉडेल. हे कार्ड आधार कुठून येतो, W4A16-AUTOROUND-REAP प्रत्ययाने त्याचे काय केले, API पृष्ठभागावर ते काय करेल आणि काय करणार नाही, आणि — प्रामाणिकपणे — त्याच कॅटलॉगमधले स्वस्त मॉडेल कधी अधिक योग्य ठरते, हे मांडते.

01Inkling म्हणजे काय, आणि ते कुणी बांधले?

Inkling हे Thinking Machines Lab चे पहिले ओपन-वेट्स मॉडेल, 15 जुलै 2026 रोजी प्रकाशित. “ओपन” म्हणून मांडलेल्या बहुतेक प्रकाशनांपेक्षा वेगळे, ते Hugging Face वर संपूर्ण उतरवण्याजोग्या वेट्ससह आणि transformers, SGLang, vLLM व llama.cpp मध्ये पहिल्याच दिवसाच्या पाठिंब्यासह आले — आणि म्हणूनच ते आमच्यासारख्या पायाभूत सुविधेवर मुळात चालवण्याजोगे ठरले. Thinking Machines च्या स्वतःच्या प्रकाशन सामग्रीतले मथळ्याचे आकडे:

ही विरळ Mixture-of-Experts मांडणी आहे: 6,144 छुप्या आकारावर 66 डिकोडर स्तर, त्यातले पहिले दोन घन, आणि उरलेले 64 स्तर 256 राउटेड एक्सपर्ट अधिक 2 सामायिक एक्सपर्ट वागवणारे, प्रति टोकन 6 राउटेड एक्सपर्ट सक्रिय असलेले. कोणत्याही एका टोकनवर साधारण 4% पॅरामीटर पेटतात — आणि म्हणूनच ट्रिलियनच्या जवळ जाणारे मॉडेल मुळात सर्व्ह करण्याजोगे ठरते.

दोन वास्तुरचनात्मक निर्णय नाव घेण्याइतके असामान्य आहेत. अटेन्शन आलटून पालटून येते — 512-टोकन विंडोवरच्या सरकत्या-खिडकीच्या 55 स्तरांविरुद्ध 11 सार्वत्रिक स्तर, 5:1 अशा पुनरावर्ती आकृतिबंधात. आणि Inkling RoPE वापरत नाही: ते शिकलेला, इनपुट-सापेक्ष सापेक्ष-स्थान पूर्वग्रह वापरते, सोबत की/व्हॅल्यू प्रक्षेपणांवर आणि अवशिष्ट फांद्यांवर लहान कार्यकारण संवलने. Sebastian Raschka च्या वास्तुरचना टिपणांत या दोन्हींना 2026 च्या प्रमाणित रेसिपीपासूनची खरी फारकत म्हटले आहे. प्रशिक्षणात मोठ्या मॅट्रिक्स पॅरामीटरसाठी Muon आणि बाकीसाठी Adam वापरले गेले, आणि नंतर पोस्ट-ट्रेनिंगमध्ये 3 कोटींहून अधिक असिंक्रोनस RL रोलआउट झाले.

API वापरणाऱ्यासाठी मुद्दा या तपशिलांचा नाही. मुद्दा असा की हा मजकूर, प्रतिमा, ध्वनी आणि व्हिडिओ व्यापणाऱ्या 45 ट्रिलियन टोकनवर प्रशिक्षित आघाडीच्या मापाचा, मूळचाच मल्टिमोडल आधार आहे — नंतर व्हिजन अ‍ॅडॉप्टर ठोकलेले मजकूर मॉडेल नव्हे. प्रतिमांचे एन्कोडिंग चार-स्तरीय श्रेणीबद्ध MLP पॅचिफायरमधून 40×40 पिक्सेलच्या तुकड्यांत होते आणि त्यांच्यावर मजकुरासोबत त्याच डिकोडरमध्ये प्रक्रिया होते. दृश्य आकलन पूर्व-प्रशिक्षणाच्या उद्दिष्टातच होते.

02W4A16-AUTOROUND-REAP म्हणजे काय?

त्या प्रत्ययात तीन वेगळी तंत्रे एकावर एक रचलेली आहेत, आणि ती वेगवेगळी कामे करतात. ती समजून घेण्याजोगी आहेत, कारण तुम्ही आमच्या API वर बोलावता ते मॉडेल आणि Thinking Machines ने प्रकाशित केलेले चेकपॉइंट यांच्यातला सर्वात मोठा फरक हा प्रत्ययच आहे.

REAP — कुणीच राउट न करणारे एक्सपर्ट छाटणे

REAP म्हणजे Router-weighted Expert Activation Pruning, Cerebras Research कडून (arXiv 2510.13999, ICLR 2026 मध्ये स्वीकारलेले). प्रति स्तर 256 एक्सपर्ट असलेल्या MoE मध्ये राउटर काम समानपणे वाटत नाही: काही एक्सपर्टकडे सतत मागणी असते, काही क्वचित पेटतात आणि पेटले तरी थोडेच योगदान देतात. REAP प्रत्येक एक्सपर्टला राउटरची गेट मूल्ये आणि एक्सपर्टचे ॲक्टिव्हेशन नॉर्म या दोन्हींवर गुण देते — वारंवार निवडला जाणारा पण लहान परिमाणाची भर घालणारा एक्सपर्ट त्याच्या निवड-संख्येइतका महत्त्वाचा नसतो — आणि कमी ठळकपणाचे एक्सपर्ट क्वांटायझेशनपूर्वी एकाच फटक्यात काढून टाकते.

अधिक फॅशनेबल असलेल्या एक्सपर्ट विलीनीकरणाऐवजी आम्ही छाटणी का वापरतो याचे कारण असे की कामाच्या प्रकारानुसार या दोघांचे मार्ग वेगळे होतात. विलीनीकरण भेदनिदर्शक बेंचमार्कवर स्पर्धात्मक दिसते आणि निर्मितीच्या बेंचमार्कवर कोसळते. लोक ज्यासाठी API विकत घेतात नेमक्या त्याच कामांवर — कोड संश्लेषण, टूल कॉलिंग, बहु-फेरी रिझनिंग — 50% पलीकडच्या कॉम्प्रेशन प्रमाणांवरही, 20B ते 1T पॅरामीटरच्या मॉडेलभर, छाटणी गुणवत्ता अधिक चांगली टिकवते असे REAP चे लेखक नोंदवतात. विलीनीकरण राउटरचे विशेषीकरण नष्ट करते; छाटणी उरलेले एक्सपर्ट आणि त्यांच्यातले राउटिंग शाबूत ठेवते.

AutoRound — कुठे पूर्णांकित करायचे ते शिकणे

AutoRound ही Intel ची पोस्ट-ट्रेनिंग क्वांटायझेशन पद्धत आहे (arXiv 2309.05516, SignRound म्हणून प्रकाशित). भाबडे क्वांटायझेशन प्रत्येक वेट जवळच्या दर्शवण्याजोग्या 4-bit मूल्यावर पूर्णांकित करते — मूलभूत पर्याय म्हणून वाजवी, पण मोठ्या मापावर वाईट, कारण राउंडिंगच्या चुका स्वतंत्र नसतात आणि 66 स्तरांच्या रचनाक्रमातून साचत जातात. AutoRound राउंडिंगचा निर्णय हीच अनुकूल करण्याजोगी गोष्ट मानते: सचिन्ह ग्रेडियंट डिसेंट दोनशेएक टप्प्यांवर राउंडिंगची दिशा आणि वेट क्लिपिंग मर्यादा एकत्रित जुळवते, आणि पुन्हा प्रशिक्षण न घेता क्वांटायझेशन-जागरूक प्रशिक्षणाची अचूकता उसनी घेते. अतिशय कमी बिटच्या सेटिंगवर सर्वाधिक कमाई आणि INT4 वर स्पर्धात्मक धार असल्याचे Intel नोंदवते.

W4A16 — बिट कुठे जातात

W4A16 हे संख्यात्मक स्वरूप आहे: 4-bit वेट्स, 16-bit ॲक्टिव्हेशन. 975B मॉडेलमध्ये स्मृतीवर वरचढ ठरणारी वेट्स BF16 ठशाच्या साधारण एक-चतुर्थांशावर आक्रसतात, तर गणित 16 बिटवरच राहते. ही विभागणी विशेषतः व्हिजन मॉडेलसाठी महत्त्वाची आहे: ॲक्टिव्हेशन क्वांटाइझ करणाऱ्या योजना नेमक्या त्याच सूक्ष्म संख्यात्मक कामाला हानी पोहोचवतात ज्यावर इमेज आकलन अवलंबून असते — लहान अक्ष-लेबल वाचणे, आकृतीतली बारीक रेषा उकलणे, दोन जवळच्या छटा वेगळ्या करणे. ॲक्टिव्हेशन 16 बिटवर ठेवण्याची किंमत बँडविड्थमध्ये पडते आणि ती व्हिजनच्या कामाला जाणवेल तिथे अचूकता परत मिळवून देते.

एकत्र रचल्यावर या तिघांतून असे मॉडेल मिळते जे बसते आणि वेगात राहते, आणि अतिशय मोठ्या आधारांवर आम्ही वापरत असलेल्या आक्रमक 3BIT-REAP स्तरासारखा गुणवत्तेचा कडाही तुटत नाही. किंमत तीच अदलाबदल दाखवते.

03व्हिजन: नकारविरहित इमेज विश्लेषण API

आमच्या कॅटलॉगमधल्या चार व्हिजन-सक्षम मॉडेलपैकी Inkling एक आहे, Kimi-K3, Kimi-K2.6 आणि MiniMax-M3 सोबत. Thinking Machines च्या प्रकाशनातले आधार मॉडेलचे प्रकाशित व्हिजन निकाल आहेत MMMU Pro (Standard 10) वर 73.3% आणि CharXiv रिझनिंग प्रश्नांवर 78.1% — आणि मॉडेलला तक्त्यावर Python चालवू दिल्यास ते 82.0% पर्यंत चढते. हे अनक्वांटाइझ्ड चेकपॉइंटसाठीचे प्रयोगशाळेचे स्वतःचे आकडे आहेत; ते आमच्या बिल्डचे मोजमाप नव्हे तर कुटुंबाची कमाल मर्यादा माना.

यात रेंगाळण्याजोगे CharXiv आहे, कारण लोक OCR सेवेऐवजी व्हिजन API का विकत घेतात ते त्यावरून कळते. ते वैज्ञानिक तक्त्यांवरचे रिझनिंग तपासते — अक्षावरून मूल्य वाचणे, दोन मालिकांची तुलना करणे, कल उलटलेला ओळखणे. “या प्रतिमेत कोणता मजकूर आहे” नव्हे, तर “ही आकृती काय दावा करते, आणि तो दावा टिकतो का”. लहान कॅप्शनरऐवजी 975B रिझनिंग मॉडेलकडे चित्र पाठवण्याचे समर्थन तेच करते.

प्रतिमा पाठवणे हे नेहमीचेच OpenAI-सुसंगत काम आहे — /v1/chat/completions वर image_url कंटेंट भाग, /v1/messages वर Anthropic-शैलीचा image ब्लॉक, किंवा /v1/responses वर त्याचे समकक्ष. तिन्ही बोली त्याच वेट्सला भिडतात आणि तिन्ही स्ट्रीम करतात; तुमचा अस्तित्वातला SDK जी आधीच बोलतो ती निवडा. सोडवलेले उदाहरण विभाग 09 मध्ये आहे.

असेन्सॉर्ड असण्याचे महत्त्व मजकुरापेक्षा व्हिजनसाठी अधिक आहे. व्हिजन एंडपॉइंटवरचा नकार स्तर असामान्यपणे बोथट असतो, कारण मॉडेलने विनंतीवर विचार करण्याआधीच तो सहसा प्रतिमेचे वर्गीकरण करतो. वैध काम सतत त्यात अडकते: क्लिनिकल टिपणांच्या पाइपलाइनमधले जखमेचे छायाचित्र, घटनेच्या अहवालातला न्यायवैद्यक स्क्रीनशॉट, समीक्षेसाठी विश्लेषण होत असलेल्या चित्रपटातली एक फ्रेम, वैद्यकीय स्कॅन, नाव असलेल्या दस्तऐवजाची प्रतिमा. आमच्या गेटवेवरच्या Inkling समोर असा कोणताही वर्गीकारक नाही. तुम्ही जे पाठवले ते ते पाहते आणि तुम्ही विचारलेल्या प्रश्नाचे उत्तर देते. तेच उत्पादन आहे.

04संरचित आउटपुट: response_format होय, json_schema नाही

कॅटलॉगमधल्या बहुतेकांपेक्षा Inkling कमी सक्षम असण्याची हीच एकमेव जागा आहे, आणि ती प्रॉडक्शनमध्ये शोधण्यापेक्षा तिचे नियोजन करणे बरे.

क्षमता	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
व्हिजन (इमेज इनपुट)	होय	होय	होय	नाही
response_format	होय	होय	होय	नाही
json_schema	नाही	होय	होय	नाही
टूल कॉलिंग	होय	होय	होय	होय
रिझनिंग प्रयत्न	होय	होय	होय	होय

response_format: {"type": "json_object"} चालते — तुम्हाला वाक्यरचनेने वैध JSON मिळते. जे मिळत नाही ते म्हणजे तुम्ही पुरवलेल्या स्कीमाविरुद्ध व्याकरण-बद्ध डिकोडिंग, जिथे तुमची रचना मोडणारे टोकन बाहेर टाकण्यापासून सॅम्पलरला भौतिकदृष्ट्या रोखले जाते. फील्डची नावे, enum मधले सदस्यत्व, आणि आवश्यक की उपस्थित असणे — हे मॉडेलच्या निवडीवर आहे, ती हमी नाही.

त्यासोबत जगण्याचे तीन मार्ग, विश्वासार्हतेच्या चढत्या क्रमाने:

1. स्कीमा प्रॉम्प्टमध्ये द्या आणि पडताळा. स्कीमा सिस्टीम प्रॉम्प्टमध्ये अक्षरशः JSON म्हणून ठेवा, response_format ला json_object ठेवा, आणि प्रतिसाद तुमच्या बाजूने पडताळा. पडताळणी फसल्यास पडताळकाचा त्रुटी-संदेश जोडून पुन्हा प्रयत्न करा. स्वस्त, चालते, पण पुनःप्रयत्नाचे अंदाजपत्रक लागते.
2. स्कीमा म्हणून टूल व्याख्या वापरा. टूल कॉलिंगला पाठिंबा आहेच, आणि फंक्शनची पॅरामीटर व्याख्या ही एक JSON Schema असते. तुम्हाला हवी असलेली माहिती काढण्यासाठी एकच टूल घोषित करा, तो सक्तीचा करा, आणि आर्ग्युमेंट वाचा. Inkling वर हा सहसा सर्वात भक्कम पर्याय असतो आणि त्याचा जास्तीचा खर्चही नाही.
3. काम दोन मॉडेलमध्ये विभागा. Inkling कडून व्हिजन आणि रिझनिंग गद्यात करून घ्या, मग ते गद्य संरचनेच्या पासासाठी खऱ्या json_schema सह $0.50 / $2.00 दरातल्या MiMo-V2.5-W8A16 कडे द्या. दोन कॉल, पण दुसरा स्वस्त आहे, आकाराने ठाम आहे, आणि जिला हुशार असावे लागते ते मॉडेलच प्रतिमा पाहणारे असते.

मोठ्या प्रमाणावरच्या कोणत्याही माहिती-काढणी पाइपलाइनसाठी आम्ही पर्याय 3 चीच शिफारस करू. ज्या टप्प्याला गरज आहे त्यासाठीच जास्तीचे पैसे द्या.

05जास्तीचा दर काय देतो?

प्रति दशलक्ष टोकन $1.42 इन / $6.07 आउट या दरात Inkling आमच्या कॅटलॉगच्या मधोमध जाणीवपूर्वक बसते. बारापैकी सहा मॉडेल $0.50 / $2.00 च्या तळावर आहेत. Kimi-K3 — अग्रणी, आणि तेही व्हिजन-सक्षम — $3.83 / $19.12 वर आहे. Inkling आउटपुटवर तळाच्या साधारण तिप्पट आणि अग्रणीच्या साधारण एक-तृतीयांश आहे.

आउटपुट किंमत, प्रति 1M टोकन USD, Shannon AI गेटवेचे यादी-दर, सप्टेंबर 2026. पट्टीची रुंदी किमतीच्या प्रमाणात आहे; जास्त लांब म्हणजे जास्त महाग.

तो जास्तीचा दर कुठे वसूल होतो — आणि कुठे होत नाही — याचे प्रामाणिक वाचन असे.

काम	Inkling वापरावी?	का
तक्ते / आकृत्यांवरचे रिझनिंग	होय	प्रकाशित CharXiv आणि MMMU Pro आकडे हेच या आधाराचे सर्वात मोठे बलस्थान आहे.
स्क्रीनशॉट-चालित एजंट	होय	व्हिजन अधिक टूल कॉलिंग अधिक 262K इतिहास एकाच मॉडेलमध्ये, हस्तांतरण नाही.
आकृत्या असलेले लांब दस्तऐवज	होय	मजकूर आणि प्रतिमा एकच डिकोडर आणि एकच संदर्भ विंडो वाटून घेतात.
साध्या मजकुराची निर्मिती	नाही	$0.50 / $2.00 वरची सहा मॉडेल हे करतात. तुम्ही कधीच न वापरणाऱ्या व्हिजन मार्गासाठी पैसे देत असाल.
मोठ्या प्रमाणावर स्कीमा-आधारित माहिती काढणे	नाही	json_schema नाही. MiMo-V2.5 स्वस्त आणि बद्ध आहे.
निरपेक्ष आघाडीची कमाल मर्यादा	नाही	Kimi-K3 हे अग्रणी आहे. कमाल मर्यादाच बंधन असेल तर 3.1× द्या.
शक्य तितके स्वस्त व्हिजन	नाही	MiniMax-M3 कडे $0.50 / $2.00 दरात व्हिजन आहे. तिथून सुरुवात करा, गुणवत्तेने भाग पाडले तरच वर चढा.

ते क्रमवारी म्हणून नव्हे तर राउटिंग नियम म्हणून वाचा. जाहिरात-पान सांगेल त्यापेक्षा अरुंद पट्ट्यातल्या कामासाठी Inkling योग्य आहे, आणि त्या पट्ट्याच्या आत किमतीत तिला हरवणे अवघड आहे. त्याबाहेर, आम्ही तुम्हाला स्वस्त मॉडेल विकून तुम्हाला टिकवून ठेवणेच पसंत करू.

06262K संदर्भ विंडो, आणि त्यात प्रत्यक्षात काय बसते

गेटवेवरची बाराही मॉडेल 262,144-टोकन इनपुट संदर्भ आणि प्रति विनंती कमाल 16,384-टोकन आउटपुटसह सर्व्ह केली जातात. हे जाणीवपूर्वक एकसमान आहे: संदर्भ हाताळणी तुमच्या कोडमध्ये प्रति-मॉडेल फांदी कधीच बनू नये, आणि कॉन्फिग फाइलमध्ये inkling च्या जागी MiniMax-M3 टाकल्याने काय बसते ते मुकाट बदलू नये.

प्रकाशित आधाराशी असलेली तफावत लक्षात घ्या: Thinking Machines Inkling ला 1,048,576 टोकनवर नोंदवते, आणि आम्ही त्यातला 262K चा तुकडा सर्व्ह करतो. एकाच विनंतीत दहा लाख टोकनचे खरेखुरे काम तुमच्याकडे असेल, तर आम्ही त्यासाठीचे एंडपॉइंट नाही, आणि तुम्ही बांधणी करण्याआधीच हे कळलेले बरे.

262K चा आवाका समजण्यासाठी: 400 पानांचे तांत्रिक PDF त्याच्या आकृत्यांसह, मध्यम आकाराचा कोडबेस, काही तासांचा प्रतिलेख, किंवा डझनभर टूल निकाल व मूठभर स्क्रीनशॉट वागवणारे लांब एजंटिक सत्र — यांपैकी प्रत्येक एका विनंतीत बसते. व्हिजन मॉडेलवर लक्षात ठेवा की प्रतिमाही संदर्भ खातात; दाट स्क्रीनशॉट फुकट नाही, आणि फ्रेम स्ट्रीम करणारे सत्र फक्त-मजकूर सत्रापेक्षा विंडो लवकर भरते. वास्तुरचना याला चांगली जुळते: 5:1 हे सरकती-खिडकी ते सार्वत्रिक गुणोत्तर म्हणजे बहुतेक स्तर 512-टोकनच्या शेजारातच लक्ष देतात, आणि सार्वत्रिक स्तर अधूनमधून लांब पल्ल्याची रचना पुन्हा आत ओढून आणतात.

07रिझनिंग प्रयत्न: गरज असेल तेव्हाच विचारांचे पैसे देणे

Inkling नियंत्रणीय रिझनिंग प्रयत्न उपलब्ध करते — कॅटलॉगमधल्या अधिक उपयुक्त तबकड्यांपैकी एक. अपस्ट्रीम मॉडेल none आणि minimal पासून low, medium, high, xhigh मार्गे max पर्यंतच्या पातळ्या स्वीकारते, आणि त्या तिन्ही बोलींवर प्रमाणित reasoning_effort पॅरामीटरमधून उपलब्ध आहेत.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

हा धार असलेला खर्चाचा लीव्हर आहे, कारण रिझनिंग टोकनचे बिल प्रति दशलक्ष $6.07 दराने आउटपुट टोकन म्हणून होते. Terminal Bench 2.1 वर Inkling साधारण एक-तृतीयांश टोकनमध्ये Nemotron 3 Ultra शी तुलनात्मक गुण गाठते असे Thinking Machines नोंदवते — टोकन कार्यक्षमता हे या प्रयत्न-प्रणालीचे जाहीर रचना-उद्दिष्ट आहे, अपघात नाही.

व्यवहारात: कॅप्शन लिहिणे, वर्गीकरण आणि सरळसोट माहिती काढणे यांसाठी low किंवा minimal चालवा, जिथे उत्तर प्रतिमेतच असते आणि अनुमानाची साखळी लागत नाही. तक्त्यांवरचे रिझनिंग, बहु-टप्पी दृश्य तुलना, आणि चुकीचा मधला टप्पा महाग पडेल अशा एजंटिक फेऱ्यांसाठी high आणि त्यावरचे राखून ठेवा. बहुतेक संघ हा पॅरामीटर कधीच ठेवत नाहीत, आणि आउटपुट खर्चातला कित्येक पटींचा फरक तसाच सोडून देतात.

08इथे “असेन्सॉर्ड” म्हणजे काय — आणि काय नाही

ठोसपणे: हे मॉडेल आम्ही नकार स्तराशिवाय आणि आउटपुटवर फिल्टरिंगशिवाय चालवतो. कोणताही वर्गीकारक तुमचा प्रॉम्प्ट वाचून मॉडेलने उत्तर द्यावे की नाही हे ठरवत नाही, आणि प्रतिसाद स्ट्रीम होण्यापूर्वी कोणीही तो वाचत नाही. मॉडेल अनिश्चित असेल किंवा त्याला ज्ञान नसेल, तेव्हा ते तसे सांगते — ते मॉडेल आहे, धोरण नव्हे. जे तुम्हाला मिळणार नाही ते म्हणजे सर्वसामान्य ग्राहक उत्पादन निषिद्ध मानते अशा विषयावरचा प्रतिक्षिप्त नकार.

व्हिजनसाठी हेच संपूर्ण मूल्य-वचन आहे. व्हिजन API समोरचे इमेज वर्गीकारक अनेमके असतात, आणि खोट्या इशाऱ्यांचा दर नेमक्या त्याच व्यावसायिक कामावर सर्वाधिक आदळतो ज्याला ही क्षमता सर्वाधिक हवी असते: सुरक्षा संशोधन, क्लिनिकल संदर्भ, पत्रकारिता व न्यायवैद्यक शास्त्र, चित्रपट व कला समीक्षा, आणि जे मॉडरेट करते तेच पाहावे लागणारी मॉडरेशन साधने. श्रेणीवरून नकार देणारा एंडपॉइंट यांपैकी कशालाही विश्वासार्हपणे सेवा देऊ शकत नाही.

दोन प्रामाणिक सावधगिरी. पहिली, Thinking Machines त्यांच्या संदर्भ डिप्लॉयमेंटसाठी सुरक्षा मूल्यमापने प्रकाशित करते — FORTRESS प्रतिकूलवर 78.0%, FORTRESS निरुपद्रवीवर 95.9%, StrongREJECT वर 98.6%. हे आकडे त्यांच्या कठड्यांसह त्यांच्या रचनेचे वर्णन करतात. ते आमच्या रचनेचे वर्णन करत नाहीत, आणि तसे असल्यासारखे आम्ही ते उद्धृत करणार नाही. ते आकडे अंशतः ज्या स्तराचे मोजमाप करतात, तो स्तरच आम्ही काढून टाकला आहे; तेच उत्पादन आहे, आणि तीच जबाबदारीही.

दुसरी, “नकार स्तर नाही” म्हणजे “नियम नाहीत” असे नव्हे. Shannon Lab LLC जबाबदार वापर धोरण आणि लागू अमेरिकी कायद्याखाली कार्य करते. वर्गीकारक काढून टाकल्याने निवाड्याचा भार तुमच्याकडे सरकतो, तो पुसला जात नाही. यावर बांधणी करत असाल, तर वाढवण्याआधी धोरण वाचा.

09सुरुवात कशी करावी

तोच बेस URL, तीच किल्ली, तीन बोली. तुमचा कोड आधीच OpenAI, Anthropic किंवा Responses API ला कॉल करत असेल, तर मॉडेल स्ट्रिंग बदलणे हेच सहसा संपूर्ण स्थलांतर असते.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

संपूर्ण पॅरामीटर संदर्भ, /v1/messages व /v1/responses चे आकार, स्ट्रीमिंग इव्हेंट स्वरूपे, आणि थेट प्लेग्राउंड API दस्तऐवजांमध्ये आहेत. उरलेल्या अकरा मॉडेलची मॉडेल कार्ड Shannon Research मध्ये आहेत.

आधाराचे आकडे अनक्वांटाइझ्ड Inkling चेकपॉइंटसाठी Thinking Machines Lab ने प्रकाशित केलेले आहेत आणि ते आमच्या क्वांटाइझ्ड बिल्डचे नव्हे तर कुटुंबाच्या कमाल मर्यादेचे वर्णन करतात. किंमत आणि क्षमता-ध्वज ही सप्टेंबर 2026 पर्यंतची Shannon AI गेटवेची यादी-मूल्ये आहेत.

10वारंवार विचारले जाणारे प्रश्न

---

स्रोत: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling वास्तुरचना आणि बेंचमार्क टिपणे. आधाराचे बेंचमार्क अनक्वांटाइझ्ड चेकपॉइंटसाठी प्रयोगशाळा-नोंदित आहेत.