सेन्सर नगरिएको Inkling मोडेल API

हाम्रो गेटवेका बाह्र मोडेलमध्ये अधिकांश पाठ-मात्र हुन्। चार होइनन्, र ती चारमध्ये Inkling को निश्चित स्थान छ: जब तस्बिर नै समस्याको कठिन भाग हो तर बजेट फ्ल्यागसिपसम्म पुग्दैन, त्यसबेला हात बढाउने भिजन मोडेल। यो कार्डले आधार कहाँबाट आयो, W4A16-AUTOROUND-REAP प्रत्ययले त्यसमा के गर्‍यो, API सतहमा यसले के गर्छ र के गर्दैन, र — इमानदारीपूर्वक — उही क्याटलगको सस्तो मोडेल कहिले राम्रो छनौट हुन्छ भन्ने समेट्छ।

01Inkling के हो, र यो कसले बनायो?

Inkling Thinking Machines Lab को पहिलो खुला-वेट मोडेल हो, जुन जुलाई 15, 2026 मा प्रकाशित भयो। "खुला" भनेर प्रस्तुत गरिने अधिकांश रिलिजभन्दा फरक, यो Hugging Face मा पूर्ण डाउनलोडयोग्य वेट र transformers, SGLang, vLLM तथा llama.cpp मा दिन-शून्य समर्थनसहित आयो — र त्यसैले यो हाम्रोजस्तो पूर्वाधारमा चलाउन सकिने भयो। Thinking Machines कै रिलिज सामग्रीबाट मुख्य सङ्ख्या:

त्यो विरल Mixture-of-Experts बनावट हो: 6,144 हिडेन साइजका 66 डिकोडर तह, पहिला दुई घना, बाँकी 64 ले 256 राउट हुने विशेषज्ञ र 2 साझा विशेषज्ञ बोक्छन्, प्रति टोकन 6 राउट हुने विशेषज्ञ सक्रिय हुँदै। कुनै पनि टोकनमा प्यारामिटरको करिब 4% मात्र सक्रिय हुन्छ — र यसैले करिब-ट्रिलियन प्यारामिटरको मोडेललाई सेवा दिन सम्भव हुन्छ।

दुई वास्तुकलागत छनौट नाम लिन लायक असामान्य छन्। अटेन्सन आलोपालो छ — 512-टोकनको विन्डोमा 55 तह स्लाइडिङ-विन्डो अटेन्सन विरुद्ध 11 ग्लोबल तह, 5:1 को दोहोरिने ढाँचामा। र Inkling ले RoPE प्रयोग गर्दैन: यसले सिकिएको, इनपुट-निर्भर सापेक्ष-स्थिति बायस प्रयोग गर्छ, साथै की/भ्यालु प्रक्षेपण र रेसिड्युअल हाँगामा छोटा कजल कन्भोलुसन। Sebastian Raschka का वास्तुकला टिप्पणीले दुवैलाई 2026 को मानक रेसिपीबाट साँचो बहिर्गमनका रूपमा औंल्याउँछन्। तालिममा ठूला म्याट्रिक्स प्यारामिटरका लागि Muon र बाँकीका लागि Adam प्रयोग भयो, अनि पोस्ट-ट्रेनिङमा 3 करोडभन्दा बढी असिंक्रोनस RL रोलआउट।

API प्रयोगकर्ताका लागि मुख्य कुरा यी सूचना होइनन्। मुख्य कुरा यो हो कि यो पाठ, तस्बिर, अडियो र भिडियो समेट्ने 45 ट्रिलियन टोकनमा तालिम पाएको अग्रपंक्ति-स्केलको, नेटिभ रूपमा मल्टिमोडल आधार हो — पछि भिजन एडाप्टर जोडिएको पाठ मोडेल होइन। तस्बिरलाई चार-तहको श्रेणीबद्ध MLP प्याचिफायरमार्फत 40×40 पिक्सेलका प्याचका रूपमा इन्कोड गरिन्छ र पाठसँगै उही डिकोडरमा प्रशोधन गरिन्छ। दृश्य बुझाइ प्रि-ट्रेनिङ उद्देश्यमै थियो।

02W4A16-AUTOROUND-REAP को अर्थ के हो?

त्यस प्रत्ययमा तीन अलग प्रविधि थुप्रिएका छन्, र ती फरक-फरक काम गर्छन्। बुझ्न लायक छ, किनभने हाम्रो API मा तपाईंले बोलाउने मोडेल र Thinking Machines ले प्रकाशित गरेको चेकपोइन्टबीचको सबैभन्दा ठूलो फरक यही प्रत्यय हो।

REAP — कसैले राउट नगर्ने विशेषज्ञ प्रुन गर्ने

REAP भनेको Router-weighted Expert Activation Pruning हो, Cerebras Research बाट (arXiv 2510.13999, ICLR 2026 मा स्वीकृत)। प्रति तह 256 विशेषज्ञ भएको MoE मा राउटरले काम समान रूपमा बाँड्दैन: कतिपय विशेषज्ञ निरन्तर हिट हुन्छन्, अरू बिरलै सक्रिय हुन्छन् र भइहाले पनि थोरै योगदान गर्छन्। REAP ले प्रत्येक विशेषज्ञलाई राउटरका गेट मान र विशेषज्ञका एक्टिभेसन नर्म दुवै मा अङ्क दिन्छ — बारम्बार छानिने तर सानो परिमाणको अद्यावधिक दिने विशेषज्ञ आफ्नो छनौट सङ्ख्याले सुझाएभन्दा कम महत्त्वको हुन्छ — अनि कम-प्रमुखतालाई क्वान्टाइजेसनअघि एकै पटकमा हटाइदिन्छ।

हामीले बढी चलनचल्तीको विशेषज्ञ मर्जिङ होइन, प्रुनिङ प्रयोग गर्नुको कारण यी दुई कार्य-प्रकारअनुसार फरक पर्नु हो। मर्जिङ विभेदकारी बेन्चमार्कमा प्रतिस्पर्धी देखिन्छ र जेनेरेटिभमा भत्किन्छ। REAP का लेखकहरू रिपोर्ट गर्छन् कि 20B देखि 1T प्यारामिटरसम्मका मोडेलभरि, 50% भन्दा बढी सङ्कुचन अनुपातमा पनि, मानिसले API किन्ने ठ्याक्कै तिनै कार्यभारमा — कोड संश्लेषण, टुल कलिङ, बहु-टर्न तर्क — प्रुनिङले गुणस्तर राम्रोसँग जोगाउँछ। मर्जिङले राउटरको विशेषज्ञीकरण नष्ट गर्छ; प्रुनिङले बाँचेका विशेषज्ञ र तिनीहरूबीचको राउटिङ यथावत् राख्छ।

AutoRound — कहाँ राउन्ड गर्ने भनेर सिक्ने

AutoRound Intel को पोस्ट-ट्रेनिङ क्वान्टाइजेसन विधि हो (arXiv 2309.05516, SignRound का रूपमा प्रकाशित)। साधारण क्वान्टाइजेसनले हरेक वेटलाई नजिकको प्रतिनिधित्वयोग्य 4-बिट मानमा राउन्ड गर्छ — समझदार पूर्वनिर्धारित, तर स्केलमा खराब, किनभने राउन्डिङ त्रुटि स्वतन्त्र हुँदैनन् र 66-तहको स्ट्याकभरि जम्मा हुन्छन्। AutoRound ले राउन्डिङ निर्णयलाई अनुकूलन गर्नुपर्ने कुराका रूपमा लिन्छ: चिह्नित ग्रेडिएन्ट अवरोहण ले केही सय चरणमा राउन्डिङ दिशा र वेट क्लिपिङ दायरा संयुक्त रूपमा ट्युन गर्छ, र पुन:तालिमविनै क्वान्टाइजेसन-सचेत तालिमको शुद्धता सापटी लिन्छ। Intel ले चरम कम-बिट सेटिङमा सबैभन्दा ठूलो लाभ र INT4 मा प्रतिस्पर्धी बढत रिपोर्ट गर्छ।

W4A16 — बिट कहाँ जान्छन्

W4A16 सङ्ख्यात्मक ढाँचा हो: 4-बिट वेट, 16-बिट एक्टिभेसन। 975B मोडेलमा मेमोरीमा हावी हुने वेट BF16 खपतको करिब चौथाइमा खुम्चिन्छन्, जबकि गणित 16 बिटमै रहन्छ। भिजन मोडेलका लागि त्यो विभाजन विशेष महत्त्वको छ: एक्टिभेसन क्वान्टाइज गर्ने योजनाले ठ्याक्कै तस्बिर बुझाइ भर पर्ने सूक्ष्म सङ्ख्यात्मक काममा चोट पुर्‍याउँछ — सानो अक्ष लेबल पढ्ने, रेखाचित्रमा पातलो रेखा छुट्याउने, मिल्दाजुल्दा दुई रङका छायाँ अलग गर्ने। एक्टिभेसन 16 बिटमै राख्दा ब्यान्डविथ खर्च हुन्छ र भिजन कार्यभारले ध्यान दिने ठाउँमा परिशुद्धता फिर्ता आउँछ।

थुप्रिँदा, यी तीनले अट्ने र छिटो रहने मोडेल दिन्छन्, र सबैभन्दा ठूला आधारमा हामी प्रयोग गर्ने आक्रामक 3BIT-REAP तहको गुणस्तर भीर हुँदैन। मूल्यले झल्काउने साटफेर त्यही हो।

03भिजन: अस्वीकार नगर्ने तस्बिर विश्लेषण API

हाम्रो क्याटलगमा Kimi-K3, Kimi-K2.6 र MiniMax-M3 सँगै Inkling चार भिजन-सक्षम मोडेलमध्ये एउटा हो। Thinking Machines को रिलिजबाट आधार मोडेलका प्रकाशित भिजन नतिजा MMMU Pro (Standard 10) मा 73.3% र CharXiv तर्क प्रश्नमा 78.1% छन् — मोडेललाई चार्ट विरुद्ध Python चलाउन दिइँदा 82.0% सम्म पुग्छ। ती क्वान्टाइज नगरिएको चेकपोइन्टका लागि प्रयोगशालाकै आँकडा हुन्; तिनलाई हाम्रो बिल्डको नाप होइन, परिवारको सिलिङ ठान्नुहोस्।

CharXiv मै अलिक अडिन लायक छ, किनभने मानिसले OCR सेवा होइन, भिजन API किन किन्छन् भन्नेसँग यो मिल्छ। यसले वैज्ञानिक चार्टमाथिको तर्क जाँच्छ — अक्षबाट मान पढ्ने, दुई शृङ्खला तुलना गर्ने, प्रवृत्ति उल्टिएको देख्ने। "यो तस्बिरमा कुन पाठ छ" होइन, "यो आकृतिले के दाबी गर्छ, र त्यो दाबी टिक्छ कि टिक्दैन"। सानो क्याप्सनरको सट्टा 975B तर्क मोडेललाई तस्बिर पठाउनुको औचित्य त्यही हो।

तस्बिर पठाउनु सामान्य OpenAI-अनुकूल काम हो — /v1/chat/completions मा image_url सामग्री भाग, /v1/messages मा Anthropic-शैलीको image ब्लक, वा /v1/responses मा त्यसकै समकक्ष। तीनै बोलीले उही वेटमा पुग्छन् र तीनै स्ट्रिम हुन्छन्; तपाईंको अवस्थित SDK ले जुन बोल्छ त्यही छान्नुहोस्। काम गरेर देखाइएको उदाहरण खण्ड 09 मा छ।

सेन्सर नगरिएको हुनुको महत्त्व पाठभन्दा भिजनमा बढी छ। भिजन एन्डपोइन्टमा अस्वीकृति तह असामान्य रूपमा भुत्ते हुन्छ, किनभने मोडेलले अनुरोधबारे तर्क गर्नुअघि नै यसले प्राय: तस्बिर वर्गीकरण गर्छ। वैध काम निरन्तर पक्राउ पर्छ: क्लिनिकल-नोट पाइपलाइनमा घाउको तस्बिर, घटना विवरणमा फोरेन्सिक स्क्रिनसट, समीक्षाका लागि विश्लेषण गरिँदै गरेको चलचित्रको फ्रेम, चिकित्सकीय स्क्यान, नाम भएको कागजातको तस्बिर। हाम्रो गेटवेमा Inkling अगाडि त्यस्तो कुनै क्लासिफायर छैन। यसले तपाईंले पठाएको कुरा हेर्छ र तपाईंले सोधेको प्रश्नको जवाफ दिन्छ। उत्पादन त्यही हो।

04संरचित आउटपुट: response_format छ, json_schema छैन

क्याटलगका अधिकांशभन्दा Inkling कम सक्षम हुने एउटै ठाउँ यही हो, र यसलाई उत्पादनमा पत्ता लगाउनुभन्दा पहिल्यै योजनामा राख्नु राम्रो हुन्छ।

क्षमता	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
भिजन (तस्बिर इनपुट)	छ	छ	छ	छैन
response_format	छ	छ	छ	छैन
json_schema	छैन	छ	छ	छैन
टुल कलिङ	छ	छ	छ	छ
तर्क प्रयास	छ	छ	छ	छ

response_format: {"type": "json_object"} काम गर्छ — तपाईंले वाक्यविन्यासका दृष्टिले वैध JSON पाउनुहुन्छ। तपाईंले नपाउने कुरा तपाईंले दिएको स्किमा विरुद्ध व्याकरण-बद्ध डिकोडिङ हो, जहाँ स्याम्प्लरलाई तपाईंको संरचना उल्लङ्घन गर्ने टोकन निकाल्नबाट भौतिक रूपमै रोकिन्छ। फिल्डका नाम, इनम सदस्यता र आवश्यक-कुञ्जीको उपस्थिति ग्यारेन्टी होइन, मोडेलको छनौट हुन्।

त्यससँग बाँच्ने तीन उपाय, विश्वसनीयताको बढ्दो क्रममा:

1. स्किमा प्रम्प्ट गर्नुहोस् र प्रमाणित गर्नुहोस्। स्किमालाई सिस्टम प्रम्प्टमा शाब्दिक JSON का रूपमा राख्नुहोस्, response_format लाई json_object बनाउनुहोस्, र प्रतिक्रिया आफ्नोतर्फ प्रमाणित गर्नुहोस्। प्रमाणीकरण असफल हुँदा प्रमाणकको त्रुटि सन्देश जोडेर पुन:प्रयास गर्नुहोस्। सस्तो, काम गर्छ, पुन:प्रयासको बजेट चाहिन्छ।
2. स्किमाका रूपमा टुल परिभाषा प्रयोग गर्नुहोस्। टुल कलिङ समर्थित छ, र फङ्सनको प्यारामिटर परिभाषा नै JSON स्किमा हो। तपाईंलाई चाहिने निकासीको नाममा एउटै टुल घोषणा गर्नुहोस्, त्यसलाई बाध्य पार्नुहोस्, र तर्क पढ्नुहोस्। Inkling मा प्राय: यही सबैभन्दा बलियो विकल्प हो र यसले तपाईंलाई थप केही खर्च गराउँदैन।
3. कामलाई दुई मोडेलबीच बाँड्नुहोस्। Inkling लाई गद्यमा भिजन र तर्क गर्न दिनुहोस्, अनि त्यो गद्य संरचना पासका लागि साँचो json_schema सहित $0.50 / $2.00 मा MiMo-V2.5-W8A16 लाई दिनुहोस्। दुई कल, तर दोस्रो सस्तो छ, आकारमा निर्धारणात्मक छ, र चलाख हुनुपर्ने मोडेल तस्बिर देख्ने मोडेल नै हो।

उच्च-मात्राको कुनै पनि निकासी पाइपलाइनका लागि हामी विकल्प 3 सिफारिस गर्छौं। प्रिमियम चाहिने चरणमा मात्र त्यसको मूल्य तिर्नुहोस्।

05मूल्य प्रिमियमले के किन्छ?

प्रति दस लाख टोकन $1.42 इन / $6.07 आउट मा, Inkling जानीबुझी हाम्रो क्याटलगको बीचमा बस्छ। बाह्रमध्ये छ मोडेल $0.50 / $2.00 को भुइँतलमा छन्। फ्ल्यागसिप र भिजन-सक्षम पनि रहेको Kimi-K3 $3.83 / $19.12 छ। Inkling आउटपुटमा भुइँतलको करिब तीन गुणा र फ्ल्यागसिपको करिब एक तिहाइ हो।

आउटपुट मूल्य, प्रति 1M टोकन USD, Shannon AI गेटवेका सूची दर, सेप्टेम्बर 2026। बारको चौडाइ मूल्यको समानुपातिक छ; लामो भनेको महँगो।

त्यो प्रिमियमले कहाँ आफ्नो मूल्य कमाउँछ — र कहाँ कमाउँदैन — भन्ने इमानदार पाठ यहाँ छ।

कार्यभार	Inkling प्रयोग गर्ने?	किन
चार्ट / रेखाचित्र तर्क	हो	प्रकाशित CharXiv र MMMU Pro आँकडा यही आधारको सबैभन्दा बलियो पक्ष हुन्।
स्क्रिनसट-चालित एजेन्ट	हो	एउटै मोडेलमा भिजन, टुल कलिङ र 262K इतिहास, कुनै हस्तान्तरण छैन।
आकृतिसहितका लामा कागजात	हो	पाठ र तस्बिरले एउटै डिकोडर र एउटै सन्दर्भ विन्डो बाँड्छन्।
सामान्य पाठ जेनेरेसन	होइन	$0.50 / $2.00 का छ मोडेलले यो गर्छन्। तपाईं कहिल्यै नबोलाउने भिजन बाटोको मूल्य तिर्दै हुनुहुन्छ।
थोक स्किमा निकासी	होइन	json_schema छैन। MiMo-V2.5 सस्तो र बद्ध छ।
निरपेक्ष अग्रपंक्ति सिलिङ	होइन	Kimi-K3 फ्ल्यागसिप हो। सिलिङ नै बन्धन हो भने 3.1× तिर्नुहोस्।
सम्भव भएसम्म सस्तो भिजन	होइन	MiniMax-M3 सँग $0.50 / $2.00 मा भिजन छ। त्यहीँबाट सुरु गर्नुहोस्, गुणस्तरले बाध्य पारे माथि उक्लनुहोस्।

त्यसलाई श्रेणीक्रम होइन, राउटिङ नियमका रूपमा पढ्नुहोस्। मार्केटिङ पृष्ठले दाबी गर्नेभन्दा Inkling साँघुरो कामको पट्टीका लागि सही छ, र त्यस पट्टीभित्र मूल्यमा यसलाई उछिन्न गाह्रो छ। त्यसबाहिर, हामी तपाईंलाई सस्तो मोडेल बेचेर तपाईंलाई टिकाइराख्न रुचाउँछौं।

06262K सन्दर्भ विन्डो, र वास्तवमा के अट्छ

गेटवेका बाह्रै मोडेल 262,144-टोकन को इनपुट सन्दर्भ र प्रति अनुरोध 16,384-टोकन को अधिकतम आउटपुटसहित सेवा दिइन्छन्। जानीबुझी एकरूप: सन्दर्भ ह्यान्डलिङ तपाईंको कोडमा प्रति-मोडेल हाँगा कहिल्यै बन्नु हुँदैन, र कन्फिग फाइलमा inkling लाई MiniMax-M3 ले साट्दा के अट्छ भन्ने मौन रूपमा बदलिनु हुँदैन।

प्रकाशित आधारसँगको अन्तर ध्यान दिनुहोस्: Thinking Machines ले Inkling लाई 1,048,576 टोकनमा कागजात गर्छ, र हामी त्यसको 262K अंश सेवा दिन्छौं। तपाईंसँग साँच्चै दस लाख टोकनको एकल-अनुरोध कार्यभार छ भने, त्यसका लागि हामी एन्डपोइन्ट होइनौं, र बनाउनुअघि नै थाहा पाउनु राम्रो।

262K मा स्केलको अनुमान: आकृतिसहितको 400-पृष्ठको प्राविधिक PDF, मध्यम आकारको कोडबेस, केही घण्टाको ट्रान्सक्रिप्ट, वा दर्जनौं टुल नतिजा र मुट्ठीभर स्क्रिनसट बोक्ने लामो एजेन्टिक सत्र — प्रत्येक एउटै अनुरोधमा अट्छ। भिजन मोडेलमा, तस्बिरले पनि सन्दर्भ खपत गर्छन् भन्ने नबिर्सनुहोस्; घना स्क्रिनसट नि:शुल्क होइन, र फ्रेम स्ट्रिम गर्ने सत्रले पाठ-मात्रको भन्दा छिटो विन्डो भर्छ। वास्तुकला यसका लागि राम्रो मिल्छ: 5:1 को स्लाइडिङ-विन्डो-देखि-ग्लोबल ढाँचाको अर्थ अधिकांश तहले 512-टोकनको छिमेकभित्र अटेन्ड गर्छन्, र ग्लोबल तहले समय-समयमा लामो-दूरीको संरचना फेरि तानेर ल्याउँछन्।

07तर्क प्रयास: चाहिँदा मात्र सोचाइको मूल्य तिर्ने

Inkling ले नियन्त्रणयोग्य तर्क प्रयास उपलब्ध गराउँछ — क्याटलगका बढी उपयोगी नबहरूमध्ये एक। माथिल्लो मोडेलले none र minimal देखि low, medium, high, xhigh हुँदै max सम्मका तह स्वीकार गर्छ, जुन मानक reasoning_effort प्यारामिटरमार्फत तीनै बोलीमा उपलब्ध छन्।

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

यो दाँत भएको लागत लिभर हो, किनभने तर्क टोकन प्रति दस लाख $6.07 मा आउटपुट टोकनका रूपमा बिल हुन्छन्। Thinking Machines रिपोर्ट गर्छ कि Terminal Bench 2.1 मा Inkling ले करिब एक तिहाइ टोकनमा Nemotron 3 Ultra सँग तुलनीय अङ्क पुर्‍याउँछ — टोकन दक्षता संयोग होइन, प्रयास प्रणालीको घोषित डिजाइन लक्ष्य हो।

व्यवहारमा: क्याप्सनिङ, वर्गीकरण र सोझो निकासीका लागि low वा minimal चलाउनुहोस्, जहाँ जवाफ तस्बिरमै छ र अनुमानको शृङ्खला चाहिँदैन। चार्ट तर्क, बहु-चरण दृश्य तुलना, र गलत मध्यवर्ती चरण महँगो पर्ने एजेन्टिक टर्नका लागि high र माथिको जोगाइराख्नुहोस्। अधिकांश टोलीले यो प्यारामिटर कहिल्यै सेट गर्दैनन्, र आउटपुट लागतमा धेरै गुणाको फरक छाडिदिन्छन्।

08यहाँ "सेन्सर नगरिएको" को अर्थ के हो — र के होइन

ठोस रूपमा: हामी यो मोडेल कुनै अस्वीकृति तह र आउटपुटमा फिल्टरविना चलाउँछौं। कुनै क्लासिफायरले तपाईंको प्रम्प्ट पढेर मोडेलले जवाफ दिन पाउँछ कि पाउँदैन भन्ने निर्णय गर्दैन, र स्ट्रिम हुनुअघि कसैले प्रतिक्रिया पढ्दैन। मोडेल अनिश्चित हुँदा वा ज्ञान नहुँदा त्यसो भन्छ — त्यो नीति होइन, मोडेल हो। तपाईंले नपाउने कुरा भनेको सर्वसाधारण उपभोक्ता उत्पादनले वर्जित ठान्ने विषयमा स्वचालित अस्वीकार हो।

भिजनका लागि यही नै पूरै मूल्य प्रस्ताव हो। भिजन API अगाडिका तस्बिर क्लासिफायर अपरिष्कृत हुन्छन्, र गलत सकारात्मक दरले सबैभन्दा बढी ती पेशेवर काममा चोट पुर्‍याउँछ जसलाई यो क्षमता सबैभन्दा बढी चाहिन्छ: सुरक्षा अनुसन्धान, क्लिनिकल सन्दर्भ, पत्रकारिता र फोरेन्सिक, चलचित्र तथा कला समीक्षा, र आफूले मोडेरेट गर्ने कुरा हेर्नैपर्ने मोडेरेसन उपकरण। कोटीका आधारमा अस्वीकार गर्ने एन्डपोइन्टले तीमध्ये कुनैलाई पनि भरपर्दो रूपमा सेवा दिन सक्दैन।

दुई इमानदार चेतावनी। पहिलो, Thinking Machines ले आफ्नो सन्दर्भ डिप्लोयमेन्टका लागि सुरक्षा मूल्याङ्कन प्रकाशित गर्छ — FORTRESS adversarial मा 78.0%, FORTRESS benign मा 95.9%, StrongREJECT मा 98.6%। ती आँकडाले तिनका सुरक्षाघेरा राखिएको तिनको स्ट्याक वर्णन गर्छन्। ती हाम्रो वर्णन गर्दैनन्, र हामी तिनलाई त्यसो गरेजस्तै गरी उद्धृत गर्दैनौं। ती सङ्ख्याले आंशिक रूपमा नाप्ने तह हामीले हटाएका छौं; उत्पादन त्यही हो, र जिम्मेवारी पनि।

दोस्रो, "कुनै अस्वीकृति तह छैन" भनेको "कुनै नियम छैन" होइन। Shannon Lab LLC जिम्मेवार प्रयोग नीति र लागू हुने अमेरिकी कानुन अन्तर्गत सञ्चालन गर्छ। क्लासिफायर हटाउनुले विवेक तपाईंतर्फ सार्छ, त्यसलाई मेटाउँदैन। तपाईं यसमा निर्माण गर्दै हुनुहुन्छ भने, स्केल गर्नुअघि नीति पढ्नुहोस्।

09सुरु गर्दै

उही बेस URL, उही कुञ्जी, तीन बोली। तपाईंको कोडले पहिल्यै OpenAI, Anthropic वा Responses API बोलाउँछ भने, मोडेल स्ट्रिङ बदल्नु नै प्राय: पूरै माइग्रेसन हो।

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

पूर्ण प्यारामिटर सन्दर्भ, /v1/messages र /v1/responses का आकार, स्ट्रिमिङ घटना ढाँचा, र प्रत्यक्ष प्लेग्राउन्ड API कागजात मा छन्। अरू एघार मोडेलका मोडेल कार्ड Shannon Research मा छन्।

आधारका आँकडा क्वान्टाइज नगरिएको Inkling चेकपोइन्टका लागि Thinking Machines Lab ले प्रकाशित गरेका सङ्ख्या हुन् र परिवारको सिलिङ वर्णन गर्छन्, हाम्रो क्वान्टाइज गरिएको बिल्ड होइन। मूल्य र क्षमता फ्ल्याग सेप्टेम्बर 2026 सम्मका Shannon AI गेटवेका सूची मान हुन्।

10बारम्बार सोधिने प्रश्न

---

स्रोत: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling वास्तुकला र बेन्चमार्क टिप्पणी। आधार बेन्चमार्क क्वान्टाइज नगरिएको चेकपोइन्टका लागि प्रयोगशालाले रिपोर्ट गरेका हुन्।