ما داده هیچ کاربری را نگه‌داری یا به آن دسترسی پیدا نمی‌کنیم و هیچ حسابی را تعلیق نمی‌کنیم مگر اینکه یک مرجع قانونی اقدام اجرایی را الزامی کند.
کارت مدل · inkling · W4A16-AUTOROUND-REAP

API بدون سانسور مدل Inkling

بیلدی بدون سانسور و دارای بینایی از بنیان Mixture-of-Experts با ۹۷۵ میلیارد پارامتر Inkling شرکت Thinking Machines — کانتکست ۲۶۲ هزار توکنی، ورودی تصویر، بدون لایه رد درخواست.

به‌روزرسانی ۵ سپتامبر ۲۰۲۶کارت مدلبنیان: Inkling (Thinking Machines Lab)

خلاصه

inkling-W4A16-AUTOROUND-REAP استقرار ما از Inkling است، همان MoE وزن‌باز با ۹۷۵ میلیارد پارامتر که Thinking Machines Lab در ۱۵ ژوئیه ۲۰۲۶ منتشر کرد. این مدل بینایی دارد، فراخوانی ابزار و کنترل تلاش استدلال انجام می‌دهد، و بدون لایه رد درخواست و بدون فیلتر خروجی روی خوشه GPU خودمان اجرا می‌شود. کانتکست ۲۶۲٬۱۴۴ توکن است و خروجی تا ۱۶٬۳۸۴ توکن. قیمت ۱٫۴۲ دلار ورودی / ۶٫۰۷ دلار خروجی به ازای هر میلیون توکن است — میان‌رده، بالاتر از رده کف ۰٫۵۰ دلاری ما و به‌روشنی پایین‌تر از پرچم‌دار Kimi-K3. یک قید که باید برایش برنامه بریزید: از response_format پشتیبانی می‌کند اما از json_schema نه.

بیشتر دوازده مدل روی گیت‌وی ما فقط‌متنی‌اند. چهارتا نیستند، و در میان آن چهار، Inkling جایگاه مشخصی دارد: مدل بینایی‌ای که وقتی سراغش می‌روید که تصویر بخش سخت مسئله است اما بودجه به یک پرچم‌دار نمی‌رسد. این کارت می‌گوید بنیان از کجا می‌آید، پسوند W4A16-AUTOROUND-REAP چه بر سرش آورده، در سطح API چه می‌کند و چه نمی‌کند، و — صادقانه — کِی یک مدل ارزان‌تر در همان کاتالوگ انتخاب بهتری است.

01Inkling چیست و چه کسی ساختش؟

Inkling نخستین مدل وزن‌باز Thinking Machines Lab است که در ۱۵ ژوئیه ۲۰۲۶ منتشر شد. برخلاف بیشتر انتشارهایی که خود را «باز» می‌نامند، این یکی با وزن‌های کامل قابل‌دانلود روی Hugging Face و پشتیبانی روز-صفر در transformers و SGLang و vLLM و llama.cpp عرضه شد — و اصلاً به همین دلیل است که روی زیرساختی مثل مال ما قابل‌اجراست. اعداد سرتیتر، از مواد انتشار خود Thinking Machines:

975B
کل پارامترها
41B
فعال / هر توکن
256
متخصص مسیریابی‌شده
45T
توکن پیش‌آموزش

این یک چیدمان Mixture-of-Experts تُنُک است: ۶۶ لایه رمزگشا با اندازه نهان ۶٬۱۴۴، دو لایه نخست چگال و ۶۴ لایه باقی‌مانده حامل ۲۵۶ متخصص مسیریابی‌شده به‌علاوه ۲ متخصص مشترک، با ۶ متخصص مسیریابی‌شده فعال به ازای هر توکن. تقریباً ۴٪ از پارامترها روی هر توکن مشخص شلیک می‌کنند — و همین است که سرو کردن مدلی نزدیک به یک تریلیون پارامتر را اصلاً شدنی می‌کند.

دو انتخاب معماری آن‌قدر غیرعادی هستند که ارزش نام بردن دارند. توجه درهم‌بافته است — ۵۵ لایه توجه پنجره‌لغزان روی پنجره‌ای ۵۱۲ توکنی در برابر ۱۱ لایه سراسری، در الگویی تکرارشونده با نسبت ۵ به ۱. و Inkling از RoPE استفاده نمی‌کند: به‌جایش یک سوگیری موقعیت نسبی آموخته‌شده و وابسته به ورودی به کار می‌برد، در کنار کانولوشن‌های علّی کوتاه روی تصویرسازی‌های کلید/مقدار و شاخه‌های باقی‌مانده. یادداشت‌های معماری سباستین راشکا هر دو را انحرافی واقعی از دستور استاندارد ۲۰۲۶ می‌داند. آموزش برای پارامترهای ماتریسی بزرگ از Muon و برای بقیه از Adam استفاده کرد، و سپس بیش از ۳۰ میلیون رول‌اوت ناهمگام یادگیری تقویتی در پس‌آموزش.

نکته مهم برای مصرف‌کننده API این خرده‌اطلاعات نیست. نکته این است که این یک بنیان در مقیاس مرزی و ذاتاً چندوجهی است که روی ۴۵ تریلیون توکن شامل متن، تصویر، صدا و ویدئو آموزش دیده — نه یک مدل متنی که بعداً یک آداپتور بینایی رویش پیچ شده باشد. تصاویر به‌شکل تکه‌های ۴۰×۴۰ پیکسلی از میان یک تکه‌ساز MLP سلسله‌مراتبی چهارلایه رمزگذاری می‌شوند و همراه با متن در همان رمزگشا پردازش می‌شوند. فهم بصری در هدف پیش‌آموزش حضور داشت.

02W4A16-AUTOROUND-REAP یعنی چه؟

سه روش جداگانه در آن پسوند روی هم چیده شده‌اند و کارهای متفاوتی می‌کنند. فهمیدنشان می‌ارزد، چون این پسوند بزرگ‌ترین تفاوت میان مدلی است که روی API ما فرا می‌خوانید و ایست‌بازرسی‌ای که Thinking Machines منتشر کرد.

REAP — هرس متخصص‌هایی که کسی سراغشان نمی‌رود

REAP مخفف هرس فعال‌سازی متخصص با وزن‌دهی روتر است، از Cerebras Research (arXiv 2510.13999، پذیرفته‌شده در ICLR 2026). در یک MoE با ۲۵۶ متخصص در هر لایه، روتر کار را یکنواخت پخش نمی‌کند: بعضی متخصص‌ها مدام فراخوانده می‌شوند و بعضی به‌ندرت شلیک می‌کنند و وقتی هم می‌کنند سهم کمی دارند. REAP به هر متخصص بر پایه هر دوی مقادیر گیت روتر و نُرم فعال‌سازی‌های خود متخصص امتیاز می‌دهد — متخصصی که اغلب انتخاب می‌شود اما به‌روزرسانی‌های کم‌دامنه می‌دهد کمتر از آنچه شمار انتخابش می‌گوید اهمیت دارد — و کم‌اهمیت‌ها را در یک ضرب و پیش از کوانتیزاسیون حذف می‌کند.

دلیل اینکه هرس را به ادغام متخصص‌ها که مُد روز است ترجیح می‌دهیم این است که این دو بر حسب نوع کار از هم واگرا می‌شوند. ادغام روی بنچمارک‌های تشخیصی رقابتی به نظر می‌رسد و روی بنچمارک‌های تولیدی از هم می‌پاشد. نویسندگان REAP گزارش می‌کنند که هرس دقیقاً روی بارهای کاری‌ای که مردم برایشان API می‌خرند کیفیت را بهتر حفظ می‌کند — تولید کد، فراخوانی ابزار، استدلال چندنوبتی — و آن هم در نسبت‌های فشرده‌سازی بالای ۵۰٪، در مدل‌هایی از ۲۰ میلیارد تا یک تریلیون پارامتر. ادغام، تخصص‌یافتگی روتر را نابود می‌کند؛ هرس، متخصص‌های بازمانده و مسیریابی میانشان را دست‌نخورده باقی می‌گذارد.

AutoRound — آموختن اینکه کجا گِرد کنیم

AutoRound روش کوانتیزاسیون پس از آموزش اینتل است (arXiv 2309.05516، منتشرشده با نام SignRound). کوانتیزاسیون ساده‌لوحانه هر وزن را به نزدیک‌ترین مقدار ۴ بیتی قابل‌نمایش گِرد می‌کند — پیش‌فرضی معقول و در مقیاس بزرگ انتخابی بد، چون خطاهای گِردکردن مستقل نیستند و در طول پشته‌ای ۶۶ لایه‌ای انباشته می‌شوند. AutoRound تصمیم گِردکردن را چیزی می‌بیند که باید بهینه شود: گرادیان کاهشی علامت‌دار جهت گِردکردن و بازه‌های برش وزن را به‌طور مشترک و در طول چند صد گام تنظیم می‌کند و دقت آموزش آگاه به کوانتیزاسیون را بدون بازآموزی قرض می‌گیرد. اینتل بزرگ‌ترین دستاوردها را در تنظیمات بیت-پایینِ حدی و برتری‌ای رقابتی در INT4 گزارش می‌کند.

W4A16 — بیت‌ها کجا خرج می‌شوند

W4A16 قالب عددی است: وزن‌های ۴ بیتی، فعال‌سازی‌های ۱۶ بیتی. وزن‌ها — که در یک مدل ۹۷۵ میلیاردی بر حافظه غلبه دارند — به تقریباً یک‌چهارم ردّ پای BF16 کوچک می‌شوند، در حالی که حساب‌وکتاب در ۱۶ بیت می‌ماند. این تقسیم به‌طور خاص برای یک مدل بینایی اهمیت دارد: طرح‌هایی که فعال‌سازی را هم کوانتیزه می‌کنند دقیقاً به همان کار عددی ریزدانه‌ای آسیب می‌زنند که فهم تصویر به آن وابسته است — خواندن یک برچسب کوچک روی محور، تفکیک یک خط باریک در یک شماتیک، جدا کردن دو سایه مشابه. نگه داشتن فعال‌سازی‌ها روی ۱۶ بیت پهنای باند هزینه می‌کند و دقت را دقیقاً جایی برمی‌گرداند که یک بار کاری بینایی متوجهش می‌شود.

روی هم، این سه چیز مدلی می‌دهند که جا می‌شود و سریع می‌ماند، بدون پرتگاه کیفیتی رده تهاجمی 3BIT-REAP که روی بزرگ‌ترین بنیان‌ها به کار می‌بریم. همین بده‌بستان است که قیمت بازتابش می‌دهد.

03بینایی: یک API تحلیل تصویر بدون رد درخواست

Inkling یکی از چهار مدل دارای بینایی در کاتالوگ ماست، در کنار Kimi-K3 و Kimi-K2.6 و MiniMax-M3. نتایج بینایی منتشرشده مدل پایه، از انتشار Thinking Machines، ۷۳٫۳٪ در MMMU Pro (استاندارد ۱۰) و ۷۸٫۱٪ در پرسش‌های استدلالی CharXiv است — که وقتی به مدل اجازه اجرای Python روی نمودار داده شود به ۸۲٫۰٪ می‌رسد. اینها اعداد خودِ آن آزمایشگاه برای ایست‌بازرسی کوانتیزه‌نشده‌اند؛ آنها را سقف این خانواده بدانید نه اندازه‌گیری بیلد ما.

CharXiv همانی است که ارزش درنگ کردن دارد، چون دقیقاً بر همان دلیلی منطبق است که مردم به‌جای یک سرویس OCR سراغ یک API بینایی می‌روند. این بنچمارک استدلال روی نمودارهای علمی را می‌سنجد — خواندن یک مقدار از روی محور، مقایسه دو سری، توجه به معکوس شدن یک روند. نه «چه متنی در این تصویر هست» بلکه «این شکل چه ادعایی می‌کند، و آیا ادعا درست است». همین است که فرستادن یک تصویر به یک مدل استدلالی ۹۷۵ میلیاردی به‌جای یک کپشن‌نویس کوچک را توجیه می‌کند.

فرستادن تصویر کاری عادی و سازگار با OpenAI است — یک بخش محتوایی image_url روی /v1/chat/completions، یک بلوک image به سبک Anthropic روی /v1/messages، یا معادلش روی /v1/responses. هر سه گویش به همان وزن‌ها می‌خورند و هر سه استریم می‌کنند؛ همانی را بردارید که SDK فعلی‌تان از پیش بلد است. یک نمونه کارشده در بخش ۰۹ هست.

بخش بدون سانسور برای بینایی بیشتر از متن اهمیت دارد. یک لایه رد درخواست روی اندپوینت بینایی به‌طور غیرعادی کندذهن است، چون معمولاً تصویر را پیش از آنکه مدل درباره درخواست استدلال کند دسته‌بندی می‌کند. کار مشروع مدام گیر می‌افتد: عکس یک زخم در خط لوله یادداشت‌های بالینی، یک اسکرین‌شات جرم‌شناسی در گزارش یک رخداد، یک فریم از فیلمی که برای نقد تحلیل می‌شود، یک اسکن پزشکی، تصویر سندی که اتفاقاً نامی در آن هست. Inkling روی گیت‌وی ما هیچ چنین دسته‌بندی جلوی خود ندارد. به آنچه فرستاده‌اید نگاه می‌کند و به پرسشی که پرسیده‌اید پاسخ می‌دهد. محصول همین است.

04خروجی ساختاریافته: response_format بله، json_schema خیر

این تنها جایی است که Inkling از بیشتر کاتالوگ کم‌توان‌تر است، و بهتر است برایش برنامه بریزید تا اینکه در محیط عملیاتی کشفش کنید.

قابلیتinklingKimi-K2.6MiMo-V2.5Laguna-S-2.1
بینایی (ورودی تصویر)بلهبلهبلهخیر
response_formatبلهبلهبلهخیر
json_schemaخیربلهبلهخیر
فراخوانی ابزاربلهبلهبلهبله
تلاش استدلالبلهبلهبلهبله

response_format: {"type": "json_object"} کار می‌کند — JSON نحواً معتبر می‌گیرید. آنچه نمی‌گیرید رمزگشایی مقیدشده به گرامرِ اسکیمایی است که خودتان می‌دهید، جایی که نمونه‌گیر فیزیکاً از تولید توکنی که ساختار شما را نقض کند بازداشته می‌شود. نام فیلدها، عضویت در enum و حضور کلیدهای الزامی انتخاب مدل‌اند نه تضمین.

سه راه برای کنار آمدن با این، به ترتیب صعودی قابلیت اتکا:

  1. اسکیما را در پرامپت بدهید و اعتبارسنجی کنید. اسکیما را به‌شکل JSON عینی در پرامپت سیستمی بگذارید، response_format را روی json_object تنظیم کنید، و پاسخ را سمت خودتان اعتبارسنجی کنید. در صورت شکست اعتبارسنجی، با پیام خطای اعتبارسنج پیوست‌شده دوباره تلاش کنید. ارزان است، کار می‌کند، و بودجه‌ای برای تلاش مجدد می‌خواهد.
  2. از یک تعریف ابزار به‌عنوان اسکیما استفاده کنید. فراخوانی ابزار پشتیبانی می‌شود، و تعریف پارامترهای یک تابع خودش یک JSON Schema است. یک ابزار تکی با نامی متناسب با استخراجی که می‌خواهید اعلام کنید، اجباری‌اش کنید، و آرگومان‌ها را بخوانید. این معمولاً قوی‌ترین گزینه روی Inkling است و هزینه اضافه‌ای هم ندارد.
  3. کار را میان دو مدل تقسیم کنید. بگذارید Inkling بینایی و استدلال را به‌شکل نثر انجام دهد، سپس آن نثر را برای گام ساختاردهی به MiMo-V2.5-W8A16 با ۰٫۵۰ / ۲٫۰۰ دلار و یک json_schema واقعی بدهید. دو فراخوان، اما دومی ارزان است، از نظر شکل قطعی است، و مدلی که باید باهوش باشد همانی است که تصویر را دیده.

گزینه ۳ الگویی است که برای هر خط لوله استخراج پرحجم توصیه می‌کنیم. قیمت اضافه را فقط برای گامی بپردازید که به آن نیاز دارد.

05این قیمت اضافه چه می‌خرد؟

با ۱٫۴۲ دلار ورودی / ۶٫۰۷ دلار خروجی به ازای هر میلیون توکن، Inkling عامدانه در میانه کاتالوگ ما می‌نشیند. شش تا از دوازده مدل روی کف ۰٫۵۰ / ۲٫۰۰ دلار هستند. Kimi-K3 — پرچم‌دار، که آن هم بینایی دارد — ۳٫۸۳ / ۱۹٫۱۲ دلار است. Inkling روی خروجی تقریباً سه برابر کف و تقریباً یک‌سوم پرچم‌دار است.

Kimi-K319.12
inkling6.07
DeepSeek-V4-Pro3.90
Kimi-K2.63.67
MiniMax-M32.00

قیمت خروجی، دلار به ازای هر ۱M توکن، نرخ‌های فهرست گیت‌وی Shannon AI، سپتامبر ۲۰۲۶. پهنای میله متناسب با قیمت است؛ بلندتر یعنی گران‌تر.

این هم خوانش صادقانه از جایی که این قیمت اضافه خرج خودش را درمی‌آورد — و جایی که نمی‌آورد.

بار کاریاز Inkling استفاده شود؟چرا
استدلال روی نمودار / شماتیکبلهاعداد منتشرشده CharXiv و MMMU Pro همان چیزی است که این بنیان در آن قوی‌ترین است.
عامل‌های مبتنی بر اسکرین‌شاتبلهبینایی به‌علاوه فراخوانی ابزار به‌علاوه ۲۶۲ هزار توکن تاریخچه در یک مدل، بدون تحویل‌دادن کار.
اسناد طولانی همراه با شکلبلهمتن و تصویر یک رمزگشا و یک پنجره کانتکست مشترک دارند.
تولید متن سادهخیرشش مدل با ۰٫۵۰ / ۲٫۰۰ دلار این کار را می‌کنند. دارید بابت مسیر بینایی‌ای پول می‌دهید که هرگز فرا نمی‌خوانید.
استخراج انبوه با اسکیماخیربدون json_schema. MiMo-V2.5 ارزان‌تر و مقیدشده است.
سقف مطلق مرزیخیرKimi-K3 پرچم‌دار است. اگر سقف قید شماست، آن ۳٫۱ برابر را بپردازید.
ارزان‌ترین بینایی ممکنخیرMiniMax-M3 با ۰٫۵۰ / ۲٫۰۰ دلار بینایی دارد. از آنجا شروع کنید و اگر کیفیت مجبورتان کرد بالا بروید.

این را یک قاعده مسیردهی بخوانید نه یک رتبه‌بندی. Inkling برای باندی باریک‌تر از آنچه یک صفحه بازاریابی ادعا می‌کند مناسب است، و درون آن باند شکست دادنش از نظر قیمت سخت است. بیرون آن، ترجیح می‌دهیم مدل ارزان‌تر را به شما بفروشیم و نگهتان داریم.

06پنجره کانتکست ۲۶۲ هزار توکنی و اینکه واقعاً چه چیزی در آن جا می‌شود

هر دوازده مدل روی گیت‌وی با کانتکست ورودی ۲۶۲٬۱۴۴ توکنی و بیشینه خروجی ۱۶٬۳۸۴ توکنی به ازای هر درخواست سرو می‌شوند. این یکنواختی عمدی است: مدیریت کانتکست هرگز نباید در کد شما به یک شاخه مدل‌به‌مدل تبدیل شود، و جایگزین کردن inkling با MiniMax-M3 در یک فایل پیکربندی نباید بی‌سروصدا آنچه را جا می‌شود عوض کند.

به فاصله‌اش با بنیان منتشرشده توجه کنید: Thinking Machines برای Inkling عدد ۱٬۰۴۸٬۵۷۶ توکن را مستند می‌کند و ما یک برش ۲۶۲ هزار توکنی از آن را سرو می‌کنیم. اگر واقعاً یک بار کاری تک‌درخواستیِ یک‌میلیون توکنی دارید، ما اندپوینت آن نیستیم، و بهتر که پیش از ساختن بدانید.

برای درک مقیاس در ۲۶۲ هزار: یک PDF فنی ۴۰۰ صفحه‌ای همراه با شکل‌هایش، یک کدبیس متوسط، چند ساعت رونوشت، یا یک نشست عامل‌محور طولانی حامل ده‌ها نتیجه ابزار و یک مشت اسکرین‌شات — هرکدام در یک درخواست جا می‌شود. روی یک مدل بینایی یادتان باشد تصاویر هم کانتکست مصرف می‌کنند؛ یک اسکرین‌شات متراکم رایگان نیست، و نشستی که فریم استریم می‌کند پنجره را سریع‌تر از نشستی فقط‌متنی پر می‌کند. معماری برای این کار مناسب است: الگوی ۵ به ۱ پنجره‌لغزان به سراسری یعنی بیشتر لایه‌ها در همسایگی‌ای ۵۱۲ توکنی توجه می‌کنند و لایه‌های سراسری به‌طور دوره‌ای ساختار دوربرد را دوباره به میدان می‌آورند.

07تلاش استدلال: پرداختن بابت فکر کردن فقط وقتی لازم است

Inkling تلاش استدلال قابل‌کنترل را در دسترس می‌گذارد — یکی از سودمندترین دسته‌های تنظیم در کاتالوگ. مدل بالادستی سطوحی از none و minimal تا low و medium و high و xhigh و در نهایت max را می‌پذیرد، که روی هر سه گویش از طریق پارامتر استاندارد reasoning_effort در دسترس است.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

این اهرم هزینه‌ای دندان‌دار است، چون توکن‌های استدلال به‌عنوان توکن خروجی با ۶٫۰۷ دلار به ازای هر میلیون صورت‌حساب می‌شوند. Thinking Machines گزارش می‌کند که Inkling روی Terminal Bench 2.1 به امتیازهایی قابل‌مقایسه با Nemotron 3 Ultra می‌رسد، آن هم با تقریباً یک‌سوم توکن‌ها — کارایی توکنی هدفی اعلام‌شده در طراحی سامانه تلاش است، نه یک اتفاق.

در عمل: برای کپشن‌نویسی، دسته‌بندی و استخراج سرراست که پاسخ در تصویر است و به هیچ زنجیره استنتاجی نیاز نیست، low یا minimal را اجرا کنید. high و بالاتر را برای استدلال روی نمودار، مقایسه بصری چندمرحله‌ای و نوبت‌های عامل‌محوری نگه دارید که در آنها یک گام میانی اشتباه گران تمام می‌شود. بیشتر تیم‌ها اصلاً این پارامتر را تنظیم نمی‌کنند و اختلافی چندبرابری در هزینه خروجی را روی میز جا می‌گذارند.

08«بدون سانسور» اینجا یعنی چه — و یعنی چه نیست

مشخصاً: این مدل را بدون لایه رد درخواست و بدون فیلترینگ روی خروجی اجرا می‌کنیم. هیچ دسته‌بندی پرامپت شما را نمی‌خواند تا تصمیم بگیرد مدل اجازه پاسخ دارد یا نه، و هیچ‌کدام هم پیش از استریم شدن پاسخ آن را نمی‌خواند. وقتی مدل نامطمئن است یا دانشش را ندارد، همین را می‌گوید — این خودِ مدل است، نه یک سیاست. آنچه نمی‌گیرید یک رد کردن بازتابی روی موضوعی است که یک محصول عمومی آن را خارج از محدوده می‌داند.

برای بینایی، همین تمام ارزش پیشنهادی است. دسته‌بندهای تصویری که جلوی APIهای بینایی می‌نشینند بی‌دقت‌اند، و نرخ مثبت کاذبشان سخت‌ترین ضربه را به همان کار حرفه‌ای می‌زند که بیشترین نیاز را به این توانمندی دارد: پژوهش امنیتی، بافت‌های بالینی، روزنامه‌نگاری و جرم‌شناسی، نقد فیلم و هنر، و ابزارهای نظارت محتوایی که ناچارند به همان چیزی نگاه کنند که نظارتش می‌کنند. اندپوینتی که بر پایه دسته رد می‌کند نمی‌تواند هیچ‌کدام از اینها را به‌شکل قابل‌اتکا سرو کند.

دو قید صادقانه. نخست، Thinking Machines ارزیابی‌های ایمنی برای استقرار مرجع خودشان منتشر می‌کند — ۷۸٫۰٪ در FORTRESS خصمانه، ۹۵٫۹٪ در FORTRESS خوش‌خیم، ۹۸٫۶٪ در StrongREJECT. آن اعداد پشته آنها را با حفاظ‌های آنها توصیف می‌کنند. مال ما را توصیف نمی‌کنند و ما هم چنان که گویی می‌کنند به آنها استناد نخواهیم کرد. ما همان لایه‌ای را برداشتیم که بخشی از آن اعداد آن را می‌سنجد؛ محصول همین است، و مسئولیت هم.

دوم، «بدون لایه رد درخواست» یعنی «بدون قاعده» نیست. Shannon Lab LLC ذیل یک سیاست استفاده مسئولانه و قوانین جاری ایالات متحده کار می‌کند. برداشتن یک دسته‌بند داوری را به شما منتقل می‌کند، حذفش نمی‌کند. اگر روی این چیزی می‌سازید، پیش از مقیاس دادن سیاست را بخوانید.

09شروع کار

همان نشانی پایه، همان کلید، سه گویش. اگر کد شما از پیش OpenAI یا Anthropic یا Responses API را فرا می‌خواند، عوض کردن رشته مدل معمولاً تمامِ مهاجرت است.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

مرجع کامل پارامترها، شکل‌های /v1/messages و /v1/responses، قالب‌های رویداد استریمینگ و یک پلی‌گراند زنده در مستندات API هستند. کارت مدل یازده مدل دیگر در پژوهش Shannon است.

شفاف از پایه

هر عدد بنیان و روش در بالا از یک منبع اولیه عمومی می‌آید. هیچ‌چیز اینجا بنچمارکی اندازه‌گیری‌شده توسط Shannon نیست و ما هم آن را چنین ارائه نمی‌کنیم — نسخه‌های اصلی را بررسی کنید.

اعداد بنیان، ارقام منتشرشده Thinking Machines Lab برای ایست‌بازرسی کوانتیزه‌نشده Inkling هستند و سقف این خانواده را توصیف می‌کنند نه بیلد کوانتیزه ما را. قیمت‌ها و پرچم‌های قابلیت مقادیر فهرست گیت‌وی Shannon AI تا سپتامبر ۲۰۲۶ هستند.

10پرسش‌های پرتکرار

API بدون سانسور مدل Inkling چیست؟

استقرار Shannon AI از Inkling، همان MoE وزن‌باز با ۹۷۵ میلیارد پارامتر که Thinking Machines Lab در ۱۵ ژوئیه ۲۰۲۶ منتشر کرد. آن را با نام inkling-W4A16-AUTOROUND-REAP سرو می‌کنیم، با کانتکست ۲۶۲٬۱۴۴ توکنی، ورودی تصویر، فراخوانی ابزار و کنترل تلاش استدلال، روی خوشه GPU خودمان، بدون لایه رد درخواست و بدون هیچ فیلترینگی روی خروجی.

آیا Inkling روی API شرکت Shannon ورودی تصویر را پشتیبانی می‌کند؟

بله — یکی از چهار مدل دارای بینایی در کاتالوگ. یک بخش محتوایی image_url روی /v1/chat/completions بفرستید، یا یک بلوک image روی /v1/messages. چون لایه رد درخواستی وجود ندارد، به‌جای رد کردن بر پایه دسته، آنچه را در قاب هست توصیف می‌کند.

آیا Inkling از خروجی ساختاریافته json_schema پشتیبانی می‌کند؟

خیر. response_format برای حالت شیء JSON کار می‌کند؛ json_schema که با گرامر اعمال می‌شود کار نمی‌کند. اگر به آن نیاز دارید از Kimi-K2.6 یا MiMo-V2.5 استفاده کنید، یا روی Inkling یک تعریف ابزار اجباری را به‌عنوان اسکیمای خود به کار ببرید و سمت خودتان اعتبارسنجی کنید.

W4A16-AUTOROUND-REAP یعنی چه؟

وزن‌های ۴ بیتی با فعال‌سازی‌های ۱۶ بیتی؛ AutoRound (اینتل) که به‌جای گِردکردن به نزدیک‌ترین مقدار، گِردکردن و برش را با گرادیان کاهشی علامت‌دار می‌آموزد؛ و REAP (سربراس) که متخصص‌های کم‌اهمیت MoE را در یک ضرب و بر پایه امتیاز مقادیر گیت روتر و نُرم فعال‌سازی‌ها هرس می‌کند.

هزینه‌اش چقدر است و آیا این قیمت اضافه ارزشش را دارد؟

۱٫۴۲ دلار ورودی / ۶٫۰۷ دلار خروجی به ازای هر میلیون توکن — حدود ۳ برابر رده کف ما و حدود یک‌سوم پرچم‌دار Kimi-K3. برای استدلال روی نمودار، عامل‌های مبتنی بر اسکرین‌شات و اسناد پر از شکل ارزشش را دارد. برای متن ساده یا استخراج انبوه با اسکیما ندارد.

پنجره کانتکست چقدر است؟

۲۶۲٬۱۴۴ توکن ورودی و ۱۶٬۳۸۴ توکن خروجی به ازای هر درخواست، یکسان در هر دوازده مدل. بنیان بالادستی ۱٬۰۴۸٬۵۷۶ توکن را مستند می‌کند؛ ما یک برش ۲۶۲ هزار توکنی را سرو می‌کنیم تا رفتار کانتکست هرگز به یک استثنای مدل‌به‌مدل تبدیل نشود.

API بدون سانسور Inkling را امتحان کنید

بینایی، کانتکست ۲۶۲ هزار توکنی، سه گویش API، بدون لایه رد درخواست.

مطالعه مستندات API مرور همه کارت‌های مدل

Shannon Lab LLC · نیومکزیکو، ایالات متحده · ذیل سیاست استفاده مسئولانه ما اداره می‌شود


منابع: Thinking Machines Lab — معرفی Inkling · Hugging Face — به Inkling خوش آمدید · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · سباستین راشکا — یادداشت‌های معماری و بنچمارک Inkling. بنچمارک‌های بنیان از سوی آزمایشگاه و برای ایست‌بازرسی کوانتیزه‌نشده گزارش شده‌اند.

همه لینک‌های پژوهش