API بدون سانسور MiMo با وفاداری ۸ بیتی
بنیان استدلالمحور MiMo شیائومی، که بدون لایه رد درخواست و با W8A16 سرو میشود — بالاترین رده وفاداری کوانتیزاسیون که اجرا میکنیم — با قیمت کف کاتالوگ.
خلاصه
MiMo-V2.5-Pro · W8A16 همان مدل وزنباز MiMo-V2.5-Pro شیائومی است که روی خوشه GPU خودِ Shannon با وزنهای ۸ بیتی / فعالسازیهای ۱۶ بیتی سرو میشود — کمفشردهترین رده در کاتالوگ دوازدهمدلی ما. کانتکست ۲۶۲٬۱۴۴ توکنی، ۱۶٬۳۸۴ توکن خروجی به ازای هر درخواست، فراخوانی ابزار، استدلال، خروجی ساختاریافته با اسکیمای JSON، استریمینگ روی سه گویش API، و بدون لایه رد درخواست یا فیلتر خروجی، با ۰٫۵۰ دلار ورودی / ۲٫۰۰ دلار خروجی به ازای هر میلیون توکن — کف کاتالوگ. فقطمتنی؛ برای تصویر از MiMo-V2.5 · W8A16 استفاده کنید.
بیشتر کاتالوگها شمار پارامتر به شما میفروشند. این عدد اشتباهی است برای خرید کردن، چون هر مدل وزنباز بزرگی که واقعاً از پسش برمیآیید جایی فشرده شده تا جا شود. پرسش صادقانه «پیش از فشرده شدن چقدر بزرگ بود؟» نیست بلکه «چقدر از آن هنوز اینجاست؟» است. این مقاله درباره همین پرسش است، و درباره مدلی در صف ما که پاسخش تقریباً همهاش است.
01API بدون سانسور MiMo واقعاً چه چیزی به شما میدهد
API بدون سانسور MiMo یک شناسه مدل است، MiMo-V2.5-Pro-W8A16، که از سه گویش در دسترس است و هر سه به همان وزنها روی خوشه GPU خودمان میخورند: /v1/chat/completions و /v1/messages و /v1/responses. هر سه استریم میکنند و از فراخوانی ابزار و استدلال پشتیبانی میکنند.
بدون سانسور اینجا معنایی باریک دارد: هیچ لایه رد درخواستی جلوی مدل نیست، هیچ فیلتری روی خروجیاش نیست. ما رهگیری، دستهبندی یا بازنویسی نمیکنیم. رفتار خودِ بنیان را میگیرید — که برای یک مدل وزنباز در سطح پژوهشی یعنی با پژوهش امنیتی، داستان بزرگسال یا خشن، استدلال پزشکی و حقوقی، و درخواستهایی که اندپوینتهای تجاری میزبانیشده بازتابی رد میکنند درگیر میشود. این یک ابزار حرفهای ذیل سیاست استفاده مسئولانه ماست، نه نبودِ قاعده.
02تبار MiMo: شرطبندی شیائومی روی پیشآموزش استدلالمحور
MiMo یک مشتق Llama با نامی تازه نیست؛ تباری متمایز از تیم MiMo شیائومی است، و ایده بنیادینش پیش از آنکه مدل را ارزیابی کنید اهمیت دارد. این تبار با MiMo-7B آغاز میشود (۳۰ آوریل ۲۰۲۵، با مجوز MIT)، که گزارش فنیاش استدلال میکند بیشتر آزمایشگاهها استدلال را مسئلهای در پسآموزش میبینند که باید با یادگیری تقویتی رویش پیچ شود، و این وارونه است. شیائومی بهجایش پیشآموزش را حول آن بازساخت: ترکیبی سهمرحلهای در ۲۵ تریلیون توکن، که مرحله دومش تقریباً ۷۰٪ ریاضیات و کد است و مرحله سومش ردهای استدلالی مصنوعی را وارد میکند و همزمان کانتکست را از ۸ هزار به ۳۲ هزار میرساند — بهعلاوه یک هدف پیشبینی چندتوکنی که همزمان بهعنوان یک سر رمزگشایی گمانهزنانه هم کار میکند.
نتیجه یک مدل پایه ۷ میلیاردی بود که مانند چیزی بسیار بزرگتر رفتار میکرد. MiMo-7B-Base امتیاز ۳۲٫۹ در AIME 2024 گرفت، جایی که Qwen2.5-7B امتیاز ۱۰٫۱، Gemma-2-9B صفر و Llama-3.1-8B امتیاز ۰٫۳ گرفتند. سپس پسآموزش، یادگیری تقویتی را روی ۱۳۰٬۰۰۰ مسئله ریاضی و کدنویسیِ قابلراستیآزمایی اجرا کرد، با پاداش کدنویسی مبتنی بر دشواری تست، و از تله پاداش تُنُک گریخت که یادگیری تقویتی کد را بیثبات میکند. نتیجه جلوتر از o1-mini نشست:
AIME 2025، ارقام گزارششده شیائومی از گزارش فنی MiMo (arXiv:2505.07608). همچنین برای MiMo-7B-RL امتیاز ۹۵٫۸ در MATH-500 و ۵۷٫۸ در LiveCodeBench v5 گزارش شده است.
این خانواده بهجای انحراف، گسترده شد: MiMo-VL-7B (ژوئن ۲۰۲۵) یک انکودر Qwen2.5-ViT را روی همان تنه گذاشت، و دسامبر ۲۰۲۵ MiMo-Audio-7B را آورد بهعلاوه نخستین عضو MoE، یعنی MiMo-V2-Flash (۳۰۹ میلیارد کل / ۱۵ میلیارد فعال، ۲۷ تریلیون توکن، دقت مخلوط FP8). MiMo-V2-Pro در مارس ۲۰۲۶ با تقریباً یک تریلیون پارامتر و ۴۲ میلیارد فعال و کانتکست یکمیلیونی از پی آن آمد، پس از هفتهها حضور روی OpenRouter با نام «Hunter Alpha». MiMo-V2.5 و MiMo-V2.5-Pro در ۲۲ آوریل ۲۰۲۶ با هم عرضه شدند، هر دو با مجوز MIT.
03درون MiMo-V2.5-Pro: بنیان چه شکلی است
بنا بر کارت مدل منتشرشده شیائومی، MiMo-V2.5-Pro یک مدل Mixture-of-Experts تُنُک با ۱٫۰۲ تریلیون پارامتر کل و ۴۲ میلیارد فعال به ازای هر توکن در ۷۰ لایه است — یکی چگال و ۶۹ تای MoE — و ۳۸۴ متخصص مسیریابیشده، ۸ تا به ازای هر توکن. اندازه نهان ۶۱۴۴ است، با اندازه میانی باریک ۲۰۴۸ در MoE.
دو انتخاب، حس کار کردن با آن را شکل میدهند. پشته توجه ترکیبی است: ۱۰ لایه توجه کامل و ۶۰ لایه پنجرهلغزان با پنجرهای به اندازه ۱۲۸، بهعلاوه یک سوگیری چاهک توجه قابلیادگیری. شیائومی گزارش میکند این کار ذخیرهسازی کش KV را در مقایسه با توجه کاملاً سراسری نزدیک به ۷ برابر کم میکند و همزمان کیفیت کانتکست بلند را حفظ میکند — همان تفاوت میان پنجرهای که اسماً بلند است و پنجرهای که از پس پر کردنش برمیآیید. همچنین سه لایه پیشبینی چندتوکنی دارد که به رمزگشا یک سر گمانهزنانه میدهد.
آموزش ۲۷ تریلیون توکن با طول دنباله بومی ۳۲ هزار و در دقت مخلوط FP8 (E4M3) بود، سپس تنظیم دقیق نظارتشده، یادگیری تقویتی عاملمحور در مقیاس بزرگ و تقطیر روی-سیاست با چند معلم. این جزئیات FP8 را در ذهن نگه دارید؛ قویترین دلیل تکی برای سرو کردن این بنیان با ۸ بیت است.
شیائومی برای این مدل ۵۷٫۲٪ در SWE-bench Pro، ۷۲٫۹ در τ3-Bench برای کاربرد ابزار و ۴۸٫۰٪ در Humanity's Last Exam را گزارش میکند — اعداد خودِ فروشنده روی مدل فشردهنشده، که همانطور هم نقلشان میکنیم.
ما پنجرهای ۲۶۲٬۱۴۴ توکنی سرو میکنیم نه یکمیلیون کامل بنیان — کانتکستی که میتوانیم با سرعت تضمینش کنیم، بهجای عددی سرتیتری که زیر بار افت میکند.
04W8A16 دقیقاً یعنی چه
هر مدل در این کاتالوگ یک پسوند کوانتیزاسیون دارد که بهجای یک رده بازاریابی، دگردیسیای واقعی و قابلاندازهگیری را توصیف میکند. مال ما 3BIT-REAP و W4A16-AUTOROUND-REAP و W8A16 هستند. MiMo-V2.5-Pro سومی است.
این نماد دو نیمه دارد. W8 دقت وزن است: هر پارامتر بهجای یک اعشاری ۱۶ بیتی بهشکل یک عدد صحیح ۸ بیتی ذخیره میشود، با یک ضریب مقیاس مشترک برای هر گروه کوچک تا بازه دینامیکی محلی هر گروه حفظ شود. A16 دقت فعالسازی است: مقادیری که هنگام استنتاج میان لایهها جریان دارند روی ۱۶ بیت میمانند. وزنها فشرده میشوند؛ حسابوکتاب نه.
آن نیمه دوم کاری خاموش و مهم میکند. کوانتیزه کردن فعالسازیها بسیار سختتر از وزنهاست: آنها کانالهای پرت حدی دارند — چند بُعد که دامنهشان بقیه را کوچک نشان میدهد و سهمی نامتناسب از رفتار مدل را حمل میکنند. آنها را به دقت پایین بفشارید و دقیقاً همان سیگنالی را میبُرید که لازم داشتید. طرحهای فقط-وزن از این مسئله دور میزنند و مسیر فعالسازی را دستنخورده میگذارند، و به همین دلیل است که کار جدی در کوانتیزاسیون به سمت آنها همگرا شده.
پس پرسش عملی به یک چیز خلاصه میشود: یک وزن چند بیت را دستکم میتواند تحمل کند؟
05W8A16 در برابر W4A16 و ۳ بیت: افت واقعاً کجا میرود
بزرگترین مطالعه منتشرشده در این باره از Neural Magic و Red Hat است، با عنوان «Give Me BF16 or Give Me Death»? Accuracy-Performance Trade-Offs in LLM Quantization — بیش از ۵۰۰٬۰۰۰ ارزیابی روی خانواده Llama-3.1 در اندازههای ۸ و ۷۰ و ۴۰۵ میلیارد. نتیجه سرتیتریشان، با اعداد خودشان:
| قالب | چه چیزی فشرده میشود | بازیابی گزارششده نسبت به BF16 |
|---|---|---|
| W8A8-FP (۸ بیتی) | وزنها + فعالسازیها، اعشاری | ~۹۹٫۷۵٪ میانگین — «عملاً بدون اتلاف» |
| W8A8-INT (۸ بیتی) | وزنها + فعالسازیها، صحیح | ۹۹ تا ۱۰۰٪ در ۸B/70B؛ ۹۸٫۲ تا ۹۹٫۳٪ در 405B |
| W4A16-INT (۴ بیتی) | فقط وزنها | ۹۸ تا ۹۹٫۴٪ (۸B)؛ ۹۸٫۶ تا ۹۹٫۸٪ (70B) |
ارقام گزارششده Neural Magic / Red Hat (arXiv:2411.02355) روی مدلهای Llama-3.1 — شکل این بدهبستان را نشان میدهند، نه امتیاز این مدل را.
خوانش صادقانهاش این است که به نظر استدلالی علیه اهمیت دادن میآید: ۴ بیت ۹۸ تا ۹۹٪ را بازمیگرداند، پس چرا اصلاً توجه کنیم؟ چون آنها بنچمارکهای چندگزینهای دانشگاهی هستند، که تقریباً بدترین ابزار موجود برای تشخیص آسیب کوانتیزاسیوناند. یک پرسش بنچمارک یک پاسخ درست دارد که در یکی دو توکن به آن میرسید، و خطای کوانتیزاسیون نویزی کوچک و تقریباً با میانگین صفر روی هر لوجیت است؛ در پرسشی کوتاه با حاشیهای گشاد، آن نویز جذب میشود.
حالا ۴٬۰۰۰ توکن از یک سند فنی بنویسید، یک لحن را در طول داستانی ۴۰٬۰۰۰ توکنی نگه دارید، یا JSONای تولید کنید که باید در نخستین تلاش اعتبارسنجی شود. همان نویز هزاران بار پشت سر هم نمونهگیری میشود، و هر نمونه شرط بعدی را میسازد. حالت شکست یک پاسخ نادرست نیست — انحراف است: شل شدن تدریجی چنگ روی دستوری که از نوبت اول داده شده، شخصیتی که حوالی توکن ۳٬۰۰۰ دیگر شبیه خودش حرف نمیزند، آکولاد بستهای که هرگز نمیآید.
بیتها واقعاً کجا خرج میشوند
خطای کوانتیزاسیون بهطور یکنواخت روی تواناییهای مدل پخش نمیشود؛ در دنباله متمرکز میشود. رفتارهای پرجرم — انگلیسی دستوری، شکل یک تابع پایتون، هزار حقیقت نخست درباره جهان — بهشکل افزونه در بسیاری از وزنها رمزگذاری شدهاند و تقریباً از هر چیزی جان به در میبرند. گوشههای دقیقتنظیمشده و کمدامنه توزیع وزنها چیزهای کمیاب را نگه میدارند: امضای دقیق یک API گمنام، آهنگ کلام یک نویسنده مشخص، تفاوت میان دو CVE مجاور. همینها مقادیریاند که یک شبکه درشت آنها را در هم گِرد میکند.
گام از ۴ بیت به ۳ بیت جایی است که این دیگر یک مالیات نیست و یک پرتگاه میشود. قوانین مقیاسپذیری استنتاج k-بیتی دتمرز و زتلموییر نشان داد ۴ بیت نقطهای است که دقت بدون-نمونه به ازای هر بیت از حافظه مدل را بیشینه میکند و پایینتر از آن افت غالب میشود. چهار بیت به هر گروه ۱۶ سطح میدهد؛ سه بیت ۸ سطح. دارید تفکیکپذیری یک شبکه از پیش درشت را نصف میکنید، و خطای گِردکردن به ازای هر وزن تقریباً دو برابر میشود.
حسابوکتابی که تعیینکننده است
مقایسهای که ارزش انجام دادن دارد حسابوکتاب است نه بنچمارک. آنچه از فشردهسازی جان به در میبرد تقریباً پارامترها × بیت به ازای هر پارامتر است — حجم حامل اطلاعات فایل وزنها. دو بنیان فرضی با کیفیت برابر به ازای هر پارامتر را در نظر بگیرید:
- بنیان الف: ۴۰۰ میلیارد پارامتر با ۳ بیت ← تقریباً ۱۵۰ گیگابایت وزن حفظشده.
- بنیان ب: ۱۶۰ میلیارد پارامتر با ۸ بیت ← تقریباً ۱۶۰ گیگابایت وزن حفظشده.
بر پایه شمار خام پارامتر، الف دو و نیم به یک میبرد — همان عددی که کارت مدل با آن شروع میکند. بر پایه اطلاعات حفظشده، این دو همارزند، و ب یک برتری ساختاری هم دارد: وزنهایش روی شبکهای مینشینند بهقدر کافی ریز که رفتار دنبالهایاش دستنخورده مانده، حال آنکه دنباله الف در توده کوانتیزه شده است. الف چیزهای بیشتری میداند؛ ب آنچه را میداند تیزتر میداند. برای تولید بلند، قالببندی دقیق، کنترل سبک و پایبندی وفادارانه در کانتکست بلند، ب را بردارید.
حسابوکتابی توضیحی است نه بنچمارک: نشان میدهد چرا «بنیان بزرگتر» و «مدل بهتر سرو شده» دو ادعای متفاوتاند.
06چرا ۲۷ تریلیون توکن آموزشی کوانتیزاسیون تهاجمی را بدتر میکند
یافته دوم و کمتر شهودی مستقیماً به این بنیان مربوط است. مقاله کومار و همکاران در ICLR 2025 با عنوان Scaling Laws for Precision نشان میدهد هرچه مدل روی داده بیشتری آموزش دیده باشد، کوانتیزاسیون پس از آموزش آسیب بیشتری به آن میزند. دقت پایین شمار پارامتر مؤثر مدل را کم میکند، و این افت با داده پیشآموزشی جذبشده بزرگتر میشود — آنقدر که اگر قصد کوانتیزاسیون تهاجمی دارید، داده پیشآموزشی اضافی میتواند خالصاً زیانبار باشد، چون دارید ساختار ریزی مینشانید که شبکه پاکش میکند.
مدلی که روی ۵ تریلیون توکن آموزش دیده ساختار وزنی درشت و افزونه دارد و فضای اضافی برای خرج کردن. مدلی که روی ۲۷ تریلیون توکن آموزش دیده — بودجه MiMo-V2.5-Pro — آن داده اضافی را صرف نوشتن تمایزهای ریزتر در مقادیر وزنی دقیقتر کرده، و این دقیقاً همان چیزی است که یک شبکه ۳ بیتی نمیتواند نمایش دهد.
و بعد آن حقیقت FP8 از بخش ۰۳ هست، تمیزترین استدلال این مقاله. مدل MiMo-V2.5-Pro با دقت مخلوط FP8 پیشآموزش دیده است. وزنهایش از همان آغاز بهدست بهینهسازی شکل گرفتند که با تقریباً هشت بیت دقت کار میکرد. پس سرو کردنش با وزنهای ۸ بیتی یک پسفکر اتلافی تحمیلشده بر مدلی ۱۶ بیتی نیست — نزدیک به بازگرداندن وزنها به همان رژیم عددی است که در آن آموخته شدهاند. زیر بیت هشتم ساختار ریز کمی هست که از دست برود. همین را نمیتوان درباره آن وزنها وقتی تا سه بیت پایین کشیده شوند گفت.
07REAP: چرا هرس متخصص نوعی افت متفاوت از گِردکردن است
دو تا از سه رده پسوند REAP دارند — عملیاتی از نوعی بهکلی متفاوت با کوانتیزاسیون. REAP (هرس فعالسازی متخصص با وزندهی روتر، Cerebras Research، arXiv:2510.13999، ICLR 2026) فشردهسازی یکضربی برای مدلهای MoE تُنُک است: به هر متخصص بر پایه مقادیر گیت روتر و نُرم فعالسازی خود متخصص امتیاز میدهد و بعد کمامتیازترینها را حذف میکند. Cerebras نتایجی تقریباً بدون اتلاف روی تولید کد و فراخوانی ابزار حتی با هرس ۵۰٪ متخصصها گزارش میکند.
ما REAP را دقیقاً به همان دلیلی به کار میبریم که برایش وجود دارد: روی بزرگترین بنیانها همین است که سرو کردنشان را ممکن میکند. اما به تفاوت نوعیاش توجه کنید. کوانتیزاسیون هر وزن را کمی محو میکند؛ هرس متخصصها را بهکلی حذف میکند. اگر بار کاری شما بهشدت به تواناییای مسیر میدهد که در متخصصی بهندرتانتخابشونده زندگی میکرد — یک زبان برنامهنویسی کمکاربرد، یک واژگان تخصصی — آن توانایی افت نکرده. رفته است، و هیچ پرامپتی برنمیگرداندش. میانگینها عالی میمانند؛ حالت دنبالهای شما شاید نه.
مدل MiMo-V2.5-Pro · W8A16 هیچ پسوند REAP ندارد. هر ۳۸۴ متخصص حاضرند و روتر از همان مجموعه کاملی انتخاب میکند که بنیان با آن آموزش دیده است.
| رده | بیت وزن | متخصصها | چه چیزی را معاوضه میکنید |
|---|---|---|---|
| W8A16 | 8 | همه حاضر | هیچ چیز ساختاری. رده وفاداری. |
| W4A16-AUTOROUND-REAP | 4 | هرسشده | جزئیات ریز وزن بهعلاوه متخصصهای کمترافیک، در ازای بنیانی بسیار بزرگتر در همان باند قیمتی. |
| 3BIT-REAP | 3 | هرسشده | بخش قابلتوجهی از تفکیکپذیری وزن بهعلاوه متخصصهای کمترافیک — بهای اجرای بزرگترین بنیانها با سرعت. |
رده میانی سزاوار دادرسی منصفانه است. AutoRound گِردکردن سادهلوحانه نیست: روش اینتل (arXiv:2309.05516) از گرادیان کاهشی علامتدار در تقریباً ۲۰۰ گام استفاده میکند تا تصمیمهای گِردکردن و بازه برش را به ازای هر گروه وزن تنظیم کند، و در بیشتر تنظیمات با ۴ بیت تقریباً بدون اتلاف گزارش شده و در بیشتر پیکربندیهای آزمودهشده از GPTQ و AWQ و HQQ و OmniQuant جلو زده است. یک مدل W4A16-AUTOROUND واقعاً یک مدل ۴ بیتی خوب است. اما همچنان یک مدل ۴ بیتی است.
08چه کسی باید رده ۸ بیتی را بردارد — و چه کسی نباید
مدل MiMo-V2.5-Pro · W8A16 روی قیمت کف کل کاتالوگ مینشیند — ۰٫۵۰ دلار ورودی / ۲٫۰۰ دلار خروجی به ازای هر میلیون توکن، همان باند مدلهای ۴ بیتی رده ورودی و تقریباً یکچهارم قیمت ورودی گرانترین مدلی که سرو میکنیم. شما بابت وفاداری قیمت اضافه نمیپردازید؛ محور دیگری از همان بودجه را انتخاب میکنید.
وقتی این را بردارید که
- طول خروجی خودِ کار است. نوشتار فنی بلند، داستان در حد یک فصل، بازبینی کامل مستندات — هر توکن تولیدشده توکنی است که نویز فشردهسازی در آن انباشته میشود.
- لحن و ثبات اهمیت دارند. کار روی شخصیت، لحن برند، رجیستری که در طول یک نشست طولانی حفظ شود. سبک در دنباله زندگی میکند، و دنباله همان چیزی است که کوانتیزاسیون درشت اول از همه میخورد.
- خروجی ساختاریافته باید در نخستین تلاش اعتبارسنجی شود. مدل از
json_schemaوresponse_formatپشتیبانی میکند؛ پایبندی به اسکیما یک ویژگی دقتی است، و هر تلاش مجددی که پرهیز شود پول و تأخیر صرفهجوییشده است. - دارید کانتکست را پر میکنید. پایبندی به دستور در توکن ۲۰۰٬۰۰۰ سختتر از توکن ۲٬۰۰۰ است و با دقت وزن افت میکند — همانطور که یک ردّ استدلالی بلند هم افت میکند، چون خطاها به همان شکل انباشته میشوند.
- کار ذاتاً بدون سانسور است. پژوهش امنیتی، تیم قرمز، داستان بیفیلتر، تحلیل حساس پزشکی یا حقوقی — جایی که پاسخ محتاطانه از هیچ پاسخی بدتر است.
وقتی چیز دیگری را بردارید که
- به بینایی نیاز دارید. این مدل فقطمتنی است؛ همخانوادهاش MiMo-V2.5 · W8A16 با همان قیمت و همان رده بینایی دارد.
- روی پرسوجوهای کوتاه به گستردهترین دانش جهانی نیاز دارید. همین رژیمی است که در آن پارامترهای اضافی یک بنیان ۳ بیتی بسیار بزرگتر برنده میشوند و آسیب کوانتیزاسیونش بهسختی دیده میشود.
- بار کاری شما دستهبندی کوتاه و پرحجم است. آسیب کوانتیزاسیون آنجا تقریباً نامرئی است — هرچه سریعتر است بخرید.
09فراخوانی API بدون سانسور MiMo
اگر کد شما SDK شرکت OpenAI را هدف میگیرد، عوض کردن نشانی پایه و شناسه مدل تمامِ مهاجرت است:
curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer $SHANNON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MiMo-V2.5-Pro-W8A16",
"messages": [
{"role": "user", "content": "Draft the threat model section."}
],
"reasoning_effort": "high",
"max_tokens": 16384,
"stream": true
}'
اندپوینتهای /v1/messages و /v1/responses همان شناسه و همان قابلیتها را میپذیرند. مرجع پارامترها، اسکیماهای فراخوانی ابزار، نمونههای خروجی ساختاریافته و یک پلیگراند زنده در مستندات API شرکت Shannon AI هستند.
| قابلیت | MiMo-V2.5-Pro · W8A16 |
|---|---|
| پنجره کانتکست | ۲۶۲٬۱۴۴ توکن |
| بیشینه خروجی هر درخواست | ۱۶٬۳۸۴ توکن |
| استریمینگ | بله — هر سه گویش |
| فراخوانی ابزار | بله |
استدلال / reasoning_effort | بله |
خروجی ساختاریافته json_schema | بله |
response_format | بله |
| بینایی / ورودی تصویر | خیر — از MiMo-V2.5 استفاده کنید |
| لایه رد درخواست / فیلتر خروجی | هیچکدام |
| قیمت به ازای هر 1M توکن | $0.50 ورودی / $2.00 خروجی |
هر عدد بیرونی اینجا را کسی جز ما منتشر کرده و در متن به آن ارجاع داده شده است. نتایج بازیابی کوانتیزاسیون از مطالعات خانواده Llama میآیند: آنها شکل این بدهبستان را توصیف میکنند، نه امتیازهای این مدل را.
10پرسشهای پرتکرار
API بدون سانسور MiMo چیست؟
اندپوینت Shannon AI برای MiMo-V2.5-Pro، همان مدل وزنباز Mixture-of-Experts شیائومی، که روی خوشه GPU خودمان بدون لایه رد درخواست و بدون فیلترینگ خروجی سرو میشود. از طریق /v1/chat/completions و /v1/messages و /v1/responses در دسترس است، با کانتکست ۲۶۲٬۱۴۴ توکنی و ۱۶٬۳۸۴ توکن خروجی به ازای هر درخواست.
W8A16 یعنی چه و چرا اهمیت دارد؟
W8A16 یعنی وزنها هرکدام با ۸ بیت ذخیره میشوند در حالی که فعالسازیها با ۱۶ بیت محاسبه میشوند. این بالاترین رده وفاداری کوانتیزاسیون در کاتالوگ ماست. مطالعات منتشرشده نشان میدهند قالبهای ۸ بیتی فقط-وزن عملاً تمام دقت مدل اصلی را بازمیگردانند، در حالی که ۴ بیت مقدار کمی وفاداری را با حافظه معاوضه میکند و ۳ بیت مقدار قابلتوجهی را.
آیا یک مدل کوچکتر با ۸ بیت میتواند از یک مدل بزرگتر با ۳ بیت جلو بزند؟
اغلب بله. آنچه از فشردهسازی جان به در میبرد تقریباً شمار پارامترها ضربدر بیت به ازای هر پارامتر است، و خطای کوانتیزاسیون در رفتارهای کمیاب و دنبالهای متمرکز میشود. مدلی که روی ۸ بیت نگه داشته شده انسجام متن بلند، قالببندی دقیق و دانش دنبالهاش را حفظ میکند؛ مدل بزرگتری که تا ۳ بیت له شده امتیازهای کلی بنچمارکش را نگه میدارد اما آن ویژگیها را از دست میدهد.
آیا MiMo-V2.5-Pro از بینایی یا ورودی تصویر پشتیبانی میکند؟
خیر. مدل MiMo-V2.5-Pro روی Shannon AI فقطمتنی است. از فراخوانی ابزار، استدلال با reasoning_effort، خروجی ساختاریافته با اسکیمای JSON و response_format پشتیبانی میکند. اگر به ورودی تصویر نیاز دارید از مدل همخانواده MiMo-V2.5 W8A16 استفاده کنید که با همان قیمت بینایی دارد.
API بدون سانسور MiMo چقدر هزینه دارد؟
۰٫۵۰ دلار به ازای هر میلیون توکن ورودی و ۲٫۰۰ دلار به ازای هر میلیون توکن خروجی. این قیمت کف کاتالوگ Shannon AI است و MiMo-V2.5-Pro را به ارزانترین راه خرید وفاداری ۸ بیتی روی این گیتوی تبدیل میکند.
API بدون سانسور MiMo را امتحان کنید
وفاداری هشت بیتی، کانتکست ۲۶۲ هزار توکنی، بدون لایه رد درخواست — با قیمت کف کاتالوگ.
مطالعه مستندات API مرور همه مدلهاذیل سیاست استفاده مسئولانه Shannon AI اداره میشود
منابع: گزارش فنی MiMo، arXiv:2505.07608 · کارت مدل MiMo-V2.5-Pro (شیائومی) · "Give Me BF16 or Give Me Death"?، arXiv:2411.02355 · REAP the Experts، arXiv:2510.13999 · AutoRound، arXiv:2309.05516 · قوانین مقیاسپذیری استنتاج k-بیتی، arXiv:2212.09720 · Scaling Laws for Precision، کومار و همکاران، ICLR 2025. همه ارقام بنچمارک همانگونهاند که نویسندگانشان گزارش کردهاند. Shannon AI محصولی از Shannon Lab LLC در نیومکزیکوی ایالات متحده است.