API של MiMo ללא צנזורה בנאמנות 8 סיביות

רוב הקטלוגים מוכרים לך מספר פרמטרים. זה המספר השגוי לקנות לפיו, כי כל מודל גדול במשקלים פתוחים שאתה באמת יכול להרשות לעצמך נדחס כדי להיכנס למקום כלשהו. השאלה הכנה אינה "כמה גדול זה היה לפני שסחטו את זה?" אלא "כמה מזה עדיין כאן?". המאמר הזה עוסק בשאלה הזו, ובמודל שבקטלוג שלנו שהתשובה עבורו היא כמעט הכול.

01מה ה-API של MiMo ללא צנזורה באמת נותן לך

ה-API של MiMo ללא צנזורה הוא מזהה מודל אחד, MiMo-V2.5-Pro-W8A16, נגיש דרך שלושה דיאלקטים שפונים לאותם משקלים על אשכול ה-GPU שלנו עצמנו: /v1/chat/completions, /v1/messages ו-/v1/responses. שלושתם מזרימים ותומכים בקריאת כלים ובחשיבה.

ללא צנזורה יש כאן משמעות צרה: אין שכבת סירוב לפני המודל, אין מסנן על הפלט שלו. אנחנו לא מיירטים, לא מסווגים ולא משכתבים. אתה מקבל את ההתנהגות של מודל היסוד עצמו — ובמודל במשקלים פתוחים ברמת מחקר, זה אומר שהוא מתעסק עם מחקר אבטחה, עם סיפורת למבוגרים או אלימה, עם חשיבה רפואית ומשפטית ועם הבקשות שנקודות קצה מסחריות מארחות מסרבות להן ברפלקס. זהו כלי מקצועי תחת מדיניות השימוש האחראי שלנו, לא היעדר כללים.

02שושלת MiMo: ההימור של Xiaomi על אימון מקדים שהחשיבה קודמת בו

MiMo אינו נגזרת של Llama עם שם חדש; זו שושלת נבדלת מצוות MiMo של Xiaomi, ורעיון הייסוד שלה חשוב עוד לפני שאתה מעריך את המודל. היא נפתחת ב-MiMo-7B (30 באפריל 2025, ברישיון MIT), שהדוח הטכני שלו טוען שרוב המעבדות מתייחסות לחשיבה כאל בעיה של אחרי האימון שיש להבריג עליה עם למידת חיזוק, ושזה הפוך. Xiaomi בנתה מחדש את האימון המקדים סביבה במקום זאת: תערובת בת שלושה שלבים על פני 25 טריליון טוקנים, כששלב שתיים רץ בערך 70% מתמטיקה וקוד ושלב שלוש מקפל פנימה עקבות חשיבה סינתטיים תוך הרחבת ההקשר מ-8K ל-32K — בתוספת יעד Multi-Token Prediction שמשמש גם כראש לפענוח ספקולטיבי.

התוצאה הייתה מודל בסיס בן 7B שהתנהג כמו משהו גדול בהרבה. MiMo-7B-Base קיבל 32.9 ב-AIME 2024 במקום שבו Qwen2.5-7B קיבל 10.1, Gemma-2-9B קיבל 0.0 ו-Llama-3.1-8B קיבל 0.3. האימון שאחרי האימון המקדים הריץ אז למידת חיזוק על 130,000 בעיות מתמטיקה וקוד בנות אימות, עם תגמול קוד מונע-קושי-בדיקות, ובכך חמק ממלכודת התגמול הדליל שמערערת למידת חיזוק על קוד. התוצאה נחתה לפני o1-mini:

AIME 2025, נתונים שדיווחה Xiaomi מתוך הדוח הטכני של MiMo (arXiv:2505.07608). MiMo-7B-RL דיווח גם על 95.8 ב-MATH-500 ועל 57.8 ב-LiveCodeBench v5.

המשפחה התרחבה ולא נסחפה: MiMo-VL-7B (יוני 2025) הרכיב מקודד Qwen2.5-ViT על אותה שדרה, ודצמבר 2025 הביא את MiMo-Audio-7B ואת הכניסה הראשונה למשפחת MoE, MiMo-V2-Flash (309B בסך הכול / 15B פעילים, 27T טוקנים, דיוק מעורב FP8). MiMo-V2-Pro הגיע במרץ 2026 בכ-1T / 42B פעילים עם הקשר של מיליון, אחרי שבועות ב-OpenRouter בשם "Hunter Alpha". MiMo-V2.5 ו-MiMo-V2.5-Pro נשלחו יחד ב-22 באפריל 2026, שניהם ברישיון MIT.

03בתוך MiMo-V2.5-Pro: איך נראה מודל היסוד

לפי כרטיס המודל שפרסמה Xiaomi, MiMo-V2.5-Pro הוא מודל Mixture-of-Experts דליל עם 1.02 טריליון פרמטרים בסך הכול ו-42 מיליארד פעילים לכל טוקן על פני 70 שכבות — אחת צפופה, 69 מסוג MoE — ועם 384 מומחים מנותבים, 8 לכל טוקן. הגודל החבוי הוא 6144, עם גודל ביניים צר של 2048 ב-MoE.

שתי בחירות מעצבות את התחושה שלו בשימוש. ערימת תשומת הלב היא היברידית: 10 שכבות של תשומת לב מלאה ו-60 שכבות של חלון מחליק ברוחב 128, בתוספת הטיית attention-sink נלמדת. Xiaomi מדווחת שזה חותך את אחסון מטמון ה-KV בכמעט פי 7 לעומת תשומת לב גלובלית מלאה תוך שמירה על איכות בהקשר ארוך — ההבדל בין חלון שארוך נומינלית לבין כזה שאתה יכול להרשות לעצמך למלא. הוא כולל גם שלוש שכבות Multi-Token Prediction, שנותנות למפענח ראש ספקולטיבי.

האימון היה 27 טריליון טוקנים באורך רצף מובנה של 32K בדיוק מעורב FP8 (E4M3), ואחריו כוונון עדין מונחה, למידת חיזוק סוכנית בקנה מידה גדול וזיקוק על-מדיניות מרובה-מורים. החזק בפרט ה-FP8 הזה; הוא הטיעון היחיד החזק ביותר להגשת מודל היסוד הזה ב-8 סיביות.

Xiaomi מדווחת על המודל עם 57.2% ב-SWE-bench Pro, 72.9 ב-τ3-Bench לשימוש בכלים ו-48.0% ב-Humanity's Last Exam — המספרים של הספק עצמו על המודל הלא דחוס, ומצוטטים ככאלה.

אנחנו מגישים חלון של 262,144 טוקנים, לא את מלוא המיליון של מודל היסוד — הקשר שאנחנו יכולים להבטיח במהירות, ולא מספר כותרת שמידרדר תחת עומס.

04מה בדיוק אומר W8A16

כל מודל בקטלוג הזה נושא סיומת קוונטיזציה שמתארת טרנספורמציה ממשית ומדידה ולא דרג שיווקי. שלנו הן 3BIT-REAP, W4A16-AUTOROUND-REAP ו-W8A16. MiMo-V2.5-Pro הוא השלישית.

הסימון מתפצל לשניים. W8 הוא דיוק המשקלים: כל פרמטר נשמר כמספר שלם בן 8 סיביות במקום כמספר צף בן 16 סיביות, עם גורם קנה מידה משותף לכל קבוצה קטנה כדי שהטווח הדינמי המקומי של כל קבוצה ישרוד. A16 הוא דיוק ההפעלות: הערכים שזורמים בין השכבות בזמן ההסקה נשארים ב-16 סיביות. המשקלים נדחסים; האריתמטיקה לא.

החצי השני הזה עושה עבודה שקטה וחשובה. קשה הרבה יותר לקוונטז הפעלות מאשר משקלים: הן מכילות ערוצי חריגים קיצוניים — כמה ממדים שהעוצמות שלהם מגמדות את כל השאר ושנושאים חלק לא פרופורציונלי מהתנהגות המודל. דחוף אותם לדיוק נמוך ותגזור בדיוק את האות שהיית זקוק לו. סכמות של משקלים בלבד עוקפות את הבעיה בכך שהן משאירות את מסלול ההפעלות לנפשו, וזו הסיבה שעבודת קוונטיזציה רצינית התכנסה אליהן.

אז השאלה המעשית מצטמצמת לדבר אחד: כמה מעט סיביות משקל יכול לסבול?

05W8A16 מול W4A16 מול 3 סיביות: לאן ההפסד באמת הולך

המחקר הגדול ביותר שפורסם בנושא הוא "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization של Neural Magic ו-Red Hat — יותר מ-500,000 הערכות על פני משפחת Llama-3.1 בגדלים 8B, 70B ו-405B. תוצאת הכותרת שלהם, במספרים שלהם:

פורמט	מה נדחס	שחזור מדווח מול BF16
W8A8-FP (8 סיביות)	משקלים + הפעלות, צף	כ-99.75% בממוצע — "כמעט חסר אובדן"
W8A8-INT (8 סיביות)	משקלים + הפעלות, שלם	99–100% ב-8B/70B; 98.2–99.3% ב-405B
W4A16-INT (4 סיביות)	משקלים בלבד	98–99.4% (8B); 98.6–99.8% (70B)

נתונים שדיווחו Neural Magic / Red Hat (arXiv:2411.02355) על מודלי Llama-3.1 — צורת הפשרה, לא הציון של המודל הזה.

בקריאה כנה, זה נראה כמו טיעון נגד אכפתיות: 4 סיביות משחזרות 98–99%, אז למה לשים לב? כי אלה בנצ'מרקים אקדמיים של רב-ברירה, בערך הכלי הגרוע ביותר הזמין לגילוי נזק קוונטיזציה. לשאלת בנצ'מרק יש תשובה נכונה אחת שאפשר להגיע אליה בטוקן או שניים, ושגיאת קוונטיזציה היא רעש קטן, בערך אפס-תוחלת, על כל לוגיט; בשאלה קצרה עם מרווח רחב, הרעש הזה נבלע.

עכשיו כתוב 4,000 טוקנים של מסמך טכני, החזק קול על פני סיפור באורך 40,000 טוקנים, או פלוט JSON שחייב לעבור אימות בניסיון הראשון. אותו רעש נדגם אלפי פעמים ברצף, וכל דגימה מתנה את הבאה. מצב הכשל אינו תשובה שגויה — הוא סחיפה: אחיזה שמתרופפת בהוראה מהסבב הראשון, דמות שמפסיקה להישמע כמו עצמה בסביבות טוקן 3,000, סוגר מסולסל שלעולם לא מגיע.

לאן הסיביות באמת הולכות

שגיאת קוונטיזציה אינה מתפרשת באופן שווה על פני יכולות המודל; היא מתרכזת בזנב. התנהגויות רבות-מסה — אנגלית תקנית, צורתה של פונקציית Python, אלף העובדות הנפוצות ביותר על העולם — מקודדות ביתירות על פני משקלים רבים ושורדות כמעט כל דבר. הפינות המכוונות בדיוק וקטנות העוצמה של התפלגות המשקלים מחזיקות את הדברים הנדירים: החתימה המדויקת של API אפלולי, המקצב של סופר מסוים, ההבדל בין שני CVE סמוכים. אלה הערכים שרשת גסה מעגלת זה לתוך זה.

הצעד מ-4 סיביות ל-3 הוא המקום שבו זה מפסיק להיות מס והופך לצוק. חוקי קנה המידה של הסקה ב-k סיביות של Dettmers ו-Zettlemoyer מצאו ש-4 סיביות הן הנקודה שממקסמת דיוק אפס-דגימות לכל סיבית של זיכרון מודל, כאשר מתחתיה ההידרדרות שולטת. ארבע סיביות נותנות 16 רמות לקבוצה; שלוש נותנות 8. אתה מקצץ בחצי את הרזולוציה של רשת שכבר גסה, ושגיאת העיגול לכל משקל בערך מוכפלת.

האריתמטיקה שמכריעה

ההשוואה ששווה לעשות היא אריתמטית, לא בנצ'מרק. מה ששורד את הדחיסה הוא בערך פרמטרים × סיביות לפרמטר — הנפח נושא-המידע של קובץ המשקלים. קח שני מודלי יסוד היפותטיים באיכות שווה לכל פרמטר:

• מודל יסוד א': 400B פרמטרים ב-3 סיביות ← בערך 150 GB של משקל שנשמר.
• מודל יסוד ב': 160B פרמטרים ב-8 סיביות ← בערך 160 GB של משקל שנשמר.

לפי מספר פרמטרים גולמי א' מנצח ביחס של שניים וחצי לאחד — המספר שכרטיס המודל פותח בו. לפי מידע שנשמר הם שקולים, ולב' יש יתרון מבני נוסף: המשקלים שלו יושבים על רשת עדינה מספיק כדי שהתנהגות הזנב שלו תישאר שלמה, בעוד שהזנב של א' קוונטז אל תוך הגוש. א' יודע יותר דברים; ב' יודע את מה שהוא יודע בחדות רבה יותר. לייצור ארוך, לעיצוב מדויק, לשליטה סגנונית ולהיצמדות נאמנה להקשר ארוך, קח את ב'.

אריתמטיקה להמחשה, לא בנצ'מרק: היא מראה למה "מודל יסוד גדול יותר" ו"מודל מוגש טוב יותר" הן טענות שונות.

06למה 27 טריליון טוקני אימון מחמירים קוונטיזציה אגרסיבית

תוצאה שנייה, פחות אינטואיטיבית, נוגעת ישירות למודל היסוד הזה. המאמר Scaling Laws for Precision של Kumar ואחרים ב-ICLR 2025 מוצא שככל שמודל אומן על יותר נתונים, כך קוונטיזציה שאחרי האימון פוגעת בו יותר. דיוק נמוך מקטין את מספר הפרמטרים האפקטיבי של מודל, וההידרדרות הזו גדלה עם נתוני האימון המקדים שנספגו — עד כדי כך שנתוני אימון מקדים נוספים יכולים להיות מזיקים נטו אם בכוונתך לקוונטז אגרסיבית, כי אתה מניח מבנה עדין שהרשת תמחק.

למודל שאומן על 5T טוקנים יש מבנה משקלים גס ויתיר ועודף לבזבז. מודל שאומן על 27T טוקנים — התקציב של MiMo-V2.5-Pro — הוציא את הנתונים הנוספים האלה על כתיבת הבחנות עדינות יותר לתוך ערכי משקל מדויקים יותר, וזה בדיוק מה שרשת של 3 סיביות אינה יכולה לייצג.

ואז יש את עובדת ה-FP8 מסעיף 03, הטיעון הנקי ביותר במאמר הזה. MiMo-V2.5-Pro אומן מקדימה בדיוק מעורב FP8. המשקלים שלו עוצבו מלכתחילה על ידי ממטב שעבד בדיוק של בערך שמונה סיביות. לכן הגשתו במשקלים של 8 סיביות אינה מחשבה מאבדת-מידע שנכפית בדיעבד על מודל של 16 סיביות — היא קרובה להחזרת המשקלים למשטר הנומרי שבו הם נלמדו. כמעט אין מבנה עדין מתחת לסיבית השמינית שאפשר לאבד. את אותו הדבר אי אפשר לומר על אותם משקלים שנדחקים למטה לשלוש.

07REAP: למה גיזום מומחים הוא סוג אחר של הפסד מאשר עיגול

שניים משלושת הדרגים נושאים סיומת REAP — פעולה שונה קטגורית מקוונטיזציה. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) היא דחיסה בשלב יחיד למודלי MoE דלילים: היא מדרגת כל מומחה לפי ערכי שער הנתב ולפי נורמת ההפעלה של המומחה, ואז מוחקת את בעלי הציון הנמוך ביותר. Cerebras מדווחת על תוצאות כמעט חסרות אובדן בייצור קוד ובקריאת כלים אפילו כשגוזמים 50% מהמומחים.

אנחנו משתמשים ב-REAP מהסיבה שבגללה היא קיימת: במודלי היסוד הגדולים ביותר, היא מה שהופך אותם לברי-הגשה. אבל שים לב להבדל בסוג. קוונטיזציה מטשטשת כל משקל קצת; גיזום מסיר מומחים לגמרי. אם העומס שלך מנתב בכבדות ליכולת שחיה במומחה שנבחר לעיתים רחוקות — שפת תכנות שולית, אוצר מילים מתמחה — היא לא הידרדרה. היא נעלמה, ושום הנחיה לא משחזרת אותה. הממוצעים נשארים מצוינים; מקרה הזנב שלך אולי לא.

ל-MiMo-V2.5-Pro · W8A16 אין סיומת REAP. כל 384 המומחים נוכחים, והנתב בוחר מתוך הסט המלא שאיתו מודל היסוד אומן.

דרג	סיביות משקל	מומחים	על מה אתה מוותר
W8A16	8	כולם נוכחים	שום דבר מבני. דרג הנאמנות.
W4A16-AUTOROUND-REAP	4	גזומים	פרטי משקל עדינים ומומחים בתנועה נמוכה, בתמורה למודל יסוד גדול בהרבה באותה רצועת מחיר.
3BIT-REAP	3	גזומים	רזולוציית משקל ניכרת ומומחים בתנועה נמוכה — המחיר של הרצת מודלי היסוד הגדולים ביותר במהירות.

לדרג האמצעי מגיע שימוע הוגן. AutoRound אינה עיגול נאיבי: השיטה של Intel (arXiv:2309.05516) משתמשת בירידת גרדיאנט מסומנת על פני כ-200 צעדים כדי לכוונן את החלטות העיגול ואת טווח הגזירה לכל קבוצת משקלים, ומדווחת ככמעט חסרת אובדן ב-4 סיביות ברוב ההגדרות, ומנצחת את GPTQ, את AWQ, את HQQ ואת OmniQuant ברוב התצורות שנבדקו. מודל W4A16-AUTOROUND הוא מודל 4 סיביות טוב באמת. הוא עדיין מודל של 4 סיביות.

08מי צריך לבחור בדרג 8 הסיביות — ומי לא

MiMo-V2.5-Pro · W8A16 יושב במחיר הרצפה של הקטלוג כולו — $0.50 קלט / $2.00 פלט למיליון טוקנים, אותה רצועה כמו מודלי 4 הסיביות בדרג הכניסה ובערך רבע ממחיר הקלט של המודל היקר ביותר שאנחנו מגישים. אתה לא משלם פרמיה על נאמנות; אתה בוחר ציר אחר של אותו תקציב.

בחר בו כאשר

• אורך הפלט הוא העבודה. כתיבה טכנית ארוכה, סיפורת באורך פרק, מעברי תיעוד מלאים — כל טוקן שנוצר הוא טוקן שבו רעש הדחיסה מצטבר.
• קול ועקביות חשובים. עבודת דמות, נימת מותג, משלב שמוחזק לאורך מפגש ארוך. הסגנון חי בזנב, והזנב הוא מה שקוונטיזציה גסה אוכלת ראשון.
• פלט מובנה חייב לעבור אימות בניסיון הראשון. המודל תומך ב-json_schema וב-response_format; היצמדות לסכמה היא תכונת דיוק, וכל ניסיון חוזר שנחסך הוא כסף והשהיה שנחסכים.
• אתה ממלא את ההקשר. היצמדות להוראות בטוקן 200,000 קשה יותר מאשר בטוקן 2,000, והיא מידרדרת עם דיוק המשקלים — וכך גם עקבת חשיבה ארוכה, שבה שגיאות מצטברות באותו אופן.
• העבודה נטולת צנזורה מטבעה. מחקר אבטחה, צוותים אדומים, סיפורת לא מסוננת, ניתוח רפואי או משפטי רגיש — מקומות שבהם תשובה מגודרת גרועה מכלום.

בחר במשהו אחר כאשר

• אתה זקוק לראייה. המודל הזה הוא טקסט בלבד; לאחיו MiMo-V2.5 · W8A16 יש יכולת ראייה באותו מחיר ובאותו דרג.
• אתה זקוק לידע העולמי הרחב ביותר בשאילתות קצרות. זה המשטר שבו הפרמטרים הנוספים של מודל יסוד גדול בהרבה ב-3 סיביות מנצחים ונזק הקוונטיזציה שלו כמעט לא ניכר.
• העומס שלך הוא סיווג קצר בנפח גבוה. נזק הקוונטיזציה כמעט בלתי נראה שם — קנה את מה שהכי מהיר.

09קריאה ל-API של MiMo ללא צנזורה

אם הקוד שלך מכוון ל-SDK של OpenAI, שינוי כתובת הבסיס ומזהה המודל הוא כל ההגירה:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages ו-/v1/responses מקבלים את אותו מזהה ואת אותן יכולות. הפניה לפרמטרים, סכמות קריאת כלים, דוגמאות פלט מובנה ומגרש משחקים חי נמצאים בתיעוד ה-API של Shannon AI.

יכולת	MiMo-V2.5-Pro · W8A16
חלון הקשר	262,144 טוקנים
פלט מרבי לבקשה	16,384 טוקנים
הזרמה	כן — בשלושת הדיאלקטים
קריאת כלים	כן
חשיבה / reasoning_effort	כן
פלט מובנה לפי json_schema	כן
response_format	כן
ראייה / קלט תמונה	לא — השתמש ב-MiMo-V2.5
שכבת סירוב / מסנן פלט	אין
מחיר למיליון טוקנים	$0.50 קלט / $2.00 פלט

10שאלות נפוצות

---

מקורות: הדוח הטכני של MiMo, arXiv:2505.07608 · כרטיס המודל של MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · חוקי קנה מידה להסקה ב-k סיביות, arXiv:2212.09720 · Scaling Laws for Precision, Kumar ואחרים, ICLR 2025. כל נתוני הבנצ'מרק הם כפי שדווחו על ידי מחבריהם. Shannon AI הוא מוצר של Shannon Lab LLC, ניו מקסיקו, ארה"ב.