தணிக்கையற்ற MiMo API, 8-பிட் நம்பகத்தன்மையில்

பெரும்பாலான பட்டியல்கள் உங்களுக்கு அளபுரு எண்ணிக்கையை விற்கின்றன. அது தவறான எண், ஏனெனில் நீங்கள் உண்மையில் வாங்கக்கூடிய ஒவ்வொரு பெரிய திறந்த-எடை மாதிரியும் எங்காவது பொருந்துவதற்காகச் சுருக்கப்பட்டுள்ளது. நேர்மையான கேள்வி "இது சுருக்கப்படுவதற்கு முன் எவ்வளவு பெரிதாக இருந்தது?" அல்ல, மாறாக "இதில் இன்னும் எவ்வளவு எஞ்சியிருக்கிறது?" என்பதே. இந்தக் கட்டுரை அந்தக் கேள்வியைப் பற்றியது, மேலும் பதில் கிட்டத்தட்ட அனைத்துமே என்று இருக்கும் எங்கள் வரிசையிலுள்ள மாதிரியைப் பற்றியதும் ஆகும்.

01தணிக்கையற்ற MiMo API உண்மையில் உங்களுக்கு என்ன தருகிறது

தணிக்கையற்ற MiMo API என்பது ஒரே ஒரு மாதிரி அடையாளம், MiMo-V2.5-Pro-W8A16, எங்கள் சொந்த GPU கிளஸ்டரில் அதே எடைகளை அணுகும் மூன்று வகைகள் வழியாக அணுகக்கூடியது: /v1/chat/completions, /v1/messages மற்றும் /v1/responses. மூன்றும் ஸ்ட்ரீம் செய்கின்றன, கருவி அழைப்பையும் சிந்தனையையும் ஆதரிக்கின்றன.

தணிக்கையற்றது என்பதற்கு இங்கே ஒரு குறுகிய பொருள் உண்டு: மாதிரிக்கு முன் மறுப்புப் படை இல்லை, அதன் வெளியீட்டில் வடிகட்டலும் இல்லை. நாங்கள் இடைமறிக்கவோ, வகைப்படுத்தவோ, மறுஎழுதவோ மாட்டோம். அடித்தளத்தின் சொந்த நடத்தையையே நீங்கள் பெறுகிறீர்கள் — ஆய்வு-தர திறந்த-எடை மாதிரி ஒன்றுக்கு இது என்னவென்றால், பாதுகாப்பு ஆய்வு, வயது வந்தோர் அல்லது வன்முறைப் புனைவு, மருத்துவ மற்றும் சட்ட நியாயங்கள், மேலும் ஹோஸ்ட் செய்யப்பட்ட வணிக இறுதிப்புள்ளிகள் தாறுமாறாக நிராகரிக்கும் கோரிக்கைகள் ஆகியவற்றுடன் ஈடுபடுவதே. இது எங்கள் பொறுப்பான பயன்பாட்டுக் கொள்கையின் கீழான ஒரு தொழில்முறைக் கருவி, விதிகள் இல்லாத ஒரு நிலை அல்ல.

02MiMo வம்சாவளி: சிந்தனை-முதன்மை முன்பயிற்சி மீதான Xiaomi இன் பந்தயம்

MiMo என்பது புதிய பெயருடன் கூடிய ஒரு Llama வழித்தோன்றல் அல்ல; இது Xiaomi இன் MiMo குழுவிலிருந்து ஒரு தனித்துவமான வம்சாவளி, மேலும் மாதிரியை மதிப்பிடுவதற்கு முன் அதன் தோற்றுவாய்க் கருத்து முக்கியமானது. இது MiMo-7B உடன் தொடங்குகிறது (ஏப்ரல் 30, 2025, MIT உரிமம்), அதன் தொழில்நுட்ப அறிக்கை பெரும்பாலான ஆய்வகங்கள் சிந்தனையை RL மூலம் பின்னாலேயே பொருத்தப்படும் ஒரு பயிற்சிக்குப்-பிந்தைய சிக்கலாகக் கருதுவதாகவும், இது தலைகீழானது எனவும் வாதிடுகிறது. அதற்குப் பதிலாக Xiaomi முன்பயிற்சியையே அதைச் சுற்றி மறுகட்டமைத்தது: 25 டிரில்லியன் டோக்கன்கள் முழுவதும் ஒரு மூன்று-கட்ட கலவை, இரண்டாம் கட்டம் தோராயமாக 70% கணிதமும் குறியீடும் இயக்குகிறது, மூன்றாம் கட்டம் 8K இலிருந்து 32K க்குச் சூழலை நீட்டிக்கும்போதே செயற்கை சிந்தனைத் தடங்களை உள்ளடக்குகிறது — கூடவே ஒரு ஊகக்-குறியீக்கத் தலையாகவும் இரட்டிப்பாகச் செயல்படும் ஒரு Multi-Token Prediction நோக்கமும்.

முடிவு, மிகப் பெரிய ஏதோ ஒன்றைப் போல நடந்துகொண்ட ஒரு 7B அடிப்படை மாதிரி. Qwen2.5-7B 10.1 ஆகவும், Gemma-2-9B 0.0 ஆகவும், Llama-3.1-8B 0.3 ஆகவும் மதிப்பெண் பெற்ற இடத்தில் MiMo-7B-Base AIME 2024 இல் 32.9 மதிப்பெண் பெற்றது. பயிற்சிக்குப் பிறகு, குறியீடு RL ஐ சீரழிக்கும் அரிதான-வெகுமதிப் பொறியிலிருந்து தப்பி, ஒரு சோதனை-கடினத்தன்மை-உந்துதல் குறியீடு வெகுமதியுடன், 130,000 சரிபார்க்கக்கூடிய கணிதம் மற்றும் குறியீட்டுச் சிக்கல்கள் மீது RL இயக்கப்பட்டது. முடிவு o1-mini க்கு முன்னால் வந்தது:

AIME 2025, MiMo தொழில்நுட்ப அறிக்கையிலிருந்து (arXiv:2505.07608) Xiaomi அறிவித்த எண்கள். MiMo-7B-RL, MATH-500 இல் 95.8 ஐயும், LiveCodeBench v5 இல் 57.8 ஐயும் அறிவித்தது.

குடும்பம் விலகிச் செல்லாமல் விரிவடைந்தது: MiMo-VL-7B (ஜூன் 2025) அதே அடிமரத்தின் மீது ஒரு Qwen2.5-ViT குறியாக்கியை வைத்தது, டிசம்பர் 2025 MiMo-Audio-7B ஐயும், முதல் MoE உள்ளீடான MiMo-V2-Flash (309B மொத்தம் / 15B செயல்பாட்டில், 27T டோக்கன்கள், FP8 கலப்பினத் துல்லியம்) ஐயும் கொண்டுவந்தது. MiMo-V2-Pro மார்ச் 2026 இல் தோராயமாக 1T / 42B செயல்பாட்டில் ஒரு 1M சூழலுடன் பின்தொடர்ந்தது, OpenRouter இல் "Hunter Alpha" ஆக பல வாரங்கள் இருந்த பிறகு. MiMo-V2.5 உம் MiMo-V2.5-Pro உம் ஏப்ரல் 22, 2026 அன்று ஒன்றாக வெளியிடப்பட்டன, இரண்டும் MIT.

03MiMo-V2.5-Pro க்குள்: அடித்தளம் எப்படி இருக்கிறது

Xiaomi வெளியிட்ட மாதிரி அட்டையின்படி, MiMo-V2.5-Pro என்பது 70 அடுக்குகள் முழுவதும் 1.02 டிரில்லியன் மொத்த அளபுருக்களும் ஒரு டோக்கனுக்கு 42 பில்லியன் செயல்பாட்டிலும் கொண்ட ஒரு சிதறிய Mixture-of-Experts மாதிரி — ஒன்று அடர்த்தியானது, 69 MoE — மேலும் 384 திசைதிருப்பப்பட்ட நிபுணர்கள், ஒரு டோக்கனுக்கு 8 பேர். மறைநிலை அளவு 6144, MoE இடைநிலை அளவு குறுகியதாக 2048.

பயன்பாட்டில் இது எப்படி உணரப்படுகிறது என்பதை இரண்டு தேர்வுகள் வடிவமைக்கின்றன. கவனம் அடுக்கு கலப்பினமானது: 10 முழு-கவனம் அடுக்குகளும், 128 சாளரத்துடன் 60 சறுக்கு-சாளர அடுக்குகளும், கூடவே ஒரு கற்றுக்கொள்ளக்கூடிய கவனம்-மூழ்கல் சார்பும். இது நீண்ட-சூழல் தரத்தைத் தக்கவைத்துக்கொண்டே, முழு-உலகளாவிய கவனத்தை விட KV-தேக்கக சேமிப்பை 7 மடங்கு நெருக்கமாகக் குறைப்பதாக Xiaomi அறிவிக்கிறது — பெயரளவில் நீளமான ஒரு சாளரத்துக்கும், நீங்கள் நிரப்பச் செலவாகக்கூடிய ஒன்றுக்கும் இடையிலான வேறுபாடு இது. இது மூன்று Multi-Token Prediction அடுக்குகளையும் ஏற்றி வருகிறது, குறியீக்கிக்கு ஒரு ஊகத் தலையைத் தருகிறது.

பயிற்சி 27 டிரில்லியன் டோக்கன்கள், ஒரு இயல்பான 32K வரிசை நீளத்தில், FP8 (E4M3) கலப்பினத் துல்லியத்தில் நடந்தது, பிறகு மேற்பார்வையிட்ட நுண்செம்மைப்படுத்தல், பெரிய-அளவு முகவர் RL, பல-ஆசிரியர் on-policy திரட்டல் (distillation). அந்த FP8 விவரத்தைப் பிடித்துக்கொள்ளுங்கள்; இந்த அடித்தளத்தை 8 பிட்டுகளில் வழங்குவதற்கான மிக வலிமையான ஒற்றை வாதம் அதுவே.

Xiaomi இந்த மாதிரியை SWE-bench Pro இல் 57.2% ஆகவும், கருவிப் பயன்பாட்டுக்கு τ3-Bench இல் 72.9 ஆகவும், Humanity's Last Exam இல் 48.0% ஆகவும் அறிவிக்கிறது — சுருக்கப்படாத மாதிரி மீதான விற்பனையாளரின் சொந்த எண்கள், அப்படியே மேற்கோள் காட்டப்பட்டவை.

நாங்கள் 262,144-டோக்கன் சாளரத்தை வழங்குகிறோம், அடித்தளத்தின் முழு 1M ஐ அல்ல — வேகத்தில் நாங்கள் உத்தரவாதம் அளிக்கக்கூடிய ஒரு சூழல், சுமையின் கீழ் சிதையும் ஒரு தலைப்புச் செய்தி எண் அல்ல.

04W8A16 சரியாக என்ன பொருள் தருகிறது

இந்தப் பட்டியலின் ஒவ்வொரு மாதிரியும் ஒரு சந்தைப்படுத்தல் அடுக்கை அல்ல, ஒரு உண்மையான, அளவிடக்கூடிய மாற்றத்தை விவரிக்கும் குவாண்டைசேஷன் பின்னொட்டைச் சுமக்கிறது. எங்களுடையவை 3BIT-REAP, W4A16-AUTOROUND-REAP மற்றும் W8A16. MiMo-V2.5-Pro மூன்றாவது.

குறியீடு இரண்டாகப் பிரிகிறது. W8 என்பது எடைத் துல்லியம்: ஒவ்வொரு அளபுருவும் 16-பிட் ஃப்ளோட்டுக்குப் பதிலாக ஒரு 8-பிட் முழு எண்ணாகச் சேமிக்கப்படுகிறது, ஒவ்வொரு சிறு குழுவுக்கும் ஒரு பகிரப்பட்ட அளவீட்டுக் காரணியுடன், அதனால் ஒவ்வொரு குழுவின் உள்ளூர் ஆற்றல்-வீச்சும் தப்பிப்பிழைக்கிறது. A16 என்பது செயல்படுத்தல் துல்லியம்: அனுமானத்தின்போது அடுக்குகளுக்கு இடையே பாயும் மதிப்புகள் 16 பிட்டுகளிலேயே இருக்கின்றன. எடைகள் சுருக்கப்படுகின்றன; கணக்கீடு அப்படியில்லை.

அந்த இரண்டாம் பாதி அமைதியான, முக்கியமான வேலையைச் செய்கிறது. எடைகளை விடச் செயல்படுத்தல்களைக் குவாண்டைஸ் செய்வது மிகக் கடினம்: அவற்றில் தீவிர வெளிமதிப்புச் சேனல்கள் உள்ளன — ஒரு சில பரிமாணங்கள், அவற்றின் அளவுகள் மற்ற அனைத்தையும் குள்ளமாக்கும், மேலும் மாதிரியின் நடத்தையில் விகிதாசாரமற்ற பங்கைச் சுமக்கும். அவற்றைக் குறைந்த துல்லியத்துக்குத் தள்ளினால், உங்களுக்குத் தேவைப்பட்ட சமிக்ஞையையே நீங்கள் வெட்டுகிறீர்கள். எடை-மட்டும் திட்டங்கள் செயல்படுத்தல் பாதையைத் தொடாமல் விட்டுவிடுவதன் மூலம் இந்தச் சிக்கலைத் தவிர்க்கின்றன, அதனால்தான் தீவிர குவாண்டைசேஷன் வேலை அவற்றின் மீதே ஒன்றிணைந்துள்ளது.

எனவே நடைமுறைக் கேள்வி ஒன்றாகச் சுருங்குகிறது: ஒரு எடை எத்தனை குறைவான பிட்டுகளைத் தாங்க முடியும்?

05W8A16 எதிராக W4A16 எதிராக 3-பிட்: இழப்பு உண்மையில் எங்கே செல்கிறது

இதைப் பற்றிய மிகப் பெரிய வெளியிடப்பட்ட ஆய்வு Neural Magic ம் Red Hat ம் வெளியிட்ட "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — 8B, 70B, 405B அளவுகளில் Llama-3.1 குடும்பம் முழுவதும் 500,000 க்கும் அதிகமான மதிப்பீடுகள். அவர்களின் தலைப்புச் செய்தி முடிவு, அவர்களின் எண்களில்:

வடிவம்	எது சுருக்கப்படுகிறது	BF16 உடன் ஒப்பிட்டு அறிவிக்கப்பட்ட மீட்பு
W8A8-FP (8-பிட்)	எடைகள் + செயல்படுத்தல்கள், ஃப்ளோட்	~99.75% சராசரி — "கிட்டத்தட்ட இழப்பற்றது"
W8A8-INT (8-பிட்)	எடைகள் + செயல்படுத்தல்கள், முழு எண்	8B/70B இல் 99–100%; 405B இல் 98.2–99.3%
W4A16-INT (4-பிட்)	எடைகள் மட்டும்	98–99.4% (8B); 98.6–99.8% (70B)

Llama-3.1 மாதிரிகள் மீது Neural Magic / Red Hat (arXiv:2411.02355) அறிவித்த எண்கள் — சமரசத்தின் வடிவம், இந்த மாதிரியின் மதிப்பெண் அல்ல.

நேர்மையாகப் படித்தால், அது கவலைப்படத் தேவையில்லை என்ற ஒரு வாதம் போலவே தெரிகிறது: 4-பிட் 98–99% மீட்கிறது, அப்படியென்றால் ஏன் கவனம் செலுத்த வேண்டும்? ஏனெனில் அவை கல்விசார் பல-தேர்வு அளவீடுகள், குவாண்டைசேஷன் சேதத்தைக் கண்டறிவதற்குக் கிடைக்கக்கூடிய மிக மோசமான கருவிக்கு நெருக்கமானவை. ஒரு அளவீட்டுக் கேள்விக்கு ஒன்று அல்லது இரண்டு டோக்கன்களில் அடையக்கூடிய ஒரே ஒரு சரியான பதில் உண்டு, மேலும் குவாண்டைசேஷன் பிழை சிறியது, ஒவ்வொரு logit மீதும் தோராயமாக பூஜ்ஜிய-சராசரி இரைச்சல்; ஒரு பரந்த வரம்புள்ள குறுகிய கேள்வியில், அந்த இரைச்சல் உள்வாங்கப்படுகிறது.

இப்போது 4,000 டோக்கன்கள் ஒரு தொழில்நுட்ப ஆவணத்தை எழுதுங்கள், 40,000-டோக்கன் கதை முழுவதும் ஒரு குரலைத் தக்கவைத்துக்கொள்ளுங்கள், அல்லது முதல் முயற்சியிலேயே சரிபார்க்கப்பட வேண்டிய JSON ஐ வெளியிடுங்கள். அதே இரைச்சல் ஆயிரக்கணக்கான முறை தொடர்ச்சியாக மாதிரிப்படுத்தப்படுகிறது, ஒவ்வொரு மாதிரியும் அடுத்ததற்கு நிபந்தனையிடுகிறது. தோல்வி முறை ஒரு தவறான பதில் அல்ல — அது சறுக்கல்: முதல் திருப்பத்திலிருந்தே அறிவுறுத்தல் மீதான பிடி தளர்வது, டோக்கன் 3,000 அளவில் தன்னைப் போலவே ஒலிப்பதை நிறுத்தும் ஒரு பாத்திரம், ஒருபோதும் வராத ஒரு மூடும் அடைப்புக்குறி.

பிட்டுகள் உண்மையில் எங்கே செல்கின்றன

குவாண்டைசேஷன் பிழை ஒரு மாதிரியின் திறன்கள் முழுவதும் சமமாகப் பரவவில்லை; அது வாலில் குவிகிறது. அதிக-நிறை நடத்தைகள் — இலக்கணப்படியான ஆங்கிலம், ஒரு Python செயல்பாட்டின் வடிவம், உலகைப் பற்றிய முதல் ஆயிரம் உண்மைகள் — பல எடைகள் முழுவதும் மிகைப்படியாகக் குறியீடு செய்யப்பட்டு, கிட்டத்தட்ட எதையும் தாங்கிக்கொள்கின்றன. எடை பரவலின் துல்லியமாகச் சரிசெய்யப்பட்ட, சிறிய-அளவு மூலைகள் அரிய விஷயங்களை வைத்திருக்கின்றன: ஒரு தெளிவற்ற APIயின் சரியான கையொப்பம், ஒரு குறிப்பிட்ட ஆசிரியரின் தாளம், அருகிலுள்ள இரண்டு CVE க்களுக்கு இடையிலான வேறுபாடு. அவையே ஒரு கரடுமுரடான கட்டம் ஒன்றோடொன்று வட்டமிடும் மதிப்புகள்.

4 பிட்டுகளிலிருந்து 3 க்கான படி, இது ஒரு வரியிலிருந்து ஒரு பள்ளத்தாக்காக மாறும் இடம். Dettmers ம் Zettlemoyer ம் இன் k-பிட் அனுமான அளவீட்டு விதிகள், மாதிரி நினைவகத்தின் ஒரு பிட்டுக்கு பூஜ்ஜிய-முயற்சித் துல்லியத்தை அதிகபடுத்தும் புள்ளியாக 4-பிட் இருப்பதைக் கண்டறிந்தன, அதற்குக் கீழே சிதைவே ஆதிக்கம் செலுத்துகிறது. நான்கு பிட்டுகள் ஒரு குழுவுக்கு 16 நிலைகளைத் தருகின்றன; மூன்று 8 ஐத் தருகிறது. ஏற்கெனவே கரடுமுரடான ஒரு கட்டத்தின் தெளிவுத்திறனை நீங்கள் பாதியாக்குகிறீர்கள், மேலும் ஒரு எடைக்கான வட்டமிடல் பிழை தோராயமாக இரட்டிப்பாகிறது.

முடிவெடுக்கும் கணக்கீடு

செய்யத் தகுந்த ஒப்பீடு கணக்கீடே, ஒரு அளவீடு அல்ல. சுருக்கத்திலிருந்து தப்பிப்பிழைப்பது தோராயமாக அளபுருக்கள் × ஒரு அளபுருவுக்கான பிட்டுகள் — எடைக் கோப்பின் தகவல்-சுமக்கும் அளவு. சம தரம் கொண்ட இரண்டு கற்பனையான அடித்தளங்களை எடுத்துக்கொள்ளுங்கள்:

• அடித்தளம் A: 400B அளபுருக்கள், 3 பிட்டுகளில் → தோராயமாக 150 GB தக்கவைக்கப்பட்ட எடை.
• அடித்தளம் B: 160B அளபுருக்கள், 8 பிட்டுகளில் → தோராயமாக 160 GB தக்கவைக்கப்பட்ட எடை.

மூல அளபுரு எண்ணிக்கையில் A இரண்டரை-க்கு-ஒன்று என்ற விகிதத்தில் வெல்கிறது — மாதிரி அட்டை முன்னிலைப்படுத்தும் எண் அது. தக்கவைக்கப்பட்ட தகவலில் அவை சமமானவை, மேலும் B க்கு ஒரு கட்டமைப்புச் சாதகமும் கூடுதலாக உண்டு: அதன் எடைகள் அதன் வால் நடத்தை அப்படியே இருக்கும் அளவுக்குத் தெளிவான ஒரு கட்டத்தில் அமர்ந்திருக்கின்றன, ஆனால் A இன் வால் மொத்தத்திற்குள் குவாண்டைஸ் செய்யப்பட்டுவிட்டது. A அதிக விஷயங்களை அறியும்; B அது அறிந்ததை மேலும் கூர்மையாக அறியும். நீண்ட உருவாக்கம், சரியான வடிவமைப்பு, பாணிக் கட்டுப்பாடு, மேலும் உண்மையான நீண்ட-சூழல் பற்றுறுதிக்கு B ஐ எடுங்கள்.

விளக்கமளிக்கும் கணக்கீடு, ஒரு அளவீடு அல்ல: "பெரிய அடித்தளம்" மற்றும் "சிறப்பாக வழங்கப்பட்ட மாதிரி" ஏன் வெவ்வேறு கூற்றுகள் என்பதைக் காட்டுகிறது.

0627 டிரில்லியன் பயிற்சி டோக்கன்கள் ஆக்ரோஷமான குவாண்டைசேஷனை ஏன் மோசமாக்குகின்றன

இந்த அடித்தளத்தில் நேரடியாகப் பொருந்தும் இரண்டாவது, குறைவாக உள்ளுணர்வுத் தன்மையான ஒரு முடிவு உண்டு. Kumar மற்றும் பலரின் ICLR 2025 கட்டுரை Scaling Laws for Precision, ஒரு மாதிரி எவ்வளவு அதிக தரவின் மீது பயிற்றுவிக்கப்பட்டதோ, அவ்வளவு அதிக சேதத்தை பயிற்சிக்குப்-பிந்தைய குவாண்டைசேஷன் அதற்குச் செய்கிறது என்பதைக் கண்டறிகிறது. குறைந்த துல்லியம் ஒரு மாதிரியின் பயனுள்ள அளபுரு எண்ணிக்கையைக் குறைக்கிறது, மேலும் அந்தச் சிதைவு உட்கொள்ளப்பட்ட முன்பயிற்சித் தரவுடன் வளர்கிறது — நீங்கள் ஆக்ரோஷமாகக் குவாண்டைஸ் செய்யத் திட்டமிட்டால், கூடுதல் முன்பயிற்சித் தரவு நிகர தீங்கானதாக இருக்கக்கூடிய அளவுக்கு, ஏனெனில் கட்டம் அழிக்கப்போகும் நுண் அமைப்பையே நீங்கள் அமைத்துக்கொண்டிருக்கிறீர்கள்.

5T டோக்கன்களில் பயிற்றுவிக்கப்பட்ட ஒரு மாதிரிக்குக் கரடுமுரடான, மிகைப்படியான எடை அமைப்பும், உபரி இடமும் உண்டு. 27T டோக்கன்களில் பயிற்றுவிக்கப்பட்ட ஒரு மாதிரி — MiMo-V2.5-Pro இன் வரவுசெலவு — அந்தக் கூடுதல் தரவை மேலும் துல்லியமான எடை மதிப்புகளாக நுட்பமான வேறுபாடுகளை எழுதவே செலவழித்தது, அதுவே ஒரு 3-பிட் கட்டம் பிரதிநிதித்துவப்படுத்த முடியாதது.

பிறகு பிரிவு 03 இலிருந்து FP8 உண்மை உள்ளது, இந்தக் கட்டுரையின் தூய்மையான வாதம். MiMo-V2.5-Pro FP8 கலப்பினத் துல்லியத்தில் முன்பயிற்சி செய்யப்பட்டது. அதன் எடைகள் தொடக்கத்திலிருந்தே தோராயமாக எட்டு பிட் துல்லியத்தில் இயங்கும் ஒரு உகப்பாக்கியால் வடிவமைக்கப்பட்டன. எனவே அதை 8-பிட் எடைகளில் வழங்குவது என்பது ஒரு 16-பிட் மாதிரியின் மீது திணிக்கப்பட்ட ஒரு இழப்புத் தாக்குதல் அல்ல — எடைகள் கற்றுக்கொள்ளப்பட்ட எண் ஆட்சிக்கே அவற்றைத் திருப்பி அனுப்புவதற்கு நெருக்கமானது. எட்டாவது பிட்டுக்குக் கீழே இழக்க அதிக நுண் அமைப்பு எதுவும் இல்லை. மூன்றுக்குக் கட்டாயப்படுத்தப்பட்ட அந்த எடைகளைப் பற்றி அப்படிச் சொல்ல முடியாது.

07REAP: நிபுணர் கத்தரிப்பு வட்டமிடலை விட ஏன் வேறு வகையான இழப்பு

மூன்று அடுக்குகளில் இரண்டு ஒரு REAP பின்னொட்டைச் சுமக்கின்றன — குவாண்டைசேஷனிலிருந்து வகைரீதியாக வேறுபட்ட ஒரு செயல்பாடு. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) என்பது சிதறிய MoE மாதிரிகளுக்கான ஒரு-முறைச் சுருக்கம்: ஒவ்வொரு நிபுணரையும் ரவுட்டரின் கேட் மதிப்புகளாலும் நிபுணரின் செயல்படுத்தல் நெறியாலும் மதிப்பிட்டு, பிறகு மிகக் குறைவாக மதிப்பெண் பெறுபவர்களை நீக்குகிறது. 50% நிபுணர்கள் கத்தரிக்கப்பட்ட நிலையிலும் குறியீடு உருவாக்கத்திலும் கருவி அழைப்பிலும் Cerebras கிட்டத்தட்ட இழப்பற்ற முடிவுகளை அறிவிக்கிறது.

REAP இருப்பதற்கான காரணத்திற்காகவே நாங்கள் அதைப் பயன்படுத்துகிறோம்: மிகப் பெரிய அடித்தளங்களில், அவற்றை வழங்கக்கூடியதாக ஆக்குவது அதுவே. ஆனால் வகையிலான வேறுபாட்டைக் கவனியுங்கள். குவாண்டைசேஷன் ஒவ்வொரு எடையையும் சிறிது மங்கலாக்குகிறது; கத்தரிப்பு நிபுணர்களை முற்றிலும் நீக்குகிறது. அரிதாகத் தேர்ந்தெடுக்கப்படும் ஒரு நிபுணரில் வாழ்ந்த ஒரு திறனுக்கு உங்கள் வேலைச்சுமை அதிகமாகத் திசைதிருப்பப்பட்டால் — ஒரு சிறிய நிரலாக்க மொழி, ஒரு சிறப்பு சொல்லகராதி — அது சிதையவில்லை. அது போய்விட்டது, எந்த ப்ராம்ப்டிங்கும் அதை மீட்டெடுக்காது. சராசரிகள் சிறப்பாகவே இருக்கும்; உங்கள் வால் நிகழ்வு இருக்காமல் போகலாம்.

MiMo-V2.5-Pro · W8A16 எந்த REAP பின்னொட்டையும் சுமக்கவில்லை. அனைத்து 384 நிபுணர்களும் இருக்கின்றனர், மேலும் அடித்தளம் பயிற்றுவிக்கப்பட்ட முழுத் தொகுப்பிலிருந்தே ரவுட்டர் தேர்ந்தெடுக்கிறது.

அடுக்கு	எடைப் பிட்டுகள்	நிபுணர்கள்	நீங்கள் என்ன ஈடுசெய்கிறீர்கள்
W8A16	8	அனைத்தும் இருக்கின்றன	கட்டமைப்பு ரீதியாக ஒன்றும் இல்லை. நம்பகத்தன்மை அடுக்கு.
W4A16-AUTOROUND-REAP	4	கத்தரிக்கப்பட்டவை	நுண் எடை விவரமும் குறை-போக்குவரத்து நிபுணர்களும், அதே விலைப் பட்டையில் மிகப் பெரிய அடித்தளத்துக்காக.
3BIT-REAP	3	கத்தரிக்கப்பட்டவை	கணிசமான எடைத் தெளிவுத்திறனும் குறை-போக்குவரத்து நிபுணர்களும் — மிகப் பெரிய அடித்தளங்களை வேகமாக இயக்குவதற்கான விலை.

நடுத்தர அடுக்கு ஒரு நியாயமான கேள்வியை நேரிடுகிறது. AutoRound அப்பாவியான வட்டமிடல் அல்ல: Intel இன் முறை (arXiv:2309.05516) ஒரு எடைக் குழுவுக்கு வட்டமிடல் முடிவுகளையும் கிளிப்பிங் வரம்பையும் சரிசெய்ய தோராயமாக 200 படிகள் முழுவதும் கையொப்பமிடப்பட்ட சாய்வு இறக்கத்தைப் பயன்படுத்துகிறது, மேலும் பெரும்பாலான அமைப்புகளில் 4 பிட்டுகளில் கிட்டத்தட்ட இழப்பற்றதாக அறிவிக்கப்படுகிறது, சோதிக்கப்பட்ட பெரும்பாலான கட்டமைப்புகள் முழுவதும் GPTQ, AWQ, HQQ, OmniQuant ஆகியவற்றை வெல்கிறது. ஒரு W4A16-AUTOROUND மாதிரி உண்மையிலேயே ஒரு நல்ல 4-பிட் மாதிரி. அது இன்னும் ஒரு 4-பிட் மாதிரிதான்.

088-பிட் அடுக்கை யார் தேர்ந்தெடுக்க வேண்டும் — யார் வேண்டாம்

MiMo-V2.5-Pro · W8A16 முழுப் பட்டியலின் தரைமட்ட விலையில் அமர்ந்திருக்கிறது — ஒரு மில்லியன் டோக்கனுக்கு உள்ளே $0.50 / வெளியே $2.00, நுழைவு-அடுக்கு 4-பிட் மாதிரிகளின் அதே பட்டையில், நாங்கள் வழங்கும் மிக விலையுயர்ந்த மாதிரியின் உள்ளீட்டு விலையில் தோராயமாக கால் பங்கு. நீங்கள் நம்பகத்தன்மைக்காக ஒரு பிரீமியத்தைச் செலுத்தவில்லை; அதே பட்ஜெட்டின் வேறொரு அச்சைத் தேர்ந்தெடுக்கிறீர்கள்.

எப்போது இதைத் தேர்ந்தெடுக்க வேண்டும்

• வெளியீட்டு நீளமே வேலை. நீண்ட-வடிவத் தொழில்நுட்ப எழுத்து, அத்தியாய-நீள புனைவு, முழு ஆவணப்படுத்தல் கடவுகள் — உருவாக்கப்படும் ஒவ்வொரு டோக்கனும் சுருக்க இரைச்சல் கூட்டுவட்டியாகும் ஒன்று.
• குரலும் நிலைத்தன்மையும் முக்கியம். பாத்திர வேலை, பிராண்ட் தொனி, ஒரு நீண்ட அமர்வு முழுவதும் தக்கவைக்கப்படும் ஒரு பதிவு. பாணி வாலில் வாழ்கிறது, மேலும் கரடுமுரடான குவாண்டைசேஷன் முதலில் உண்பது வாலையே.
• கட்டமைக்கப்பட்ட வெளியீடு முதல் முயற்சியிலேயே சரிபார்க்கப்பட வேண்டும். மாதிரி json_schema ஐயும் response_format ஐயும் ஆதரிக்கிறது; schema பற்றுறுதி ஒரு துல்லியப் பண்பு, மேலும் தவிர்க்கப்படும் ஒவ்வொரு மறுமுயற்சியும் பணமும் தாமதமும் மிச்சம்.
• நீங்கள் சூழலை நிரப்புகிறீர்கள். டோக்கன் 200,000 இல் அறிவுறுத்தல் பற்றுறுதி டோக்கன் 2,000 ஐ விடக் கடினமானது, மேலும் அது எடைத் துல்லியத்துடன் சிதைகிறது — பிழைகள் அதே வழியில் கூட்டுவட்டியாகும் ஒரு நீண்ட சிந்தனைத் தடத்தைப் போலவே.
• வேலை இயல்பிலேயே தணிக்கையற்றது. பாதுகாப்பு ஆய்வு, ரெட்-டீமிங், வடிகட்டப்படாத புனைவு, உணர்திறன்மிக்க மருத்துவ அல்லது சட்டப் பகுப்பாய்வு — ஒரு தயங்கிய பதில் ஒன்றுமில்லாததை விட மோசமானது இருக்கும் இடங்கள்.

வேறு எதையாவது எப்போது தேர்ந்தெடுக்க வேண்டும்

• உங்களுக்குப் பார்வை தேவை. இந்த மாதிரி உரை மட்டும்; அதன் உடன்பிறப்பு MiMo-V2.5 · W8A16 அதே விலையிலும் அடுக்கிலும் பார்வைத் திறன் கொண்டது.
• குறுகிய வினவல்களில் மிக விரிவான உலக அறிவு உங்களுக்குத் தேவை. அதுவே மிகப் பெரிய 3-பிட் அடித்தளத்தின் கூடுதல் அளபுருக்கள் வெல்லும், அதன் குவாண்டைசேஷன் சேதம் அரிதாகவே தெரியும் நிலை.
• உங்கள் வேலைச்சுமை அதிக-அளவு குறுகிய வகைப்படுத்தல். குவாண்டைசேஷன் சேதம் அங்கே கிட்டத்தட்ட கண்ணுக்குத் தெரியாது — எது வேகமானதோ அதை வாங்குங்கள்.

09தணிக்கையற்ற MiMo API ஐ அழைத்தல்

உங்கள் குறியீடு OpenAI SDK ஐ இலக்காகக் கொண்டிருந்தால், அடிப்படை URL ஐயும் மாதிரி அடையாளத்தையும் மாற்றுவதே முழு இடம்பெயர்வும்:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages மற்றும் /v1/responses அதே அடையாளத்தையும் திறன்களையும் ஏற்கின்றன. அளபுரு குறிப்பு, கருவி-அழைப்பு schema கள், கட்டமைக்கப்பட்ட-வெளியீட்டு எடுத்துக்காட்டுகள், ஒரு நேரடி playground Shannon AI API ஆவணப்படுத்தலில் உள்ளன.

திறன்	MiMo-V2.5-Pro · W8A16
சூழல் சாளரம்	262,144 டோக்கன்கள்
ஒரு கோரிக்கைக்கு அதிகபட்ச வெளியீடு	16,384 டோக்கன்கள்
ஸ்ட்ரீமிங்	ஆம் — மூன்று வகைகளிலும்
கருவி அழைப்பு	ஆம்
சிந்தனை / reasoning_effort	ஆம்
json_schema கட்டமைக்கப்பட்ட வெளியீடு	ஆம்
response_format	ஆம்
பார்வை / பட உள்ளீடு	இல்லை — MiMo-V2.5 ஐப் பயன்படுத்துங்கள்
மறுப்புப் படை / வெளியீட்டு வடிகட்டல்	இல்லை
1M டோக்கனுக்கான விலை	உள்ளே $0.50 / வெளியே $2.00

10அடிக்கடி கேட்கப்படும் கேள்விகள்

---

மூலங்கள்: MiMo தொழில்நுட்ப அறிக்கை, arXiv:2505.07608 · MiMo-V2.5-Pro மாதிரி அட்டை (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-பிட் அனுமான அளவீட்டு விதிகள், arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. அனைத்து அளவீட்டு எண்களும் அவற்றின் ஆசிரியர்கள் அறிவித்தபடி. Shannon AI என்பது Shannon Lab LLC, New Mexico, USA இன் ஒரு தயாரிப்பு.