8-বিট বিশ্বস্ততায় আনসেন্সরড MiMo API

অধিকাংশ তালিকা আপনাকে প্যারামিটার সংখ্যা বেচে। কেনাকাটার জন্য ওটি ভুল সংখ্যা, কারণ আপনি সত্যিই যেসব বড় ওপেন-ওয়েটস মডেলের খরচ বহন করতে পারেন, তাদের প্রত্যেকটিকেই কোথাও এঁটে যাওয়ার জন্য সংকুচিত করা হয়েছে। সৎ প্রশ্নটি “চাপ দেওয়ার আগে এটি কত বড় ছিল?” নয়, বরং “এর কতটুকু এখনও আছে?” এই লেখাটি সেই প্রশ্ন নিয়ে, আর আমাদের তালিকার সেই মডেলটি নিয়ে যেখানে উত্তরটি হলো প্রায় পুরোটাই।

01আনসেন্সরড MiMo API আসলে আপনাকে কী দেয়

আনসেন্সরড MiMo API হলো একটিমাত্র মডেল id, MiMo-V2.5-Pro-W8A16, যা তিনটি উপভাষার মধ্য দিয়ে পাওয়া যায় আর সবগুলিই আমাদের নিজস্ব GPU ক্লাস্টারে একই ওয়েটে পৌঁছায়: /v1/chat/completions, /v1/messages আর /v1/responses। তিনটিই স্ট্রিম করে আর টুল কলিং ও রিজনিং সমর্থন করে।

আনসেন্সরড-এর এখানে সংকীর্ণ একটি অর্থ আছে: মডেলের সামনে কোনো প্রত্যাখ্যানের স্তর নেই, তার আউটপুটে কোনো ফিল্টার নেই। আমরা মাঝপথে আটকাই না, শ্রেণিবদ্ধ করি না, নতুন করে লিখি না। আপনি ভিত্তিটির নিজস্ব আচরণই পান — যা একটি গবেষণা-মানের ওপেন-ওয়েটস মডেলের ক্ষেত্রে মানে এটি নিরাপত্তা গবেষণা, প্রাপ্তবয়স্ক বা সহিংস কল্পসাহিত্য, চিকিৎসা ও আইনি রিজনিং, আর হোস্টেড বাণিজ্যিক এন্ডপয়েন্টগুলি যেসব অনুরোধ প্রতিবর্তীভাবে প্রত্যাখ্যান করে — সবের সঙ্গেই যুক্ত হয়। এটি আমাদের দায়িত্বশীল ব্যবহার নীতির অধীনে একটি পেশাদার যন্ত্র, নিয়মের অনুপস্থিতি নয়।

02MiMo বংশ: রিজনিং-প্রথম প্রিট্রেনিংয়ে Xiaomi-র বাজি

MiMo নতুন নাম পরা কোনো Llama-উদ্ভব নয়; এটি Xiaomi-র MiMo দলের একটি স্বতন্ত্র বংশ, আর মডেলটি মূল্যায়ন করার আগে তার প্রতিষ্ঠাতা ধারণাটি গুরুত্বপূর্ণ। এর শুরু MiMo-7B দিয়ে (৩০ এপ্রিল ২০২৫, MIT লাইসেন্স), যার কারিগরি প্রতিবেদন যুক্তি দেয় যে অধিকাংশ গবেষণাগার রিজনিংকে পোস্ট-ট্রেনিংয়ের সমস্যা হিসেবে দেখে আর RL দিয়ে জুড়ে দিতে চায়, আর সেটি উল্টো পথ। Xiaomi বরং প্রিট্রেনিং-কেই তার চারপাশে সাজিয়েছে: 25 ট্রিলিয়ন টোকেন জুড়ে তিন-পর্বের একটি মিশ্রণ, দ্বিতীয় পর্বে মোটামুটি 70% গণিত ও কোড, তৃতীয় পর্বে সিনথেটিক রিজনিং ট্রেস মিশিয়ে কনটেক্সট 8K থেকে 32K-তে বাড়ানো — সঙ্গে একটি Multi-Token Prediction উদ্দেশ্য, যা একই সঙ্গে একটি স্পেকুলেটিভ-ডিকোডিং হেড হিসেবেও কাজ করে।

ফল হলো এমন একটি 7B বেস মডেল, যা অনেক বড় কিছুর মতো আচরণ করে। MiMo-7B-Base AIME 2024-এ 32.9 পেয়েছে, যেখানে Qwen2.5-7B পেয়েছে 10.1, Gemma-2-9B 0.0 আর Llama-3.1-8B 0.3। এরপর পোস্ট-ট্রেনিংয়ে 130,000 যাচাইযোগ্য গণিত ও কোড সমস্যায় RL চলেছে, সঙ্গে একটি টেস্ট-কাঠিন্য-চালিত কোড রিওয়ার্ড, যা কোড RL-কে অস্থির করে তোলা বিরল-পুরস্কারের ফাঁদটি এড়িয়ে যায়। ফলটি o1-mini-র আগে পৌঁছেছে:

AIME 2025, MiMo কারিগরি প্রতিবেদন থেকে Xiaomi-কথিত সংখ্যা (arXiv:2505.07608)। MiMo-7B-RL MATH-500-এ 95.8 আর LiveCodeBench v5-এ 57.8-ও জানিয়েছে।

পরিবারটি বিচ্যুত না হয়ে চওড়া হয়েছে: MiMo-VL-7B (জুন ২০২৫) একই ব্যাকবোনে একটি Qwen2.5-ViT এনকোডার বসিয়েছে, আর ডিসেম্বর ২০২৫ এনেছে MiMo-Audio-7B আর প্রথম MoE সদস্য MiMo-V2-Flash (মোট 309B / 15B সক্রিয়, 27T টোকেন, FP8 মিশ্র নির্ভুলতা)। MiMo-V2-Pro এসেছে মার্চ ২০২৬-এ, মোটামুটি 1T / 42B সক্রিয়ে, 1M কনটেক্সট সহ, OpenRouter-এ কয়েক সপ্তাহ “Hunter Alpha” নামে থাকার পর। MiMo-V2.5 আর MiMo-V2.5-Pro একসঙ্গে এসেছে ২২ এপ্রিল ২০২৬-এ, দুটিই MIT।

03MiMo-V2.5-Pro-র ভেতরে: ভিত্তিটি দেখতে কেমন

Xiaomi-র প্রকাশিত মডেল কার্ড অনুযায়ী, MiMo-V2.5-Pro একটি স্পার্স Mixture-of-Experts মডেল, মোট 1.02 ট্রিলিয়ন প্যারামিটার আর প্রতি টোকেনে 42 বিলিয়ন সক্রিয়, 70টি স্তর জুড়ে — একটি ডেন্স, 69টি MoE — আর 384টি রাউটেড এক্সপার্ট, প্রতি টোকেনে 8টি। হিডেন সাইজ 6144, MoE ইন্টারমিডিয়েট সাইজ সরু, 2048।

দুটি সিদ্ধান্ত ব্যবহারে এর অনুভূতিটি গড়ে দেয়। অ্যাটেনশন স্ট্যাকটি হাইব্রিড: 10টি পূর্ণ-অ্যাটেনশন স্তর আর 128 উইন্ডোর 60টি স্লাইডিং-উইন্ডো স্তর, সঙ্গে একটি শেখনযোগ্য অ্যাটেনশন-সিংক বায়াস। Xiaomi জানায়, সর্ব-গ্লোবাল অ্যাটেনশনের তুলনায় এটি KV-ক্যাশ সংরক্ষণ প্রায় 7 গুণ কমায়, অথচ দীর্ঘ-কনটেক্সটের গুণমান ধরে রাখে — নামমাত্র দীর্ঘ উইন্ডো আর যেটি ভরার খরচ আপনি বহন করতে পারেন, তার মধ্যেকার তফাত। এটি তিনটি Multi-Token Prediction স্তর-ও দেয়, যা ডিকোডারকে একটি স্পেকুলেটিভ হেড এনে দেয়।

প্রশিক্ষণ চলেছে 27 ট্রিলিয়ন টোকেনে, নেটিভ 32K সিকোয়েন্স দৈর্ঘ্যে, FP8 (E4M3) মিশ্র নির্ভুলতায়, এরপর সুপারভাইজড ফাইন-টিউনিং, বড় মাপের এজেন্টিক RL আর মাল্টি-টিচার অন-পলিসি ডিস্টিলেশন। ওই FP8 তথ্যটি মনে রাখুন; এই ভিত্তিটিকে 8 বিটে পরিবেশন করার সবচেয়ে শক্ত একক যুক্তি সেটিই।

Xiaomi মডেলটির জন্য জানায় SWE-bench Pro-তে 57.2%, টুল ব্যবহারে τ3-Bench-এ 72.9 আর Humanity's Last Exam-এ 48.0% — অসংকুচিত মডেলে বিক্রেতার নিজস্ব সংখ্যা, তেমনভাবেই উদ্ধৃত।

আমরা একটি 262,144-টোকেন উইন্ডো পরিবেশন করি, ভিত্তিটির পূর্ণ 1M নয় — এমন একটি কনটেক্সট যা আমরা গতিসহ নিশ্চিত করতে পারি, চাপে পড়লে যা ভেঙে যায় এমন একটি শিরোনাম-সংখ্যা নয়।

04W8A16 মানে ঠিক কী

এই তালিকার প্রতিটি মডেল একটি কোয়ান্টাইজেশন প্রত্যয় বহন করে, যা কোনো বিপণন-স্তর নয় বরং একটি বাস্তব, মাপযোগ্য রূপান্তরের বর্ণনা। আমাদেরগুলি হলো 3BIT-REAP, W4A16-AUTOROUND-REAP আর W8A16। MiMo-V2.5-Pro তৃতীয়টি।

চিহ্নটি দুই ভাগে ভাগ হয়। W8 হলো ওয়েটের নির্ভুলতা: প্রতিটি প্যারামিটার 16-বিট ফ্লোটের বদলে একটি 8-বিট পূর্ণসংখ্যা হিসেবে রাখা হয়, প্রতি ছোট গ্রুপে একটি ভাগ করা স্কেলিং ফ্যাক্টর সহ, যাতে প্রতিটি গ্রুপের স্থানীয় গতিশীল পরিসর টিকে থাকে। A16 হলো অ্যাক্টিভেশনের নির্ভুলতা: ইনফারেন্সের সময় স্তরে স্তরে বয়ে চলা মানগুলি 16 বিটেই থাকে। ওয়েট সংকুচিত হয়; পাটিগণিত নয়।

দ্বিতীয় অর্ধেকটি নীরবে গুরুত্বপূর্ণ কাজ করে। অ্যাক্টিভেশন ওয়েটের চেয়ে অনেক বেশি কঠিন কোয়ান্টাইজ করতে: এতে থাকে চরম আউটলায়ার চ্যানেল — গুটিকয় ডাইমেনশন যাদের মাত্রা বাকি সবকিছুকে ছাপিয়ে যায় আর যারা মডেলের আচরণের অসমানুপাতিক একটি অংশ বহন করে। ওদের কম নির্ভুলতায় ঠেললে ঠিক সেই সংকেতটিই কেটে যায় যা আপনার দরকার ছিল। কেবল-ওয়েট কৌশলগুলি অ্যাক্টিভেশন পথটি অক্ষত রেখে সমস্যাটি এড়িয়ে যায়, আর এ কারণেই গুরুতর কোয়ান্টাইজেশন কাজ সেদিকেই মিলিত হয়েছে।

ফলে বাস্তব প্রশ্নটি একটিতেই নেমে আসে: একটি ওয়েট কত কম বিট সহ্য করতে পারে?

05W8A16 বনাম W4A16 বনাম 3-বিট: ক্ষতিটি আসলে কোথায় যায়

এ নিয়ে সবচেয়ে বড় প্রকাশিত গবেষণা হলো Neural Magic ও Red Hat-এর “Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization — 8B, 70B ও 405B-তে Llama-3.1 পরিবার জুড়ে 5,00,000-এর বেশি মূল্যায়ন। তাদের প্রধান ফল, তাদেরই সংখ্যায়:

বিন্যাস	কী সংকুচিত হয়	BF16-এর তুলনায় জানানো পুনরুদ্ধার
W8A8-FP (8-বিট)	ওয়েট + অ্যাক্টিভেশন, ফ্লোট	~99.75% গড় — “মূলত ক্ষতিহীন”
W8A8-INT (8-বিট)	ওয়েট + অ্যাক্টিভেশন, পূর্ণসংখ্যা	8B/70B-তে 99–100%; 405B-তে 98.2–99.3%
W4A16-INT (4-বিট)	কেবল ওয়েট	98–99.4% (8B); 98.6–99.8% (70B)

Llama-3.1 মডেলে Neural Magic / Red Hat-এর জানানো সংখ্যা (arXiv:2411.02355) — বিনিময়ের আকার, এই মডেলের স্কোর নয়।

সৎভাবে পড়লে এটিকে গুরুত্ব দেওয়ার বিরুদ্ধেই একটি যুক্তি মনে হয়: 4-বিট 98–99% ফিরিয়ে আনে, তবে আর মাথা ঘামানো কেন? কারণ ওগুলি একাডেমিক বহুনির্বাচনী বেঞ্চমার্ক, কোয়ান্টাইজেশনের ক্ষতি ধরার জন্য প্রাপ্য যন্ত্রগুলির মধ্যে প্রায় সবচেয়ে খারাপ। একটি বেঞ্চমার্ক প্রশ্নের একটিই সঠিক উত্তর থাকে, যা এক-দুই টোকেনেই পৌঁছানো যায়, আর কোয়ান্টাইজেশন ত্রুটি প্রতিটি লজিটে ছোট, মোটামুটি শূন্য-গড় নয়েজ; চওড়া ব্যবধানের একটি ছোট প্রশ্নে সেই নয়েজ শুষে নেওয়া হয়।

এবার একটি কারিগরি নথির 4,000 টোকেন লিখুন, 40,000-টোকেনের একটি গল্প জুড়ে একটি কণ্ঠস্বর ধরে রাখুন, কিংবা এমন JSON বের করুন যা প্রথম চেষ্টাতেই বৈধ হতে হবে। একই নয়েজ পরপর হাজার হাজার বার স্যাম্পল হয়, আর প্রতিটি স্যাম্পল পরেরটির শর্ত ঠিক করে। ব্যর্থতার ধরনটি ভুল উত্তর নয় — সেটি বিচ্যুতি: প্রথম টার্নের নির্দেশে ক্রমশ ঢিলে হয়ে আসা মুঠি, একটি চরিত্র যে 3,000 টোকেনের কাছাকাছি এসে নিজের মতো শোনা বন্ধ করে দেয়, একটি সমাপ্তি-বন্ধনী যা কখনও আসে না।

বিটগুলি আসলে কোথায় যায়

কোয়ান্টাইজেশন ত্রুটি একটি মডেলের ক্ষমতাগুলির উপর সমানভাবে ছড়ায় না; এটি প্রান্তে ঘনীভূত হয়। উচ্চ-ভরের আচরণ — ব্যাকরণসিদ্ধ ইংরেজি, একটি Python ফাংশনের আকার, পৃথিবী সম্পর্কে শীর্ষ হাজার তথ্য — বহু ওয়েট জুড়ে পুনরাবৃত্তভাবে এনকোড থাকে আর প্রায় সবকিছু সয়ে যায়। ওয়েট বণ্টনের সূক্ষ্মভাবে টিউন করা, ছোট-মাত্রার কোণগুলিতেই থাকে বিরল জিনিসগুলি: একটি অপ্রচলিত API-র হুবহু সিগনেচার, একজন নির্দিষ্ট লেখকের ছন্দ, পাশাপাশি দুটি CVE-র তফাত। মোটা গ্রিড ঠিক ওই মানগুলিকেই একে অন্যের ভেতরে রাউন্ড করে দেয়।

4 বিট থেকে 3-এ নামাটিই সেই ধাপ যেখানে এটি আর কর থাকে না, খাদ হয়ে যায়। Dettmers ও Zettlemoyer-এর k-বিট ইনফারেন্স স্কেলিং সূত্র দেখায়, মডেল মেমরির প্রতি বিটে জিরো-শট নির্ভুলতা সর্বোচ্চ হয় 4 বিটেই, আর তার নিচে অবনতিই প্রাধান্য পায়। চার বিট প্রতি গ্রুপে 16টি স্তর দেয়; তিন দেয় 8টি। আপনি ইতিমধ্যেই মোটা একটি গ্রিডের রেজোলিউশন অর্ধেক করছেন, আর প্রতি ওয়েটে রাউন্ড-অফ ত্রুটি মোটামুটি দ্বিগুণ হয়।

যে পাটিগণিত সিদ্ধান্ত দেয়

করার মতো তুলনাটি পাটিগণিতের, বেঞ্চমার্কের নয়। সংকোচনের পর যা টেকে তা মোটামুটি প্যারামিটার × প্রতি প্যারামিটারে বিট — ওয়েট ফাইলের তথ্য-বহনকারী আয়তন। প্রতি প্যারামিটারে সমান গুণমানের দুটি কাল্পনিক ভিত্তি নিন:

• ভিত্তি A: 3 বিটে 400B প্যারামিটার → মোটামুটি 150 GB ধরে রাখা ওয়েট।
• ভিত্তি B: 8 বিটে 160B প্যারামিটার → মোটামুটি 160 GB ধরে রাখা ওয়েট।

নিছক প্যারামিটার সংখ্যায় A আড়াই গুণে জেতে — মডেল কার্ড যে সংখ্যাটি দিয়ে শুরু করে। ধরে রাখা তথ্যে তারা সমান, আর তার উপর B-র একটি কাঠামোগত সুবিধাও আছে: তার ওয়েটগুলি এত সূক্ষ্ম একটি গ্রিডে বসে যে তার প্রান্ত-আচরণ অক্ষত, অথচ A-র প্রান্তটি মূল ভরের ভেতরে কোয়ান্টাইজ হয়ে গেছে। A বেশি জিনিস জানে; B যা জানে তা আরও তীক্ষ্ণভাবে জানে। দীর্ঘ জেনারেশন, হুবহু ফরম্যাটিং, শৈলীগত নিয়ন্ত্রণ আর বিশ্বস্ত দীর্ঘ-কনটেক্সট মান্যতার জন্য B নিন।

দৃষ্টান্তমূলক পাটিগণিত, বেঞ্চমার্ক নয়: এটি দেখায় “বড় ভিত্তি” আর “ভালোভাবে পরিবেশিত মডেল” কেন ভিন্ন দাবি।

0627 ট্রিলিয়ন প্রশিক্ষণ টোকেন কেন আক্রমণাত্মক কোয়ান্টাইজেশনকে আরও খারাপ করে

দ্বিতীয়, কম স্বজ্ঞাত একটি ফল সরাসরি এই ভিত্তির সঙ্গে জড়িত। Kumar প্রমুখের ICLR 2025 পেপার Scaling Laws for Precision দেখায় যে একটি মডেল যত বেশি ডেটায় প্রশিক্ষিত, পোস্ট-ট্রেনিং কোয়ান্টাইজেশন তার তত বেশি ক্ষতি করে। কম নির্ভুলতা একটি মডেলের কার্যকর প্যারামিটার সংখ্যা কমায়, আর শোষিত প্রিট্রেনিং ডেটার সঙ্গে সেই অবনতি বাড়তে থাকে — এতটাই যে আপনি যদি আক্রমণাত্মকভাবে কোয়ান্টাইজ করতে চান, তবে বাড়তি প্রিট্রেনিং ডেটা নিট হিসেবে ক্ষতিকরও হতে পারে, কারণ আপনি এমন সূক্ষ্ম কাঠামো বসাচ্ছেন যা গ্রিড মুছে দেবে।

5T টোকেনে প্রশিক্ষিত একটি মডেলের ওয়েট কাঠামো মোটা, পুনরাবৃত্ত, আর তাতে যথেষ্ট ঢিল আছে। 27T টোকেনে প্রশিক্ষিত একটি মডেল — MiMo-V2.5-Pro-র বাজেট — সেই বাড়তি ডেটা খরচ করেছে আরও নিখুঁত ওয়েট মানে আরও সূক্ষ্ম পার্থক্য লিখতে, যা ঠিক তাই যা একটি 3-বিট গ্রিড উপস্থাপন করতে পারে না।

এরপর আছে ০৩ অনুচ্ছেদের সেই FP8 তথ্যটি, এই লেখার সবচেয়ে পরিচ্ছন্ন যুক্তি। MiMo-V2.5-Pro প্রিট্রেন হয়েছে FP8 মিশ্র নির্ভুলতায়। শুরু থেকেই তার ওয়েটগুলি এমন একটি অপ্টিমাইজার গড়েছে যা মোটামুটি আট বিট নির্ভুলতায় কাজ করছিল। তাই এটিকে 8-বিট ওয়েটে পরিবেশন করা কোনো 16-বিট মডেলের উপর চাপিয়ে দেওয়া ক্ষতিকর উত্তরচিন্তা নয় — এটি বরং ওয়েটগুলিকে যে সাংখ্যিক পরিসরে শেখা হয়েছিল সেখানেই ফিরিয়ে দেওয়ার কাছাকাছি। অষ্টম বিটের নিচে হারানোর মতো সূক্ষ্ম কাঠামো সামান্যই আছে। যে ওয়েটগুলিকে তিনে নামিয়ে আনা হয়, তাদের সম্পর্কে একথা বলা যায় না।

07REAP: এক্সপার্ট ছাঁটাই কেন রাউন্ডিংয়ের চেয়ে ভিন্ন ধরনের ক্ষতি

তিনটি স্তরের দুটি একটি REAP প্রত্যয় বহন করে — কোয়ান্টাইজেশন থেকে শ্রেণিগতভাবেই ভিন্ন একটি প্রক্রিয়া। REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) হলো স্পার্স MoE মডেলের জন্য এক-ধাপের সংকোচন: এটি প্রতিটি এক্সপার্টকে রাউটারের গেট মান ও এক্সপার্টের অ্যাক্টিভেশন নর্ম দিয়ে নম্বর দেয়, এরপর সবচেয়ে কম নম্বরধারীদের মুছে দেয়। Cerebras জানায়, 50% এক্সপার্ট ছাঁটাইয়েও কোড জেনারেশন ও টুল কলিংয়ে ফল প্রায় ক্ষতিহীন।

REAP যে কারণে বিদ্যমান, আমরা সে কারণেই এটি ব্যবহার করি: সবচেয়ে বড় ভিত্তিগুলিকে পরিবেশনযোগ্য করে তোলে এটিই। তবে ধরনের তফাতটি লক্ষ করুন। কোয়ান্টাইজেশন প্রতিটি ওয়েটকে একটু ঝাপসা করে; ছাঁটাই এক্সপার্টদের পুরোপুরি সরিয়ে দেয়। আপনার কাজ যদি এমন কোনো সক্ষমতায় জোরালোভাবে রাউট করে, যা কদাচিৎ নির্বাচিত কোনো এক্সপার্টে থাকত — একটি ছোট প্রোগ্রামিং ভাষা, একটি বিশেষায়িত শব্দভাণ্ডার — তবে সেটি ক্ষতিগ্রস্ত হয়নি। সেটি নেই, আর কোনো প্রম্পটিং তা ফেরাতে পারে না। গড়গুলি চমৎকারই থাকে; আপনার প্রান্তিক ক্ষেত্রটি না-ও থাকতে পারে।

MiMo-V2.5-Pro · W8A16 কোনো REAP প্রত্যয় বহন করে না। 384টি এক্সপার্টই উপস্থিত, আর ভিত্তিটি যে পূর্ণ সেট নিয়ে প্রশিক্ষিত হয়েছিল, রাউটার তার মধ্য থেকেই বেছে নেয়।

স্তর	ওয়েট বিট	এক্সপার্ট	আপনি কী বিনিময় করেন
W8A16	8	সবই উপস্থিত	কাঠামোগত কিছুই নয়। এটিই বিশ্বস্ততার স্তর।
W4A16-AUTOROUND-REAP	4	ছাঁটাই করা	সূক্ষ্ম ওয়েট বিবরণ আর কম-ট্রাফিকের এক্সপার্ট, বিনিময়ে একই দামের ঘরে অনেক বড় একটি ভিত্তি।
3BIT-REAP	3	ছাঁটাই করা	উল্লেখযোগ্য ওয়েট রেজোলিউশন আর কম-ট্রাফিকের এক্সপার্ট — সবচেয়ে বড় ভিত্তিগুলিকে গতিসহ চালানোর দাম।

মাঝের স্তরটি একটি ন্যায্য শুনানি প্রাপ্য। AutoRound সরল রাউন্ডিং নয়: Intel-এর পদ্ধতিটি (arXiv:2309.05516) মোটামুটি 200 ধাপে signed gradient descent ব্যবহার করে প্রতি ওয়েট গ্রুপে রাউন্ডিং সিদ্ধান্ত ও ক্লিপিং পরিসর টিউন করে, আর অধিকাংশ পরিস্থিতিতে 4 বিটে প্রায় ক্ষতিহীন বলে জানানো হয়, পরীক্ষিত অধিকাংশ কনফিগারেশনে GPTQ, AWQ, HQQ ও OmniQuant-কে হারিয়ে। একটি W4A16-AUTOROUND মডেল সত্যিই একটি ভালো 4-বিট মডেল। তবু এটি একটি 4-বিট মডেলই।

088-বিট স্তরটি কার বাছা উচিত — আর কার নয়

MiMo-V2.5-Pro · W8A16 বসে আছে পুরো তালিকার মেঝে-দামে — প্রতি মিলিয়ন টোকেনে $0.50 ইন / $2.00 আউট, এন্ট্রি-স্তরের 4-বিট মডেলগুলির মতো একই ঘরে আর আমরা যে মডেলটি সবচেয়ে দামি পরিবেশন করি তার ইনপুট দামের মোটামুটি এক-চতুর্থাংশ। আপনি বিশ্বস্ততার জন্য বাড়তি দাম দিচ্ছেন না; আপনি একই বাজেটের একটি ভিন্ন অক্ষ বেছে নিচ্ছেন।

এটি বাছুন যখন

• আউটপুটের দৈর্ঘ্যই কাজ। দীর্ঘ কারিগরি লেখা, অধ্যায়-দৈর্ঘ্যের কল্পসাহিত্য, পূর্ণ ডকুমেন্টেশন পাস — তৈরি হওয়া প্রতিটি টোকেনেই সংকোচন নয়েজ জমতে থাকে।
• কণ্ঠস্বর ও সংগতি গুরুত্বপূর্ণ। চরিত্র-নির্মাণ, ব্র্যান্ডের সুর, দীর্ঘ সেশন জুড়ে ধরে রাখা একটি ভঙ্গি। শৈলী প্রান্তেই বাস করে, আর মোটা কোয়ান্টাইজেশন প্রান্তটিকেই আগে খায়।
• কাঠামোবদ্ধ আউটপুটকে প্রথম চেষ্টাতেই বৈধ হতে হবে। মডেলটি json_schema ও response_format সমর্থন করে; স্কিমা-মান্যতা একটি নির্ভুলতার ধর্ম, আর এড়ানো প্রতিটি পুনঃচেষ্টা মানে বাঁচানো টাকা ও লেটেন্সি।
• আপনি কনটেক্সট ভরে ফেলছেন। 2,000 টোকেনের চেয়ে 2,00,000 টোকেনে নির্দেশ মান্যতা কঠিন, আর ওয়েট নির্ভুলতার সঙ্গে সেটি ক্ষয়ে যায় — একটি দীর্ঘ রিজনিং ট্রেসের মতোই, যেখানে ত্রুটি একইভাবে জমে।
• কাজটি স্বভাবতই আনসেন্সরড। নিরাপত্তা গবেষণা, রেড-টিমিং, ফিল্টারহীন কল্পসাহিত্য, সংবেদনশীল চিকিৎসা বা আইনি বিশ্লেষণ — যেখানে একটি এড়িয়ে যাওয়া উত্তর কোনো উত্তর না পাওয়ার চেয়েও খারাপ।

অন্য কিছু বাছুন যখন

• আপনার ভিশন দরকার। এই মডেলটি কেবল টেক্সটের; এর সহোদর MiMo-V2.5 · W8A16 একই দামে ও একই স্তরে ভিশন-সক্ষম।
• ছোট প্রশ্নে আপনার সবচেয়ে বিস্তৃত বিশ্বজ্ঞান দরকার। সেটিই সেই পরিসর যেখানে অনেক বড় একটি 3-বিট ভিত্তির বাড়তি প্যারামিটার জেতে আর তার কোয়ান্টাইজেশন ক্ষতি প্রায় চোখেই পড়ে না।
• আপনার কাজ উচ্চ-আয়তনের ছোট শ্রেণিবিন্যাস। সেখানে কোয়ান্টাইজেশন ক্ষতি প্রায় অদৃশ্য — যেটি সবচেয়ে দ্রুত, সেটিই কিনুন।

09আনসেন্সরড MiMo API কল করা

আপনার কোড যদি OpenAI SDK লক্ষ্য করে, তবে বেস URL আর মডেল id বদলানোই পুরো মাইগ্রেশন:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages আর /v1/responses একই id ও সক্ষমতা গ্রহণ করে। প্যারামিটার তালিকা, টুল-কলিং স্কিমা, কাঠামোবদ্ধ-আউটপুটের উদাহরণ আর একটি লাইভ প্লেগ্রাউন্ড আছে Shannon AI API ডকুমেন্টেশন-এ।

সক্ষমতা	MiMo-V2.5-Pro · W8A16
কনটেক্সট উইন্ডো	262,144 টোকেন
প্রতি রিকোয়েস্টে সর্বোচ্চ আউটপুট	16,384 টোকেন
স্ট্রিমিং	হ্যাঁ — তিনটি উপভাষাতেই
টুল কলিং	হ্যাঁ
রিজনিং / reasoning_effort	হ্যাঁ
json_schema কাঠামোবদ্ধ আউটপুট	হ্যাঁ
response_format	হ্যাঁ
ভিশন / ছবি ইনপুট	না — MiMo-V2.5 ব্যবহার করুন
প্রত্যাখ্যানের স্তর / আউটপুট ফিল্টার	কোনোটিই নেই
প্রতি 1M টোকেনে দাম	$0.50 ইন / $2.00 আউট

10প্রায়শই জিজ্ঞাসিত প্রশ্ন

---

উৎস: MiMo কারিগরি প্রতিবেদন, arXiv:2505.07608 · MiMo-V2.5-Pro মডেল কার্ড (Xiaomi) · “Give Me BF16 or Give Me Death”?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-বিট ইনফারেন্স স্কেলিং সূত্র, arXiv:2212.09720 · Scaling Laws for Precision, Kumar প্রমুখ, ICLR 2025। সব বেঞ্চমার্ক সংখ্যা তাদের লেখকদের জানানো অনুযায়ী। Shannon AI হলো Shannon Lab LLC, নিউ মেক্সিকো, USA-র একটি পণ্য।