8 比特保真度下的无审查 MiMo API

大多数目录卖给你的是参数量。那是个不该用来选购的数字，因为凡是你真正付得起的大型开源权重模型，都被压缩过才装得下。老实的问题不是「它被压之前有多大？」，而是「它现在还剩多少？」这篇文章讲的就是这个问题，以及我们阵容里那个答案为几乎全都还在的模型。

01无审查 MiMo API 到底给你什么

无审查 MiMo API 就是一个模型 id，MiMo-V2.5-Pro-W8A16，可以通过三种方言访问我们自己 GPU 集群上的同一份权重：/v1/chat/completions、/v1/messages 和 /v1/responses。三者都支持流式、工具调用和推理。

无审查在这里有一个很窄的含义：模型前面没有拒答层，输出上也没有过滤器。我们不拦截、不分类、不改写。你拿到的是这个基座自身的行为 —— 对一个研究级的开源权重模型来说，这意味着它会正面处理安全研究、成人或暴力题材的虚构写作、医学与法律推理，以及那些托管型商业端点会条件反射拒绝的请求。它是一件在我们《负责任使用政策》之下的专业工具，不是「没有规则」。

02MiMo 血脉：小米押注推理优先的预训练

MiMo 不是换了个名字的 Llama 衍生品；它是小米 MiMo 团队独立的一条血脉，而它的创立思路在你评估这个模型之前就值得先了解。这条线始于 MiMo-7B（2025 年 4 月 30 日，MIT 许可），其技术报告主张：大多数实验室把推理当成后训练阶段用 RL 外挂上去的问题，而这是本末倒置。小米转而围绕推理重构了预训练：在 25 万亿 token 上做三阶段配比，第二阶段大约 70% 是数学和代码，第三阶段并入合成推理轨迹，同时把上下文从 8K 扩到 32K —— 再加上一个多 token 预测目标，它同时兼作投机解码头。

结果是一个行为上远超其体量的 7B 基座模型。MiMo-7B-Base 在 AIME 2024 上拿到 32.9，同期 Qwen2.5-7B 是 10.1，Gemma-2-9B 是 0.0，Llama-3.1-8B 是 0.3。后训练随后在 13 万道可验证的数学与代码题上跑 RL，配合按测试难度驱动的代码奖励，绕开了那个会让代码 RL 失稳的稀疏奖励陷阱。最终结果排在 o1-mini 之前：

AIME 2025，出自 MiMo 技术报告（arXiv:2505.07608）的小米自报数据。MiMo-7B-RL 还报告了 MATH-500 上的 95.8 和 LiveCodeBench v5 上的 57.8。

这个家族是在拓宽，而不是在漂移：MiMo-VL-7B（2025 年 6 月）在同一骨干上接了 Qwen2.5-ViT 编码器；2025 年 12 月带来了 MiMo-Audio-7B，以及第一个 MoE 成员 MiMo-V2-Flash（总参数 309B / 激活 15B，27T token，FP8 混合精度）。MiMo-V2-Pro 于 2026 年 3 月跟进，约 1T 总参数 / 42B 激活，1M 上下文，此前它已在 OpenRouter 上以「Hunter Alpha」之名跑了数周。MiMo-V2.5 和 MiMo-V2.5-Pro 于 2026 年 4 月 22 日同日发布，同为 MIT 许可。

03走进 MiMo-V2.5-Pro：这个基座长什么样

按小米公布的模型卡，MiMo-V2.5-Pro 是一个稀疏混合专家模型，总参数 1.02 万亿，每 token 激活 420 亿，共 70 层 —— 1 层稠密、69 层 MoE —— 以及 384 个路由专家，每 token 激活 8 个。隐藏维度为 6144，MoE 中间层维度较窄，为 2048。

有两个选择决定了它用起来的手感。注意力栈是混合的：10 层全注意力加 60 层窗口为 128 的滑动窗口注意力，外加一个可学习的 attention-sink 偏置。小米报告称，这让 KV 缓存的存储量相比全全局注意力减少接近 7 倍，同时保住了长上下文质量 —— 这是「名义上很长的窗口」和「你真填得起的窗口」之间的差别。它还带了三层多 token 预测，给解码器配了一个投机头。

训练用了 27 万亿 token，原生序列长度 32K，采用 FP8（E4M3）混合精度，随后是监督微调、大规模智能体 RL 和多教师 on-policy 蒸馏。记住 FP8 这个细节；它是「这个基座应该以 8 比特提供服务」这一论点里最有力的单条论据。

小米报告该模型在 SWE-bench Pro 上 57.2%、工具使用的 τ3-Bench 上 72.9、Humanity's Last Exam 上 48.0% —— 这是厂商自己在未压缩模型上的数字，我们照此引用。

我们提供的是 262,144 token 的窗口，而不是基座完整的 1M —— 我们要的是一个能保证速度的上下文，而不是一个在负载下就退化的宣传数字。

04W8A16 究竟是什么意思

这个目录里每个模型都带一个量化后缀，描述的是一次真实、可测量的变换，而不是一个营销档位。我们的后缀是 3BIT-REAP、W4A16-AUTOROUND-REAP 和 W8A16。MiMo-V2.5-Pro 属于第三种。

这个记号分成两半。W8 是权重精度：每个参数存成 8 比特整数而不是 16 比特浮点，每个小分组共享一个缩放因子，这样每组的局部动态范围得以保留。A16 是激活精度：推理时在层与层之间流动的数值仍保持 16 比特。被压缩的是权重；算术不压。

后半句干的活安静但重要。激活比权重难量化得多：它们含有极端的离群通道 —— 少数几个维度的幅值远超其余，并承载了模型行为中不成比例的一大块。把这些压到低精度，你剪掉的恰恰是你需要的信号。纯权重量化方案绕开了这个问题，因为它根本不碰激活通路，这也是严肃的量化工作最终都收敛到这条路上的原因。

于是实际问题收窄成一件事：一个权重最少能忍受几个比特？

05W8A16 对 W4A16 对 3 比特：损失究竟去了哪

关于这一点，已发表的最大规模研究来自 Neural Magic 和 Red Hat 的 "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization —— 覆盖 Llama-3.1 家族 8B、70B 和 405B，超过 50 万次评测。他们的主要结果，用他们自己的数字：

格式	压缩了什么	相对 BF16 的报告恢复率
W8A8-FP（8 比特）	权重 + 激活，浮点	平均约 99.75% —— 「基本无损」
W8A8-INT（8 比特）	权重 + 激活，整数	8B/70B 上 99–100%；405B 上 98.2–99.3%
W4A16-INT（4 比特）	仅权重	98–99.4%（8B）；98.6–99.8%（70B）

数字由 Neural Magic / Red Hat（arXiv:2411.02355）在 Llama-3.1 模型上报告 —— 它描述的是这笔权衡的形状，不是本模型的成绩。

老实读的话，这看起来像是一个反对在意这件事的论据：4 比特恢复了 98–99%，那还纠结什么？因为那些是学术选择题基准，是检测量化损伤的最差工具之一。一道基准题只有一个正确答案，一两个 token 就能给出，而量化误差是每个 logit 上一点近似零均值的小噪声；在一道短问题、而且正确与错误之间余量很宽的情况下，这点噪声会被吸收掉。

现在换成写 4,000 个 token 的技术文档、在 40,000 token 的故事里保持同一个声音，或者产出必须一次就通过校验的 JSON。同样的噪声会被连续采样数千次，每一次采样又都成为下一次的条件。失败模式不是答错 —— 而是漂移：从第一轮开始对指令的把握一点点松掉，一个角色在 3,000 token 附近开始不像他自己，一个永远没来的右花括号。

比特究竟花在哪里

量化误差并不是均匀地摊在模型的各项能力上；它集中在尾部。高频行为 —— 合乎语法的英语、一个 Python 函数的形状、关于世界的前一千条事实 —— 在许多权重上被冗余编码，几乎什么都扛得住。而权重分布里那些被精细调过的、幅值很小的角落，装的是稀有的东西：某个冷门 API 的确切签名、某位作者的独特节奏、两个相邻 CVE 之间的区别。这些正是粗网格会把它们四舍五入到一起的数值。

从 4 比特到 3 比特这一步，是这件事从「税」变成「断崖」的地方。Dettmers 与 Zettlemoyer 的 k 比特推理缩放律发现，4 比特是每比特模型显存所换零样本精度的最大值点，低于它退化就开始主导。4 比特每组给 16 个量化级；3 比特给 8 个。你把一个本来就很粗的网格分辨率又砍了一半，每个权重的舍入误差大致翻倍。

决定胜负的那笔算术

值得做的比较是算术，不是跑分。压缩后留存下来的东西大约是参数量 × 每参数比特数 —— 也就是权重文件承载信息的体积。设想两个「每参数质量相同」的假想基座：

• 基座 A：4000 亿参数，3 比特 → 约 150 GB 的留存权重。
• 基座 B：1600 亿参数，8 比特 → 约 160 GB 的留存权重。

按原始参数量算，A 以两倍半胜出 —— 这正是模型卡首先亮出的那个数字。按留存信息算，两者相当，而且 B 还多一项结构性优势：它的权重落在足够细的网格上，尾部行为完好无损；而 A 的尾部已经被量化进了主体里。A 知道的事情更多；B 对自己知道的事情更清晰。要长文生成、精确格式、风格控制和忠实的长上下文遵循，选 B。

这是说明性的算术，不是基准：它说明的是「更大的基座」和「更好的服务模型」是两个不同的主张。

06为什么 27 万亿训练 token 会让激进量化更糟

还有一个不太直观的结果，直接关系到这个基座。Kumar 等人发表于 ICLR 2025 的论文 Scaling Laws for Precision 发现：一个模型训练时用的数据越多，训练后量化对它的伤害就越大。低精度会降低模型的有效参数量，而这种退化会随着吸收的预训练数据增加而增长 —— 增长到一个程度，如果你打算激进量化，额外的预训练数据甚至可能净有害，因为你写下的是网格会抹掉的精细结构。

一个在 5T token 上训练的模型，权重结构粗糙、冗余，有富余空间。一个在 27T token 上训练的模型 —— MiMo-V2.5-Pro 的预算 —— 用那些额外数据把更细的区分写进了更精确的权重值里，而这恰恰是 3 比特网格无法表示的东西。

接着是第 03 节里那个 FP8 事实，本文最干净的论据。MiMo-V2.5-Pro 是以 FP8 混合精度预训练的。它的权重从一开始就是由一个在大约八比特精度下工作的优化器塑形的。因此，以 8 比特权重提供服务并不是强加在一个 16 比特模型上的有损事后处理 —— 它接近于把权重送回它们被学出来的那个数值域。第八个比特以下本来就没多少精细结构可丢。而被强压到三比特的权重，就不能这么说了。

07REAP：为什么专家剪枝是一种和舍入完全不同的损失

三档里有两档带 REAP 后缀 —— 那是一种与量化在性质上完全不同的操作。REAP（Router-weighted Expert Activation Pruning，Cerebras Research，arXiv:2510.13999，ICLR 2026）是针对稀疏 MoE 模型的一次性压缩：它按路由器的门控值和专家的激活范数给每个专家打分，然后删掉得分最低的那些。Cerebras 报告称，即使剪掉 50% 的专家，在代码生成和工具调用上仍接近无损。

我们用 REAP 的理由正是它存在的理由：在最大的那些基座上，是它让服务成为可能。但要注意性质上的差别。量化把每个权重都轻微模糊一点；剪枝则是把专家整个删掉。如果你的负载大量路由到某个存活在极少被选中的专家里的能力 —— 一门小众编程语言、一套专业词汇 —— 那它不是退化了，而是没了，任何提示词都救不回来。平均值依然漂亮；你的尾部用例未必。

MiMo-V2.5-Pro · W8A16 不带任何 REAP 后缀。全部 384 个专家都在，路由器是从基座训练时的完整专家集合里做选择。

档位	权重比特	专家	你换掉了什么
W8A16	8	全部保留	结构上什么都没换。这就是保真档。
W4A16-AUTOROUND-REAP	4	已剪枝	精细的权重细节加上低流量专家，换来的是同一价位段里大得多的基座。
3BIT-REAP	3	已剪枝	相当一部分权重分辨率加上低流量专家 —— 这是让最大的那些基座跑得快所付的代价。

中间那档也该被公平对待。AutoRound 不是朴素舍入：Intel 的方法（arXiv:2309.05516）用带符号梯度下降跑大约 200 步，逐权重组调节舍入决策和截断范围，报告称在多数设定下 4 比特接近无损，并在大多数被测配置上胜过 GPTQ、AWQ、HQQ 和 OmniQuant。一个 W4A16-AUTOROUND 模型确实是一个很好的 4 比特模型。但它仍然是 4 比特模型。

08谁该选 8 比特档 —— 谁不该

MiMo-V2.5-Pro · W8A16 位于整个目录的地板价 —— 每百万 token 输入 $0.50 / 输出 $2.00，和入门档的 4 比特模型同一价位段，大约是我们服务的最贵模型输入价的四分之一。你并没有为保真度付溢价；你只是在同一份预算里选了另一条轴。

什么时候选它

• 输出长度本身就是任务。长篇技术写作、章节级的虚构写作、整轮文档生成 —— 每生成一个 token，压缩噪声就多复合一次。
• 声音和一致性很重要。角色塑造、品牌语气、在一整段长会话里保持同一种语域。风格活在尾部，而尾部正是粗量化最先吃掉的东西。
• 结构化输出必须一次通过校验。这个模型支持 json_schema 和 response_format；schema 遵循是一项精度属性，而每少一次重试，就省下一笔钱和一段延迟。
• 你要把上下文填满。在第 200,000 个 token 上遵循指令，比在第 2,000 个 token 上难得多，而且它会随权重精度下降而退化 —— 长推理轨迹也一样，误差以同样的方式复合。
• 这份工作天生就是无审查的。安全研究、红队演练、不加过滤的虚构写作、敏感的医学或法律分析 —— 在这些场景里，一个含糊其辞的答案比没有答案更糟。

什么时候选别的

• 你需要视觉。这个模型是纯文本的；它的同门 MiMo-V2.5 · W8A16 具备视觉能力，价格和档位都相同。
• 你要在短查询上拿到最广的世界知识。那正是一个大得多的 3 比特基座凭额外参数取胜、而量化损伤几乎显不出来的场景。
• 你的负载是大批量的短文本分类。量化损伤在那里几乎看不见 —— 谁快就买谁。

09调用无审查 MiMo API

如果你的代码本来就写给 OpenAI SDK，那么改掉 base URL 和模型 id 就是全部的迁移工作：

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages 和 /v1/responses 接受同一个 id 和同一套能力。参数说明、工具调用 schema、结构化输出示例和一个可以直接试的 playground，都在 Shannon AI API 文档里。

能力	MiMo-V2.5-Pro · W8A16
上下文窗口	262,144 token
每次请求最大输出	16,384 token
流式	支持 —— 三种方言全部
工具调用	支持
推理 / reasoning_effort	支持
json_schema 结构化输出	支持
response_format	支持
视觉 / 图像输入	不支持 —— 请用 MiMo-V2.5
拒答层 / 输出过滤	无
每 100 万 token 价格	输入 $0.50 / 输出 $2.00

10常见问题

---

来源：MiMo 技术报告，arXiv:2505.07608 · MiMo-V2.5-Pro 模型卡（小米） · "Give Me BF16 or Give Me Death"?，arXiv:2411.02355 · REAP the Experts，arXiv:2510.13999 · AutoRound，arXiv:2309.05516 · k 比特推理缩放律，arXiv:2212.09720 · Scaling Laws for Precision，Kumar 等人，ICLR 2025。所有基准数字均为其作者所报告。Shannon AI 是 Shannon Lab LLC（美国新墨西哥州）的产品。