8ビットの忠実度で提供する無検閲MiMo API

たいていのカタログはパラメータ数を売り物にします。それは買うときに見るべき数字ではありません。実際に手が届く大規模オープンウェイトモデルは、どれもどこかに収めるために圧縮されているからです。正直な問いは「潰される前はどれだけ大きかったか」ではなく「そのうちどれだけがまだ残っているか」です。この記事はその問いについて、そして当社のラインナップの中で答えがほぼすべて残っているとなるモデルについてのものです。

01無検閲MiMo APIで実際に手に入るもの

無検閲MiMo APIはモデルID 1つ、MiMo-V2.5-Pro-W8A16で、自社のGPUクラスタ上の同じ重みを指す3つの方言 — /v1/chat/completions、/v1/messages、/v1/responses — から到達できます。3つともストリーミングし、ツール呼び出しと推論に対応します。

無検閲はここでは狭い意味を持ちます。モデルの手前に拒否層がなく、出力にフィルタもかけないということです。当社は割り込みも分類も書き換えもしません。得られるのは基盤そのものの挙動であり、研究グレードのオープンウェイトモデルにとってそれは、セキュリティ研究、成人向けや暴力を含むフィクション、医療や法務の推論、そしてホスト型の商用エンドポイントが反射的に断るような依頼に、きちんと取り組むということです。これは責任ある利用ポリシーのもとで使う専門家向けの道具であって、ルールの不在ではありません。

02MiMoの系譜：推論を起点に事前学習するというXiaomiの賭け

MiMoは名前を変えたLlama派生ではありません。XiaomiのMiMoチームによる独立した系譜であり、その出発点の考え方はモデルを評価する前に知っておく価値があります。始まりはMiMo-7B（2025年4月30日、MITライセンス）で、その技術レポートは、多くの研究所が推論を事後学習でRLによって後付けする問題として扱っているが、それは順序が逆だと論じています。Xiaomiは代わりに事前学習のほうを推論を軸に組み直しました。25兆トークンにわたる3段階の混合で、第2段階はおよそ70%が数学とコード、第3段階では合成された推論トレースを織り込みつつコンテキストを8Kから32Kへ拡張し、さらに投機的デコードのヘッドも兼ねるMulti-Token Predictionの目的関数を加えています。

結果として、はるかに大きなモデルのように振る舞う7Bのベースモデルが生まれました。MiMo-7B-BaseはAIME 2024で32.9を記録し、同じ指標でQwen2.5-7Bは10.1、Gemma-2-9Bは0.0、Llama-3.1-8Bは0.3でした。事後学習では検証可能な13万件の数学とコードの問題に対してRLを回し、テスト難易度に基づくコード報酬を用いることで、コードのRLを不安定にする疎報酬の罠を回避しています。その結果はo1-miniを上回りました。

AIME 2025、MiMo技術レポート（arXiv:2505.07608）におけるXiaomi報告値。MiMo-7B-RLはMATH-500で95.8、LiveCodeBench v5で57.8も報告されています。

ファミリーは方向を見失うことなく広がりました。MiMo-VL-7B（2025年6月）は同じバックボーンにQwen2.5-ViTエンコーダを載せ、2025年12月にはMiMo-Audio-7Bと、初のMoEであるMiMo-V2-Flash（総309B / 活性15B、27兆トークン、FP8混合精度）が登場しました。MiMo-V2-Proは2026年3月に、総およそ1T / 活性42B、1Mコンテキストで続きます。これはOpenRouterで「Hunter Alpha」として数週間走ったあとのことでした。MiMo-V2.5とMiMo-V2.5-Proは2026年4月22日に揃って出荷され、どちらもMITライセンスです。

03MiMo-V2.5-Proの中身：基盤はどんな形をしているか

Xiaomiが公開したモデルカードによれば、MiMo-V2.5-Proは疎なMixture-of-Expertsモデルで、70層（1層が密結合、69層がMoE）にわたり総パラメータ1.02兆、トークンあたり活性420億、そして384個のルーティングエキスパートのうちトークンあたり8個を使います。隠れ次元は6144で、MoEの中間次元は2048と細めです。

使用感を決める選択が2つあります。アテンションのスタックはハイブリッドで、フルアテンション層が10層、窓幅128のスライディングウィンドウ層が60層、これに学習可能なattention-sinkバイアスが加わります。Xiaomiは、これによりKVキャッシュの保存量が全層グローバルアテンションに対しておよそ7分の1に減り、なおかつ長文コンテキストの品質を保てると報告しています。名目上長いだけの窓と、実際に埋められる窓との違いです。さらに3層のMulti-Token Prediction層を備え、デコーダに投機的ヘッドを与えています。

学習はネイティブのシーケンス長32KでFP8（E4M3）混合精度により27兆トークン、その後に教師ありファインチューニング、大規模なエージェント的RL、そして複数教師によるオンポリシー蒸留が行われました。このFP8という事実は覚えておいてください。この基盤を8ビットで提供することの、最も強い単独の論拠です。

XiaomiはこのモデルについてSWE-bench Proで57.2%、ツール利用のτ3-Benchで72.9、Humanity's Last Examで48.0%を報告しています。これらは圧縮前のモデルについてのベンダー自身の数値であり、そのようなものとして引用しています。

当社が提供するのは基盤のフル1Mではなく262,144トークンの窓です。負荷がかかると崩れる見出し用の数字ではなく、速度を伴って保証できるコンテキストだからです。

04W8A16が正確に意味するもの

このカタログのすべてのモデルには量子化の接尾辞が付いており、それはマーケティング上の階層ではなく、実際に測定可能な変換を表しています。当社のものは3BIT-REAP、W4A16-AUTOROUND-REAP、そしてW8A16です。MiMo-V2.5-Proは3つ目にあたります。

この表記は2つに分かれます。W8は重みの精度です。すべてのパラメータが16ビット浮動小数点ではなく8ビット整数として保存され、小さなグループごとに共有のスケーリング係数を持たせて、各グループのローカルなダイナミックレンジが失われないようにします。A16は活性化の精度です。推論時に層と層のあいだを流れる値は16ビットのままです。重みは圧縮され、演算は圧縮されません。

この後半部分が、目立たないけれど重要な仕事をしています。活性化は重みよりもはるかに量子化しにくいのです。極端な外れ値チャンネル — 大きさが他をはるかに上回り、モデルの挙動の不釣り合いに大きな部分を担う少数の次元 — を含んでいるからです。それを低精度に押し込めば、必要だったまさにその信号を切り落とすことになります。重みのみを量子化する方式は活性化の経路に手を触れないことでこの問題を回避します。まじめな量子化研究がそこに収束してきたのはそのためです。

そうすると実務上の問いは1つに絞られます。重みはどこまでビットを減らして耐えられるのか？

05W8A16 対 W4A16 対 3ビット：損失は実際どこへ行くのか

これについて公開された最大の研究は、Neural MagicとRed Hatによる「Give Me BF16 or Give Me Death」？ Accuracy-Performance Trade-Offs in LLM Quantizationで、Llama-3.1ファミリーの8B、70B、405Bにわたり50万件を超える評価を行っています。彼ら自身の数値による主要な結果は次のとおりです。

形式	何が圧縮されるか	BF16に対する回復率（報告値）
W8A8-FP（8ビット）	重み＋活性化、浮動小数点	平均約99.75% — 「実質的に無損失」
W8A8-INT（8ビット）	重み＋活性化、整数	8B/70Bで99〜100%、405Bで98.2〜99.3%
W4A16-INT（4ビット）	重みのみ	98〜99.4%（8B）、98.6〜99.8%（70B）

Neural Magic / Red Hat（arXiv:2411.02355）がLlama-3.1モデルについて報告した数値です。トレードオフの形を示すものであり、このモデルのスコアではありません。

正直に読めば、これは気にしないほうがよいという論拠に見えます。4ビットで98〜99%回復するなら、なぜ気にするのか。理由は、これらが学術的な多肢選択のベンチマークだからです。量子化による損傷を検出する道具としては、ほぼ最悪の部類です。ベンチマークの設問には1つの正解があり、1〜2トークンで到達できます。そして量子化誤差は小さく、あらゆるロジットにほぼ平均ゼロのノイズを乗せる程度です。余裕のある短い設問なら、そのノイズは吸収されてしまいます。

では、4,000トークンの技術文書を書いてみてください。4万トークンの物語を通して声色を保ってみてください。あるいは一発で検証を通らなければならないJSONを吐かせてみてください。同じノイズが連続して何千回もサンプリングされ、1回ごとのサンプルが次の条件付けになります。失敗の仕方は「答えが間違っている」ではなく、ドリフトです。最初のターンの指示への握力が徐々に緩み、登場人物がトークン3,000あたりで自分らしく聞こえなくなり、閉じ括弧がついに来ない。

ビットは実際どこへ消えるのか

量子化の誤差はモデルの能力全体に均等にばらまかれるのではなく、裾に集中します。質量の大きい挙動 — 文法的に正しい英語、Python関数の形、世界に関する上位1,000個の事実 — は多数の重みに冗長に符号化されていて、たいていのことには耐えます。重み分布のうち、精密に調整された小さな大きさの隅の部分が、稀なものを保持しています。無名のAPIの正確なシグネチャ、特定の作家のリズム、隣り合う2つのCVEの違い。粗い格子が互いに丸め込んでしまうのは、そうした値です。

4ビットから3ビットへの一歩が、これが税金であることをやめて崖になる地点です。DettmersとZettlemoyerのkビット推論スケーリング則は、4ビットがモデルメモリのビットあたりゼロショット精度を最大化する点であり、それより下では劣化が支配的になることを見出しました。4ビットはグループあたり16段階、3ビットは8段階です。すでに粗い格子の解像度をさらに半分にすることになり、重みあたりの丸め誤差はおよそ2倍になります。

決着をつける算数

する価値のある比較はベンチマークではなく算数です。圧縮を生き延びるのはおおよそパラメータ数 × パラメータあたりビット数、つまり重みファイルの情報を担う体積です。パラメータあたりの品質が等しい仮想の基盤を2つ考えます。

• 基盤A：4,000億パラメータを3ビットで → 保持される重みはおよそ150 GB。
• 基盤B：1,600億パラメータを8ビットで → 保持される重みはおよそ160 GB。

素のパラメータ数ではAが2.5対1で勝ちます — モデルカードが先頭に掲げる数字です。保持された情報量では両者は同等で、しかもBには構造的な利点があります。Bの重みは裾の挙動が損なわれない程度に細かい格子の上に乗っているのに対し、Aの裾は量子化されて本体に埋もれてしまっています。Aはより多くのことを知っており、Bは自分が知っていることをより鋭く知っています。長い生成、厳密な書式、文体の制御、長いコンテキストへの忠実な追従が要るならBを取ってください。

これはベンチマークではなく説明のための算数です。「より大きな基盤」と「より良く提供されたモデル」が別の主張であることを示すためのものです。

0627兆トークンの学習が、攻めた量子化をより不利にする理由

もう1つ、直感に反する結果がこの基盤に直接関わってきます。KumarらのICLR 2025論文Scaling Laws for Precisionは、より多くのデータで学習されたモデルほど、事後学習量子化による損傷が大きいことを見出しました。低精度はモデルの実効的なパラメータ数を減らし、その劣化は吸収した事前学習データとともに大きくなります。攻めた量子化を前提にするなら、追加の事前学習データがかえって害になりうるほどです。格子が消してしまう細かい構造を書き込んでいるからです。

5兆トークンで学習されたモデルは、粗く冗長な重み構造を持ち、余裕があります。27兆トークン — MiMo-V2.5-Proの予算です — で学習されたモデルは、その追加のデータを使って、より細かい区別をより精密な重みの値に書き込みました。それこそが3ビットの格子が表現できないものです。

そしてセクション03のFP8という事実があります。この記事で最も明快な論拠です。MiMo-V2.5-ProはFP8混合精度で事前学習されました。その重みは最初から、およそ8ビットの精度で動くオプティマイザによって形づくられています。したがって8ビットの重みで提供することは、16ビットのモデルにあとから押しつけた損失のある処理ではなく、重みを学習されたときの数値領域に戻すことに近いのです。8ビット目より下に失うべき細かい構造はほとんどありません。同じことは、3ビットまで押し下げられた重みについては言えません。

07REAP：エキスパートの枝刈りが、丸めとは種類の違う損失である理由

3つの階層のうち2つにはREAPという接尾辞が付いており、これは量子化とはカテゴリの異なる操作です。REAP（Router-weighted Expert Activation Pruning、Cerebras Research、arXiv:2510.13999、ICLR 2026）は疎なMoEモデル向けのワンショット圧縮で、各エキスパートをルーターのゲート値とそのエキスパートの活性化ノルムでスコア付けし、下位のものを削除します。Cerebrasは、エキスパートの50%を枝刈りしてもコード生成とツール呼び出しでほぼ無損失の結果になると報告しています。

当社がREAPを使うのは、それが存在する理由そのもののためです。最大級の基盤では、これがあって初めて提供可能になります。ただし種類の違いには注意してください。量子化はすべての重みを少しずつぼかしますが、枝刈りはエキスパートを丸ごと取り除きます。あなたのワークロードが、めったに選ばれないエキスパートに宿っていた能力 — マイナーなプログラミング言語、専門的な語彙 — に強くルーティングされる場合、それは劣化するのではありません。消えており、どうプロンプトしても戻りません。平均値は優秀なままですが、あなたの裾のケースはそうでないかもしれません。

MiMo-V2.5-Pro · W8A16にREAPの接尾辞は付いていません。384個のエキスパートはすべて残っており、ルーターは基盤が学習したときと同じ全集合から選びます。

階層	重みのビット数	エキスパート	何を差し出すか
W8A16	8	すべて存在	構造的には何も。忠実度の階層です。
W4A16-AUTOROUND-REAP	4	枝刈り済み	重みの細部と通行量の少ないエキスパート。引き換えに、同じ価格帯ではるかに大きな基盤が手に入ります。
3BIT-REAP	3	枝刈り済み	重みの解像度のかなりの部分と通行量の少ないエキスパート。最大級の基盤を速度を保って動かすための代価です。

中間の階層には公平な言い分があります。AutoRoundは素朴な丸めではありません。Intelの手法（arXiv:2309.05516）はおよそ200ステップの符号付き勾配降下によって、重みグループごとに丸めの決定とクリッピング範囲を調整し、多くの設定で4ビットでもほぼ無損失と報告され、試験された大半の構成でGPTQ、AWQ、HQQ、OmniQuantを上回っています。W4A16-AUTOROUNDのモデルは本当に良い4ビットモデルです。それでも4ビットモデルではあります。

088ビット階層を選ぶべき人と、選ぶべきでない人

MiMo-V2.5-Pro · W8A16はカタログ全体の最安値にあります — 100万トークンあたり入力$0.50 / 出力$2.00で、入門階層の4ビットモデルと同じ帯であり、当社が提供する最も高価なモデルの入力価格のおよそ4分の1です。忠実度に上乗せを払っているのではなく、同じ予算の別の軸を選んでいるということです。

こんなときに選ぶ

• 出力の長さが仕事の本体であるとき。長文の技術文書、章の長さのフィクション、ドキュメント全体の書き直し — 生成されるトークンの1つ1つが、圧縮ノイズの積み重なる場所です。
• 声色と一貫性が重要なとき。キャラクターの造形、ブランドのトーン、長いセッションを通して保つべき語調。文体は裾に宿り、粗い量子化が最初に食うのはその裾です。
• 構造化出力が一発で検証を通らなければならないとき。このモデルはjson_schemaとresponse_formatに対応しています。スキーマ追従は精度の性質であり、避けられた再試行の1回1回が金額と遅延の節約になります。
• コンテキストを埋め切るとき。トークン200,000地点での指示追従はトークン2,000地点より難しく、重みの精度とともに劣化します。長い推論トレースも同じで、誤差が同様に積み上がります。
• 仕事の性質上、無検閲であることが必要なとき。セキュリティ研究、レッドチーミング、フィルタのないフィクション、機微な医療や法務の分析 — 濁した答えが何もないより悪い領域です。

別のものを選ぶべきとき

• 画像認識が必要なとき。このモデルはテキスト専用です。兄弟モデルのMiMo-V2.5 · W8A16が、同じ価格・同じ階層で画像認識に対応しています。
• 短い問い合わせで最も広い世界知識が必要なとき。そこは、はるかに大きな3ビット基盤の余分なパラメータが効き、その量子化による損傷がほとんど表に出ない領域です。
• ワークロードが大量の短い分類であるとき。そこでは量子化の損傷はほぼ見えません。いちばん速いものを買ってください。

09無検閲MiMo APIを呼び出す

コードがOpenAI SDKを対象にしているなら、ベースURLとモデルIDを変えるだけで移行は完了です。

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messagesと/v1/responsesも同じIDと機能を受け付けます。パラメータリファレンス、ツール呼び出しのスキーマ、構造化出力の例、実際に試せるプレイグラウンドはShannon AI APIドキュメントにあります。

機能	MiMo-V2.5-Pro · W8A16
コンテキストウィンドウ	262,144トークン
1リクエストあたり最大出力	16,384トークン
ストリーミング	対応 — 3つの方言すべて
ツール呼び出し	対応
推論 / reasoning_effort	対応
json_schema構造化出力	対応
response_format	対応
画像認識 / 画像入力	非対応 — MiMo-V2.5を使用
拒否層 / 出力フィルタ	なし
100万トークンあたり価格	入力$0.50 / 出力$2.00

10よくある質問

---

出典：MiMo技術レポート、arXiv:2505.07608 · MiMo-V2.5-Proモデルカード（Xiaomi） · 「Give Me BF16 or Give Me Death」？、arXiv:2411.02355 · REAP the Experts、arXiv:2510.13999 · AutoRound、arXiv:2309.05516 · kビット推論スケーリング則、arXiv:2212.09720 · Scaling Laws for Precision、Kumarら、ICLR 2025。ベンチマークの数値はすべて各著者による報告値です。Shannon AIはShannon Lab LLC（米国ニューメキシコ州）の製品です。