Unzensierte MiMo-API in 8-Bit-Präzision

Die meisten Kataloge verkaufen Ihnen Parameterzahlen. Das ist die falsche Kennzahl für den Einkauf, denn jedes große Open-Weights-Modell, das Sie sich tatsächlich leisten können, wurde komprimiert, um irgendwo hineinzupassen. Die ehrliche Frage lautet nicht „wie groß war das, bevor es gequetscht wurde?“, sondern „wie viel davon ist noch da?“. Dieser Artikel handelt von dieser Frage — und von dem Modell in unserer Reihe, bei dem die Antwort fast alles lautet.

01Was die unzensierte MiMo-API Ihnen tatsächlich gibt

Die unzensierte MiMo-API ist eine Modell-ID, MiMo-V2.5-Pro-W8A16, erreichbar über drei Dialekte, die dieselben Gewichte auf unserem eigenen GPU-Cluster ansprechen: /v1/chat/completions, /v1/messages und /v1/responses. Alle drei streamen und unterstützen Tool-Calling und Reasoning.

Unzensiert hat hier eine enge Bedeutung: keine Ablehnungsschicht vor dem Modell, kein Filter auf seiner Ausgabe. Wir fangen nichts ab, klassifizieren nichts und schreiben nichts um. Sie bekommen das Eigenverhalten des Fundaments — und das heißt bei einem Open-Weights-Modell auf Forschungsniveau, dass es sich auf Sicherheitsforschung einlässt, auf Erwachsenen- oder Gewaltfiktion, auf medizinisches und juristisches Denken und auf jene Anfragen, die gehostete kommerzielle Endpunkte reflexhaft ablehnen. Es ist ein professionelles Werkzeug unter unserer Richtlinie zur verantwortungsvollen Nutzung, nicht die Abwesenheit von Regeln.

02Die MiMo-Linie: Xiaomis Wette auf reasoning-orientiertes Pretraining

MiMo ist kein Llama-Ableger mit neuem Namen; es ist eine eigenständige Linie des MiMo-Teams von Xiaomi, und ihre Gründungsidee zählt, bevor Sie das Modell bewerten. Sie beginnt mit MiMo-7B (30. April 2025, MIT-lizenziert), dessen technischer Bericht argumentiert, die meisten Labore behandelten Reasoning als Post-Training-Problem, das man per RL anschraubt — und dass das verkehrt herum sei. Xiaomi hat stattdessen das Pretraining darum herum umgebaut: eine dreistufige Mischung über 25 Billionen Token, wobei Stufe zwei zu rund 70% aus Mathematik und Code besteht und Stufe drei synthetische Reasoning-Spuren einbezieht und dabei den Kontext von 8K auf 32K erweitert — dazu ein Multi-Token-Prediction-Ziel, das zugleich als spekulativer Decoding-Kopf dient.

Das Ergebnis war ein 7B-Basismodell, das sich wie etwas weit Größeres verhielt. MiMo-7B-Base erreichte 32.9 auf AIME 2024, wo Qwen2.5-7B 10.1, Gemma-2-9B 0.0 und Llama-3.1-8B 0.3 erzielten. Im Post-Training lief dann RL über 130.000 verifizierbare Mathematik- und Code-Aufgaben mit einer von der Testschwierigkeit gesteuerten Code-Belohnung, was der Falle spärlicher Belohnungen entkommt, die Code-RL destabilisiert. Das Ergebnis landete vor o1-mini:

AIME 2025, von Xiaomi berichtete Zahlen aus dem technischen MiMo-Bericht (arXiv:2505.07608). MiMo-7B-RL meldete außerdem 95.8 auf MATH-500 und 57.8 auf LiveCodeBench v5.

Die Familie wurde breiter, statt abzudriften: MiMo-VL-7B (Juni 2025) setzte einen Qwen2.5-ViT-Encoder auf dasselbe Rückgrat, und der Dezember 2025 brachte MiMo-Audio-7B sowie den ersten MoE-Eintrag, MiMo-V2-Flash (309B gesamt / 15B aktiv, 27T Token, FP8-Mischpräzision). MiMo-V2-Pro folgte im März 2026 mit rund 1T / 42B aktiv und 1M Kontext, nach Wochen auf OpenRouter als „Hunter Alpha“. MiMo-V2.5 und MiMo-V2.5-Pro erschienen gemeinsam am 22. April 2026, beide unter MIT.

03Im Inneren von MiMo-V2.5-Pro: wie das Fundament aussieht

Laut Xiaomis veröffentlichter Modellkarte ist MiMo-V2.5-Pro ein sparsames Mixture-of-Experts-Modell mit 1,02 Billionen Gesamtparametern und 42 Milliarden aktiven pro Token über 70 Schichten — eine dicht, 69 als MoE — und 384 gerouteten Experten, 8 pro Token. Die Hidden Size beträgt 6144, bei einer schmalen MoE-Zwischengröße von 2048.

Zwei Entscheidungen prägen, wie es sich im Einsatz anfühlt. Der Attention-Stack ist hybrid: 10 Full-Attention-Schichten und 60 Sliding-Window-Schichten mit einem Fenster von 128, dazu ein lernbarer Attention-Sink-Bias. Xiaomi berichtet, das senke den KV-Cache-Speicher um nahezu das 7-Fache gegenüber durchgängig globaler Attention, bei gehaltener Long-Context-Qualität — der Unterschied zwischen einem Fenster, das nur nominell lang ist, und einem, das Sie sich zu füllen leisten können. Ausgeliefert werden außerdem drei Multi-Token-Prediction-Schichten, die dem Decoder einen spekulativen Kopf geben.

Trainiert wurde mit 27 Billionen Token bei nativer Sequenzlänge 32K in FP8-Mischpräzision (E4M3), danach folgten überwachtes Fine-Tuning, großangelegtes agentisches RL und On-Policy-Distillation von mehreren Lehrern. Merken Sie sich dieses FP8-Detail; es ist das stärkste Einzelargument dafür, dieses Fundament mit 8 Bit auszuliefern.

Xiaomi berichtet das Modell mit 57,2% auf SWE-bench Pro, 72.9 auf τ3-Bench für Werkzeugnutzung und 48,0% auf Humanity's Last Exam — die eigenen Zahlen des Anbieters für das unkomprimierte Modell, als solche zitiert.

Wir liefern ein Fenster von 262.144 Token aus, nicht die vollen 1M des Fundaments — ein Kontext, den wir bei Geschwindigkeit garantieren können, statt einer Schlagzeilenzahl, die unter Last einbricht.

04Was W8A16 genau bedeutet

Jedes Modell in diesem Katalog trägt ein Quantisierungssuffix, das eine tatsächliche, messbare Transformation beschreibt und keine Marketingstufe. Bei uns sind das 3BIT-REAP, W4A16-AUTOROUND-REAP und W8A16. MiMo-V2.5-Pro ist das dritte.

Die Notation zerfällt in zwei Hälften. W8 ist die Gewichtspräzision: Jeder Parameter wird als 8-Bit-Ganzzahl statt als 16-Bit-Gleitkommazahl gespeichert, mit einem gemeinsamen Skalierungsfaktor je kleiner Gruppe, damit der lokale Dynamikbereich jeder Gruppe erhalten bleibt. A16 ist die Aktivierungspräzision: Werte, die bei der Inferenz zwischen den Schichten fließen, bleiben bei 16 Bit. Die Gewichte werden komprimiert; die Arithmetik nicht.

Diese zweite Hälfte leistet stille, wichtige Arbeit. Aktivierungen sind weit schwerer zu quantisieren als Gewichte: Sie enthalten extreme Ausreißerkanäle — einige wenige Dimensionen, deren Beträge alles andere überragen und die einen unverhältnismäßigen Anteil am Verhalten des Modells tragen. Drückt man sie in niedrige Präzision, kappt man genau das Signal, das man brauchte. Reine Gewichtsverfahren umgehen das Problem, indem sie den Aktivierungspfad in Ruhe lassen — und genau deshalb hat sich ernsthafte Quantisierungsarbeit auf sie zubewegt.

Damit verengt sich die praktische Frage auf eine einzige: Wie wenige Bits verträgt ein Gewicht?

05W8A16 vs. W4A16 vs. 3 Bit: wohin der Verlust wirklich geht

Die größte veröffentlichte Studie dazu stammt von Neural Magic und Red Hat: „Give Me BF16 or Give Me Death“? Accuracy-Performance Trade-Offs in LLM Quantization — über 500.000 Auswertungen quer durch die Llama-3.1-Familie mit 8B, 70B und 405B. Ihr Kernergebnis, in ihren Zahlen:

Format	Was komprimiert wird	Berichtete Wiederherstellung ggü. BF16
W8A8-FP (8 Bit)	Gewichte + Aktivierungen, Float	~99.75% im Mittel — „praktisch verlustfrei“
W8A8-INT (8 Bit)	Gewichte + Aktivierungen, Integer	99–100% bei 8B/70B; 98.2–99.3% bei 405B
W4A16-INT (4 Bit)	Nur Gewichte	98–99.4% (8B); 98.6–99.8% (70B)

Von Neural Magic / Red Hat berichtete Zahlen (arXiv:2411.02355) zu Llama-3.1-Modellen — die Form des Kompromisses, nicht der Wert dieses Modells.

Ehrlich gelesen wirkt das wie ein Argument gegen die ganze Sorge: 4 Bit holt 98–99% zurück, warum also hinschauen? Weil das akademische Multiple-Choice-Benchmarks sind, nahezu das schlechteste verfügbare Instrument, um Quantisierungsschäden zu erkennen. Eine Benchmark-Frage hat eine richtige Antwort, die in ein oder zwei Token erreichbar ist, und der Quantisierungsfehler ist kleines, näherungsweise mittelwertfreies Rauschen auf jedem Logit; bei einer kurzen Frage mit großem Abstand wird dieses Rauschen absorbiert.

Schreiben Sie nun 4.000 Token eines technischen Dokuments, halten Sie eine Stimme über eine Geschichte von 40.000 Token, oder geben Sie JSON aus, das beim ersten Versuch validieren muss. Dasselbe Rauschen wird tausendfach hintereinander gezogen, und jede Ziehung konditioniert die nächste. Der Fehlermodus ist keine falsche Antwort — es ist Drift: ein lockerer werdender Griff auf die Anweisung ab dem ersten Zug, eine Figur, die um Token 3.000 herum aufhört, nach sich selbst zu klingen, eine schließende Klammer, die nie kommt.

Wohin die Bits tatsächlich gehen

Quantisierungsfehler verteilen sich nicht gleichmäßig über die Fähigkeiten eines Modells; sie konzentrieren sich am Rand der Verteilung. Verhalten mit hoher Masse — grammatisches Englisch, die Form einer Python-Funktion, die tausend häufigsten Fakten über die Welt — ist redundant über viele Gewichte kodiert und übersteht fast alles. Die fein austarierten, betragskleinen Ecken der Gewichtsverteilung halten das Seltene: die exakte Signatur einer obskuren API, die Kadenz eines bestimmten Autors, den Unterschied zwischen zwei benachbarten CVEs. Genau diese Werte rundet ein grobes Raster ineinander.

Der Schritt von 4 auf 3 Bit ist der Punkt, an dem das aufhört, eine Steuer zu sein, und zur Klippe wird. Dettmers und Zettlemoyers Skalierungsgesetze für k-Bit-Inferenz fanden 4 Bit als den Punkt, der die Zero-Shot-Genauigkeit pro Bit Modellspeicher maximiert, wobei die Degradation darunter dominiert. Vier Bit ergeben 16 Stufen pro Gruppe; drei ergeben 8. Sie halbieren die Auflösung eines ohnehin groben Rasters, und der Rundungsfehler pro Gewicht verdoppelt sich in etwa.

Die Rechnung, die es entscheidet

Der Vergleich, der sich lohnt, ist arithmetisch, nicht benchmarkbasiert. Was die Kompression überlebt, ist näherungsweise Parameter × Bits pro Parameter — das informationstragende Volumen der Gewichtsdatei. Nehmen Sie zwei hypothetische Fundamente gleicher Qualität pro Parameter:

• Fundament A: 400B Parameter mit 3 Bit → rund 150 GB erhaltenes Gewicht.
• Fundament B: 160B Parameter mit 8 Bit → rund 160 GB erhaltenes Gewicht.

Nach roher Parameterzahl gewinnt A zweieinhalb zu eins — die Zahl, mit der die Modellkarte aufmacht. Nach erhaltener Information sind sie gleichwertig, und B hat obendrein einen strukturellen Vorteil: Seine Gewichte sitzen auf einem Raster, das fein genug ist, dass sein Randverhalten intakt bleibt, während A's Rand in die Masse hineinquantisiert wurde. A weiß mehr Dinge; B weiß schärfer, was es weiß. Für lange Generierung, exakte Formatierung, stilistische Kontrolle und treues Befolgen langer Kontexte nehmen Sie B.

Illustrative Rechnung, kein Benchmark: Sie zeigt, warum „größeres Fundament“ und „besser ausgeliefertes Modell“ verschiedene Behauptungen sind.

06Warum 27 Billionen Trainings-Token aggressive Quantisierung verschlimmern

Ein zweites, weniger intuitives Ergebnis betrifft dieses Fundament unmittelbar. Kumar et al. finden in ihrer ICLR-2025-Arbeit Scaling Laws for Precision, dass Post-Training-Quantisierung einem Modell umso mehr schadet, je mehr Daten es gesehen hat. Niedrige Präzision senkt die effektive Parameterzahl eines Modells, und diese Degradation wächst mit den aufgenommenen Pretraining-Daten — weit genug, dass zusätzliche Pretraining-Daten netto schädlich sein können, wenn Sie aggressiv quantisieren wollen, weil Sie feine Struktur anlegen, die das Raster auslöscht.

Ein Modell, das auf 5T Token trainiert wurde, hat grobe, redundante Gewichtsstruktur und Luft nach unten. Ein Modell, das auf 27T Token trainiert wurde — das Budget von MiMo-V2.5-Pro —, hat diese zusätzlichen Daten darauf verwendet, feinere Unterschiede in präzisere Gewichtswerte zu schreiben, und genau das kann ein 3-Bit-Raster nicht darstellen.

Dazu kommt die FP8-Tatsache aus Abschnitt 03, das sauberste Argument dieses Artikels. MiMo-V2.5-Pro wurde in FP8-Mischpräzision vortrainiert. Seine Gewichte wurden von Anfang an von einem Optimierer geformt, der mit rund acht Bit Präzision arbeitete. Es mit 8-Bit-Gewichten auszuliefern ist deshalb kein verlustbehafteter Nachgedanke, der einem 16-Bit-Modell aufgezwungen wird — es kommt einer Rückführung der Gewichte in das numerische Regime nahe, in dem sie gelernt wurden. Unterhalb des achten Bits existiert kaum feine Struktur, die verloren gehen könnte. Von denselben Gewichten, auf drei Bit heruntergedrückt, lässt sich das nicht sagen.

07REAP: warum Experten-Pruning eine andere Art von Verlust ist als Runden

Zwei der drei Stufen tragen ein REAP-Suffix — eine kategorial andere Operation als Quantisierung. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) ist One-Shot-Kompression für sparsame MoE-Modelle: Es bewertet jeden Experten anhand der Gate-Werte des Routers und der Aktivierungsnorm des Experten und löscht dann die schwächsten. Cerebras berichtet nahezu verlustfreie Ergebnisse bei Codegenerierung und Tool-Calling selbst bei 50% gepruntener Experten.

Wir setzen REAP aus dem Grund ein, aus dem es existiert: Bei den größten Fundamenten macht es sie überhaupt erst auslieferbar. Aber beachten Sie den Unterschied in der Art. Quantisierung verwischt jedes Gewicht ein wenig; Pruning entfernt Experten vollständig. Wenn Ihre Last stark auf eine Fähigkeit routet, die in einem selten gewählten Experten lag — eine Nischen-Programmiersprache, ein Spezialvokabular —, ist sie nicht verschlechtert. Sie ist weg, und kein Prompting holt sie zurück. Die Durchschnitte bleiben hervorragend; Ihr Randfall vielleicht nicht.

MiMo-V2.5-Pro · W8A16 trägt kein REAP-Suffix. Alle 384 Experten sind vorhanden, und der Router wählt aus dem vollen Satz, mit dem das Fundament trainiert wurde.

Stufe	Gewichtsbits	Experten	Was Sie eintauschen
W8A16	8	Alle vorhanden	Nichts Strukturelles. Die Präzisionsstufe.
W4A16-AUTOROUND-REAP	4	Geprunt	Feine Gewichtsdetails plus Experten mit wenig Verkehr, im Tausch gegen ein weit größeres Fundament in derselben Preisklasse.
3BIT-REAP	3	Geprunt	Erhebliche Gewichtsauflösung plus Experten mit wenig Verkehr — der Preis dafür, die allergrößten Fundamente schnell zu betreiben.

Die mittlere Stufe verdient eine faire Anhörung. AutoRound ist kein naives Runden: Intels Methode (arXiv:2309.05516) nutzt Signed Gradient Descent über rund 200 Schritte, um die Rundungsentscheidungen und den Clipping-Bereich je Gewichtsgruppe zu justieren, und gilt bei 4 Bit in den meisten Szenarien als nahezu verlustfrei, besser als GPTQ, AWQ, HQQ und OmniQuant über die meisten getesteten Konfigurationen. Ein W4A16-AUTOROUND-Modell ist ein wirklich gutes 4-Bit-Modell. Es bleibt ein 4-Bit-Modell.

08Wer die 8-Bit-Stufe wählen sollte — und wer nicht

MiMo-V2.5-Pro · W8A16 liegt beim niedrigsten Preis des gesamten Katalogs — $0.50 rein / $2.00 raus pro Million Token, dieselbe Klasse wie die 4-Bit-Einstiegsmodelle und rund ein Viertel des Eingabepreises des teuersten Modells, das wir betreiben. Sie zahlen keinen Aufpreis für Präzision; Sie wählen eine andere Achse desselben Budgets.

Nehmen Sie es, wenn

• Die Ausgabelänge die Aufgabe ist. Lange Fachtexte, Fiktion in Kapitellänge, vollständige Dokumentationsdurchläufe — jedes erzeugte Token ist eines, in dem sich Kompressionsrauschen aufsummiert.
• Stimme und Konsistenz zählen. Figurenarbeit, Markenton, ein über eine lange Sitzung gehaltenes Register. Stil lebt am Rand der Verteilung, und der Rand ist das, was grobe Quantisierung zuerst frisst.
• Strukturierte Ausgabe beim ersten Versuch validieren muss. Das Modell unterstützt json_schema und response_format; Schema-Treue ist eine Präzisionseigenschaft, und jeder vermiedene Wiederholungsversuch spart Geld und Latenz.
• Sie den Kontext füllen. Anweisungstreue bei Token 200.000 ist schwerer als bei Token 2.000, und sie sinkt mit der Gewichtspräzision — ebenso wie eine lange Reasoning-Spur, in der sich Fehler genauso aufsummieren.
• Die Arbeit von Natur aus unzensiert ist. Sicherheitsforschung, Red-Teaming, ungefilterte Fiktion, sensible medizinische oder juristische Analysen — dort, wo eine ausweichende Antwort schlimmer ist als keine.

Nehmen Sie etwas anderes, wenn

• Sie Vision brauchen. Dieses Modell ist reiner Text; sein Schwestermodell MiMo-V2.5 · W8A16 ist zum gleichen Preis und auf derselben Stufe vision-fähig.
• Sie das breiteste Weltwissen bei kurzen Anfragen brauchen. Das ist genau das Regime, in dem die zusätzlichen Parameter eines viel größeren 3-Bit-Fundaments gewinnen und sein Quantisierungsschaden kaum sichtbar wird.
• Ihre Last kurze Klassifikation in hoher Stückzahl ist. Dort ist der Quantisierungsschaden nahezu unsichtbar — kaufen Sie, was am schnellsten ist.

09Die unzensierte MiMo-API aufrufen

Wenn Ihr Code auf das OpenAI-SDK zielt, besteht die gesamte Migration darin, Base-URL und Modell-ID zu ändern:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages und /v1/responses akzeptieren dieselbe ID und dieselben Fähigkeiten. Parameterreferenz, Tool-Calling-Schemata, Beispiele für strukturierte Ausgabe und ein Live-Playground stehen in der Shannon-AI-API-Dokumentation.

Fähigkeit	MiMo-V2.5-Pro · W8A16
Kontextfenster	262.144 Token
Max. Ausgabe pro Anfrage	16.384 Token
Streaming	Ja — alle drei Dialekte
Tool-Calling	Ja
Reasoning / reasoning_effort	Ja
Strukturierte Ausgabe json_schema	Ja
response_format	Ja
Vision / Bildeingabe	Nein — nehmen Sie MiMo-V2.5
Ablehnungsschicht / Ausgabefilter	Keine
Preis pro 1M Token	$0.50 rein / $2.00 raus

10Häufig gestellte Fragen

---

Quellen: Technischer MiMo-Bericht, arXiv:2505.07608 · Modellkarte MiMo-V2.5-Pro (Xiaomi) · „Give Me BF16 or Give Me Death“?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · Skalierungsgesetze für k-Bit-Inferenz, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Alle Benchmark-Zahlen sind so angegeben, wie ihre Autoren sie berichten. Shannon AI ist ein Produkt der Shannon Lab LLC, New Mexico, USA.