Nieocenzurowane API MiMo w 8-bitowej wierności

Większość katalogów sprzedaje ci liczbę parametrów. To zła liczba do kupowania, bo każdy duży model o otwartych wagach, na jaki realnie cię stać, został gdzieś skompresowany, żeby się zmieścić. Uczciwe pytanie nie brzmi „jak duży był, zanim go ścisnęli?”, tylko „ile z niego jeszcze tu jest?”. Ten artykuł jest o tym pytaniu i o modelu z naszej oferty, w którym odpowiedź brzmi prawie wszystko.

01Co właściwie daje ci nieocenzurowane API MiMo

Nieocenzurowane API MiMo to jeden identyfikator modelu, MiMo-V2.5-Pro-W8A16, dostępny przez trzy dialekty adresujące te same wagi na naszym własnym klastrze GPU: /v1/chat/completions, /v1/messages i /v1/responses. Wszystkie trzy streamują i obsługują wywoływanie narzędzi oraz rozumowanie.

Bez cenzury ma tu wąskie znaczenie: brak warstwy odmów przed modelem, brak filtra na jego wyjściu. Nie przechwytujemy, nie klasyfikujemy i nie przepisujemy. Dostajesz własne zachowanie fundamentu — co w przypadku modelu badawczego o otwartych wagach oznacza, że podejmuje badania bezpieczeństwa, fikcję dla dorosłych lub brutalną, rozumowanie medyczne i prawne oraz żądania, które hostowane endpointy komercyjne odrzucają odruchowo. To profesjonalne narzędzie objęte naszą polityką odpowiedzialnego użycia, a nie brak zasad.

02Rodowód MiMo: zakład Xiaomi na pretrening pod rozumowanie

MiMo nie jest pochodną Llamy z nową nazwą; to odrębny rodowód zespołu MiMo w Xiaomi, a jego założycielska idea ma znaczenie, zanim ocenisz model. Otwiera go MiMo-7B (30 kwietnia 2025, licencja MIT), którego raport techniczny dowodzi, że większość laboratoriów traktuje rozumowanie jako problem potreningowy do doklejenia przez RL i że to podejście jest odwrócone. Xiaomi przebudowało zamiast tego sam pretrening: trójetapowa mieszanka na 25 bilionach tokenów, gdzie drugi etap to mniej więcej 70% matematyki i kodu, a trzeci wplata syntetyczne ślady rozumowania i rozciąga kontekst z 8K do 32K — plus cel Multi-Token Prediction, który pełni podwójną rolę głowicy dekodowania spekulatywnego.

Efektem był model bazowy 7B zachowujący się jak coś znacznie większego. MiMo-7B-Base uzyskał 32,9 na AIME 2024, podczas gdy Qwen2.5-7B 10,1, Gemma-2-9B 0,0, a Llama-3.1-8B 0,3. Potrening przeprowadził następnie RL na 130 000 weryfikowalnych zadaniach z matematyki i kodu, z nagrodą kodową sterowaną trudnością testów, wymykając się pułapce rzadkiej nagrody, która destabilizuje RL na kodzie. Wynik wylądował przed o1-mini:

AIME 2025, liczby raportowane przez Xiaomi w raporcie technicznym MiMo (arXiv:2505.07608). MiMo-7B-RL raportował także 95.8 na MATH-500 i 57.8 na LiveCodeBench v5.

Rodzina raczej się poszerzała, niż dryfowała: MiMo-VL-7B (czerwiec 2025) osadził enkoder Qwen2.5-ViT na tym samym szkielecie, a grudzień 2025 przyniósł MiMo-Audio-7B oraz pierwszy wpis MoE, MiMo-V2-Flash (309B łącznie / 15B aktywnych, 27T tokenów, mieszana precyzja FP8). MiMo-V2-Pro pojawił się w marcu 2026 przy mniej więcej 1T / 42B aktywnych z kontekstem 1M, po tygodniach na OpenRouterze jako „Hunter Alpha”. MiMo-V2.5 i MiMo-V2.5-Pro wyszły razem 22 kwietnia 2026, obydwa na MIT.

03Wewnątrz MiMo-V2.5-Pro: jak wygląda fundament

Według opublikowanej karty modelu Xiaomi MiMo-V2.5-Pro to rzadki model Mixture-of-Experts o 1,02 biliona parametrów łącznie i 42 miliardach aktywnych na token w 70 warstwach — jednej gęstej i 69 MoE — z 384 routowanymi ekspertami, po 8 na token. Rozmiar ukryty to 6144, przy wąskim rozmiarze pośrednim MoE równym 2048.

Dwa wybory kształtują to, jak model sprawuje się w użyciu. Stos uwagi jest hybrydowy: 10 warstw pełnej uwagi i 60 warstw z oknem przesuwnym o szerokości 128, plus uczone obciążenie typu attention sink. Xiaomi raportuje, że tnie to pamięć KV-cache blisko 7x wobec uwagi wyłącznie globalnej, przy zachowaniu jakości długiego kontekstu — to różnica między oknem nominalnie długim a takim, które stać cię zapełnić. Model dostarcza też trzy warstwy Multi-Token Prediction, dając dekoderowi głowicę spekulatywną.

Trening objął 27 bilionów tokenów przy natywnej długości sekwencji 32K w mieszanej precyzji FP8 (E4M3), a potem nadzorowane dostrajanie, wielkoskalowy RL agentowy i wielonauczycielską destylację on-policy. Zapamiętaj ten szczegół o FP8; to najmocniejszy pojedynczy argument za serwowaniem tego fundamentu na 8 bitach.

Xiaomi raportuje model na poziomie 57,2% na SWE-bench Pro, 72,9 na τ3-Bench w użyciu narzędzi i 48,0% na Humanity's Last Exam — to własne liczby dostawcy dla modelu nieskompresowanego i tak je podajemy.

Serwujemy okno 262,144 tokenów, a nie pełny 1M fundamentu — kontekst, który możemy zagwarantować przy zachowaniu szybkości, zamiast sztandarowej liczby degradującej się pod obciążeniem.

04Co dokładnie oznacza W8A16

Każdy model w tym katalogu nosi przyrostek kwantyzacji opisujący faktyczną, mierzalną transformację, a nie marketingowy poziom. U nas są to 3BIT-REAP, W4A16-AUTOROUND-REAP i W8A16. MiMo-V2.5-Pro to ten trzeci.

Zapis dzieli się na dwie części. W8 to precyzja wag: każdy parametr jest przechowywany jako 8-bitowa liczba całkowita zamiast 16-bitowej zmiennoprzecinkowej, ze wspólnym współczynnikiem skalującym na małą grupę, żeby lokalny zakres dynamiczny każdej grupy przetrwał. A16 to precyzja aktywacji: wartości płynące między warstwami podczas inferencji zostają na 16 bitach. Wagi są kompresowane; arytmetyka nie.

Ta druga połowa wykonuje cichą, ważną robotę. Aktywacje są znacznie trudniejsze do kwantyzacji niż wagi: zawierają skrajne kanały odstające — kilka wymiarów, których magnitudy przyćmiewają wszystko inne i które niosą nieproporcjonalnie dużą część zachowania modelu. Zepchnij je do niskiej precyzji, a przytniesz dokładnie ten sygnał, który był potrzebny. Schematy działające tylko na wagach omijają ten problem, zostawiając ścieżkę aktywacji w spokoju, i dlatego poważne prace nad kwantyzacją zbiegły się właśnie do nich.

Praktyczne pytanie zawęża się więc do jednego: ile bitów co najmniej zniesie waga?

05W8A16 kontra W4A16 kontra 3 bity: gdzie naprawdę ląduje strata

Największym opublikowanym badaniem na ten temat jest praca Neural Magic i Red Hata „Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization — ponad 500 000 ewaluacji w rodzinie Llama-3.1 przy 8B, 70B i 405B. Ich główny wynik, w ich liczbach:

Format	Co jest kompresowane	Raportowane odzyskanie wobec BF16
W8A8-FP (8-bit)	Wagi + aktywacje, zmiennoprzecinkowo	~99,75% średnio — „praktycznie bezstratne”
W8A8-INT (8-bit)	Wagi + aktywacje, całkowitoliczbowo	99–100% przy 8B/70B; 98,2–99,3% przy 405B
W4A16-INT (4-bit)	Tylko wagi	98–99,4% (8B); 98,6–99,8% (70B)

Liczby raportowane przez Neural Magic / Red Hat (arXiv:2411.02355) na modelach Llama-3.1 — pokazują kształt kompromisu, a nie wynik tego modelu.

Czytane uczciwie, wygląda to na argument przeciw przejmowaniu się tematem: 4 bity odzyskują 98–99%, więc po co się tym zajmować? Dlatego, że są to akademickie benchmarki wielokrotnego wyboru, czyli niemal najgorszy dostępny przyrząd do wykrywania szkód po kwantyzacji. Pytanie benchmarkowe ma jedną poprawną odpowiedź osiągalną w jednym czy dwóch tokenach, a błąd kwantyzacji jest małym szumem o zerowej średniej na każdym logicie; przy krótkim pytaniu z szerokim marginesem ten szum zostaje wchłonięty.

A teraz napisz 4000 tokenów dokumentu technicznego, utrzymaj głos przez 40 000 tokenów opowiadania albo wyemituj JSON, który musi się zwalidować za pierwszym razem. Ten sam szum jest próbkowany tysiące razy z rzędu, a każda próbka warunkuje następną. Trybem awarii nie jest błędna odpowiedź — jest nim dryf: rozluźniający się uchwyt na instrukcji z pierwszej tury, postać, która przestaje brzmieć jak ona sama gdzieś koło tokenu 3000, klamra zamykająca, która nigdy nie nadchodzi.

Gdzie faktycznie trafiają bity

Błąd kwantyzacji nie rozkłada się równomiernie na zdolności modelu; koncentruje się w ogonie. Zachowania o dużej masie — poprawna gramatyka, kształt funkcji w Pythonie, tysiąc najczęstszych faktów o świecie — są zakodowane redundantnie w wielu wagach i przeżywają niemal wszystko. Precyzyjnie dostrojone zakątki rozkładu wag o małej magnitudzie trzymają rzeczy rzadkie: dokładną sygnaturę mało znanego API, kadencję konkretnego autora, różnicę między dwoma sąsiednimi CVE. To właśnie te wartości gruba siatka zaokrągla jedną w drugą.

Krok z 4 bitów na 3 to moment, w którym przestaje to być podatkiem, a staje się urwiskiem. Prawa skalowania inferencji k-bitowej Dettmersa i Zettlemoyera wskazały 4 bity jako punkt maksymalizujący dokładność zero-shot na bit pamięci modelu, poniżej którego dominuje degradacja. Cztery bity dają 16 poziomów na grupę; trzy dają 8. Zmniejszasz o połowę rozdzielczość i tak już grubej siatki, a błąd zaokrąglenia na wagę mniej więcej się podwaja.

Arytmetyka, która o tym rozstrzyga

Porównanie warte przeprowadzenia jest arytmetyczne, a nie benchmarkowe. To, co przeżywa kompresję, to w przybliżeniu parametry × bity na parametr — objętość niosąca informację w pliku wag. Weź dwa hipotetyczne fundamenty o równej jakości na parametr:

• Fundament A: 400B parametrów na 3 bitach → mniej więcej 150 GB zachowanej wagi.
• Fundament B: 160B parametrów na 8 bitach → mniej więcej 160 GB zachowanej wagi.

Po surowej liczbie parametrów A wygrywa dwa i pół do jednego — to ta liczba, którą karta modelu podaje na wstępie. Po zachowanej informacji są równoważne, a B ma na dodatek przewagę strukturalną: jego wagi siedzą na siatce dość drobnej, by zachowanie ogonowe pozostało nienaruszone, podczas gdy ogon A został skwantyzowany w masę. A wie więcej rzeczy; B ostrzej wie to, co wie. Do długiego generowania, dokładnego formatowania, kontroli stylu i wiernego trzymania się długiego kontekstu bierz B.

Arytmetyka poglądowa, nie benchmark: pokazuje, dlaczego „większy fundament” i „lepiej serwowany model” to dwa różne twierdzenia.

06Dlaczego 27 bilionów tokenów treningu pogarsza agresywną kwantyzację

Drugi, mniej intuicyjny wynik dotyczy tego fundamentu wprost. Praca Kumara i in. z ICLR 2025, Scaling Laws for Precision, stwierdza, że im więcej danych model zobaczył w treningu, tym więcej szkody wyrządza mu kwantyzacja potreningowa. Niska precyzja obniża efektywną liczbę parametrów modelu, a ta degradacja rośnie wraz z wchłoniętymi danymi pretreningu — na tyle, że dodatkowe dane pretreningowe mogą być netto szkodliwe, jeśli zamierzasz agresywnie kwantyzować, bo zapisujesz drobną strukturę, którą siatka i tak wymaże.

Model trenowany na 5T tokenów ma grubą, redundantną strukturę wag i zapas luzu. Model trenowany na 27T tokenów — czyli budżet MiMo-V2.5-Pro — spożytkował te dodatkowe dane na wpisywanie subtelniejszych rozróżnień w precyzyjniejsze wartości wag, czyli dokładnie to, czego siatka 3-bitowa nie potrafi reprezentować.

Jest jeszcze fakt o FP8 z sekcji 03, najczystszy argument w tym artykule. MiMo-V2.5-Pro był pretrenowany w mieszanej precyzji FP8. Jego wagi były od początku kształtowane przez optymalizator pracujący z mniej więcej ośmioma bitami precyzji. Serwowanie go z wagami 8-bitowymi nie jest więc stratną refleksją narzuconą modelowi 16-bitowemu — to niemal powrót wag do reżimu numerycznego, w którym się uczyły. Poniżej ósmego bitu istnieje niewiele drobnej struktury do utracenia. Tego samego nie da się powiedzieć o wagach wciśniętych do trzech.

07REAP: dlaczego przycinanie ekspertów to inny rodzaj straty niż zaokrąglanie

Dwa z trzech poziomów niosą przyrostek REAP — operację kategorialnie inną niż kwantyzacja. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) to jednorazowa kompresja rzadkich modeli MoE: ocenia każdego eksperta po wartościach bramki routera i normie aktywacji eksperta, a następnie kasuje najniżej ocenionych. Cerebras raportuje wyniki niemal bezstratne w generowaniu kodu i wywoływaniu narzędzi nawet przy 50% przyciętych ekspertów.

Używamy REAP z powodu, dla którego powstał: przy największych fundamentach to on w ogóle umożliwia ich serwowanie. Zwróć jednak uwagę na różnicę rodzaju. Kwantyzacja rozmywa każdą wagę odrobinę; przycinanie usuwa ekspertów w całości. Jeśli twoje obciążenie mocno routuje do zdolności, która mieszkała w rzadko wybieranym ekspercie — mniej popularnym języku programowania, specjalistycznym słownictwie — to nie jest ona zdegradowana. Jej nie ma i żadne promptowanie jej nie odzyska. Średnie zostają znakomite; twój przypadek ogonowy może nie.

MiMo-V2.5-Pro · W8A16 nie nosi przyrostka REAP. Wszystkich 384 ekspertów jest obecnych, a router wybiera z pełnego zbioru, z którym fundament był trenowany.

Poziom	Bity wag	Eksperci	Co oddajesz
W8A16	8	Wszyscy obecni	Nic strukturalnego. Poziom wierności.
W4A16-AUTOROUND-REAP	4	Przycięci	Drobny detal wag plus eksperci o małym ruchu, w zamian za znacznie większy fundament w tym samym paśmie cenowym.
3BIT-REAP	3	Przycięci	Znaczna rozdzielczość wag plus eksperci o małym ruchu — cena za uruchamianie największych fundamentów z zachowaniem szybkości.

Środkowy poziom zasługuje na rzetelne wysłuchanie. AutoRound to nie naiwne zaokrąglanie: metoda Intela (arXiv:2309.05516) używa znakowego spadku gradientu przez mniej więcej 200 kroków, by dostroić decyzje o zaokrąglaniu i zakres przycinania dla każdej grupy wag, i jest raportowana jako niemal bezstratna przy 4 bitach w większości ustawień, bijąc GPTQ, AWQ, HQQ i OmniQuant w większości testowanych konfiguracji. Model W4A16-AUTOROUND jest naprawdę dobrym modelem 4-bitowym. Nadal jednak jest modelem 4-bitowym.

08Kto powinien wybrać poziom 8-bitowy — a kto nie

MiMo-V2.5-Pro · W8A16 stoi w cenie minimalnej całego katalogu — $0.50 wejście / $2.00 wyjście za milion tokenów, w tym samym paśmie co modele 4-bitowe poziomu wejściowego i mniej więcej za ćwiartkę ceny wejścia najdroższego modelu, jaki serwujemy. Nie płacisz premii za wierność; wybierasz inną oś tego samego budżetu.

Wybierz go, gdy

• Zadaniem jest długość wyjścia. Długie pisanie techniczne, fikcja o objętości rozdziału, pełne przejścia po dokumentacji — każdy wygenerowany token to token, w którym szum kompresji się kumuluje.
• Liczy się głos i spójność. Praca z postacią, ton marki, rejestr utrzymany przez długą sesję. Styl mieszka w ogonie, a ogon gruba kwantyzacja zjada jako pierwszy.
• Wyjście strukturalne musi się zwalidować za pierwszym razem. Model obsługuje json_schema i response_format; trzymanie się schematu jest własnością precyzji, a każde uniknięte ponowienie to oszczędność pieniędzy i opóźnienia.
• Zapełniasz kontekst. Trzymanie się instrukcji przy tokenie 200 000 jest trudniejsze niż przy tokenie 2000 i pogarsza się wraz z precyzją wag — podobnie jak długi ślad rozumowania, w którym błędy kumulują się tak samo.
• Praca jest nieocenzurowana z natury. Badania bezpieczeństwa, red teaming, fikcja bez filtra, wrażliwa analiza medyczna lub prawna — tam, gdzie odpowiedź asekuracyjna jest gorsza niż żadna.

Wybierz coś innego, gdy

• Potrzebujesz wizji. Ten model działa tylko na tekście; jego rodzeństwo MiMo-V2.5 · W8A16 ma wizję w tej samej cenie i na tym samym poziomie.
• Potrzebujesz najszerszej wiedzy o świecie przy krótkich zapytaniach. To reżim, w którym wygrywają dodatkowe parametry znacznie większego fundamentu 3-bitowego, a szkody po kwantyzacji ledwo się ujawniają.
• Twoje obciążenie to masowa krótka klasyfikacja. Szkody po kwantyzacji są tam niemal niewidoczne — kup to, co najszybsze.

09Wywoływanie nieocenzurowanego API MiMo

Jeśli twój kod celuje w SDK OpenAI, zmiana bazowego URL i identyfikatora modelu to cała migracja:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages i /v1/responses przyjmują ten sam identyfikator i te same możliwości. Opis parametrów, schematy wywoływania narzędzi, przykłady wyjścia strukturalnego i działający playground są w dokumentacji API Shannon AI.

Możliwość	MiMo-V2.5-Pro · W8A16
Okno kontekstu	262,144 tokeny
Maks. wyjście na żądanie	16,384 tokeny
Streaming	Tak — wszystkie trzy dialekty
Wywoływanie narzędzi	Tak
Rozumowanie / reasoning_effort	Tak
Wyjście strukturalne json_schema	Tak
response_format	Tak
Wizja / wejście obrazowe	Nie — użyj MiMo-V2.5
Warstwa odmów / filtr wyjścia	Brak
Cena za 1M tokenów	$0.50 wejście / $2.00 wyjście

10Najczęściej zadawane pytania

---

Źródła: raport techniczny MiMo, arXiv:2505.07608 · karta modelu MiMo-V2.5-Pro (Xiaomi) · „Give Me BF16 or Give Me Death”?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · prawa skalowania inferencji k-bitowej, arXiv:2212.09720 · Scaling Laws for Precision, Kumar i in., ICLR 2025. Wszystkie liczby benchmarkowe są podane tak, jak raportowali je ich autorzy. Shannon AI jest produktem Shannon Lab LLC, Nowy Meksyk, USA.