L'API de MiMo sense censura amb fidelitat de 8 bits
La base MiMo de Xiaomi, pensada primer per al raonament, servida sense cap capa de refús a W8A16 — el nivell de quantització de màxima fidelitat que executem — pel preu més baix del catàleg.
TL;DR
MiMo-V2.5-Pro · W8A16 és el MiMo-V2.5-Pro de pesos oberts de Xiaomi servit al clúster de GPU propi de Shannon amb pesos de 8 bits / activacions de 16 bits — el nivell menys comprimit del nostre catàleg de dotze models. Context de 262.144 tokens, 16.384 tokens de sortida per petició, crides a eines, raonament, sortida estructurada amb esquema JSON, streaming en tres dialectes d'API i cap capa de refús ni filtre de sortida, per 0,50 $ d'entrada / 2,00 $ de sortida per milió de tokens — el terra del catàleg. Només text; per a imatges, fes servir MiMo-V2.5 · W8A16.
La majoria de catàlegs et venen recompte de paràmetres. És la xifra equivocada per comprar, perquè tot model gran de pesos oberts que et puguis permetre de debò ha estat comprimit per encabir-lo en algun lloc. La pregunta honesta no és «quant de gran era això abans d'esprémer-ho?», sinó «quant en queda encara?». Aquest article va d'aquesta pregunta, i del model de la nostra llista on la resposta és gairebé tot.
01Què t'ofereix realment l'API de MiMo sense censura
L'API de MiMo sense censura és un sol identificador de model, MiMo-V2.5-Pro-W8A16, accessible mitjançant tres dialectes que apunten als mateixos pesos al nostre propi clúster de GPU: /v1/chat/completions, /v1/messages i /v1/responses. Tots tres fan streaming i admeten crides a eines i raonament.
Sense censura té aquí un significat estret: cap capa de refús davant del model, cap filtre a la seva sortida. No interceptem, ni classifiquem, ni reescrivim. Obtens el comportament propi de la base — que, en un model de pesos oberts de nivell de recerca, vol dir que tracta recerca en seguretat, ficció adulta o violenta, raonament mèdic i jurídic, i les peticions que els endpoints comercials allotjats refusen per reflex. És una eina professional sota la nostra Política d'ús responsable, no una absència de normes.
02El llinatge MiMo: l'aposta de Xiaomi pel preentrenament centrat en el raonament
MiMo no és un derivat de Llama amb nom nou; és un llinatge propi de l'equip MiMo de Xiaomi, i la seva idea fundacional importa abans d'avaluar el model. Comença amb MiMo-7B (30 d'abril de 2025, llicència MIT), l'informe tècnic del qual sosté que la majoria de laboratoris tracten el raonament com un problema de postentrenament que s'enganxa amb aprenentatge per reforç, i que això va del revés. Xiaomi va reestructurar-hi el preentrenament: una barreja de tres etapes al llarg de 25 bilions de tokens, amb la segona etapa amb aproximadament un 70% de matemàtiques i codi, i la tercera incorporant traces sintètiques de raonament mentre estenia el context de 8K a 32K — més un objectiu de predicció multitoken que fa alhora de capçal de descodificació especulativa.
El resultat va ser un model base de 7B que es comportava com una cosa molt més gran. MiMo-7B-Base va treure 32.9 a l'AIME 2024 on Qwen2.5-7B va fer 10.1, Gemma-2-9B 0.0 i Llama-3.1-8B 0.3. Després, el postentrenament va aplicar aprenentatge per reforç sobre 130.000 problemes verificables de matemàtiques i codi amb una recompensa de codi guiada per la dificultat dels tests, esquivant la trampa de recompensa escassa que desestabilitza l'RL de codi. El resultat va quedar per davant de l'o1-mini:
AIME 2025, xifres reportades per Xiaomi a l'informe tècnic de MiMo (arXiv:2505.07608). MiMo-7B-RL també va reportar 95.8 a MATH-500 i 57.8 a LiveCodeBench v5.
La família es va eixamplar en comptes de derivar: MiMo-VL-7B (juny de 2025) va posar un codificador Qwen2.5-ViT sobre la mateixa columna vertebral, i el desembre de 2025 va portar MiMo-Audio-7B més la primera entrada MoE, MiMo-V2-Flash (309B totals / 15B actius, 27 bilions de tokens, precisió mixta FP8). MiMo-V2-Pro va seguir el març de 2026 amb aproximadament 1T / 42B actius i un context d'1M, després de setmanes a OpenRouter com a «Hunter Alpha». MiMo-V2.5 i MiMo-V2.5-Pro es van publicar juntes el 22 d'abril de 2026, totes dues amb llicència MIT.
03Dins de MiMo-V2.5-Pro: com és la base
Segons la fitxa de model publicada per Xiaomi, MiMo-V2.5-Pro és un model dispers de mescla d'experts amb 1,02 bilions de paràmetres totals i 42.000 milions actius per token repartits en 70 capes — una densa i 69 MoE — i 384 experts encaminats, 8 per token. La mida oculta és 6144, amb una mida intermèdia MoE estreta de 2048.
Dues decisions determinen com se sent en ús. La pila d'atenció és híbrida: 10 capes d'atenció completa i 60 capes de finestra lliscant amb una finestra de 128, més un biaix d'embornal d'atenció aprenible. Xiaomi reporta que això redueix l'emmagatzematge de la memòria cau KV prop de 7x respecte de l'atenció global pura, mantenint la qualitat en context llarg — la diferència entre una finestra nominalment llarga i una que et pots permetre d'omplir. També incorpora tres capes de predicció multitoken, que donen al descodificador un capçal especulatiu.
L'entrenament va ser de 27 bilions de tokens amb una longitud de seqüència nativa de 32K en precisió mixta FP8 (E4M3), seguit d'ajust fi supervisat, RL agèntic a gran escala i destil·lació on-policy amb múltiples mestres. Retén aquest detall de l'FP8; és l'argument més fort per servir aquesta base a 8 bits.
Xiaomi situa el model en un 57.2% a SWE-bench Pro, 72.9 a τ3-Bench per a ús d'eines i 48.0% a Humanity's Last Exam — xifres del propi proveïdor sobre el model sense comprimir, citades com a tals.
Nosaltres servim una finestra de 262.144 tokens, no el milió complet de la base — un context que podem garantir amb velocitat, en comptes d'una xifra de titular que es degrada sota càrrega.
04Què vol dir W8A16, exactament
Cada model d'aquest catàleg porta un sufix de quantització que descriu una transformació real i mesurable, no un nivell de màrqueting. Els nostres són 3BIT-REAP, W4A16-AUTOROUND-REAP i W8A16. MiMo-V2.5-Pro és el tercer.
La notació es parteix en dos. W8 és la precisió dels pesos: cada paràmetre s'emmagatzema com un enter de 8 bits en comptes d'un flotant de 16 bits, amb un factor d'escala compartit per grup petit perquè el rang dinàmic local de cada grup sobrevisqui. A16 és la precisió de les activacions: els valors que flueixen entre capes durant la inferència es mantenen a 16 bits. Els pesos es comprimeixen; l'aritmètica no.
Aquesta segona meitat fa una feina discreta i important. Les activacions són molt més difícils de quantitzar que els pesos: contenen canals atípics extrems — unes poques dimensions amb magnituds que empetiteixen la resta i que carreguen una part desproporcionada del comportament del model. Si les baixes a precisió reduïda, retalles exactament el senyal que necessitaves. Els esquemes de només pesos esquiven el problema deixant intacte el camí de les activacions, i per això la feina seriosa de quantització hi ha convergit.
Així doncs, la pregunta pràctica es redueix a una cosa: amb quants pocs bits pot conviure un pes?
05W8A16 contra W4A16 contra 3 bits: on va realment la pèrdua
L'estudi publicat més gran sobre això és el de Neural Magic i Red Hat, "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — més de 500.000 avaluacions a la família Llama-3.1 a 8B, 70B i 405B. El seu resultat principal, amb les seves xifres:
| Format | Què es comprimeix | Recuperació reportada vs BF16 |
|---|---|---|
| W8A8-FP (8 bits) | Pesos + activacions, en coma flotant | ~99,75% de mitjana — «essencialment sense pèrdua» |
| W8A8-INT (8 bits) | Pesos + activacions, enter | 99–100% a 8B/70B; 98,2–99,3% a 405B |
| W4A16-INT (4 bits) | Només pesos | 98–99,4% (8B); 98,6–99,8% (70B) |
Xifres reportades per Neural Magic / Red Hat (arXiv:2411.02355) sobre models Llama-3.1 — la forma del compromís, no la puntuació d'aquest model.
Llegit honestament, això sembla un argument en contra de preocupar-se'n: 4 bits recupera el 98–99%, així que per què parar-hi atenció? Perquè són bancs de proves acadèmics d'opció múltiple, gairebé el pitjor instrument disponible per detectar el mal de la quantització. Una pregunta de banc de proves té una resposta correcta assolible en un o dos tokens, i l'error de quantització és soroll petit, de mitjana pràcticament zero, sobre cada logit; en una pregunta curta amb un marge ampli, aquest soroll s'absorbeix.
Ara escriu 4.000 tokens d'un document tècnic, mantén una veu al llarg d'una història de 40.000 tokens, o emet JSON que ha de validar al primer intent. El mateix soroll es mostreja milers de vegades en seqüència, i cada mostra condiciona la següent. El mode de fallada no és una resposta incorrecta — és la deriva: una adherència que s'afluixa respecte de la instrucció del primer torn, un personatge que deixa de sonar com ell mateix cap al token 3.000, una clau de tancament que no arriba mai.
On van realment els bits
L'error de quantització no es reparteix de manera uniforme entre les capacitats d'un model; es concentra a la cua. Els comportaments de massa alta — l'anglès gramatical, la forma d'una funció de Python, els mil fets més comuns sobre el món — estan codificats de manera redundant en molts pesos i sobreviuen a gairebé qualsevol cosa. Els racons de magnitud petita i afinació precisa de la distribució de pesos guarden allò rar: la signatura exacta d'una API obscura, la cadència d'un autor concret, la diferència entre dos CVE adjacents. Aquests són els valors que una graella grollera arrodoneix els uns dins dels altres.
El pas de 4 bits a 3 és on això deixa de ser un impost i es converteix en un penya-segat. Les lleis d'escala d'inferència de k bits de Dettmers i Zettlemoyer van trobar que 4 bits és el punt que maximitza la precisió zero-shot per bit de memòria de model, amb la degradació dominant per sota. Quatre bits donen 16 nivells per grup; tres en donen 8. Estàs reduint a la meitat la resolució d'una graella ja grollera, i l'error d'arrodoniment per pes aproximadament es duplica.
L'aritmètica que ho decideix
La comparació que val la pena fer és aritmètica, no un banc de proves. El que sobreviu a la compressió és aproximadament paràmetres × bits per paràmetre — el volum portador d'informació del fitxer de pesos. Pren dues bases hipotètiques d'igual qualitat per paràmetre:
- Base A: 400B de paràmetres a 3 bits → aproximadament 150 GB de pes retingut.
- Base B: 160B de paràmetres a 8 bits → aproximadament 160 GB de pes retingut.
Per recompte brut de paràmetres, A guanya dos i mig a un — la xifra que encapçala la fitxa del model. Per informació retinguda són equivalents, i B a més té un avantatge estructural: els seus pesos seuen en una graella prou fina perquè el seu comportament de cua quedi intacte, mentre que la cua d'A ha estat quantitzada dins del gruix. A sap més coses; B sap més nítidament el que sap. Per a generació llarga, format exacte, control estilístic i adherència fidel a context llarg, tria B.
Aritmètica il·lustrativa, no un banc de proves: mostra per què «base més gran» i «model servit millor» són afirmacions diferents.
06Per què 27 bilions de tokens d'entrenament empitjoren la quantització agressiva
Un segon resultat, menys intuïtiu, afecta directament aquesta base. L'article de Kumar et al. a l'ICLR 2025, Scaling Laws for Precision, troba que com més dades ha vist un model durant l'entrenament, més mal li fa la quantització posterior. La precisió baixa redueix el recompte efectiu de paràmetres d'un model, i aquesta degradació creix amb les dades de preentrenament absorbides — prou com perquè dades addicionals de preentrenament puguin ser netament perjudicials si penses quantitzar de manera agressiva, perquè estàs dipositant una estructura fina que la graella esborrarà.
Un model entrenat amb 5 bilions de tokens té una estructura de pesos grollera i redundant, i marge de sobra. Un model entrenat amb 27 bilions de tokens — el pressupost de MiMo-V2.5-Pro — va gastar aquestes dades extra escrivint distincions més fines en valors de pes més precisos, que és exactament el que una graella de 3 bits no pot representar.
I després hi ha el fet de l'FP8 de la secció 03, l'argument més net d'aquest article. MiMo-V2.5-Pro es va preentrenar amb precisió mixta FP8. Els seus pesos van ser modelats des del començament per un optimitzador que treballava amb aproximadament vuit bits de precisió. Servir-lo amb pesos de 8 bits no és, doncs, una ocurrència amb pèrdues imposada sobre un model de 16 bits — és gairebé retornar els pesos al règim numèric en què es van aprendre. Per sota del vuitè bit hi ha poca estructura fina per perdre. No es pot dir el mateix d'aquests pesos forçats fins a tres.
07REAP: per què la poda d'experts és una pèrdua d'una altra mena que l'arrodoniment
Dos dels tres nivells porten el sufix REAP — una operació categòricament diferent de la quantització. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) és compressió d'un sol pas per a models MoE dispersos: puntua cada expert segons els valors de porta de l'encaminador i la norma d'activació de l'expert, i després elimina els que menys puntuen. Cerebras reporta resultats gairebé sense pèrdua en generació de codi i crides a eines fins i tot amb el 50% dels experts podats.
Fem servir REAP pel motiu pel qual existeix: a les bases més grans és el que les fa servibles. Però fixa't en la diferència de naturalesa. La quantització difumina una mica cada pes; la poda elimina experts sencers. Si la teva càrrega de treball encamina intensament cap a una capacitat que vivia en un expert rarament seleccionat — un llenguatge de programació minoritari, un vocabulari especialitzat —, no queda degradada. Ha desaparegut, i cap prompt no la recupera. Les mitjanes es mantenen excel·lents; el teu cas de cua potser no.
MiMo-V2.5-Pro · W8A16 no porta cap sufix REAP. Els 384 experts hi són tots, i l'encaminador tria del conjunt complet amb què es va entrenar la base.
| Nivell | Bits de pes | Experts | Què hi perds |
|---|---|---|---|
| W8A16 | 8 | Tots presents | Res d'estructural. El nivell de fidelitat. |
| W4A16-AUTOROUND-REAP | 4 | Podats | Detall fi de pes més experts de poc trànsit, a canvi d'una base molt més gran dins de la mateixa franja de preu. |
| 3BIT-REAP | 3 | Podats | Resolució de pes substancial més experts de poc trànsit — el preu d'executar amb velocitat les bases més grans de totes. |
El nivell intermedi mereix una defensa justa. AutoRound no és arrodoniment ingenu: el mètode d'Intel (arXiv:2309.05516) fa servir descens de gradient amb signe al llarg d'unes 200 passes per ajustar les decisions d'arrodoniment i el rang de retallada per grup de pesos, i es reporta gairebé sense pèrdua a 4 bits en la majoria d'escenaris, superant GPTQ, AWQ, HQQ i OmniQuant en la major part de configuracions provades. Un model W4A16-AUTOROUND és un model de 4 bits genuïnament bo. Continua sent un model de 4 bits.
08Qui hauria de triar el nivell de 8 bits — i qui no
MiMo-V2.5-Pro · W8A16 se situa al preu més baix de tot el catàleg — 0,50 $ d'entrada / 2,00 $ de sortida per milió de tokens, la mateixa franja que els models de 4 bits d'entrada i aproximadament un quart del preu d'entrada del model més car que servim. No pagues cap prima per la fidelitat; tries un eix diferent del mateix pressupost.
Tria'l quan
- La llargada de la sortida és la feina. Escriptura tècnica extensa, ficció de llargada de capítol, passades senceres de documentació — cada token generat és un token on el soroll de compressió s'acumula.
- La veu i la coherència importen. Feina de personatge, to de marca, un registre mantingut al llarg d'una sessió llarga. L'estil viu a la cua, i la cua és el primer que menja la quantització grollera.
- La sortida estructurada ha de validar al primer intent. El model admet
json_schemairesponse_format; l'adherència a l'esquema és una propietat de precisió, i cada reintent estalviat són diners i latència estalviats. - Estàs omplint el context. Seguir les instruccions al token 200.000 és més difícil que al token 2.000, i es degrada amb la precisió dels pesos — igual que una traça de raonament llarga, on els errors s'acumulen de la mateixa manera.
- La feina és sense censura per naturalesa. Recerca en seguretat, red-teaming, ficció sense filtre, anàlisi mèdica o jurídica sensible — on una resposta a mitges és pitjor que cap.
Tria una altra cosa quan
- Necessites visió. Aquest model és només de text; el seu germà MiMo-V2.5 · W8A16 té capacitat de visió al mateix preu i nivell.
- Necessites el coneixement del món més ampli en consultes curtes. Aquest és el règim on els paràmetres extra d'una base de 3 bits molt més gran guanyen i el seu mal de quantització amb prou feines es nota.
- La teva càrrega és classificació curta d'alt volum. Allà el mal de la quantització és gairebé invisible — compra el que sigui més ràpid.
09Com cridar l'API de MiMo sense censura
Si el teu codi apunta a l'SDK d'OpenAI, canviar la URL base i l'identificador del model és tota la migració:
curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer $SHANNON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MiMo-V2.5-Pro-W8A16",
"messages": [
{"role": "user", "content": "Draft the threat model section."}
],
"reasoning_effort": "high",
"max_tokens": 16384,
"stream": true
}'/v1/messages i /v1/responses accepten el mateix identificador i les mateixes capacitats. La referència de paràmetres, els esquemes de crides a eines, exemples de sortida estructurada i un espai de proves en viu són a la documentació de l'API de Shannon AI.
| Capacitat | MiMo-V2.5-Pro · W8A16 |
|---|---|
| Finestra de context | 262,144 tokens |
| Màxim de sortida per petició | 16,384 tokens |
| Streaming | Sí — els tres dialectes |
| Crides a eines | Sí |
Raonament / reasoning_effort | Sí |
Sortida estructurada json_schema | Sí |
response_format | Sí |
| Visió / entrada d'imatge | No — fes servir MiMo-V2.5 |
| Capa de refús / filtre de sortida | Cap |
| Preu per 1M de tokens | $0.50 entrada / $2.00 sortida |
Cada xifra externa d'aquí està publicada per algú que no som nosaltres i s'atribueix al text. Els resultats de recuperació de la quantització vénen d'estudis de la família Llama: descriuen la forma del compromís, no les puntuacions d'aquest model.
10Preguntes freqüents
Què és l'API de MiMo sense censura?
És l'endpoint de Shannon AI per a MiMo-V2.5-Pro, el model de mescla d'experts de pesos oberts de Xiaomi, servit al nostre propi clúster de GPU sense cap capa de refús ni cap filtratge de sortida. És accessible mitjançant /v1/chat/completions, /v1/messages i /v1/responses, amb un context de 262.144 tokens i 16.384 tokens de sortida per petició.
Què vol dir W8A16 i per què importa?
W8A16 vol dir que els pesos s'emmagatzemen a 8 bits cadascun mentre que les activacions es calculen a 16 bits. És el nivell de quantització de màxima fidelitat del nostre catàleg. Els estudis publicats troben que els formats de 8 bits només de pesos recuperen essencialment tota la precisió del model original, mentre que els de 4 bits canvien una mica de fidelitat per memòria i els de 3 bits en canvien una quantitat substancial.
Pot un model més petit a 8 bits guanyar a un model més gran a 3 bits?
Sovint, sí. El que sobreviu a la compressió és aproximadament el recompte de paràmetres multiplicat pels bits per paràmetre, i l'error de quantització es concentra en comportaments rars de cua. Un model mantingut a 8 bits conserva la coherència en textos llargs, el format exacte i el coneixement de cua; un model més gran esclafat a 3 bits conserva les puntuacions àmplies dels bancs de proves però perd aquestes propietats.
MiMo-V2.5-Pro admet visió o entrada d'imatge?
No. MiMo-V2.5-Pro a Shannon AI és només de text. Sí que admet crides a eines, raonament amb reasoning_effort, sortida estructurada amb esquema JSON i response_format. Si necessites entrada d'imatge, fes servir el model germà MiMo-V2.5 W8A16, que té capacitat de visió al mateix preu.
Quant costa l'API de MiMo sense censura?
0,50 $ per milió de tokens d'entrada i 2,00 $ per milió de tokens de sortida. És el preu més baix del catàleg de Shannon AI, cosa que fa de MiMo-V2.5-Pro la manera més barata de comprar fidelitat de 8 bits en aquesta passarel·la.
Prova l'API de MiMo sense censura
Fidelitat de vuit bits, 262K de context, cap capa de refús — pel preu més baix del catàleg.
Llegeix la documentació de l'API Consulta tots els modelsOperat sota la Política d'ús responsable de Shannon AI
Fonts: informe tècnic de MiMo, arXiv:2505.07608 · fitxa del model MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · lleis d'escala d'inferència de k bits, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Totes les xifres de bancs de proves són tal com les reporten els seus autors. Shannon AI és un producte de Shannon Lab LLC, Nou Mèxic, EUA.