API de MiMo sin censura con fidelidad de 8 bits
La base MiMo de Xiaomi, centrada en el razonamiento, servida sin capa de rechazo en W8A16 —el nivel de cuantización de mayor fidelidad que ejecutamos— por el precio mínimo del catálogo.
Resumen
MiMo-V2.5-Pro · W8A16 es el MiMo-V2.5-Pro de pesos abiertos de Xiaomi servido en el clúster de GPU propio de Shannon con pesos de 8 bits / activaciones de 16 bits: el nivel menos comprimido de nuestro catálogo de doce modelos. Un contexto de 262,144 tokens, 16,384 tokens de salida por solicitud, tool calling, razonamiento, salida estructurada con JSON schema, streaming en tres dialectos de API y sin capa de rechazo ni filtrado de la salida, a $0.50 de entrada / $2.00 de salida por millón de tokens: el mínimo del catálogo. Solo texto; usa MiMo-V2.5 · W8A16 para imágenes.
La mayoría de los catálogos te venden número de parámetros. Esa es la cifra equivocada para comparar, porque todos los modelos grandes de pesos abiertos que realmente puedes permitirte han sido comprimidos para caber en algún sitio. La pregunta honesta no es «¿qué tamaño tenía esto antes de exprimirlo?», sino «¿cuánto queda todavía?». Este artículo va sobre esa pregunta, y sobre el modelo de nuestro catálogo donde la respuesta es casi todo.
01Qué te da realmente la API de MiMo sin censura
La API de MiMo sin censura es un único id de modelo, MiMo-V2.5-Pro-W8A16, accesible a través de tres dialectos que apuntan a los mismos pesos en nuestro propio clúster de GPU: /v1/chat/completions, /v1/messages y /v1/responses. Los tres admiten streaming, tool calling y razonamiento.
Sin censura tiene aquí un significado preciso: ninguna capa de rechazo delante del modelo, ningún filtro sobre su salida. No interceptamos, no clasificamos y no reescribimos. Obtienes el comportamiento propio de la base, lo que en un modelo de pesos abiertos de calidad investigadora significa que entra en materia con la investigación de seguridad, la ficción adulta o violenta, el razonamiento médico y jurídico y las peticiones que los endpoints comerciales alojados rechazan por reflejo. Es una herramienta profesional bajo nuestra Política de Uso Responsable, no una ausencia de reglas.
02El linaje MiMo: la apuesta de Xiaomi por un preentrenamiento centrado en el razonamiento
MiMo no es un derivado de Llama con otro nombre; es un linaje propio del equipo MiMo de Xiaomi, y su idea fundacional importa antes de evaluar el modelo. Empieza con MiMo-7B (30 de abril de 2025, licencia MIT), cuyo informe técnico sostiene que la mayoría de los laboratorios tratan el razonamiento como un problema de post-entrenamiento que se atornilla con RL, y que eso está al revés. Xiaomi reestructuró en cambio el preentrenamiento en torno a él: una mezcla en tres etapas a lo largo de 25 billones de tokens, con la segunda etapa a aproximadamente un 70% de matemáticas y código y la tercera incorporando trazas de razonamiento sintéticas mientras se ampliaba el contexto de 8K a 32K, más un objetivo de predicción de múltiples tokens que además sirve como cabeza de decodificación especulativa.
El resultado fue un modelo base de 7B que se comportaba como algo mucho mayor. MiMo-7B-Base sacó 32.9 en AIME 2024 donde Qwen2.5-7B sacó 10.1, Gemma-2-9B 0.0 y Llama-3.1-8B 0.3. El post-entrenamiento aplicó después RL sobre 130,000 problemas verificables de matemáticas y código con una recompensa de código guiada por la dificultad de los tests, escapando de la trampa de recompensa escasa que desestabiliza el RL sobre código. El resultado quedó por delante de o1-mini:
AIME 2025, cifras reportadas por Xiaomi en el informe técnico de MiMo (arXiv:2505.07608). MiMo-7B-RL también reportó 95.8 en MATH-500 y 57.8 en LiveCodeBench v5.
La familia se ensanchó en lugar de desviarse: MiMo-VL-7B (junio de 2025) puso un codificador Qwen2.5-ViT sobre el mismo backbone, y diciembre de 2025 trajo MiMo-Audio-7B más la primera entrada MoE, MiMo-V2-Flash (309B totales / 15B activos, 27T tokens, precisión mixta FP8). MiMo-V2-Pro llegó en marzo de 2026 con aproximadamente 1T / 42B activos y un contexto de 1M, tras semanas en OpenRouter como «Hunter Alpha». MiMo-V2.5 y MiMo-V2.5-Pro se publicaron juntos el 22 de abril de 2026, ambos con licencia MIT.
03Por dentro de MiMo-V2.5-Pro: cómo es la base
Según la ficha de modelo publicada por Xiaomi, MiMo-V2.5-Pro es un modelo Mixture-of-Experts disperso con 1.02 billones de parámetros totales y 42 mil millones activos por token a lo largo de 70 capas —una densa, 69 MoE— y 384 expertos enrutados, 8 por token. El tamaño oculto es de 6144, con un tamaño intermedio MoE estrecho de 2048.
Dos decisiones marcan cómo se siente en uso. La pila de atención es híbrida: 10 capas de atención completa y 60 capas de ventana deslizante con una ventana de 128, más un sesgo aprendible de sumidero de atención. Xiaomi informa de que esto recorta el almacenamiento de la caché KV cerca de 7 veces frente a la atención totalmente global manteniendo la calidad en contexto largo: la diferencia entre una ventana nominalmente larga y una que puedes permitirte llenar. También incluye tres capas de predicción de múltiples tokens, que dan al decodificador una cabeza especulativa.
El entrenamiento fueron 27 billones de tokens con una longitud de secuencia nativa de 32K en precisión mixta FP8 (E4M3), seguido de ajuste fino supervisado, RL agéntico a gran escala y destilación on-policy con múltiples profesores. Retén ese detalle del FP8; es el argumento individual más fuerte para servir esta base a 8 bits.
Xiaomi reporta el modelo con un 57.2% en SWE-bench Pro, 72.9 en τ3-Bench de uso de herramientas y 48.0% en Humanity's Last Exam: cifras del propio proveedor sobre el modelo sin comprimir, citadas como tales.
Nosotros servimos una ventana de 262,144 tokens, no el 1M completo de la base: un contexto que podemos garantizar con velocidad, en lugar de una cifra de titular que se degrada bajo carga.
04Qué significa W8A16, con precisión
Cada modelo de este catálogo lleva un sufijo de cuantización que describe una transformación real y medible, no un nivel de marketing. Los nuestros son 3BIT-REAP, W4A16-AUTOROUND-REAP y W8A16. MiMo-V2.5-Pro es el tercero.
La notación se parte en dos. W8 es la precisión de los pesos: cada parámetro se almacena como un entero de 8 bits en lugar de un flotante de 16 bits, con un factor de escala compartido por cada grupo pequeño para que sobreviva el rango dinámico local de cada grupo. A16 es la precisión de las activaciones: los valores que fluyen entre capas durante la inferencia se mantienen a 16 bits. Los pesos se comprimen; la aritmética no.
Esa segunda mitad hace un trabajo silencioso e importante. Las activaciones son mucho más difíciles de cuantizar que los pesos: contienen canales atípicos extremos —unas pocas dimensiones cuyas magnitudes empequeñecen a todas las demás y que cargan con una parte desproporcionada del comportamiento del modelo—. Si los llevas a baja precisión, recortas justo la señal que necesitabas. Los esquemas de solo pesos esquivan el problema dejando en paz la ruta de activación, y por eso el trabajo serio de cuantización ha convergido en ellos.
Así que la pregunta práctica se reduce a una sola cosa: ¿cuántos bits puede tolerar como mínimo un peso?
05W8A16 frente a W4A16 y 3 bits: dónde va realmente la pérdida
El mayor estudio publicado sobre esto es el de Neural Magic y Red Hat, «Give Me BF16 or Give Me Death»? Accuracy-Performance Trade-Offs in LLM Quantization, con más de 500,000 evaluaciones sobre la familia Llama-3.1 en 8B, 70B y 405B. Su resultado principal, en sus propias cifras:
| Formato | Qué se comprime | Recuperación reportada frente a BF16 |
|---|---|---|
| W8A8-FP (8 bits) | Pesos + activaciones, en coma flotante | ~99.75% de media — «esencialmente sin pérdidas» |
| W8A8-INT (8 bits) | Pesos + activaciones, en enteros | 99–100% en 8B/70B; 98.2–99.3% en 405B |
| W4A16-INT (4 bits) | Solo pesos | 98–99.4% (8B); 98.6–99.8% (70B) |
Cifras reportadas por Neural Magic / Red Hat (arXiv:2411.02355) sobre modelos Llama-3.1: la forma del compromiso, no la puntuación de este modelo.
Leído con honestidad, eso parece un argumento en contra de preocuparse: 4 bits recupera un 98–99%, así que ¿por qué prestar atención? Porque esos son benchmarks académicos de opción múltiple, casi el peor instrumento disponible para detectar el daño de la cuantización. Una pregunta de benchmark tiene una respuesta correcta alcanzable en uno o dos tokens, y el error de cuantización es un ruido pequeño, de media aproximadamente cero, sobre cada logit; en una pregunta corta con un margen amplio, ese ruido se absorbe.
Ahora escribe 4,000 tokens de un documento técnico, sostén una voz a lo largo de un relato de 40,000 tokens o emite JSON que debe validar al primer intento. El mismo ruido se muestrea miles de veces en secuencia, y cada muestra condiciona la siguiente. El modo de fallo no es una respuesta equivocada: es la deriva. Un agarre que se afloja sobre la instrucción del primer turno, un personaje que deja de sonar como él mismo hacia el token 3,000, una llave de cierre que nunca llega.
Adónde van realmente los bits
El error de cuantización no se reparte de forma uniforme entre las capacidades de un modelo; se concentra en la cola. Los comportamientos de mucha masa —el inglés gramatical, la forma de una función de Python, los mil hechos más comunes sobre el mundo— están codificados de forma redundante en muchos pesos y sobreviven casi a todo. Los rincones de magnitud pequeña y finamente ajustados de la distribución de pesos guardan lo raro: la firma exacta de una API oscura, la cadencia de un autor concreto, la diferencia entre dos CVE contiguos. Esos son los valores que una rejilla gruesa redondea unos sobre otros.
El paso de 4 bits a 3 es donde esto deja de ser un impuesto y se convierte en un precipicio. Las leyes de escalado de inferencia de k bits de Dettmers y Zettlemoyer encontraron que 4 bits es el punto que maximiza la precisión zero-shot por bit de memoria del modelo, con una degradación dominante por debajo. Cuatro bits dan 16 niveles por grupo; tres dan 8. Estás reduciendo a la mitad la resolución de una rejilla ya gruesa, y el error de redondeo por peso aproximadamente se duplica.
La aritmética que lo decide
La comparación que merece la pena hacer es aritmética, no un benchmark. Lo que sobrevive a la compresión es aproximadamente parámetros × bits por parámetro: el volumen portador de información del archivo de pesos. Toma dos bases hipotéticas de igual calidad por parámetro:
- Base A: 400B de parámetros a 3 bits → aproximadamente 150 GB de peso retenido.
- Base B: 160B de parámetros a 8 bits → aproximadamente 160 GB de peso retenido.
Por número bruto de parámetros, A gana dos y media a uno: la cifra con la que abre la ficha del modelo. Por información retenida son equivalentes, y B tiene además una ventaja estructural: sus pesos están sobre una rejilla lo bastante fina como para que su comportamiento de cola esté intacto, mientras que la cola de A ha sido cuantizada dentro del grueso. A sabe más cosas; B sabe lo que sabe con más nitidez. Para generación larga, formato exacto, control estilístico y adherencia fiel al contexto largo, toma B.
Aritmética ilustrativa, no un benchmark: muestra por qué «base más grande» y «modelo mejor servido» son afirmaciones distintas.
06Por qué 27 billones de tokens de entrenamiento empeoran la cuantización agresiva
Un segundo resultado, menos intuitivo, atañe directamente a esta base. El artículo de Kumar et al. en ICLR 2025, Scaling Laws for Precision, encuentra que cuantos más datos haya visto un modelo en el entrenamiento, más daño le hace la cuantización post-entrenamiento. La baja precisión reduce el número efectivo de parámetros de un modelo, y esa degradación crece con los datos de preentrenamiento absorbidos, lo bastante como para que datos adicionales de preentrenamiento puedan resultar netamente perjudiciales si piensas cuantizar de forma agresiva, porque estás depositando una estructura fina que la rejilla borrará.
Un modelo entrenado con 5T tokens tiene una estructura de pesos gruesa y redundante, y margen de sobra. Un modelo entrenado con 27T tokens —el presupuesto de MiMo-V2.5-Pro— gastó esos datos adicionales escribiendo distinciones más finas en valores de peso más precisos, que es justo lo que una rejilla de 3 bits no puede representar.
Y luego está el dato del FP8 de la sección 03, el argumento más limpio de este artículo. MiMo-V2.5-Pro se preentrenó en precisión mixta FP8. Sus pesos fueron moldeados desde el principio por un optimizador que trabajaba con aproximadamente ocho bits de precisión. Servirlo con pesos de 8 bits no es, por tanto, una ocurrencia con pérdidas impuesta sobre un modelo de 16 bits: es casi devolver los pesos al régimen numérico en el que se aprendieron. Poca estructura fina existe por debajo del octavo bit que pueda perderse. No puede decirse lo mismo de esos pesos forzados hasta tres.
07REAP: por qué podar expertos es una pérdida de otra naturaleza que redondear
Dos de los tres niveles llevan un sufijo REAP, una operación categóricamente distinta de la cuantización. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) es compresión de una sola pasada para modelos MoE dispersos: puntúa cada experto por los valores de la compuerta del router y la norma de activación del experto, y luego elimina a los de menor puntuación. Cerebras informa de resultados casi sin pérdidas en generación de código y tool calling incluso con el 50% de los expertos podados.
Usamos REAP por la razón por la que existe: en las bases más grandes es lo que las hace servibles. Pero fíjate en la diferencia de naturaleza. La cuantización desenfoca un poco cada peso; la poda elimina expertos por completo. Si tu carga de trabajo enruta masivamente hacia una capacidad que vivía en un experto rara vez seleccionado —un lenguaje de programación minoritario, un vocabulario especializado—, no queda degradada. Desaparece, y ningún prompt la recupera. Las medias siguen siendo excelentes; tu caso de cola puede que no.
MiMo-V2.5-Pro · W8A16 no lleva sufijo REAP. Los 384 expertos están presentes, y el router elige del conjunto completo con el que se entrenó la base.
| Nivel | Bits de peso | Expertos | Qué cambias |
|---|---|---|---|
| W8A16 | 8 | Todos presentes | Nada estructural. El nivel de fidelidad. |
| W4A16-AUTOROUND-REAP | 4 | Podados | Detalle fino de los pesos más expertos de poco tráfico, a cambio de una base mucho mayor en la misma banda de precio. |
| 3BIT-REAP | 3 | Podados | Resolución sustancial de los pesos más expertos de poco tráfico: el precio de ejecutar con velocidad las bases más grandes de todas. |
El nivel intermedio merece una audiencia justa. AutoRound no es un redondeo ingenuo: el método de Intel (arXiv:2309.05516) usa descenso de gradiente con signo a lo largo de unos 200 pasos para ajustar las decisiones de redondeo y el rango de recorte por grupo de pesos, y se reporta como casi sin pérdidas a 4 bits en la mayoría de los escenarios, superando a GPTQ, AWQ, HQQ y OmniQuant en la mayoría de las configuraciones probadas. Un modelo W4A16-AUTOROUND es un modelo de 4 bits genuinamente bueno. Sigue siendo un modelo de 4 bits.
08Quién debería elegir el nivel de 8 bits, y quién no
MiMo-V2.5-Pro · W8A16 está en el precio mínimo de todo el catálogo: $0.50 de entrada / $2.00 de salida por millón de tokens, la misma banda que los modelos de 4 bits de nivel de entrada y aproximadamente una cuarta parte del precio de entrada del modelo más caro que servimos. No estás pagando un sobreprecio por la fidelidad; estás eligiendo otro eje del mismo presupuesto.
Elígelo cuando
- La longitud de la salida es el trabajo. Redacción técnica de formato largo, ficción de la extensión de un capítulo, pasadas completas de documentación: cada token generado es uno más donde se acumula el ruido de la compresión.
- La voz y la consistencia importan. Trabajo de personaje, tono de marca, un registro sostenido a lo largo de una sesión larga. El estilo vive en la cola, y la cola es lo primero que devora la cuantización gruesa.
- La salida estructurada debe validar al primer intento. El modelo admite
json_schemayresponse_format; la adherencia al esquema es una propiedad de precisión, y cada reintento evitado es dinero y latencia ahorrados. - Estás llenando el contexto. La adherencia a las instrucciones en el token 200,000 es más difícil que en el token 2,000, y se degrada con la precisión de los pesos, igual que una traza de razonamiento larga, donde los errores se acumulan de la misma forma.
- El trabajo es sin censura por naturaleza. Investigación de seguridad, red teaming, ficción sin filtrar, análisis médico o jurídico sensible: donde una respuesta con reservas es peor que ninguna.
Elige otra cosa cuando
- Necesitas visión. Este modelo es solo de texto; su hermano MiMo-V2.5 · W8A16 tiene visión al mismo precio y en el mismo nivel.
- Necesitas el conocimiento del mundo más amplio en consultas cortas. Ese es el régimen donde los parámetros extra de una base de 3 bits mucho mayor ganan y su daño por cuantización apenas se nota.
- Tu carga de trabajo es clasificación corta de alto volumen. Ahí el daño de la cuantización es casi invisible: compra lo que sea más rápido.
09Cómo llamar a la API de MiMo sin censura
Si tu código apunta al SDK de OpenAI, cambiar la URL base y el id del modelo es toda la migración:
curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer $SHANNON_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MiMo-V2.5-Pro-W8A16",
"messages": [
{"role": "user", "content": "Draft the threat model section."}
],
"reasoning_effort": "high",
"max_tokens": 16384,
"stream": true
}'/v1/messages y /v1/responses aceptan el mismo id y las mismas capacidades. La referencia de parámetros, los esquemas de tool calling, los ejemplos de salida estructurada y un playground en vivo están en la documentación de la API de Shannon AI.
| Capacidad | MiMo-V2.5-Pro · W8A16 |
|---|---|
| Ventana de contexto | 262,144 tokens |
| Salida máxima por solicitud | 16,384 tokens |
| Streaming | Sí — en los tres dialectos |
| Tool calling | Sí |
Razonamiento / reasoning_effort | Sí |
Salida estructurada con json_schema | Sí |
response_format | Sí |
| Visión / entrada de imagen | No — usa MiMo-V2.5 |
| Capa de rechazo / filtro de salida | Ninguno |
| Precio por 1M de tokens | $0.50 de entrada / $2.00 de salida |
Todas las cifras externas de aquí las publica alguien que no somos nosotros y están atribuidas en el texto. Los resultados de recuperación tras la cuantización provienen de estudios sobre la familia Llama: describen la forma del compromiso, no las puntuaciones de este modelo.
10Preguntas frecuentes
¿Qué es la API de MiMo sin censura?
Es el endpoint de Shannon AI para MiMo-V2.5-Pro, el modelo Mixture-of-Experts de pesos abiertos de Xiaomi, servido en nuestro propio clúster de GPU sin capa de rechazo y sin filtrado de la salida. Se alcanza a través de /v1/chat/completions, /v1/messages y /v1/responses, con un contexto de 262,144 tokens y 16,384 tokens de salida por solicitud.
¿Qué significa W8A16 y por qué importa?
W8A16 significa que los pesos se almacenan a 8 bits cada uno mientras que las activaciones se calculan a 16 bits. Es el nivel de cuantización de mayor fidelidad de nuestro catálogo. Los estudios publicados encuentran que los formatos de 8 bits solo en pesos recuperan prácticamente toda la precisión del modelo original, mientras que 4 bits cambia algo de fidelidad por memoria y 3 bits cambia una cantidad sustancial.
¿Puede un modelo más pequeño a 8 bits superar a uno más grande a 3 bits?
A menudo, sí. Lo que sobrevive a la compresión es aproximadamente el número de parámetros multiplicado por los bits por parámetro, y el error de cuantización se concentra en el comportamiento raro, el de la cola. Un modelo mantenido a 8 bits conserva su coherencia en formato largo, su formato exacto y su conocimiento de cola; un modelo mayor aplastado a 3 bits conserva sus puntuaciones generales de benchmark pero pierde esas propiedades.
¿MiMo-V2.5-Pro admite visión o entrada de imagen?
No. MiMo-V2.5-Pro en Shannon AI es solo de texto. Sí admite tool calling, razonamiento con reasoning_effort, salida estructurada con JSON schema y response_format. Si necesitas entrada de imagen, usa el modelo hermano MiMo-V2.5 W8A16, que tiene visión al mismo precio.
¿Cuánto cuesta la API de MiMo sin censura?
$0.50 por millón de tokens de entrada y $2.00 por millón de tokens de salida. Ese es el precio mínimo del catálogo de Shannon AI, lo que convierte a MiMo-V2.5-Pro en la forma más barata de comprar fidelidad de 8 bits en este gateway.
Prueba la API de MiMo sin censura
Fidelidad de ocho bits, 262K de contexto, sin capa de rechazo, al precio mínimo del catálogo.
Leer la documentación de la API Ver todos los modelosOperado bajo la Política de Uso Responsable de Shannon AI
Fuentes: informe técnico de MiMo, arXiv:2505.07608 · ficha del modelo MiMo-V2.5-Pro (Xiaomi) · «Give Me BF16 or Give Me Death»?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · leyes de escalado de inferencia de k bits, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Todas las cifras de benchmark son las reportadas por sus autores. Shannon AI es un producto de Shannon Lab LLC, Nuevo México, EE. UU.