API de MiMo sen censura con fidelidade de 8 bits

A maioría dos catálogos véndenche reconto de parámetros. Esa é a cifra equivocada para comparar, porque todos os modelos grandes de pesos abertos que podes permitirte de verdade foron comprimidos para caber nalgún sitio. A pregunta honesta non é "canto era isto antes de espremelo?", senón "canto disto segue aquí?". Este artigo vai desa pregunta, e do modelo do noso catálogo no que a resposta é case todo.

01Que che dá realmente a API de MiMo sen censura

A API de MiMo sen censura é un só identificador de modelo, MiMo-V2.5-Pro-W8A16, accesible a través de tres dialectos que apuntan aos mesmos pesos no noso propio clúster de GPU: /v1/chat/completions, /v1/messages e /v1/responses. Os tres fan streaming e admiten chamada de ferramentas e razoamento.

Sen censura ten aquí un significado estreito: ningunha capa de negativas diante do modelo, ningún filtro na súa saída. Non interceptamos, non clasificamos e non reescribimos. Obtés o comportamento propio da base — que nun modelo de pesos abertos de nivel de investigación significa que se implica coa investigación en seguridade, coa ficción adulta ou violenta, co razoamento médico e xurídico e coas peticións que os endpoints comerciais aloxados rexeitan por reflexo. É unha ferramenta profesional baixo a nosa Política de Uso Responsable, non unha ausencia de regras.

02A liñaxe MiMo: a aposta de Xiaomi polo preadestramento centrado no razoamento

MiMo non é un derivado de Llama cun nome novo; é unha liñaxe distinta do equipo MiMo de Xiaomi, e a súa idea fundacional importa antes de que avalíes o modelo. Comeza con MiMo-7B (30 de abril de 2025, con licenza MIT), cuxo informe técnico defende que a maioría dos laboratorios tratan o razoamento como un problema de post-adestramento que se atornilla con aprendizaxe por reforzo, e que iso está do revés. Xiaomi reestruturou en cambio o preadestramento arredor del: unha mestura de tres etapas con 25 billóns de tokens, coa segunda etapa arredor dun 70% de matemáticas e código e a terceira incorporando trazas de razoamento sintéticas mentres estendía o contexto de 8K a 32K — máis un obxectivo de predición multitoken que serve tamén como cabeza de decodificación especulativa.

O resultado foi un modelo base de 7B que se comportaba coma algo moito maior. MiMo-7B-Base sacou 32.9 en AIME 2024 onde Qwen2.5-7B sacou 10.1, Gemma-2-9B 0.0 e Llama-3.1-8B 0.3. O post-adestramento executou despois aprendizaxe por reforzo sobre 130,000 problemas verificables de matemáticas e código cunha recompensa de código guiada pola dificultade das probas, escapando da trampa de recompensa dispersa que desestabiliza a aprendizaxe por reforzo con código. O resultado quedou por diante de o1-mini:

AIME 2025, cifras informadas por Xiaomi no informe técnico de MiMo (arXiv:2505.07608). MiMo-7B-RL tamén informou de 95.8 en MATH-500 e 57.8 en LiveCodeBench v5.

A familia ampliouse en vez de desviarse: MiMo-VL-7B (xuño de 2025) puxo un codificador Qwen2.5-ViT sobre a mesma columna vertebral, e decembro de 2025 trouxo MiMo-Audio-7B máis a primeira entrada MoE, MiMo-V2-Flash (309B totais / 15B activos, 27 billóns de tokens, precisión mixta FP8). MiMo-V2-Pro seguiu en marzo de 2026 con arredor de 1T / 42B activos e un contexto de 1M, tras varias semanas en OpenRouter como "Hunter Alpha". MiMo-V2.5 e MiMo-V2.5-Pro saíron xuntos o 22 de abril de 2026, ambos con licenza MIT.

03Por dentro de MiMo-V2.5-Pro: como é a base

Segundo a ficha de modelo publicada por Xiaomi, MiMo-V2.5-Pro é un modelo de Mestura de Expertos dispersa con 1.02 billóns de parámetros totais e 42 mil millóns activos por token ao longo de 70 capas — unha densa, 69 MoE — e 384 expertos enrutados, 8 por token. O tamaño oculto é 6144, cun tamaño intermedio de MoE estreito de 2048.

Dúas escollas moldean como se sente ao usalo. A pila de atención é híbrida: 10 capas de atención completa e 60 capas de xanela deslizante cunha xanela de 128, máis un nesgo de sumidoiro de atención aprendible. Xiaomi informa de que isto recorta o almacenamento da caché KV preto de 7 veces fronte a unha atención global en todas as capas mantendo a calidade con contexto longo — a diferenza entre unha xanela nominalmente longa e outra que podes permitirte encher. Tamén inclúe tres capas de predición multitoken, dándolle ao decodificador unha cabeza especulativa.

O adestramento foron 27 billóns de tokens cunha lonxitude de secuencia nativa de 32K en precisión mixta FP8 (E4M3), e despois axuste fino supervisado, aprendizaxe por reforzo con axentes a grande escala e destilación en política con múltiples mestres. Retén ese detalle do FP8; é o argumento máis forte para servir esta base a 8 bits.

Xiaomi informa do modelo cun 57.2% en SWE-bench Pro, 72.9 en τ3-Bench para uso de ferramentas e un 48.0% en Humanity's Last Exam — as cifras do propio provedor sobre o modelo sen comprimir, citadas como tales.

Nós servimos unha xanela de 262,144 tokens, non o millón completo da base — un contexto que podemos garantir con velocidade, en vez dunha cifra de titular que se degrada baixo carga.

04Que significa W8A16, con precisión

Todos os modelos deste catálogo levan un sufixo de cuantización que describe unha transformación real e medible, non un nivel de marketing. Os nosos son 3BIT-REAP, W4A16-AUTOROUND-REAP e W8A16. MiMo-V2.5-Pro é o terceiro.

A notación divídese en dúas. W8 é a precisión dos pesos: cada parámetro almacénase como un enteiro de 8 bits en vez de como un flotante de 16 bits, cun factor de escala compartido por grupo pequeno para que sobreviva o rango dinámico local de cada grupo. A16 é a precisión das activacións: os valores que flúen entre capas na inferencia manteñense a 16 bits. Os pesos compríense; a aritmética non.

Esa segunda metade fai un traballo discreto e importante. As activacións son moito máis difíciles de cuantizar ca os pesos: conteñen canles atípicas extremas — unhas poucas dimensións cuxas magnitudes eclipsan todo o demais e que levan unha porción desproporcionada do comportamento do modelo. Bótaas a baixa precisión e recortas precisamente o sinal que precisabas. Os esquemas só de pesos esquivan o problema deixando en paz o camiño das activacións, e por iso o traballo serio en cuantización converxeu neles.

Así que a pregunta práctica reduciuse a unha soa cousa: con cantos bits menos pode aguantar un peso?

05W8A16 fronte a W4A16 fronte a 3 bits: onde vai realmente a perda

O maior estudo publicado sobre isto é o de Neural Magic e Red Hat, "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — máis de 500,000 avaliacións na familia Llama-3.1 con 8B, 70B e 405B. O seu resultado principal, coas súas cifras:

Formato	Que se comprime	Recuperación informada fronte a BF16
W8A8-FP (8 bits)	Pesos + activacións, flotante	~99.75% de media — "esencialmente sen perdas"
W8A8-INT (8 bits)	Pesos + activacións, enteiro	99–100% en 8B/70B; 98.2–99.3% en 405B
W4A16-INT (4 bits)	Só pesos	98–99.4% (8B); 98.6–99.8% (70B)

Cifras informadas por Neural Magic / Red Hat (arXiv:2411.02355) sobre modelos Llama-3.1 — a forma do intercambio, non a puntuación deste modelo.

Lido con honestidade, iso parece un argumento en contra de preocuparse: os 4 bits recuperan un 98–99%, así que para que prestar atención? Porque eses son benchmarks académicos de opción múltiple, case o peor instrumento dispoñible para detectar o dano da cuantización. Unha pregunta de benchmark ten unha resposta correcta alcanzable nun ou dous tokens, e o erro de cuantización é un ruído pequeno, de media aproximadamente cero, en cada logit; nunha pregunta curta cunha marxe ampla, ese ruído absórbese.

Agora escribe 4,000 tokens dun documento técnico, mantén unha voz ao longo dunha historia de 40,000 tokens, ou emite JSON que teña que validar á primeira. Ese mesmo ruído mostráxase milleiros de veces en secuencia, condicionando cada mostra a seguinte. O modo de fallo non é unha resposta errada — é a deriva: unha suxeición cada vez máis floxa á instrución desde a primeira quenda, un personaxe que deixa de soar coma el mesmo arredor do token 3,000, unha chave de peche que non chega nunca.

Onde van realmente os bits

O erro de cuantización non se reparte de forma uniforme polas capacidades dun modelo; concéntrase na cola. Os comportamentos de moita masa — o inglés gramatical, a forma dunha función de Python, os mil feitos máis comúns sobre o mundo — están codificados de forma redundante en moitos pesos e sobreviven a case todo. Os recunchos de pouca magnitude e finamente axustados da distribución de pesos gardan o raro: a sinatura exacta dunha API escura, a cadencia dun autor concreto, a diferenza entre dous CVE contiguos. Eses son os valores que unha grella grosa redondea uns sobre outros.

O paso de 4 bits a 3 é onde isto deixa de ser un imposto e pasa a ser un despeñadeiro. As leis de escala de inferencia con k bits de Dettmers e Zettlemoyer atoparon que 4 bits é o punto que maximiza a precisión zero-shot por bit de memoria do modelo, coa degradación dominando por debaixo. Catro bits dan 16 niveis por grupo; tres dan 8. Estás a reducir á metade a resolución dunha grella xa grosa, e o erro de redondeo por peso duplícase aproximadamente.

A aritmética que o decide

A comparación que paga a pena facer é aritmética, non un benchmark. O que sobrevive á compresión é aproximadamente parámetros × bits por parámetro — o volume portador de información do ficheiro de pesos. Colle dúas bases hipotéticas de igual calidade por parámetro:

• Base A: 400 mil millóns de parámetros a 3 bits → arredor de 150 GB de peso retido.
• Base B: 160 mil millóns de parámetros a 8 bits → arredor de 160 GB de peso retido.

Polo reconto bruto de parámetros A gaña dous e medio a un — a cifra coa que abre a ficha do modelo. Pola información retida son equivalentes, e B ten ademais unha vantaxe estrutural: os seus pesos asentan nunha grella o bastante fina como para que o seu comportamento de cola quede intacto, mentres que a cola de A quedou cuantizada dentro do groso. A sabe máis cousas; B sabe con máis nitidez o que sabe. Para a xeración longa, o formato exacto, o control estilístico e o seguimento fiel do contexto longo, colle B.

Aritmética ilustrativa, non un benchmark: amosa por que "base máis grande" e "modelo servido mellor" son afirmacións distintas.

06Por que 27 billóns de tokens de adestramento empeoran a cuantización agresiva

Un segundo resultado, menos intuitivo, incide directamente nesta base. O artigo de Kumar et al. na ICLR 2025, Scaling Laws for Precision, atopa que canto máis datos usou un modelo no adestramento, máis dano lle fai a cuantización posterior ao adestramento. A baixa precisión reduce o reconto efectivo de parámetros dun modelo, e esa degradación medra cos datos de preadestramento absorbidos — o abondo como para que máis datos de preadestramento poidan ser netamente prexudiciais se pensas cuantizar de forma agresiva, porque estás a asentar unha estrutura fina que a grella vai borrar.

Un modelo adestrado con 5 billóns de tokens ten unha estrutura de pesos grosa e redundante e folgura de sobra. Un modelo adestrado con 27 billóns de tokens — o orzamento de MiMo-V2.5-Pro — gastou eses datos extra escribindo distincións máis finas en valores de peso máis precisos, que é exactamente o que unha grella de 3 bits non pode representar.

E despois está o dato do FP8 da sección 03, o argumento máis limpo deste artigo. MiMo-V2.5-Pro preadestrouse en precisión mixta FP8. Os seus pesos foron moldeados desde o principio por un optimizador que traballaba con arredor de oito bits de precisión. Servilo con pesos de 8 bits non é, por tanto, unha ocorrencia con perdas imposta sobre un modelo de 16 bits — é case devolverlle os pesos ao réxime numérico no que se aprenderon. Pouca estrutura fina existe por debaixo do oitavo bit que se poida perder. O mesmo non se pode dicir deses pesos forzados ata tres.

07REAP: por que podar expertos é un tipo de perda distinto do redondeo

Dous dos tres niveis levan un sufixo REAP — unha operación categoricamente distinta da cuantización. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) é compresión dun só paso para modelos MoE dispersos: puntúa cada experto polos valores da porta do enrutador e pola norma de activación do experto, e despois elimina os de peor puntuación. Cerebras informa de resultados case sen perdas en xeración de código e chamada de ferramentas mesmo co 50% dos expertos podados.

Usamos REAP pola razón pola que existe: nas bases máis grandes é o que as fai servibles. Pero fíxate na diferenza de natureza. A cuantización desdebuxa un pouco cada peso; a poda elimina expertos por completo. Se a túa carga de traballo enruta moito cara a unha capacidade que vivía nun experto pouco seleccionado — unha linguaxe de programación menor, un vocabulario especializado — non está degradada. Desapareceu, e ningún prompt a recupera. As medias seguen sendo excelentes; o teu caso da cola pode que non.

MiMo-V2.5-Pro · W8A16 non leva sufixo REAP. Están presentes os 384 expertos, e o enrutador escolle do conxunto completo co que se adestrou a base.

Nivel	Bits de peso	Expertos	A que renuncias
W8A16	8	Todos presentes	A nada estrutural. É o nivel de fidelidade.
W4A16-AUTOROUND-REAP	4	Podados	Detalle fino dos pesos máis os expertos de pouco tráfico, a cambio dunha base moito maior na mesma banda de prezo.
3BIT-REAP	3	Podados	Resolución substancial dos pesos máis os expertos de pouco tráfico — o prezo de executar as bases máis grandes con velocidade.

O nivel intermedio merece un xuízo xusto. AutoRound non é un redondeo inxenuo: o método de Intel (arXiv:2309.05516) usa descenso de gradiente con signo ao longo duns 200 pasos para axustar as decisións de redondeo e o rango de recorte por grupo de pesos, e infórmase de que é case sen perdas a 4 bits na maioría das configuracións, gañándolle a GPTQ, AWQ, HQQ e OmniQuant na maior parte das configuracións probadas. Un modelo W4A16-AUTOROUND é un modelo de 4 bits xenuinamente bo. Segue sendo un modelo de 4 bits.

08Quen debería escoller o nivel de 8 bits — e quen non

MiMo-V2.5-Pro · W8A16 está no prezo chan de todo o catálogo — $0.50 de entrada / $2.00 de saída por millón de tokens, a mesma banda ca os modelos de 4 bits de nivel de entrada e arredor da cuarta parte do prezo de entrada do modelo máis caro que servimos. Non estás a pagar un sobreprezo pola fidelidade; estás a escoller outro eixe do mesmo orzamento.

Escóllelo cando

• A lonxitude da saída é o traballo. Escrita técnica longa, ficción de lonxitude de capítulo, pasadas completas de documentación — cada token xerado é un token no que se compón o ruído da compresión.
• Importan a voz e a consistencia. Traballo de personaxe, ton de marca, un rexistro mantido ao longo dunha sesión longa. O estilo vive na cola, e a cola é o primeiro que come a cuantización grosa.
• A saída estruturada ten que validar á primeira. O modelo admite json_schema e response_format; o cumprimento do esquema é unha propiedade de precisión, e cada reintento evitado son cartos e latencia aforrados.
• Estás a encher o contexto. Seguir a instrución no token 200,000 é máis difícil ca no token 2,000, e degrádase coa precisión dos pesos — igual ca unha traza longa de razoamento, onde os erros se compoñen do mesmo xeito.
• O traballo é sen censura por natureza. Investigación en seguridade, red teaming, ficción sen filtrar, análise médica ou xurídica sensible — onde unha resposta con reservas é peor ca ningunha.

Escolle outra cousa cando

• Precisas visión. Este modelo é só de texto; o seu irmán MiMo-V2.5 · W8A16 ten visión ao mesmo prezo e no mesmo nivel.
• Precisas o coñecemento do mundo máis amplo en consultas curtas. Ese é o réxime no que gañan os parámetros extra dunha base moito maior a 3 bits e no que o seu dano por cuantización apenas se nota.
• A túa carga é clasificación curta de alto volume. Alí o dano da cuantización é case invisible — merca o que sexa máis rápido.

09Como chamar á API de MiMo sen censura

Se o teu código apunta ao SDK de OpenAI, cambiar a URL base e o identificador do modelo é toda a migración:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages e /v1/responses aceptan o mesmo identificador e as mesmas capacidades. A referencia de parámetros, os esquemas de chamada de ferramentas, os exemplos de saída estruturada e un playground en vivo están na documentación da API de Shannon AI.

Capacidade	MiMo-V2.5-Pro · W8A16
Xanela de contexto	262,144 tokens
Saída máxima por petición	16,384 tokens
Streaming	Si — nos tres dialectos
Chamada de ferramentas	Si
Razoamento / reasoning_effort	Si
Saída estruturada con json_schema	Si
response_format	Si
Visión / entrada de imaxe	Non — usa MiMo-V2.5
Capa de negativas / filtro de saída	Ningunha
Prezo por 1M de tokens	$0.50 de entrada / $2.00 de saída

10Preguntas frecuentes

---

Fontes: informe técnico de MiMo, arXiv:2505.07608 · ficha do modelo MiMo-V2.5-Pro (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · leis de escala de inferencia con k bits, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Todas as cifras de benchmark son as informadas polos seus autores. Shannon AI é un produto de Shannon Lab LLC, Novo México, EUA.