API MiMo senza censura a fedeltà 8 bit

Quasi tutti i cataloghi ti vendono il numero di parametri. È il numero sbagliato su cui fare la spesa, perché ogni grande modello a pesi aperti che puoi davvero permetterti è stato compresso per entrare da qualche parte. La domanda onesta non è «quanto era grande prima di essere spremuto?» ma «quanto ne è rimasto?». Questo articolo parla di quella domanda, e del modello della nostra gamma per cui la risposta è quasi tutto.

01Che cosa ti dà davvero l'API MiMo senza censura

L'API MiMo senza censura è un unico id di modello, MiMo-V2.5-Pro-W8A16, raggiungibile attraverso tre dialetti che indirizzano gli stessi pesi sul nostro cluster GPU: /v1/chat/completions, /v1/messages e /v1/responses. Tutti e tre fanno streaming e supportano tool calling e ragionamento.

Senza censura ha qui un significato preciso: nessuno strato di rifiuto davanti al modello, nessun filtro sul suo output. Non intercettiamo, non classifichiamo e non riscriviamo. Ottieni il comportamento proprio della base — il che, per un modello a pesi aperti di livello ricerca, significa che affronta la ricerca sulla sicurezza, la narrativa per adulti o violenta, il ragionamento medico e legale e le richieste che gli endpoint commerciali ospitati declinano per riflesso. È uno strumento professionale sotto la nostra Responsible Use Policy, non un'assenza di regole.

02Il lignaggio MiMo: la scommessa di Xiaomi sul pretraining orientato al ragionamento

MiMo non è un derivato di Llama con un nome nuovo; è un lignaggio a sé del team MiMo di Xiaomi, e la sua idea fondativa conta prima ancora di valutare il modello. Si apre con MiMo-7B (30 aprile 2025, licenza MIT), il cui rapporto tecnico sostiene che quasi tutti i laboratori trattano il ragionamento come un problema di post-training da avvitare sopra con l'RL, e che questo è al contrario. Xiaomi ha invece ristrutturato il pretraining attorno al ragionamento: una miscela in tre fasi su 25 mila miliardi di token, con la seconda fase composta per circa il 70% da matematica e codice e la terza che integra tracce di ragionamento sintetiche estendendo il contesto da 8K a 32K — più un obiettivo di Multi-Token Prediction che funge anche da testa per la decodifica speculativa.

Il risultato è stato un modello base da 7B che si comportava come qualcosa di molto più grande. MiMo-7B-Base ha ottenuto 32,9 su AIME 2024 dove Qwen2.5-7B ha ottenuto 10,1, Gemma-2-9B 0,0 e Llama-3.1-8B 0,3. Il post-training ha poi eseguito RL su 130.000 problemi verificabili di matematica e codice con una ricompensa sul codice guidata dalla difficoltà dei test, uscendo dalla trappola della ricompensa rada che destabilizza l'RL sul codice. Il risultato si è collocato davanti a o1-mini:

AIME 2025, cifre riportate da Xiaomi nel rapporto tecnico MiMo (arXiv:2505.07608). MiMo-7B-RL ha riportato anche 95,8 su MATH-500 e 57,8 su LiveCodeBench v5.

La famiglia si è allargata invece di andare alla deriva: MiMo-VL-7B (giugno 2025) ha messo un encoder Qwen2.5-ViT sulla stessa dorsale, e il dicembre 2025 ha portato MiMo-Audio-7B più la prima voce MoE, MiMo-V2-Flash (309B totali / 15B attivi, 27T token, precisione mista FP8). MiMo-V2-Pro è seguito a marzo 2026 a circa 1T / 42B attivi con un contesto da 1M, dopo settimane su OpenRouter come «Hunter Alpha». MiMo-V2.5 e MiMo-V2.5-Pro sono usciti insieme il 22 aprile 2026, entrambi MIT.

03Dentro MiMo-V2.5-Pro: com'è fatta la base

Secondo la scheda modello pubblicata da Xiaomi, MiMo-V2.5-Pro è un modello Mixture-of-Experts sparso con 1,02 mila miliardi di parametri totali e 42 miliardi attivi per token su 70 layer — uno denso, 69 MoE — e 384 esperti instradati, 8 per token. L'hidden size è 6144, con una dimensione intermedia MoE stretta di 2048.

Due scelte definiscono come si comporta all'uso. Lo stack di attenzione è ibrido: 10 layer ad attenzione piena e 60 layer a finestra scorrevole con una finestra di 128, più un bias apprendibile di attention sink. Xiaomi riporta che questo riduce lo spazio occupato dalla cache KV di quasi 7 volte rispetto all'attenzione tutta globale, tenendo la qualità sul contesto lungo — la differenza fra una finestra nominalmente lunga e una che puoi permetterti di riempire. Il modello porta anche tre layer di Multi-Token Prediction, che danno al decoder una testa speculativa.

L'addestramento è stato di 27 mila miliardi di token a una lunghezza di sequenza nativa di 32K in precisione mista FP8 (E4M3), poi fine-tuning supervisionato, RL agentico su larga scala e distillazione on-policy multi-insegnante. Tieni a mente quel dettaglio su FP8: è l'argomento singolo più forte per servire questa base a 8 bit.

Xiaomi riporta il modello al 57,2% su SWE-bench Pro, a 72,9 su τ3-Bench per l'uso di tool e al 48,0% su Humanity's Last Exam — sono i numeri del produttore stesso sul modello non compresso, citati come tali.

Noi serviamo una finestra da 262.144 token, non il milione pieno della base — un contesto che possiamo garantire a velocità, invece di un numero da titolo che degrada sotto carico.

04Che cosa significa W8A16, con precisione

Ogni modello di questo catalogo porta un suffisso di quantizzazione che descrive una trasformazione reale e misurabile, non una fascia di marketing. I nostri sono 3BIT-REAP, W4A16-AUTOROUND-REAP e W8A16. MiMo-V2.5-Pro è il terzo.

La notazione si divide in due. W8 è la precisione dei pesi: ogni parametro è memorizzato come intero a 8 bit invece che come float a 16 bit, con un fattore di scala condiviso per piccolo gruppo così che l'intervallo dinamico locale di ciascun gruppo sopravviva. A16 è la precisione delle attivazioni: i valori che scorrono fra i layer in inferenza restano a 16 bit. I pesi vengono compressi; l'aritmetica no.

Quella seconda metà fa un lavoro silenzioso e importante. Le attivazioni sono molto più difficili da quantizzare dei pesi: contengono canali outlier estremi — poche dimensioni le cui magnitudini schiacciano tutto il resto e che portano una quota sproporzionata del comportamento del modello. Spingi quelle a bassa precisione e tagli esattamente il segnale che ti serviva. Gli schemi a soli pesi aggirano il problema lasciando in pace il percorso delle attivazioni, ed è per questo che il lavoro serio sulla quantizzazione ci è convergito.

Quindi la domanda pratica si restringe a una sola: a quanti pochi bit può reggere un peso?

05W8A16 contro W4A16 contro 3 bit: dove va davvero la perdita

Lo studio pubblicato più ampio in materia è «Give Me BF16 or Give Me Death»? Accuracy-Performance Trade-Offs in LLM Quantization di Neural Magic e Red Hat — oltre 500.000 valutazioni sulla famiglia Llama-3.1 a 8B, 70B e 405B. Il loro risultato principale, nei loro numeri:

Formato	Che cosa viene compresso	Recupero riportato rispetto a BF16
W8A8-FP (8 bit)	Pesi + attivazioni, float	~99,75% in media — «sostanzialmente senza perdita»
W8A8-INT (8 bit)	Pesi + attivazioni, intero	99–100% a 8B/70B; 98,2–99,3% a 405B
W4A16-INT (4 bit)	Solo pesi	98–99,4% (8B); 98,6–99,8% (70B)

Cifre riportate da Neural Magic / Red Hat (arXiv:2411.02355) sui modelli Llama-3.1 — la forma del compromesso, non il punteggio di questo modello.

Letto onestamente, sembra un argomento contro il preoccuparsene: i 4 bit recuperano il 98–99%, quindi perché farci caso? Perché quelli sono benchmark accademici a scelta multipla, quasi lo strumento peggiore disponibile per rilevare i danni della quantizzazione. Una domanda di benchmark ha una sola risposta giusta raggiungibile in uno o due token, e l'errore di quantizzazione è rumore piccolo e di media all'incirca nulla su ogni logit; su una domanda breve con un ampio margine, quel rumore viene assorbito.

Ora scrivi 4.000 token di un documento tecnico, mantieni una voce lungo una storia da 40.000 token, o emetti JSON che deve validare al primo colpo. Lo stesso rumore viene campionato migliaia di volte di fila, e ogni campione condiziona il successivo. La modalità di fallimento non è una risposta sbagliata — è la deriva: una presa che si allenta sull'istruzione data al primo turno, un personaggio che smette di suonare come sé stesso attorno al token 3.000, una parentesi di chiusura che non arriva mai.

Dove finiscono davvero i bit

L'errore di quantizzazione non si distribuisce uniformemente sulle capacità di un modello; si concentra nella coda. I comportamenti ad alta massa — l'inglese grammaticale, la forma di una funzione Python, i mille fatti principali sul mondo — sono codificati in modo ridondante su molti pesi e sopravvivono a quasi tutto. Gli angoli della distribuzione dei pesi finemente tarati e di piccola magnitudine custodiscono la roba rara: la firma esatta di un'API oscura, la cadenza di un autore specifico, la differenza fra due CVE adiacenti. Sono questi i valori che una griglia grossolana arrotonda l'uno sull'altro.

Il passo dai 4 bit ai 3 è il punto in cui questo smette di essere una tassa e diventa un dirupo. Le leggi di scala per l'inferenza a k bit di Dettmers e Zettlemoyer hanno trovato nei 4 bit il punto che massimizza l'accuratezza zero-shot per bit di memoria del modello, con il degrado che domina al di sotto. Quattro bit danno 16 livelli per gruppo; tre ne danno 8. Stai dimezzando la risoluzione di una griglia già grossolana, e l'errore di arrotondamento per peso all'incirca raddoppia.

L'aritmetica che decide

Il confronto che vale la pena fare è aritmetico, non un benchmark. Ciò che sopravvive alla compressione è approssimativamente parametri × bit per parametro — il volume portatore d'informazione del file dei pesi. Prendi due basi ipotetiche di pari qualità per parametro:

• Base A: 400B parametri a 3 bit → circa 150 GB di peso trattenuto.
• Base B: 160B parametri a 8 bit → circa 160 GB di peso trattenuto.

Sul numero grezzo di parametri A vince due volte e mezzo a uno — il numero con cui la scheda modello apre. Sull'informazione trattenuta sono equivalenti, e B ha per giunta un vantaggio strutturale: i suoi pesi stanno su una griglia abbastanza fine perché il suo comportamento di coda resti intatto, mentre la coda di A è stata quantizzata dentro il grosso. A sa più cose; B sa più nitidamente quello che sa. Per la generazione lunga, la formattazione esatta, il controllo stilistico e l'aderenza fedele al contesto lungo, prendi B.

Aritmetica illustrativa, non un benchmark: serve a mostrare perché «base più grande» e «modello servito migliore» sono affermazioni diverse.

06Perché 27 mila miliardi di token di addestramento peggiorano la quantizzazione aggressiva

Un secondo risultato, meno intuitivo, riguarda direttamente questa base. Il lavoro di Kumar et al. presentato a ICLR 2025, Scaling Laws for Precision, rileva che più dati un modello ha visto in addestramento, più danno gli fa la quantizzazione post-training. La bassa precisione riduce il numero effettivo di parametri di un modello, e quel degrado cresce con i dati di pretraining assorbiti — abbastanza da rendere i dati di pretraining aggiuntivi netti dannosi, se hai intenzione di quantizzare in modo aggressivo, perché stai depositando una struttura fine che la griglia cancellerà.

Un modello addestrato su 5T token ha una struttura dei pesi grossolana e ridondante, con margine da vendere. Un modello addestrato su 27T token — il budget di MiMo-V2.5-Pro — ha speso quei dati in più a scrivere distinzioni più fini in valori di peso più precisi, che è esattamente ciò che una griglia a 3 bit non può rappresentare.

E poi c'è il fatto FP8 della sezione 03, l'argomento più pulito di questo articolo. MiMo-V2.5-Pro è stato preaddestrato in precisione mista FP8. I suoi pesi sono stati plasmati fin dall'inizio da un ottimizzatore che lavorava a circa otto bit di precisione. Servirlo con pesi a 8 bit non è quindi un ripensamento con perdita imposto a un modello a 16 bit — è quasi un riportare i pesi al regime numerico in cui sono stati appresi. Sotto l'ottavo bit c'è poca struttura fine da perdere. Lo stesso non si può dire di quei pesi forzati fino a tre.

07REAP: perché il pruning degli esperti è un tipo di perdita diverso dall'arrotondamento

Due delle tre fasce portano il suffisso REAP — un'operazione categoricamente diversa dalla quantizzazione. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) è compressione in un solo passaggio per i modelli MoE sparsi: assegna a ogni esperto un punteggio in base ai valori del gate del router e alla norma di attivazione dell'esperto, poi elimina quelli con il punteggio più basso. Cerebras riporta risultati quasi senza perdita sulla generazione di codice e sul tool calling anche con il 50% degli esperti potato.

Usiamo REAP per la ragione per cui esiste: sulle basi più grandi è ciò che le rende servibili. Ma nota la differenza di natura. La quantizzazione sfoca un po' ogni peso; il pruning rimuove interi esperti. Se il tuo carico di lavoro instrada pesantemente verso una capacità che viveva in un esperto raramente selezionato — un linguaggio di programmazione minore, un vocabolario specialistico — quella capacità non è degradata. È sparita, e nessun prompt la recupera. Le medie restano eccellenti; il tuo caso di coda potrebbe non restarlo.

MiMo-V2.5-Pro · W8A16 non porta alcun suffisso REAP. Tutti e 384 gli esperti sono presenti, e il router sceglie dall'insieme completo con cui la base è stata addestrata.

Fascia	Bit dei pesi	Esperti	Che cosa scambi
W8A16	8	Tutti presenti	Niente di strutturale. È la fascia della fedeltà.
W4A16-AUTOROUND-REAP	4	Potati	Il dettaglio fine dei pesi più gli esperti a basso traffico, in cambio di una base molto più grande nella stessa fascia di prezzo.
3BIT-REAP	3	Potati	Una risoluzione dei pesi considerevole più gli esperti a basso traffico — il prezzo per far girare a velocità le basi più grandi in assoluto.

La fascia intermedia merita un giudizio equo. AutoRound non è arrotondamento ingenuo: il metodo di Intel (arXiv:2309.05516) usa la discesa del gradiente segnata su circa 200 passi per tarare le decisioni di arrotondamento e l'intervallo di clipping per gruppo di pesi, ed è riportato quasi senza perdita a 4 bit nella maggior parte degli scenari, battendo GPTQ, AWQ, HQQ e OmniQuant sulla maggior parte delle configurazioni testate. Un modello W4A16-AUTOROUND è un modello a 4 bit genuinamente buono. Resta comunque un modello a 4 bit.

08Chi dovrebbe scegliere la fascia a 8 bit — e chi no

MiMo-V2.5-Pro · W8A16 sta al prezzo minimo dell'intero catalogo — 0,50 $ in / 2,00 $ out per milione di token, la stessa fascia dei modelli a 4 bit d'ingresso e circa un quarto del prezzo in input del modello più caro che serviamo. Non stai pagando un sovrapprezzo per la fedeltà; stai scegliendo un asse diverso dello stesso budget.

Scegli questo quando

• La lunghezza dell'output è il lavoro. Scrittura tecnica lunga, narrativa da capitolo, passaggi completi di documentazione — ogni token generato è un token in cui il rumore da compressione si accumula.
• La voce e la coerenza contano. Lavoro sui personaggi, tono di marca, un registro tenuto lungo una sessione lunga. Lo stile vive nella coda, e la coda è ciò che la quantizzazione grossolana mangia per prima.
• L'output strutturato deve validare al primo colpo. Il modello supporta json_schema e response_format; l'aderenza allo schema è una proprietà di precisione, e ogni ritentativo evitato è denaro e latenza risparmiati.
• Stai riempiendo il contesto. L'aderenza alle istruzioni al token 200.000 è più difficile che al token 2.000, e degrada con la precisione dei pesi — così come una lunga traccia di ragionamento, dove gli errori si accumulano allo stesso modo.
• Il lavoro è per sua natura senza censura. Ricerca sulla sicurezza, red teaming, narrativa non filtrata, analisi medica o legale delicata — dove una risposta annacquata è peggio di nessuna risposta.

Scegli altro quando

• Ti serve la visione. Questo modello lavora solo sul testo; il suo fratello MiMo-V2.5 · W8A16 è capace di visione allo stesso prezzo e nella stessa fascia.
• Ti serve la conoscenza del mondo più ampia su query brevi. È il regime in cui i parametri in più di una base a 3 bit molto più grande vincono e il suo danno da quantizzazione si vede appena.
• Il tuo carico è classificazione breve ad alto volume. Lì il danno da quantizzazione è quasi invisibile — compra quello che è più veloce.

09Chiamare l'API MiMo senza censura

Se il tuo codice punta all'SDK di OpenAI, cambiare la base URL e l'id del modello è tutta la migrazione:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages e /v1/responses accettano lo stesso id e le stesse capacità. Il riferimento dei parametri, gli schemi per il tool calling, gli esempi di output strutturato e un playground dal vivo stanno nella documentazione API di Shannon AI.

Capacità	MiMo-V2.5-Pro · W8A16
Finestra di contesto	262.144 token
Output massimo per richiesta	16.384 token
Streaming	Sì — tutti e tre i dialetti
Tool calling	Sì
Ragionamento / reasoning_effort	Sì
Output strutturato json_schema	Sì
response_format	Sì
Visione / input immagine	No — usa MiMo-V2.5
Strato di rifiuto / filtro sull'output	Nessuno
Prezzo per 1M di token	0,50 $ in / 2,00 $ out

10Domande frequenti

---

Fonti: rapporto tecnico MiMo, arXiv:2505.07608 · scheda modello MiMo-V2.5-Pro (Xiaomi) · «Give Me BF16 or Give Me Death»?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · leggi di scala per l'inferenza a k bit, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. Tutte le cifre dei benchmark sono come riportate dai rispettivi autori. Shannon AI è un prodotto di Shannon Lab LLC, New Mexico, USA.