8비트 충실도의 무검열 MiMo API

대부분의 카탈로그는 파라미터 수를 팝니다. 그것은 고를 때 볼 숫자가 아닙니다. 실제로 감당할 수 있는 대형 오픈 웨이트 모델은 전부 어딘가에 맞추려고 압축되었기 때문입니다. 솔직한 질문은 "짜기 전에 얼마나 컸는가"가 아니라 "지금 얼마나 남아 있는가"입니다. 이 글은 그 질문에 관한 것이고, 우리 라인업에서 그 답이 거의 전부인 모델에 관한 것입니다.

01무검열 MiMo API가 실제로 주는 것

무검열 MiMo API는 하나의 모델 id, MiMo-V2.5-Pro-W8A16이며, 자체 GPU 클러스터의 동일한 가중치를 가리키는 세 가지 방언 /v1/chat/completions, /v1/messages, /v1/responses로 호출할 수 있습니다. 셋 모두 스트리밍되고 툴 호출과 추론을 지원합니다.

무검열은 여기서 좁은 뜻을 가집니다. 모델 앞에 거절 레이어가 없고, 출력에 필터가 없다는 것입니다. 우리는 가로채지도, 분류하지도, 다시 쓰지도 않습니다. 여러분이 받는 것은 파운데이션 자체의 행동이며, 연구 등급 오픈 웨이트 모델에서 그것은 보안 연구, 성인물이나 폭력이 담긴 픽션, 의료·법률 추론, 그리고 호스팅되는 상용 엔드포인트가 반사적으로 거절하는 요청에 응한다는 뜻입니다. 규칙이 없다는 뜻이 아니라, 우리 책임 있는 이용 정책 아래의 전문가용 도구라는 뜻입니다.

02MiMo 계보: 추론을 먼저 두는 사전학습에 건 Xiaomi의 베팅

MiMo는 이름만 바꾼 Llama 파생물이 아닙니다. Xiaomi MiMo 팀에서 나온 독자 계보이고, 모델을 평가하기 전에 그 창립 아이디어를 아는 것이 중요합니다. 계보는 MiMo-7B(2025년 4월 30일, MIT 라이선스)로 시작하는데, 그 기술 보고서는 대부분의 연구소가 추론을 RL로 나중에 덧붙일 사후 학습 문제로 취급하며 이것이 거꾸로 되었다고 주장합니다. Xiaomi는 대신 사전학습을 추론 중심으로 재구성했습니다. 25조 토큰에 걸친 3단계 혼합으로, 2단계는 대략 70%가 수학과 코드였고, 3단계는 합성 추론 트레이스를 섞으면서 컨텍스트를 8K에서 32K로 늘렸습니다. 여기에 추측 디코딩 헤드 역할까지 하는 다중 토큰 예측 목표가 더해졌습니다.

결과는 훨씬 큰 모델처럼 행동하는 7B 베이스 모델이었습니다. MiMo-7B-Base는 AIME 2024에서 32.9를 기록했는데, Qwen2.5-7B는 10.1, Gemma-2-9B는 0.0, Llama-3.1-8B는 0.3이었습니다. 이어진 사후 학습은 검증 가능한 13만 개의 수학·코드 문제에 대해 테스트 난이도 기반 코드 보상과 함께 RL을 돌려, 코드 RL을 불안정하게 만드는 희소 보상의 함정을 피했습니다. 결과는 o1-mini를 앞섰습니다.

AIME 2025, MiMo 기술 보고서(arXiv:2505.07608)에 Xiaomi가 보고한 수치입니다. MiMo-7B-RL은 MATH-500에서 95.8, LiveCodeBench v5에서 57.8도 보고했습니다.

이 계열은 표류하지 않고 넓어졌습니다. MiMo-VL-7B(2025년 6월)는 같은 백본에 Qwen2.5-ViT 인코더를 올렸고, 2025년 12월에는 MiMo-Audio-7B와 첫 MoE 모델 MiMo-V2-Flash(총 309B / 활성 15B, 27T 토큰, FP8 혼합 정밀도)가 나왔습니다. MiMo-V2-Pro는 2026년 3월에 약 1T / 활성 42B, 1M 컨텍스트로 뒤따랐는데, 그 전 몇 주간 OpenRouter에 "Hunter Alpha"라는 이름으로 올라 있었습니다. MiMo-V2.5와 MiMo-V2.5-Pro는 2026년 4월 22일에 함께 출시되었고 둘 다 MIT입니다.

03MiMo-V2.5-Pro 내부: 파운데이션의 생김새

Xiaomi가 공개한 모델 카드에 따르면 MiMo-V2.5-Pro는 총 1.02조 파라미터, 토큰당 활성 420억 파라미터를 70개 레이어(밀집 1개, MoE 69개)에 걸쳐 두고 라우팅 전문가 384개 중 토큰당 8개를 쓰는 희소 전문가 혼합 모델입니다. 히든 크기는 6144이고 MoE 중간 크기는 2048로 좁습니다.

사용감을 좌우하는 선택이 둘 있습니다. 어텐션 스택은 하이브리드입니다. 전체 어텐션 10개 레이어와 창 크기 128의 슬라이딩 윈도우 60개 레이어, 그리고 학습되는 어텐션 싱크 편향이 있습니다. Xiaomi는 이 구성이 전부 전역 어텐션을 쓰는 경우 대비 KV 캐시 저장량을 7배 가까이 줄이면서 긴 컨텍스트 품질을 유지한다고 보고합니다. 명목상만 긴 윈도우와 실제로 채울 만한 윈도우의 차이가 이것입니다. 또한 다중 토큰 예측 레이어 3개를 함께 실어 디코더에 추측 헤드를 줍니다.

학습은 네이티브 32K 시퀀스 길이에서 FP8(E4M3) 혼합 정밀도로 27조 토큰을 돌린 뒤, 지도 미세조정, 대규모 에이전트 RL, 다중 교사 온폴리시 증류로 이어졌습니다. 이 FP8이라는 사실을 기억해 두세요. 이 파운데이션을 8비트로 제공하는 가장 강력한 단일 논거입니다.

Xiaomi는 이 모델을 SWE-bench Pro 57.2%, 툴 사용에 대한 τ3-Bench 72.9, Humanity's Last Exam 48.0%로 보고합니다. 압축되지 않은 모델에 대한 공급사 자체 수치이며, 그대로 인용합니다.

우리는 파운데이션의 1M이 아니라 262,144 토큰 윈도우를 제공합니다. 부하가 걸리면 무너지는 홍보용 숫자가 아니라, 속도까지 보장할 수 있는 컨텍스트입니다.

04W8A16이 정확히 뜻하는 것

이 카탈로그의 모든 모델은 마케팅 등급이 아니라 실제로 측정 가능한 변환을 서술하는 양자화 접미사를 답니다. 우리 것은 3BIT-REAP, W4A16-AUTOROUND-REAP, W8A16이며 MiMo-V2.5-Pro는 세 번째입니다.

표기는 둘로 갈립니다. W8은 가중치 정밀도입니다. 모든 파라미터가 16비트 부동소수 대신 8비트 정수로 저장되고, 작은 그룹마다 공유 스케일 인자를 두어 각 그룹의 국소 동적 범위를 살립니다. A16은 활성값 정밀도입니다. 추론 시 레이어 사이를 흐르는 값은 16비트로 유지됩니다. 가중치는 압축되고 연산은 압축되지 않습니다.

뒤쪽 절반이 조용하지만 중요한 일을 합니다. 활성값은 가중치보다 양자화하기가 훨씬 어렵습니다. 극단적인 이상치 채널 — 크기가 나머지를 압도하며 모델 행동의 불균형하게 큰 몫을 지고 있는 몇몇 차원 — 이 들어 있기 때문입니다. 그것을 저정밀도로 밀어 넣으면 정작 필요한 신호를 잘라 내게 됩니다. 가중치 전용 방식은 활성 경로를 건드리지 않아 이 문제를 피해 가고, 그래서 진지한 양자화 연구가 그쪽으로 수렴했습니다.

그러면 실용적인 질문은 하나로 좁혀집니다. 가중치는 몇 비트까지 견딜 수 있는가?

05W8A16 대 W4A16 대 3비트: 손실이 실제로 가는 곳

이 주제에서 가장 큰 공개 연구는 Neural Magic과 Red Hat의 "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization으로, Llama-3.1 계열의 8B, 70B, 405B에 걸쳐 50만 회가 넘는 평가를 수행했습니다. 그들의 수치로 본 대표 결과는 이렇습니다.

포맷	압축되는 대상	BF16 대비 보고된 회복률
W8A8-FP (8비트)	가중치 + 활성값, 부동소수	평균 약 99.75% — "사실상 무손실"
W8A8-INT (8비트)	가중치 + 활성값, 정수	8B/70B에서 99~100%, 405B에서 98.2~99.3%
W4A16-INT (4비트)	가중치만	98~99.4% (8B), 98.6~99.8% (70B)

Neural Magic / Red Hat이 Llama-3.1 모델에 대해 보고한 수치입니다(arXiv:2411.02355). 이 모델의 점수가 아니라 맞바꿈의 형태를 보여 줍니다.

솔직하게 읽으면 이것은 신경 쓸 필요가 없다는 논거처럼 보입니다. 4비트가 98~99%를 회복하는데 왜 따지느냐는 것이죠. 이유는 그것들이 학술적 객관식 벤치마크이기 때문입니다. 양자화 손상을 잡아내기에는 거의 최악의 도구입니다. 벤치마크 문항에는 토큰 한두 개로 도달하는 정답이 하나 있고, 양자화 오차는 모든 로짓에 얹히는 대체로 평균 0인 작은 잡음입니다. 여유가 큰 짧은 질문에서는 그 잡음이 흡수됩니다.

이제 기술 문서를 4,000 토큰 쓰거나, 4만 토큰짜리 이야기에서 목소리를 유지하거나, 한 번에 검증을 통과해야 하는 JSON을 내보내 보세요. 같은 잡음이 연속으로 수천 번 샘플링되고, 매 샘플이 다음 샘플의 조건이 됩니다. 실패 양상은 틀린 답이 아니라 표류입니다. 첫 턴의 지시를 붙잡는 힘이 느슨해지고, 3,000번째 토큰쯤에서 인물이 자기 목소리를 잃고, 닫는 중괄호가 끝내 오지 않습니다.

비트는 실제로 어디에 쓰이는가

양자화 오차는 모델의 능력에 고르게 퍼지지 않습니다. 꼬리에 집중됩니다. 문법적인 영어, 파이썬 함수의 형태, 세상에 대한 상위 1,000개 사실 같은 질량이 큰 행동은 많은 가중치에 중복해서 인코딩되어 있어 거의 무엇이든 견딥니다. 정밀하게 조정된 작은 크기의 가중치 분포 구석에는 드문 것들이 들어 있습니다. 잘 알려지지 않은 API의 정확한 시그니처, 특정 작가의 리듬, 인접한 두 CVE의 차이 같은 것이죠. 성긴 격자가 서로에게 반올림해 버리는 값들이 바로 그것들입니다.

4비트에서 3비트로 가는 단계에서 이것은 세금이기를 그만두고 절벽이 됩니다. Dettmers와 Zettlemoyer의 k비트 추론 스케일링 법칙은 모델 메모리 비트당 제로샷 정확도를 최대화하는 지점이 4비트이고 그 아래에서는 성능 저하가 지배한다고 밝혔습니다. 4비트는 그룹당 16단계를, 3비트는 8단계를 줍니다. 이미 성긴 격자의 해상도를 반으로 줄이는 것이고, 가중치당 반올림 오차는 대략 두 배가 됩니다.

결정을 내리는 산수

해 볼 만한 비교는 벤치마크가 아니라 산수입니다. 압축을 견디고 남는 것은 대략 파라미터 수 × 파라미터당 비트 수, 즉 가중치 파일의 정보 부피입니다. 파라미터당 품질이 같은 가상의 파운데이션 둘을 놓아 보죠.

• 파운데이션 A: 4,000억 파라미터를 3비트로 → 남는 가중치 약 150 GB.
• 파운데이션 B: 1,600억 파라미터를 8비트로 → 남는 가중치 약 160 GB.

순수 파라미터 수로는 A가 2.5대 1로 이깁니다. 모델 카드가 앞세우는 숫자죠. 보존된 정보로는 둘이 대등하고, 게다가 B에는 구조적 이점이 있습니다. B의 가중치는 꼬리 행동이 온전할 만큼 촘촘한 격자 위에 앉아 있는 반면, A의 꼬리는 몸통 속으로 양자화되어 버렸습니다. A는 더 많은 것을 알고, B는 아는 것을 더 또렷하게 압니다. 긴 생성, 정확한 형식, 문체 제어, 긴 컨텍스트에 대한 충실한 준수라면 B를 고르세요.

벤치마크가 아니라 설명을 위한 산수입니다. "더 큰 파운데이션"과 "더 잘 서비스되는 모델"이 서로 다른 주장이라는 것을 보여 줍니다.

0627조 토큰 학습이 공격적 양자화를 더 나쁘게 만드는 이유

덜 직관적인 두 번째 결과가 이 파운데이션에 직접 닿습니다. Kumar 등의 ICLR 2025 논문 Scaling Laws for Precision은 모델이 더 많은 데이터로 학습되었을수록 사후 학습 양자화가 그 모델에 더 큰 손상을 준다고 밝힙니다. 저정밀도는 모델의 실효 파라미터 수를 줄이고, 그 저하는 흡수한 사전학습 데이터가 많을수록 커집니다. 공격적으로 양자화할 작정이라면 사전학습 데이터를 더 넣는 것이 순손해가 될 만큼 그렇습니다. 격자가 지워 버릴 미세 구조를 깔아 두는 셈이기 때문입니다.

5조 토큰으로 학습한 모델은 가중치 구조가 성기고 중복이 많아 여유가 있습니다. 27조 토큰으로 학습한 모델 — MiMo-V2.5-Pro의 예산 — 은 그 추가 데이터를 더 정밀한 가중치 값에 더 미세한 구분을 새겨 넣는 데 썼고, 그것이 바로 3비트 격자가 표현할 수 없는 것입니다.

그리고 03절의 FP8이라는 사실이 있는데, 이 글에서 가장 깔끔한 논거입니다. MiMo-V2.5-Pro는 FP8 혼합 정밀도로 사전학습되었습니다. 그 가중치는 처음부터 약 8비트 정밀도로 작동하는 옵티마이저가 빚어낸 것입니다. 따라서 이 모델을 8비트 가중치로 제공하는 것은 16비트 모델에 나중에 씌운 손실 압축이 아니라, 가중치를 그것이 학습된 수치 영역으로 되돌리는 것에 가깝습니다. 여덟 번째 비트 아래에 잃을 미세 구조가 거의 없습니다. 3비트까지 눌린 가중치에는 같은 말을 할 수 없습니다.

07REAP: 전문가 프루닝이 반올림과 다른 종류의 손실인 이유

세 티어 중 둘은 REAP 접미사를 답니다. 양자화와는 범주가 다른 연산입니다. REAP(라우터 가중 전문가 활성화 프루닝, Cerebras Research, arXiv:2510.13999, ICLR 2026)은 희소 MoE 모델을 위한 원샷 압축입니다. 라우터의 게이트 값과 전문가의 활성화 노름으로 각 전문가를 채점한 뒤 점수가 가장 낮은 것들을 삭제합니다. Cerebras는 전문가의 50%를 잘라 내고도 코드 생성과 툴 호출에서 거의 무손실인 결과를 보고합니다.

우리가 REAP을 쓰는 이유는 그것이 존재하는 이유와 같습니다. 가장 큰 파운데이션들은 그래야만 서비스할 수 있습니다. 다만 손실의 종류가 다르다는 점을 유념하세요. 양자화는 모든 가중치를 조금씩 흐리게 하고, 프루닝은 전문가를 통째로 제거합니다. 여러분의 워크로드가 드물게 선택되던 전문가 안에 있던 능력 — 소수 프로그래밍 언어, 특수 어휘 — 으로 많이 라우팅된다면 그것은 저하된 것이 아닙니다. 사라진 것이고, 어떤 프롬프트로도 되찾을 수 없습니다. 평균은 여전히 훌륭하지만 여러분의 꼬리 사례는 아닐 수 있습니다.

MiMo-V2.5-Pro · W8A16에는 REAP 접미사가 없습니다. 384개 전문가가 모두 있고, 라우터는 파운데이션이 학습된 전체 집합에서 고릅니다.

티어	가중치 비트	전문가	내주는 것
W8A16	8	전부 유지	구조적으로 내주는 것이 없습니다. 충실도 티어입니다.
W4A16-AUTOROUND-REAP	4	프루닝됨	미세한 가중치 디테일과 트래픽이 적은 전문가를 내주고, 같은 가격대에서 훨씬 큰 파운데이션을 얻습니다.
3BIT-REAP	3	프루닝됨	상당한 가중치 해상도와 트래픽이 적은 전문가 — 가장 거대한 파운데이션을 빠르게 돌리기 위한 대가입니다.

중간 티어도 공정하게 들어 볼 만합니다. AutoRound는 순진한 반올림이 아닙니다. Intel의 방법(arXiv:2309.05516)은 약 200스텝의 부호 있는 경사 하강법으로 가중치 그룹마다 반올림 결정과 클리핑 범위를 조정하며, 대부분의 설정에서 4비트에서도 거의 무손실이라고 보고되고 시험된 대부분의 구성에서 GPTQ, AWQ, HQQ, OmniQuant를 앞섭니다. W4A16-AUTOROUND 모델은 진짜로 좋은 4비트 모델입니다. 그래도 4비트 모델입니다.

088비트 티어를 골라야 할 사람과 고르지 말아야 할 사람

MiMo-V2.5-Pro · W8A16은 카탈로그 전체의 최저가에 있습니다. 100만 토큰당 입력 $0.50 / 출력 $2.00로, 엔트리 티어 4비트 모델들과 같은 구간이며 우리가 서비스하는 가장 비싼 모델의 입력 가격 대비 약 4분의 1입니다. 충실도에 프리미엄을 내는 것이 아니라, 같은 예산에서 다른 축을 고르는 것입니다.

고르세요

• 출력 길이가 곧 작업일 때. 긴 기술 문서, 챕터 분량의 픽션, 문서 전체를 훑는 작업 — 생성되는 모든 토큰이 압축 잡음이 누적되는 지점입니다.
• 목소리와 일관성이 중요할 때. 캐릭터 작업, 브랜드 톤, 긴 세션 내내 유지해야 하는 어조. 문체는 꼬리에 살고, 성긴 양자화가 가장 먼저 먹는 것이 꼬리입니다.
• 구조화 출력이 한 번에 검증을 통과해야 할 때. 이 모델은 json_schema와 response_format을 지원합니다. 스키마 준수는 정밀도의 성질이고, 피한 재시도 하나하나가 돈과 지연 시간의 절약입니다.
• 컨텍스트를 채워 쓸 때. 20만 번째 토큰에서의 지시 준수는 2,000번째 토큰에서보다 어렵고 가중치 정밀도에 따라 나빠집니다. 오차가 같은 방식으로 누적되는 긴 추론 트레이스도 마찬가지입니다.
• 작업이 본질적으로 무검열일 때. 보안 연구, 레드팀, 필터 없는 픽션, 민감한 의료·법률 분석 — 얼버무린 답이 아예 없는 답보다 나쁜 영역입니다.

다른 것을 고르세요

• 비전이 필요할 때. 이 모델은 텍스트 전용입니다. 형제 모델 MiMo-V2.5 · W8A16이 같은 가격, 같은 티어에서 비전을 지원합니다.
• 짧은 질의에서 가장 넓은 세계 지식이 필요할 때. 훨씬 큰 3비트 파운데이션의 추가 파라미터가 이기고 양자화 손상은 거의 드러나지 않는 영역입니다.
• 워크로드가 대량의 짧은 분류일 때. 거기서는 양자화 손상이 거의 보이지 않으니, 가장 빠른 것을 사세요.

09무검열 MiMo API 호출하기

코드가 OpenAI SDK를 대상으로 한다면 베이스 URL과 모델 id를 바꾸는 것이 마이그레이션의 전부입니다.

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages와 /v1/responses도 같은 id와 기능을 받습니다. 파라미터 레퍼런스, 툴 호출 스키마, 구조화 출력 예제, 라이브 플레이그라운드는 Shannon AI API 문서에 있습니다.

기능	MiMo-V2.5-Pro · W8A16
컨텍스트 윈도우	262,144 토큰
요청당 최대 출력	16,384 토큰
스트리밍	지원 — 세 방언 모두
툴 호출	지원
추론 / reasoning_effort	지원
json_schema 구조화 출력	지원
response_format	지원
비전 / 이미지 입력	없음 — MiMo-V2.5를 쓰세요
거절 레이어 / 출력 필터	없음
100만 토큰당 가격	입력 $0.50 / 출력 $2.00

10자주 묻는 질문

---

출처: MiMo 기술 보고서, arXiv:2505.07608 · MiMo-V2.5-Pro 모델 카드 (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k비트 추론 스케일링 법칙, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. 모든 벤치마크 수치는 저자들이 보고한 그대로입니다. Shannon AI는 미국 뉴멕시코주 Shannon Lab LLC의 제품입니다.