Бид хэрэглэгчийн өгөгдлийг хадгалж, түүнд нэвтэрдэггүй бөгөөд law enforcement хүчлэхгүй бол бүртгэлүүдийг suspend хийдэггүй.
Загварын Карт · MiMo-V2.5-Pro · W8A16

Цензургүй MiMo API 8 Битийн Нарийвчлалаар

Xiaomi-ийн дүгнэлт тэргүүлсэн MiMo суурь загварыг татгалзах давхаргагүйгээр, бидний ажиллуулдаг хамгийн өндөр нарийвчлалын квантчилалын түвшин болох W8A16 дээр, каталогийн доод үнээр үйлчилдэг.

2026 оны 9 сарын 5-нд шинэчлэгдсэнЗагварын КартСуурь: MiMo-V2.5-Pro262K контекст

Товчхондоо

MiMo-V2.5-Pro · W8A16 бол Xiaomi-ийн нээлттэй жинтэй MiMo-V2.5-Pro-г Shannon-ы өөрийн GPU кластер дээр 8 битийн жин / 16 битийн идэвхжүүлэлт-ээр үйлчилж байгаа хувилбар — манай арван хоёр загварын каталог дахь хамгийн бага шахагдсан түвшин. 262,144 токены контекст, хүсэлт тутамд 16,384 гаралтын токен, хэрэгсэл дуудалт, дүгнэлт, JSON-схемийн бүтэцтэй гаралт, API-н гурван аялгуу дээрх стриминг, мөн татгалзах давхарга ба гаралтын шүүлтгүйгээр, сая токен тутамд $0.50 оролт / $2.00 гаралт — каталогийн доод үнэ. Зөвхөн текст; зурагт MiMo-V2.5 · W8A16-г ашигла.

Ихэнх каталог танд параметрийн тоог зардаг. Энэ бол сонголт хийхэд буруу тоо юм, учир нь таны үнэхээр төлж чадах нээлттэй жинтэй том загвар бүр хаа нэгтээ багтахын тулд шахагдсан байдаг. Үнэнч асуулт нь «шахагдахаасаа өмнө энэ ямар том байсан бэ?» биш, харин «үүний хэдийг нь одоо хүртэл байгаа вэ?» юм. Энэ өгүүлэл тэр асуултын тухай, мөн хариулт нь бараг бүгд байдаг манай эгнээний загварын тухай юм.

01Цензургүй MiMo API танд үнэндээ юу өгдөг вэ

Цензургүй MiMo API бол нэг загварын id буюу MiMo-V2.5-Pro-W8A16 бөгөөд бидний өөрсдийн GPU кластер дээрх ижил жингүүд рүү ханддаг гурван аялгуугаар хүрэх боломжтой: /v1/chat/completions, /v1/messages, /v1/responses. Гурвуулан стримингтэй, хэрэгсэл дуудалт ба дүгнэлтийг дэмждэг.

Цензургүй гэдэг нь энд нарийн утгатай: загварын өмнө татгалзах давхарга байхгүй, гаралтад нь шүүлт байхгүй. Бид таслан зогсоохгүй, ангилахгүй, дахин бичихгүй. Та суурь загварын өөрийнх нь зан төлөвийг авна — судалгааны түвшний нээлттэй жинтэй загварын хувьд энэ нь аюулгүй байдлын судалгаа, насанд хүрэгчдийн эсвэл хүчирхийллийн уран зохиол, эмнэлгийн ба эрх зүйн дүгнэлт, мөн хостлогдсон арилжааны endpoint-ууд рефлексээр татгалздаг хүсэлтүүдтэй харьцана гэсэн үг. Энэ бол дүрэм байхгүй байдал биш, манай Хариуцлагатай Хэрэглээний Бодлогын дор ажилладаг мэргэжлийн хэрэгсэл юм.

262K
Контекстын цонх
16,384
Дээд гаралтын токен
$0.50
1M оролт тутамд
$2.00
1M гаралт тутамд

02MiMo угсаа: Xiaomi-ийн дүгнэлт тэргүүлсэн урьдчилсан сургалт дээрх бооцоо

MiMo бол шинэ нэртэй Llama-гийн үр удам биш; энэ бол Xiaomi-ийн MiMo багийн тусдаа угсаа бөгөөд түүний үндсэн санаа нь загварыг үнэлэхээс өмнө чухал юм. Энэ нь MiMo-7B-ээр (2025 оны 4 сарын 30, MIT лиценз) эхэлдэг бөгөөд түүний техникийн тайлан ихэнх лаборатори дүгнэлтийг RL-ээр залгах ёстой сургалтын дараах асуудал гэж үздэг, энэ нь буруу гэж маргадаг. Xiaomi үүний оронд урьдчилсан сургалтыг үүний эргэн тойронд дахин бүтэцлэсэн: 25 триллион токен даяарх гурван үе шаттай холимог бөгөөд хоёрдугаар үе шат нь ойролцоогоор 70% математик ба код, гуравдугаар үе шат нь контекстыг 8K-аас 32K хүртэл өргөжүүлэхийн зэрэгцээ синтетик дүгнэлтийн ул мөрийг оруулдаг — дээрээс нь таамаглалт декодчилолын толгойн үүрэг гүйцэтгэдэг Multi-Token Prediction зорилго.

Үр дүн нь илүү том зүйл шиг аашилдаг 7B суурь загвар байсан. MiMo-7B-Base нь AIME 2024 дээр 32.9 оноо авахад Qwen2.5-7B 10.1, Gemma-2-9B 0.0, Llama-3.1-8B 0.3 оноо авсан. Сургалтын дараах үе шат нь дараа нь 130,000 шалгаж болох математик ба кодын бодлого дээр тестийн хүндрэлээр удирдуулсан кодын шагналтайгаар RL ажиллуулж, кодын RL-ийг тогтворгүй болгодог сийрэг шагналын урхинаас мултарсан. Үр дүн нь o1-mini-ээс түрүүлсэн:

MiMo-7B-RL55.4
o1-mini50.7
R1-Distill-Qwen-7B38.8
QwQ-32B-Preview32.4

AIME 2025, MiMo техникийн тайлангаас (arXiv:2505.07608) авсан Xiaomi-ийн мэдээлсэн тоо баримт. MiMo-7B-RL нь мөн MATH-500 дээр 95.8, LiveCodeBench v5 дээр 57.8 оноо мэдээлсэн.

Гэр бүл хазайхын оронд өргөжсөн: MiMo-VL-7B (2025 оны 6 сар) нь ижил нурууны дээр Qwen2.5-ViT кодлогч тавьсан бол 2025 оны 12 сар MiMo-Audio-7B-г, түүнчлэн анхны MoE гишүүн MiMo-V2-Flash-ыг (нийт 309B / 15B идэвхтэй, 27T токен, FP8 холимог нарийвчлал) авчирсан. MiMo-V2-Pro нь 2026 оны 3 сард ойролцоогоор 1T / 42B идэвхтэй, 1M контексттэйгээр, OpenRouter дээр «Hunter Alpha» нэрээр хэдэн долоо хоног байсны дараа гарсан. MiMo-V2.5 ба MiMo-V2.5-Pro нь 2026 оны 4 сарын 22-нд хамтдаа, хоёул MIT лицензээр гарсан.

03MiMo-V2.5-Pro дотор: суурь загвар ямар харагддаг вэ

Xiaomi-ийн нийтэлсэн загварын картын дагуу MiMo-V2.5-Pro бол нийт 1.02 триллион параметр, токен тутамд 42 тэрбум идэвхтэй параметртэй, 70 давхаргатай — нэг нь нягт, 69 нь MoE — мөн 384 чиглүүлсэн мэргэжилтэн, токен тутамд 8 байдаг сийрэг Mixture-of-Experts загвар юм. Нуугдмал хэмжээ нь 6144, MoE-ийн завсрын хэмжээ нь нарийн 2048.

1.02T
Нийт параметр
42B
Токен тутамд идэвхтэй
384
Мэргэжилтэн (8 идэвхтэй)
70
Давхарга

Хоёр сонголт нь ашиглах явцад ямар мэдрэмж төрүүлэхийг тодорхойлдог. Анхаарлын стек нь эрлийз: 10 бүрэн анхаарлын давхарга, 128 цонхтой 60 гүйдэг цонхны давхарга, дээрээс нь сурч болох анхаарлын шингээгчийн хазайлт. Xiaomi үүнийг бүхэлдээ глобал анхаарлын эсрэг KV кэшийн хадгалалтыг 7 дахин ойролцоогоор багасгаж, урт контекстын чанарыг хадгалдаг гэж мэдээлдэг — нэрийн төдий урт цонх ба дүүргэж чадах цонхны ялгаа. Мөн энэ нь декодерт таамаглалт толгой өгдөг гурван Multi-Token Prediction давхаргатайгаар гардаг.

Сургалт нь FP8 (E4M3) холимог нарийвчлалаар төрөлх 32K дарааллын урттайгаар 27 триллион токен дээр явагдаж, дараа нь удирдлагатай нарийн тохируулга, том хэмжээний агентийн RL, олон багштай бодлого дээрх нэрэлхийлэл хийгдсэн. Тэр FP8 нарийн ширийн зүйлийг санаж бай; энэ бол энэ суурь загварыг 8 битээр үйлчлэх хамгийн хүчтэй ганц аргумент юм.

Xiaomi загварыг SWE-bench Pro дээр 57.2%, хэрэгсэл ашиглалтын τ3-Bench дээр 72.9, Humanity's Last Exam дээр 48.0% гэж мэдээлдэг — эдгээр нь шахагдаагүй загварын хувьд нийлүүлэгчийн өөрийн тоонууд бөгөөд яг тэр байдлаар нь иш татав.

Бид суурь загварын бүтэн 1M-ийг биш, 262,144 токены цонхыг үйлчилдэг — ачаалалд доройтдог гарчгийн тоо биш, бидний хурдтайгаар баталгаажуулж чадах контекст.

04W8A16 яг юу гэсэн үг вэ

Энэ каталог дахь загвар бүр маркетингийн түвшин биш, бодит бөгөөд хэмжигдэхүйц хувиргалтыг тодорхойлдог квантчилалын дагавар үүрдэг. Манайх бол 3BIT-REAP, W4A16-AUTOROUND-REAP, W8A16. MiMo-V2.5-Pro бол гурав дахь нь.

Тэмдэглэгээ хоёр хуваагддаг. W8 бол жингийн нарийвчлал: параметр бүр 16 битийн хөвөгч тооны оронд 8 битийн бүхэл тоогоор хадгалагдах бөгөөд жижиг бүлэг тутамд хуваалцсан масштабын коэффициенттэй байдаг тул бүлэг бүрийн орон нутгийн динамик муж хадгалагддаг. A16 бол идэвхжүүлэлтийн нарийвчлал: дүгнэлтийн үед давхаргуудын хооронд урсах утгууд 16 бит хэвээр үлддэг. Жингүүд шахагддаг; арифметик нь шахагддаггүй.

Тэр хоёр дахь хагас нь чимээгүй боловч чухал ажил хийдэг. Идэвхжүүлэлтүүдийг квантчилах нь жингүүдийг квантчилахаас хамаагүй хэцүү: тэдгээр нь хэт хазайсан сувгууд агуулдаг — бусад бүхнийг нь бяцлах хэмжээтэй хэдхэн хэмжээс бөгөөд загварын зан төлөвийн үл харьцангуй их хувийг үүрдэг. Тэдгээрийг бага нарийвчлал руу түлхвэл та яг хэрэгтэй байсан дохиогоо тасалдаг. Зөвхөн жингийн схемүүд идэвхжүүлэлтийн замыг хөндөхгүй орхиж энэ асуудлыг тойрдог бөгөөд яг үүний учраас нухацтай квантчилалын ажил тэдэн дээр нэгдсэн юм.

Тэгэхээр практик асуулт нэг зүйл рүү нарийсна: жин хэдэн битийг тэсвэрлэж чадах вэ?

05W8A16 ба W4A16 ба 3 бит: алдагдал үнэндээ хаашаа явдаг вэ

Энэ талаарх хамгийн том нийтлэгдсэн судалгаа бол Neural Magic ба Red Hat-ийн «Give Me BF16 or Give Me Death»? Accuracy-Performance Trade-Offs in LLM Quantization бөгөөд 8B, 70B, 405B хэмжээний Llama-3.1 гэр бүл даяар 500,000 гаруй үнэлгээ хийсэн. Тэдний гол үр дүн, тэдний тоогоор:

ФорматЮу шахагддаг вэBF16-тай харьцуулсан мэдээлсэн сэргэлт
W8A8-FP (8 бит)Жин + идэвхжүүлэлт, хөвөгч~99.75% дундаж — «үндсэндээ алдагдалгүй»
W8A8-INT (8 бит)Жин + идэвхжүүлэлт, бүхэл тоо8B/70B дээр 99–100%; 405B дээр 98.2–99.3%
W4A16-INT (4 бит)Зөвхөн жин98–99.4% (8B); 98.6–99.8% (70B)

Llama-3.1 загварууд дээр Neural Magic / Red Hat-ийн мэдээлсэн тоо баримт (arXiv:2411.02355) — энэ загварын оноо биш, солилцооны хэлбэр.

Үнэнчээр уншвал энэ нь анхаарал тавихын эсрэг аргумент шиг харагдана: 4 бит нь 98–99%-ийг сэргээдэг тул яагаад санаа тавих вэ? Учир нь тэдгээр нь эрдэм шинжилгээний олон сонголттой жишиг тестүүд бөгөөд квантчилалын хохирлыг илрүүлэх хамгийн муу хэрэгслүүдийн нэг юм. Жишиг тестийн асуулт нь нэг эсвэл хоёр токеноор хүрэх нэг зөв хариулттай байдаг бөгөөд квантчилалын алдаа нь logit бүр дээрх ойролцоогоор тэг дунджтай жижиг шуугиан юм; өргөн зөрүүтэй богино асуулт дээр тэр шуугиан шингэдэг.

Одоо техникийн баримтын 4,000 токеныг бич, 40,000 токены өгүүллэгийн туршид дуу хоолойгоо бари, эсвэл эхний оролдлогоор шалгагдах ёстой JSON гарга. Ижил шуугиан дараалан олон мянган удаа түүвэрлэгддэг бөгөөд түүвэр бүр дараагийнхаа нөхцөлийг тогтооно. Алдааны хэлбэр нь буруу хариулт биш — хазайлт юм: эхний ээлжээс эхлэн зааврыг барих барилт суларна, 3,000 токены орчимд дүр өөрийнх нь дуу хоолойгоор ярихаа болино, хаах хаалт хэзээ ч ирэхгүй.

Битүүд үнэндээ хаашаа явдаг вэ

Квантчилалын алдаа нь загварын чадваруудын дунд жигд тархдаггүй; энэ нь сүүлд төвлөрдөг. Их массын зан төлөв — дүрмийн зөв англи хэл, Python функцийн хэлбэр, дэлхийн тухай хамгийн түгээмэл мянган баримт — олон жинд илүүдэлтэйгээр кодлогдсон байдаг тул бараг юуг ч тэсвэрлэдэг. Жингийн тархалтын нарийн тохируулагдсан, бага хэмжээний булангууд нь ховор зүйлсийг агуулдаг: тодорхойгүй API-н яг таг гарын үсэг, тодорхой зохиолчийн хэмнэл, хоёр зэргэлдээ CVE-ийн ялгаа. Тэдгээр нь бүдүүн тор хооронд нь бүхэлчилж нэгтгэдэг утгууд юм.

4 битээс 3 бит рүү шилжих алхам бол энэ нь татвар байхаа больж, хад болдог газар. Dettmers ба Zettlemoyer-ийн k-битийн дүгнэлтийн масштабын хуулиуд нь загварын санах ойн бит тутмын тэг-цохилтын нарийвчлалыг дээд болгодог цэг нь 4 бит бөгөөд түүнээс доош доройтол давамгайлдаг гэж тогтоосон. Дөрвөн бит нь бүлэг тутамд 16 түвшин өгдөг; гурав нь 8. Та аль хэдийн бүдүүн болсон торны нарийвчлалыг хоёр дахин багасгаж байгаа бөгөөд жин тутмын бүхэлчлэлийн алдаа ойролцоогоор хоёр дахин нэмэгдэнэ.

256
Бүлэг тутмын түвшин · 8 бит
16
Бүлэг тутмын түвшин · 4 бит
8
Бүлэг тутмын түвшин · 3 бит

Үүнийг шийддэг арифметик

Хийх нь зүйтэй харьцуулалт бол жишиг тест биш, арифметик юм. Шахалтаас амьд үлддэг зүйл нь ойролцоогоор параметр × параметр тутмын бит — жингийн файлын мэдээлэл агуулах эзлэхүүн. Параметр тутмын чанараараа тэнцүү хоёр таамаг суурь загварыг ав:

  • Суурь загвар A: 400B параметр 3 бит дээр → ойролцоогоор 150 ГБ хадгалагдсан жин.
  • Суурь загвар B: 160B параметр 8 бит дээр → ойролцоогоор 160 ГБ хадгалагдсан жин.

Түүхий параметрийн тоогоор A нь хоёр хагас дахин ялна — загварын карт эхэлдэг тоо тэр. Хадгалагдсан мэдээллээр тэд тэнцүү бөгөөд B нь дээрээс нь бүтцийн давуу талтай: түүний жингүүд сүүлийн зан төлөв нь бүрэн бүтэн байхад хангалттай нарийн тор дээр суудаг бол A-ийн сүүл нь массын дотор квантчлагдсан байна. A илүү олон зүйл мэддэг; B нь мэддэг зүйлээ илүү тод мэддэг. Урт үүсгэлт, яг таг форматчлал, хэв маягийн хяналт, урт контекстыг үнэнчээр баримтлахад B-г ав.

Жишиг тест биш, тайлбарлах зорилготой арифметик: «том суурь загвар» ба «илүү сайн үйлчилдэг загвар» хоёр өөр мэдэгдэл болохыг харуулж байна.

0627 триллион сургалтын токен яагаад түрэмгий квантчилалыг улам мууруулдаг вэ

Хоёр дахь, тийм ч ойлгомжтой биш үр дүн энэ суурь загварт шууд хамаатай. Kumar болон бусдын ICLR 2025-ын Scaling Laws for Precision нийтлэл нь загвар илүү их өгөгдөл дээр сургагдсан байх тусам сургалтын дараах квантчилал түүнд илүү их хохирол учруулдаг гэж тогтоосон. Бага нарийвчлал нь загварын үр дүнтэй параметрийн тоог багасгадаг бөгөөд тэр доройтол шингээсэн урьдчилсан сургалтын өгөгдөлтэй хамт өсдөг — хэрэв та түрэмгий квантчилах бодолтой бол нэмэлт урьдчилсан сургалтын өгөгдөл цэвэр хортой байж чадах хэмжээнд, учир нь та торны арчих нарийн бүтцийг тавьж байгаа юм.

5T токен дээр сургагдсан загвар бүдүүн, илүүдэлтэй жингийн бүтэцтэй бөгөөд илүүдэл зайтай байдаг. 27T токен дээр — MiMo-V2.5-Pro-ийн төсөв — сургагдсан загвар тэр нэмэлт өгөгдлийг илүү нарийн ялгаануудыг илүү нарийвчлалтай жингийн утгуудад бичихэд зарцуулсан бөгөөд яг үүнийг 3 битийн тор илэрхийлж чадахгүй.

Дараа нь 03-р хэсгээс гарсан FP8 баримт байна, энэ өгүүллийн хамгийн цэвэр аргумент. MiMo-V2.5-Pro нь FP8 холимог нарийвчлалаар урьдчилан сургагдсан. Түүний жингүүд эхнээсээ ойролцоогоор найман битийн нарийвчлалаар ажиллаж байсан оновчлогчоор хэлбэржсэн. Тиймээс үүнийг 8 битийн жингээр үйлчлэх нь 16 битийн загварт тулгасан алдагдалтай хойшлуулалт биш — энэ бол жингүүдийг тэдний сурсан тоон горим руу буцаахтай ойролцоо юм. Наймдугаар битээс доош алдах нарийн бүтэц бага байна. Гурав хүртэл шахагдсан тэр жингүүдийн талаар үүнийг хэлж чадахгүй.

07REAP: мэргэжилтэн хасах нь яагаад бүхэлчлэхээс өөр төрлийн алдагдал вэ

Гурван түвшний хоёр нь REAP дагавар үүрдэг — квантчилалаас ангиараа өөр үйлдэл. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) бол сийрэг MoE загваруудад зориулсан нэг цохилтын шахалт юм: энэ нь мэргэжилтэн бүрийг чиглүүлэгчийн хаалганы утга ба мэргэжилтний идэвхжүүлэлтийн нормоор оноож, дараа нь хамгийн бага оноотойг нь устгадаг. Cerebras мэргэжилтнүүдийн 50%-ийг хассан үед ч кодын үүсгэлт ба хэрэгсэл дуудалт дээр бараг алдагдалгүй үр дүнг мэдээлдэг.

Бид REAP-ийг оршин байгаа шалтгаанаар нь ашигладаг: хамгийн том суурь загваруудын хувьд энэ нь тэднийг үйлчлүүлэх боломжтой болгодог зүйл юм. Гэхдээ төрлийн ялгааг анзаараарай. Квантчилал нь жин бүрийг бага зэрэг бүдгэрүүлдэг; хасалт нь мэргэжилтнүүдийг бүхэлд нь устгадаг. Хэрэв таны ажлын ачаалал ховор сонгогддог мэргэжилтэнд байсан чадвар руу их чиглэдэг бол — жижиг програмчлалын хэл, тусгай нэр томьёо — тэр чадвар доройтоогүй. Тэр алга болсон бөгөөд ямар ч промпт үүнийг эргүүлж авчрахгүй. Дундаж үзүүлэлт маш сайн хэвээр байна; таны сүүлийн тохиолдол тийм биш байж болно.

MiMo-V2.5-Pro · W8A16 нь REAP дагавар үүрдэггүй. 384 мэргэжилтэн бүгд байгаа бөгөөд чиглүүлэгч нь суурь загвар сургагдсан бүрэн багцаас сонгодог.

ТүвшинЖингийн битМэргэжилтнүүдТа юуг солилцох вэ
W8A168Бүгд байгааБүтцийн хувьд юу ч алга болохгүй. Нарийвчлалын түвшин.
W4A16-AUTOROUND-REAP4ХасагдсанИжил үнийн зурваст хамаагүй том суурь загвар авахын хариуд жингийн нарийн ширийн зүйл, түүнчлэн бага ачаалалтай мэргэжилтнүүд.
3BIT-REAP3ХасагдсанЖингийн нарийвчлалын нэлээд хэсэг, түүнчлэн бага ачаалалтай мэргэжилтнүүд — хамгийн том суурь загваруудыг хурдтай ажиллуулахын үнэ.

Дунд түвшин шударга сонсголыг хүртэх ёстой. AutoRound бол энгийн бүхэлчлэл биш: Intel-ийн арга (arXiv:2309.05516) нь ойролцоогоор 200 алхмын турш тэмдэгт градиент буурлалт ашиглан жингийн бүлэг тутмын бүхэлчлэх шийдвэр ба таслах мужийг тохируулдаг бөгөөд ихэнх тохиолдолд 4 бит дээр бараг алдагдалгүй гэж мэдээлэгдэж, туршсан ихэнх тохиргоо дээр GPTQ, AWQ, HQQ, OmniQuant-ыг давсан. W4A16-AUTOROUND загвар бол үнэхээр сайн 4 битийн загвар. Гэхдээ энэ нь 4 битийн загвар хэвээр.

08Хэн 8 битийн түвшинг сонгох ёстой вэ — хэн сонгох ёсгүй вэ

MiMo-V2.5-Pro · W8A16 нь бүхэл каталогийн доод үнэн дээр байрладаг — сая токен тутамд $0.50 оролт / $2.00 гаралт буюу эхлэлийн түвшний 4 битийн загваруудтай ижил зурваст, бидний үйлчилдэг хамгийн үнэтэй загварын оролтын үнийн дөрөвний нэг орчим. Та нарийвчлалын төлөө нэмэлт төлбөр төлж байгаа биш; та ижил төсвийн өөр тэнхлэгийг сонгож байгаа юм.

Хэзээ үүнийг сонгох вэ

  • Гаралтын урт нь ажлын гол хэсэг байх үед. Урт хэлбэрийн техникийн бичиглэл, бүлэг хэмжээний уран зохиол, баримт бичгийн бүрэн дамжлага — үүсгэсэн токен бүр дээр шахалтын шуугиан хуримтлагддаг.
  • Дуу хоолой ба тууштай байдал чухал үед. Дүрийн ажил, брэндийн өнгө аяс, урт сессийн туршид барьсан өнгө аяс. Хэв маяг нь сүүлд амьдардаг бөгөөд бүдүүн квантчилал сүүлийг эхэлж иддэг.
  • Бүтэцтэй гаралт эхний оролдлогоор шалгагдах ёстой үед. Загвар нь json_schema ба response_format-ыг дэмждэг; схем баримтлал бол нарийвчлалын шинж чанар бөгөөд зайлсхийсэн дахин оролдлого бүр мөнгө ба хоцролт хэмнэдэг.
  • Та контекстыг дүүргэж байгаа үед. 200,000 дахь токен дээр заавар баримтлах нь 2,000 дахь токен дээрхээс хэцүү бөгөөд жингийн нарийвчлалтай хамт доройтдог — урт дүгнэлтийн ул мөрийн адил, тэнд ч алдаа ижил байдлаар хуримтлагддаг.
  • Ажил нь мөн чанараараа цензургүй үед. Аюулгүй байдлын судалгаа, red-teaming, шүүлтгүй уран зохиол, эмзэг эмнэлгийн эсвэл эрх зүйн шинжилгээ — тойруу хариулт нь огт байхгүйгээс дор байдаг газар.

Хэзээ өөр зүйл сонгох вэ

  • Танд хараа хэрэгтэй үед. Энэ загвар зөвхөн текстийнх; түүний эгч MiMo-V2.5 · W8A16 нь ижил үнэ, ижил түвшинд хараатай.
  • Богино асуулт дээр хамгийн өргөн дэлхийн мэдлэг хэрэгтэй үед. Энэ бол хамаагүй том 3 битийн суурь загварын илүүдэл параметрүүд ялж, түүний квантчилалын хохирол бараг харагдахгүй байдаг горим юм.
  • Таны ажлын ачаалал их эзлэхүүнтэй богино ангилал байх үед. Тэнд квантчилалын хохирол бараг үл үзэгдэх — хамгийн хурдныг нь ав.

09Цензургүй MiMo API-г дуудах нь

Хэрэв таны код OpenAI SDK руу чиглэсэн бол суурь URL ба загварын id-г солих нь бүхэл шилжилт болно:

curl https://api.shannon-ai.com/v1/chat/completions   -H "Authorization: Bearer $SHANNON_API_KEY"   -H "Content-Type: application/json"   -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages ба /v1/responses ижил id ба боломжуудыг хүлээж авдаг. Параметрийн лавлагаа, хэрэгсэл дуудалтын схемүүд, бүтэцтэй гаралтын жишээ, шууд туршилтын талбар нь Shannon AI API баримт бичигт байгаа.

БоломжMiMo-V2.5-Pro · W8A16
Контекстын цонх262,144 токен
Хүсэлт тутмын дээд гаралт16,384 токен
СтримингТийм — гурван аялгуу дээр бүгд
Хэрэгсэл дуудалтТийм
Дүгнэлт / reasoning_effortТийм
json_schema бүтэцтэй гаралтТийм
response_formatТийм
Хараа / зургийн оролтҮгүй — MiMo-V2.5-г ашигла
Татгалзах давхарга / гаралтын шүүлтБайхгүй
1M токен тутмын үнэ$0.50 оролт / $2.00 гаралт
Эх сурвалжуудыг шалга

Эндхийн гадаад тоо баримт бүрийг биднээс өөр хэн нэгэн нийтэлсэн бөгөөд текстэд эх сурвалж нь заагдсан. Квантчилалын сэргэлтийн үр дүн нь Llama гэр бүлийн судалгаанаас гаралтай: тэдгээр нь энэ загварын оноог биш, солилцооны хэлбэрийг тодорхойлдог.

10Түгээмэл асуултууд

Цензургүй MiMo API гэж юу вэ?

Xiaomi-ийн нээлттэй жинтэй Mixture-of-Experts загвар болох MiMo-V2.5-Pro-д зориулсан Shannon AI-н endpoint бөгөөд бидний өөрсдийн GPU кластер дээр татгалзах давхаргагүй, гаралтын шүүлтгүйгээр үйлчилдэг. Үүнд /v1/chat/completions, /v1/messages, /v1/responses-ээр хандах боломжтой бөгөөд хүсэлт тутамд 262,144 токены контекст, 16,384 гаралтын токентой.

W8A16 гэж юу гэсэн үг вэ, мөн энэ яагаад чухал вэ?

W8A16 гэдэг нь жингүүд тус бүр 8 битээр хадгалагдаж, идэвхжүүлэлтүүд 16 битээр тооцоологддог гэсэн үг. Энэ бол манай каталог дахь хамгийн өндөр нарийвчлалын квантчилалын түвшин юм. Нийтлэгдсэн судалгаанууд зөвхөн жингийн 8 битийн форматууд анхны загварын нарийвчлалыг бараг бүрэн эргүүлж авдаг, харин 4 бит нь санах ойн төлөө бага зэргийн нарийвчлалыг, 3 бит нь нэлээд их хэмжээг солилцдог гэж үздэг.

8 бит дээрх жижиг загвар 3 бит дээрх том загварыг давж чадах уу?

Ихэвчлэн тийм. Шахалтаас амьд үлддэг зүйл нь ойролцоогоор параметрийн тоог параметр тутмын битээр үржүүлсэнтэй тэнцүү бөгөөд квантчилалын алдаа нь ховор, сүүлийн зан төлөвт төвлөрдөг. 8 бит дээр барьсан загвар нь урт хэлбэрийн уялдаа, яг таг форматчлал, сүүлийн мэдлэгээ хадгалдаг; 3 бит хүртэл шахагдсан том загвар нь өргөн жишиг тестийн оноогоо хадгалдаг ч эдгээр шинж чанараа алддаг.

MiMo-V2.5-Pro нь хараа эсвэл зургийн оролт дэмждэг үү?

Үгүй. Shannon AI дээрх MiMo-V2.5-Pro бол зөвхөн текстийнх. Энэ нь хэрэгсэл дуудалт, reasoning_effort-той дүгнэлт, JSON-схемийн бүтэцтэй гаралт, response_format-ыг дэмждэг. Хэрэв танд зургийн оролт хэрэгтэй бол ижил үнээр хараатай эгч загвар MiMo-V2.5 W8A16-г ашигла.

Цензургүй MiMo API ямар үнэтэй вэ?

1 сая оролтын токен тутамд $0.50, 1 сая гаралтын токен тутамд $2.00. Энэ бол Shannon AI каталог дахь доод үнэ бөгөөд MiMo-V2.5-Pro-г энэ gateway дээр 8 битийн нарийвчлал худалдаж авах хамгийн хямд арга болгодог.

Цензургүй MiMo API-г туршаад үз

Найман битийн нарийвчлал, 262K контекст, татгалзах давхаргагүй — каталогийн доод үнээр.

API Баримт Бичгийг Унших Бүх Загварыг Үзэх

Shannon AI-н Хариуцлагатай Хэрэглээний Бодлогын дор ажилладаг


Эх сурвалж: MiMo техникийн тайлан, arXiv:2505.07608 · MiMo-V2.5-Pro загварын карт (Xiaomi) · «Give Me BF16 or Give Me Death»?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-битийн дүгнэлтийн масштабын хуулиуд, arXiv:2212.09720 · Scaling Laws for Precision, Kumar болон бусад, ICLR 2025. Бүх жишиг тестийн тоо баримт нь зохиогчдынх нь мэдээлсэн хэлбэрээр байгаа. Shannon AI бол АНУ-ын Нью-Мексико муж дахь Shannon Lab LLC-ийн бүтээгдэхүүн юм.

Бүх research links