Біз ешбір пайдаланушының деректерін сақтамаймыз және оларға қол жеткізбейміз, сондай-ақ заңды орган мәжбүрлеу әрекетін талап етпесе, аккаунттарды тоқтатпаймыз.
Модель картасы · MiMo-V2.5-Pro · W8A16

8-биттік дәлдіктегі цензурасыз MiMo API

Xiaomi-дің пайымдауға бағдарланған MiMo негізі бас тарту қабатынсыз, W8A16-да — біз жүргізетін дәлдігі ең жоғары кванттау деңгейінде — каталогтың еден бағасында ұсынылады.

Жаңартылды: 2026 жылғы 5 қыркүйекМодель картасыНегізі: MiMo-V2.5-Pro262K контекст

Қысқаша

MiMo-V2.5-Pro · W8A16 — Xiaomi-дің ашық салмақты MiMo-V2.5-Pro моделі Shannon-ның өз GPU кластерінде 8-биттік салмақтар / 16-биттік активациялармен ұсынылады — бұл он екі модельдік каталогымыздағы ең аз қысылған деңгей. 262,144 токендік контекст, сұранысына 16,384 шығыс токені, құралдарды шақыру, пайымдау, JSON схемалы құрылымдалған шығыс, үш API диалектінде ағынды беру әрі бас тарту қабаты да, шығысты сүзу де жоқ, миллион токенге $0.50 кіріс / $2.00 шығыс — каталогтың едені. Тек мәтіндік; суреттер үшін MiMo-V2.5 · W8A16 қолданыңыз.

Каталогтардың көбі сізге параметр санын сатады. Бұл — сатып алуға негіз болатын қате сан, өйткені шамаңыз келетін әр үлкен ашық салмақты модель бір жерге сыю үшін қысылған. Адал сұрақ «оны қысқанға дейін ол қаншалықты үлкен еді?» емес, «оның қаншасы әлі осында?» деген сұрақ. Бұл мақала сол сұрақ туралы әрі жауабы оның барлығы дерлік болатын тізіміміздегі модель туралы.

01Цензурасыз MiMo API сізге шын мәнінде не береді

Цензурасыз MiMo API — бір модель идентификаторы, MiMo-V2.5-Pro-W8A16, оған өз GPU кластерімізде дәл сол салмақтарға жүгінетін үш диалект арқылы жетеді: /v1/chat/completions, /v1/messages және /v1/responses. Үшеуі де ағын береді әрі құралдарды шақыруды және пайымдауды қолдайды.

Цензурасыз дегеннің мұндағы мағынасы тар: модельдің алдында бас тарту қабаты жоқ, оның шығысында сүзгі жоқ. Біз ұстап алмаймыз, сыныптамаймыз, қайта жазбаймыз. Сіз негіздің өз мінез-құлқын аласыз — ал зерттеу деңгейіндегі ашық салмақты модель үшін бұл оның қауіпсіздік зерттеулерімен, ересектерге арналған не зорлықты көркем шығармамен, медициналық және құқықтық пайымдаумен, әрі ұсынылатын коммерциялық эндпоинттер рефлекс бойынша бас тартатын сұраныстармен жұмыс істейтінін білдіреді. Бұл — ережелердің жоқтығы емес, Жауапты пайдалану саясатымыз аясындағы кәсіби құрал.

262K
Контекст терезесі
16,384
Ең үлкен шығыс токені
$0.50
1M кіріске
$2.00
1M шығысқа

02MiMo тегі: Xiaomi-дің пайымдауды алдын ала оқытуға тіккен бәсі

MiMo — жаңа ат киген Llama туындысы емес; бұл — Xiaomi-дің MiMo тобынан шыққан бөлек тек, әрі оның негізгі идеясы модельді бағалаудан бұрын маңызды. Ол MiMo-7B-дан басталады (2025 жылғы 30 сәуір, MIT лицензиясы), ал оның техникалық есебі зертханалардың көбі пайымдауды RL-мен жапсырылатын кейінгі оқыту мәселесі деп қарайтынын әрі бұның керісінше екенін алға тартады. Xiaomi оның орнына алдын ала оқытуды соның төңірегінде қайта құрды: 25 триллион токен бойынша үш кезеңді қоспа, екінші кезеңі шамамен 70% математика мен код, үшінші кезеңі синтетикалық пайымдау іздерін қосып, контексті 8K-дан 32K-ға дейін ұзартты — оған қоса спекулятивті декодтау басының рөлін де атқаратын көп токенді болжау мақсаты.

Нәтижесінде әлдеқайда үлкен модельше жүретін 7B базалық модель шықты. MiMo-7B-Base AIME 2024-те 32.9 алды, ал Qwen2.5-7B 10.1, Gemma-2-9B 0.0 және Llama-3.1-8B 0.3 алды. Кейінгі оқыту содан кейін 130,000 тексерілетін математика және код есебінде RL жүргізді, оның тест қиындығына негізделген код сыйақысы код RL-ін тұрақсыздандыратын сирек сыйақы тұзағынан құтқарды. Нәтиже o1-mini-ден алда болды:

MiMo-7B-RL55.4
o1-mini50.7
R1-Distill-Qwen-7B38.8
QwQ-32B-Preview32.4

AIME 2025, MiMo техникалық есебінен (arXiv:2505.07608) Xiaomi хабарлаған көрсеткіштер. MiMo-7B-RL сонымен қатар MATH-500-де 95.8 және LiveCodeBench v5-те 57.8 хабарлаған.

Отбасы ауытқымай, кеңейді: MiMo-VL-7B (2025 жылғы маусым) дәл сол дінгекке Qwen2.5-ViT кодтаушысын қойды, ал 2025 жылғы желтоқсанда MiMo-Audio-7B және алғашқы MoE мүшесі MiMo-V2-Flash (жалпы 309B / 15B белсенді, 27T токен, FP8 аралас дәлдік) шықты. Одан кейін 2026 жылғы наурызда MiMo-V2-Pro келді — шамамен 1T / 42B белсенді, 1M контекст, оған дейін OpenRouter-де апталар бойы «Hunter Alpha» деген атпен жүрді. MiMo-V2.5 пен MiMo-V2.5-Pro 2026 жылғы 22 сәуірде бірге шықты, екеуі де MIT лицензиясымен.

03MiMo-V2.5-Pro ішінде: негіз қандай көрінеді

Xiaomi жариялаған модель картасы бойынша MiMo-V2.5-Pro — 70 қабат бойынша жалпы 1.02 триллион параметрі және токенге 42 миллиард белсендісі бар сирек Mixture-of-Experts моделі — біреуі тығыз, 69-ы MoE — әрі 384 бағдарланатын сарапшы, токенге 8-і. Жасырын өлшемі — 6144, MoE аралық өлшемі тар, 2048.

1.02T
Жалпы параметр
42B
Токенге белсенді
384
Сарапшы (8-і белсенді)
70
Қабат

Оның пайдаланудағы сезімін екі таңдау қалыптастырады. Зейін жинағы гибрид: 10 толық зейін қабаты және терезесі 128 болатын 60 жылжымалы терезелі қабат, оған қоса үйретілетін зейін-сіңіргіш ығысуы. Xiaomi бұның ұзын контекст сапасын ұстай отырып, KV кэш көлемін толық жаһандық зейінмен салыстырғанда 7 есеге жуық қысқартатынын хабарлайды — бұл шартты түрде ұзын терезе мен толтыруға шамаңыз келетін терезенің арасындағы айырма. Ол сондай-ақ үш көп токенді болжау қабатын ұсынады, яғни декодерге спекулятивті бас береді.

Оқыту нативті 32K тізбек ұзындығында, FP8 (E4M3) аралас дәлдікте 27 триллион токенде өтті, содан кейін бақыланатын дәл баптау, ауқымды агенттік RL және көп мұғалімді он-полиси дистилляция жүрді. Сол FP8 бөлшегін есте ұстаңыз; бұл негізді 8 битте ұсынудың ең күшті жалғыз дәлелі — сол.

Xiaomi модельді SWE-bench Pro-да 57.2%, құрал пайдалану бойынша τ3-Bench-те 72.9 және Humanity's Last Exam-де 48.0% деп хабарлайды — қысылмаған модель бойынша жеткізушінің өз сандары, солай деп келтіріледі.

Біз негіздің толық 1M-і емес, 262,144 токендік терезе ұсынамыз — жүктемеде нашарлайтын әсем сан емес, жылдамдықпен кепілдік бере алатын контекст.

04W8A16 нақты нені білдіреді

Бұл каталогтағы әр модель маркетингтік деңгейді емес, нақты әрі өлшенетін түрлендіруді сипаттайтын кванттау жұрнағын алып жүреді. Біздікі — 3BIT-REAP, W4A16-AUTOROUND-REAP және W8A16. MiMo-V2.5-Pro — үшіншісі.

Белгілеу екіге бөлінеді. W8 — салмақ дәлдігі: әр параметр 16-биттік өзгермелі санның орнына 8-биттік бүтін сан ретінде сақталады, ал әр кішкене топқа ортақ масштабтау коэффициенті беріледі, сонда әр топтың жергілікті динамикалық ауқымы сақталады. A16 — активация дәлдігі: шығару кезінде қабаттар арасында ағып жүретін мәндер 16 битте қалады. Салмақтар қысылады; арифметика қысылмайды.

Екінші жартысы тыныш, бірақ маңызды жұмыс атқарады. Активацияларды кванттау салмақтарды кванттаудан әлдеқайда қиын: оларда экстремалды шектен тыс арналар бар — шамасы қалғанының бәрінен әлдеқайда үлкен әрі модель мінез-құлқының шамадан тыс үлесін алып жүретін бірнеше өлшем. Оларды төмен дәлдікке итерсеңіз, дәл өзіңізге керек сигналды кесіп тастайсыз. Тек салмақты кванттайтын сұлбалар активация жолына тимей, мәселені айналып өтеді, ал шындап істелген кванттау жұмысының соларға тоқтауының себебі де осы.

Сондықтан практикалық сұрақ біреуге тарылады: салмақ ең аз дегенде қанша битке төзе алады?

05W8A16, W4A16 және 3 бит: шығын шын мәнінде қайда кетеді

Бұл бойынша ең үлкен жарияланған зерттеу — Neural Magic мен Red Hat-тың «Give Me BF16 or Give Me Death»? Accuracy-Performance Trade-Offs in LLM Quantization жұмысы — 8B, 70B және 405B өлшемдеріндегі Llama-3.1 отбасы бойынша 500,000-нан астам бағалау. Олардың сандарымен берілген басты нәтижесі:

ПішімНе қысыладыBF16-мен салыстырғанда хабарланған қалпына келу
W8A8-FP (8 бит)Салмақтар + активациялар, өзгермеліорташа ~99.75% — «іс жүзінде шығынсыз»
W8A8-INT (8 бит)Салмақтар + активациялар, бүтін8B/70B-де 99–100%; 405B-де 98.2–99.3%
W4A16-INT (4 бит)Тек салмақтар98–99.4% (8B); 98.6–99.8% (70B)

Neural Magic / Red Hat (arXiv:2411.02355) Llama-3.1 модельдерінде хабарлаған көрсеткіштер — бұл модельдің ұпайы емес, айырбастың жалпы пішіні.

Адал оқығанда бұл мұны елемеу керек деген дәлел сияқты көрінеді: 4 бит 98–99% қалпына келтіреді, олай болса неге назар аудару керек? Себебі бұлар — академиялық көп таңдаулы бенчмарктар, яғни кванттау зиянын анықтауға болатын ең нашар аспаптардың бірі. Бенчмарк сұрағының бір-екі токенде жетуге болатын бір дұрыс жауабы бар, ал кванттау қатесі — әр логитке түсетін орташасы нөлге жуық кішкене шу; шеті кең қысқа сұрақта ол шу сіңіп кетеді.

Енді 4,000 токендік техникалық құжат жазыңыз, 40,000 токендік әңгіме бойы дауысты ұстаңыз немесе бірінші реттен тексеруден өтуге тиіс JSON шығарыңыз. Дәл сол шу тізбекте мыңдаған рет іріктеледі, әрі әр іріктеме келесісіне шарт болады. Ақаулық түрі — қате жауап емес, ауытқу: бірінші айналымдағы нұсқаудан ұстауды бос жіберу, үш мыңыншы токен маңында өзінің дауысымен сөйлеуін қоятын кейіпкер, ешқашан келмейтін жабылатын жақша.

Биттер шын мәнінде қайда кетеді

Кванттау қатесі модель қабілеттері бойынша біркелкі таралмайды; ол құйрықта шоғырланады. Массасы үлкен мінез-құлықтар — грамматикалық тіл, Python функциясының пішіні, әлем туралы ең жиі мың факті — көптеген салмақта артық қайталанып кодталған әрі кез келген нәрсеге дерлік төзеді. Ал салмақ таралымының дәл бапталған, шамасы кіші бұрыштарында сирек нәрсе тұрады: беймәлім API-дың нақты қолтаңбасы, белгілі бір автордың ырғағы, іргелес екі CVE-нің айырмасы. Дөрекі тор бір-біріне дөңгелектеп жіберетін мәндер — солар.

4 биттен 3-ке аттау — бұның салық болудан қалып, жарға айналатын жері. Dettmers пен Zettlemoyer-дің k-биттік шығару масштабтау заңдары 4 битті модель жадының битіне шаққандағы нөлдік-үлгі дәлдігін ең жоғарылататын нүкте деп тапты, ал одан төмен нашарлау басым түседі. Төрт бит топқа 16 деңгей береді; үшеуі 8 береді. Сіз бұрыннан дөрекі тордың ажыратымдылығын екі есе кемітесіз, ал салмаққа шаққандағы дөңгелектеу қатесі шамамен екі есе өседі.

256
Топқа деңгей · 8 бит
16
Топқа деңгей · 4 бит
8
Топқа деңгей · 3 бит

Мұны шешетін арифметика

Жасауға тұрарлық салыстыру — бенчмарк емес, арифметика. Қысудан аман қалатын нәрсе шамамен параметрлер × параметрге бит — салмақ файлының ақпарат тасымалдайтын көлемі. Параметрге шаққандағы сапасы бірдей екі жорамалды негізді алайық:

  • А негізі: 3 биттегі 400B параметр → шамамен 150 ГБ сақталған салмақ.
  • Б негізі: 8 биттегі 160B параметр → шамамен 160 ГБ сақталған салмақ.

Шикі параметр саны бойынша А екі жарым есе ұтады — модель картасы бірінші орынға шығаратын сан да сол. Ал сақталған ақпарат бойынша олар тең, әрі Б-ның үстіне құрылымдық артықшылығы бар: оның салмақтары құйрық мінез-құлқы бүтін қалатындай ұсақ торда отыр, ал А-ның құйрығы негізгі массаға кванттаудан өтіп кеткен. А көбірек нәрсе біледі; Б білгенін өткірірек біледі. Ұзақ жасау, дәл пішімдеу, стильді бақылау және ұзын контекстті адал ұстану үшін Б-ны алыңыз.

Бұл — бенчмарк емес, түсіндірме арифметика: ол «үлкенірек негіз» бен «жақсырақ ұсынылған модель» деген екі бөлек мәлімдеме екенін көрсетеді.

0627 триллион оқыту токені агрессивті кванттауды неге нашарлатады

Бұл негізге тікелей қатысты екінші, интуицияға кереғар нәтиже бар. Kumar және басқаларының ICLR 2025-тегі Scaling Laws for Precision мақаласы модель қаншалықты көп деректе оқытылса, кейінгі оқытудан соңғы кванттаудың оған тигізетін зияны соншалық үлкен екенін анықтайды. Төмен дәлдік модельдің тиімді параметр санын азайтады, ал бұл нашарлау сіңірілген алдын ала оқыту деректерімен бірге өседі — соншалық, егер агрессивті кванттауды көздесеңіз, қосымша алдын ала оқыту деректері таза зиян әкелуі мүмкін, өйткені сіз тор өшіріп жіберетін ұсақ құрылымды салып жатырсыз.

5T токенде оқытылған модельдің салмақ құрылымы дөрекі әрі артық қайталанған, оның қоры бар. Ал 27T токенде оқытылған модель — MiMo-V2.5-Pro-ның бюджеті — сол қосымша деректі дәлірек салмақ мәндеріне ұсақ айырмаларды жазуға жұмсады, ал дәл соны 3-биттік тор бере алмайды.

Оның үстіне 03-бөлімдегі FP8 фактісі бар, әрі бұл — мақаладағы ең таза дәлел. MiMo-V2.5-Pro FP8 аралас дәлдікте алдын ала оқытылды. Оның салмақтарын басынан бастап шамамен сегіз бит дәлдікте жұмыс істейтін оптимизатор қалыптастырды. Сондықтан оны 8-биттік салмақтармен ұсыну 16-биттік модельге таңылған шығынды кейінгі ой емес — бұл салмақтарды үйренілген сандық режиміне қайтаруға жақын нәрсе. Сегізінші биттен төмен жоғалтатын ұсақ құрылым аз. Үшке дейін итерілген сол салмақтар туралы мұны айта алмайсыз.

07REAP: сарапшыларды кесу неге дөңгелектеуден бөлек шығын түрі

Үш деңгейдің екеуі REAP жұрнағын алып жүреді — бұл кванттаудан категориялық түрде бөлек операция. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) — сирек MoE модельдеріне арналған бір реттік қысу: ол әр сарапшыны маршрутизатор қақпасының мәндері мен сарапшы активациясының нормасы бойынша бағалайды да, ұпайы ең төмендерін жояды. Cerebras сарапшылардың 50%-ы кесілгенде де код жасау мен құралдарды шақыруда шығынсызға жуық нәтижелерді хабарлайды.

Біз REAP-ты ол не үшін бар болса, сол үшін қолданамыз: ең үлкен негіздерде оларды жалпы ұсынуға болатын ететін нәрсе — осы. Бірақ айырманың түрін ескеріңіз. Кванттау әр салмақты сәл бұлдырлатады; ал кесу сарапшыларды толығымен жояды. Егер жүктемеңіз сирек таңдалатын сарапшыда тұрған қабілетке қатты бағдарланса — шағын бағдарламалау тілі, мамандандырылған лексика — ол нашарлаған жоқ. Ол жоқ, әрі ешбір промпт оны қайтармайды. Орташа көрсеткіштер тамаша күйде қалады; ал сіздің құйрық жағдайыңыз қалмауы мүмкін.

MiMo-V2.5-Pro · W8A16-да REAP жұрнағы жоқ. 384 сарапшының бәрі орнында, ал маршрутизатор негіз оқытылған толық жиынтықтан таңдайды.

ДеңгейСалмақ битіСарапшыларНені айырбастайсыз
W8A168Бәрі орнындаҚұрылымдық тұрғыда ештеңе. Дәлдік деңгейі.
W4A16-AUTOROUND-REAP4КесілгенСалмақтың ұсақ бөлшегі мен трафигі аз сарапшылар — оның есесіне дәл сол баға жолағында әлдеқайда үлкен негіз.
3BIT-REAP3КесілгенСалмақ ажыратымдылығының елеулі бөлігі мен трафигі аз сарапшылар — ең үлкен негіздерді жылдамдықпен жүргізудің бағасы.

Орта деңгей әділ бағаға лайық. AutoRound — қарапайым дөңгелектеу емес: Intel әдісі (arXiv:2309.05516) шамамен 200 қадам бойы таңбалы градиенттік түсумен әр салмақ тобының дөңгелектеу шешімдері мен кесу ауқымын баптайды әрі жағдайлардың көбінде 4 битте шығынсызға жуық деп хабарланады, сыналған конфигурациялардың көбінде GPTQ, AWQ, HQQ және OmniQuant әдістерін жеңеді. W4A16-AUTOROUND моделі — шындап жақсы 4-биттік модель. Ол әлі де 4-биттік модель.

088-биттік деңгейді кім таңдауы керек — және кім таңдамауы керек

MiMo-V2.5-Pro · W8A16 бүкіл каталогтың еден бағасында тұр — миллион токенге $0.50 кіріс / $2.00 шығыс, бастапқы деңгейдегі 4-биттік модельдермен бірдей жолақ әрі біз ұсынатын ең қымбат модельдің кіріс бағасының шамамен төрттен бірі. Сіз дәлдік үшін үстеме төлеп жатқан жоқсыз; дәл сол бюджеттің басқа өсін таңдап жатырсыз.

Мына жағдайларда таңдаңыз

  • Жұмыстың өзі — шығыс ұзындығы. Ұзын форматтағы техникалық жазу, тарау көлеміндегі көркем шығарма, толық құжаттама өтулері — жасалған әр токен қысу шуы жинақталатын жер.
  • Дауыс пен тұрақтылық маңызды. Кейіпкер жұмысы, бренд үні, ұзақ сеанс бойы ұсталатын регистр. Стиль құйрықта тұрады, ал дөрекі кванттау ең алдымен құйрықты жейді.
  • Құрылымдалған шығыс бірінші реттен тексеруден өтуге тиіс. Модель json_schema мен response_format-ты қолдайды; схеманы ұстану — дәлдік қасиеті, ал болдырмаған әр қайталау — үнемделген ақша мен кідіріс.
  • Контексті толтырып жатырсыз. 200,000-шы токенде нұсқауды ұстану 2,000-шы токендегіден қиынырақ әрі ол салмақ дәлдігімен бірге нашарлайды — қателер дәл солай жинақталатын ұзын пайымдау ізі де сондай.
  • Жұмыс табиғаты бойынша цензурасыз. Қауіпсіздік зерттеулері, қызыл команда, сүзілмеген көркем шығарма, сезімтал медициналық немесе құқықтық талдау — жалтарма жауап мүлдем жауап бермегеннен жаман болатын жерлер.

Мына жағдайларда басқасын таңдаңыз

  • Көру керек. Бұл модель — тек мәтіндік; оның бауырласы MiMo-V2.5 · W8A16 дәл сол бағада әрі сол деңгейде көре алады.
  • Қысқа сұрауларда әлем туралы ең кең білім керек. Дәл осы режимде әлдеқайда үлкен 3-биттік негіздің қосымша параметрлері ұтады, ал оның кванттау зияны әрең байқалады.
  • Жүктемеңіз — көлемі үлкен қысқа сыныптау. Онда кванттау зияны көрінбейтіндей аз — қайсысы жылдам болса, соны алыңыз.

09Цензурасыз MiMo API-ды шақыру

Кодыңыз OpenAI SDK-ға бағытталса, базалық URL мен модель идентификаторын өзгерту — көші-қонның бәрі:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages және /v1/responses дәл сол идентификатор мен мүмкіндіктерді қабылдайды. Параметрлер анықтамасы, құрал шақыру схемалары, құрылымдалған шығыс мысалдары және тірі ойын алаңы Shannon AI API құжаттамасында.

МүмкіндікMiMo-V2.5-Pro · W8A16
Контекст терезесі262,144 токен
Сұранысына ең үлкен шығыс16,384 токен
Ағынды беруИә — үш диалектте де
Құралдарды шақыруИә
Пайымдау / reasoning_effortИә
json_schema құрылымдалған шығысыИә
response_formatИә
Көру / сурет кірісіЖоқ — MiMo-V2.5 қолданыңыз
Бас тарту қабаты / шығыс сүзгісіЖоқ
1M токенге баға$0.50 кіріс / $2.00 шығыс
Дереккөздерді тексеріңіз

Мұндағы әр сыртқы көрсеткішті бізден басқа біреу жариялаған әрі мәтінде оның дереккөзі көрсетілген. Кванттаудың қалпына келу нәтижелері Llama отбасының зерттеулерінен алынған: олар осы модельдің ұпайын емес, айырбастың жалпы пішінін сипаттайды.

10Жиі қойылатын сұрақтар

Цензурасыз MiMo API деген не?

Бұл — Xiaomi-дің ашық салмақты Mixture-of-Experts моделі MiMo-V2.5-Pro үшін Shannon AI эндпоинті, ол өз GPU кластерімізде бас тарту қабатынсыз әрі шығысты сүзбей ұсынылады. Оған /v1/chat/completions, /v1/messages және /v1/responses арқылы жетуге болады, контексті 262,144 токен, ал сұранысына шығысы 16,384 токен.

W8A16 нені білдіреді әрі оның маңызы неде?

W8A16 дегеніміз — салмақтардың әрқайсысы 8 битте сақталады, ал активациялар 16 битте есептеледі. Бұл — каталогымыздағы дәлдігі ең жоғары кванттау деңгейі. Жарияланған зерттеулер тек салмақты кванттайтын 8-биттік пішімдер түпнұсқа модель дәлдігінің іс жүзінде бәрін қалпына келтіретінін, ал 4 бит жад үшін дәлдіктің азын, 3 бит болса едәуірін айырбастайтынын анықтайды.

8 биттегі кішірек модель 3 биттегі үлкенірек модельді жеңе ала ма?

Жиі — иә. Қысудан аман қалатын нәрсе шамамен параметр саны мен параметрге бит санының көбейтіндісі, ал кванттау қатесі сирек, құйрықтағы мінез-құлықта шоғырланады. 8 битте ұсталған модель ұзын форматтағы байланыстылығын, дәл пішімдеуін және құйрықтағы білімін сақтайды; ал 3 битке қысылған үлкенірек модель кең бенчмарк ұпайларын сақтап, сол қасиеттерін жоғалтады.

MiMo-V2.5-Pro көруді немесе сурет кірісін қолдай ма?

Жоқ. Shannon AI-дағы MiMo-V2.5-Pro — тек мәтіндік. Ол құралдарды шақыруды, reasoning_effort арқылы пайымдауды, JSON схемалы құрылымдалған шығысты және response_format-ты қолдайды. Сурет кірісі керек болса, дәл сол бағада көре алатын бауырлас модель MiMo-V2.5 W8A16 қолданыңыз.

Цензурасыз MiMo API қанша тұрады?

Миллион кіріс токеніне $0.50 және миллион шығыс токеніне $2.00. Бұл — Shannon AI каталогындағы еден бағасы, әрі сондықтан MiMo-V2.5-Pro осы шлюзде 8-биттік дәлдікті сатып алудың ең арзан жолы.

Цензурасыз MiMo API-ды қолданып көріңіз

Сегіз биттік дәлдік, 262K контекст, бас тарту қабаты жоқ — каталогтың еден бағасында.

API құжаттамасын оқу Барлық модельдерді қарау

Shannon AI Жауапты пайдалану саясаты аясында жұмыс істейді


Дереккөздер: MiMo техникалық есебі, arXiv:2505.07608 · MiMo-V2.5-Pro модель картасы (Xiaomi) · «Give Me BF16 or Give Me Death»?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-биттік шығару масштабтау заңдары, arXiv:2212.09720 · Scaling Laws for Precision, Kumar және басқалары, ICLR 2025. Барлық бенчмарк көрсеткіштері авторлары хабарлағандай берілген. Shannon AI — Shannon Lab LLC (Нью-Мексико, АҚШ) өнімі.

Барлық зерттеу сілтемелері