ჩვენ არ ვინახავთ და არ ვწვდებით არცერთი მომხმარებლის მონაცემებს და არ ვაჩერებთ ანგარიშებს, თუ კანონიერი ორგანო არ მოითხოვს აღსრულებით მოქმედებას.
მოდელის ბარათი · MiMo-V2.5-Pro · W8A16

უცენზურო MiMo API 8-ბიტიან ერთგულებაზე

Xiaomi-ის მსჯელობაზე-პირველად ორიენტირებული MiMo საფუძველი, მოწოდებული უარის ფენის გარეშე W8A16-ზე — ჩვენი ყველაზე მაღალი ერთგულების კვანტიზაციის დონე — კატალოგის ფსკერის ფასად.

განახლდა 2026 წლის 5 სექტემბერსმოდელის ბარათისაფუძველი: MiMo-V2.5-Pro262K კონტექსტი

მოკლედ

MiMo-V2.5-Pro · W8A16 არის Xiaomi-ის ღია წონების MiMo-V2.5-Pro, მოწოდებული Shannon-ის საკუთარ GPU კლასტერზე 8-ბიტიან წონებზე / 16-ბიტიან აქტივაციებზე — ჩვენი თორმეტმოდელიანი კატალოგის ყველაზე ნაკლებად შეკუმშული დონე. 262,144-ტოკენიანი კონტექსტი, 16,384 გამომავალი ტოკენი მოთხოვნაზე, ინსტრუმენტების გამოძახება, მსჯელობა, JSON-სქემის სტრუქტურირებული გამოსავალი, სტრიმინგი სამ API დიალექტზე, და უარის ფენისა და გამოსავლის ფილტრაციის გარეშეობა, $0.50 შემავალზე / $2.00 გამომავალზე მილიონ ტოკენზე — კატალოგის ფსკერზე. მხოლოდ ტექსტური; სურათებისთვის გამოიყენეთ MiMo-V2.5 · W8A16.

კატალოგების უმეტესობა გაწვდით პარამეტრების რაოდენობას. ეს არასწორი რიცხვია საყიდლად, რადგან ნებისმიერი დიდი ღია წონების მოდელი, რომლის შეძენაც სინამდვილეში შეგიძლიათ, სადმე დასატევად შეკუმშულია. პატიოსანი კითხვა არაა „რამდენად დიდი იყო ეს, სანამ შეკუმშავდა?", არამედ „რამდენი მისგან ჯერ კიდევ აქ არის?" ეს სტატია სწორედ ამ კითხვაზეა, და იმ მოდელზე ჩვენს სიაში, სადაც პასუხია თითქმის ყველაფერი.

01რას იძლევა სინამდვილეში უცენზურო MiMo API

უცენზურო MiMo API ერთი მოდელის id-ია, MiMo-V2.5-Pro-W8A16, მისადგომი სამი დიალექტით, რომლებიც ჩვენსავე GPU კლასტერზე იმავე წონებს მიმართავენ: /v1/chat/completions, /v1/messages და /v1/responses. სამივე გასტრიმავს და ინსტრუმენტების გამოძახებასა და მსჯელობას უჭერს მხარს.

უცენზურო-ს აქ ვიწრო მნიშვნელობა აქვს: მოდელის წინ უარის ფენა არ დგას, მის გამოსავალზე ფილტრი არ ედება. ჩვენ არ ვწყვეტთ, არ ვკლასიფიცირებთ და არ ვცვლით. იღებთ საფუძვლის საკუთარ ქცევას — რაც კვლევის დონის ღია წონების მოდელისთვის ნიშნავს, რომ ის ერთვება უსაფრთხოების კვლევაში, ზრდასრულთა ან ძალადობრივ მხატვრულ ლიტერატურაში, სამედიცინო და სამართლებრივ მსჯელობასა და იმ მოთხოვნებში, რომლებსაც ჰოსტირებული კომერციული ენდპოინტები რეფლექსურად ეთვლიან უარს. ეს პროფესიული ინსტრუმენტია ჩვენი პასუხისმგებლიანი გამოყენების პოლიტიკის ფარგლებში და არა წესების არარსებობა.

262K
კონტექსტის ფანჯარა
16,384
მაქს. გამომავალი ტოკენი
$0.50
1M შემავალზე
$2.00
1M გამომავალზე

02MiMo-ს წარმომავლობა: Xiaomi-ის ფსონი მსჯელობაზე-პირველად ორიენტირებულ წინასწარ წვრთნაზე

MiMo ახალი სახელით შემოსილი Llama-ს წარმოებული არაა; ეს ცალკე წარმომავლობაა Xiaomi-ის MiMo გუნდისგან, და მისი დამფუძნებელი იდეა მნიშვნელოვანია, სანამ მოდელს შეაფასებთ. ის იწყება MiMo-7B-ით (2025 წლის 30 აპრილი, MIT ლიცენზიით), რომლის ტექნიკური ანგარიშიც ამტკიცებს, რომ ლაბორატორიების უმეტესობა მსჯელობას წვრთნის-შემდგომ პრობლემად განიხილავს, რომელიც RL-ით უნდა მიდაშენდეს, და რომ ეს პირიქითაა. Xiaomi-მ ამის ნაცვლად წინასწარი წვრთნა გადააწყო მის გარშემო: სამსაფეხურიანი ნაზავი 25 ტრილიონ ტოკენზე, მეორე საფეხური დაახლოებით 70% მათემატიკითა და კოდით, მესამე საფეხური სინთეზური მსჯელობის კვალის ჩართვით, კონტექსტის 8K-დან 32K-მდე გაფართოებისას — პლუს Multi-Token Prediction ამოცანა, რომელიც სპეკულაციური დეკოდირების თავადაც მუშაობს.

შედეგი იყო 7B საბაზისო მოდელი, რომელიც გაცილებით დიდივით იქცეოდა. MiMo-7B-Base-მა 32.9 ქულა AIME 2024-ზე დააფიქსირა, სადაც Qwen2.5-7B-მ 10.1, Gemma-2-9B-მ 0.0 და Llama-3.1-8B-მ 0.3. წვრთნის შემდგომმა ეტაპმა შემდეგ RL გაუშვა 130,000 შემოწმებად მათემატიკისა და კოდის ამოცანაზე ტესტის სირთულეზე დაფუძნებული კოდის ჯილდოთი, გაექცა მეჩხერი-ჯილდოს მახეს, რომელიც კოდის RL-ს ამ მასშტაბზე ანგრევს. შედეგი o1-mini-ს წინ დაეშვა:

MiMo-7B-RL55.4
o1-mini50.7
R1-Distill-Qwen-7B38.8
QwQ-32B-Preview32.4

AIME 2025, Xiaomi-ის მოხსენებული ციფრები MiMo ტექნიკური ანგარიშიდან (arXiv:2505.07608). MiMo-7B-RL-მა ასევე დააფიქსირა 95.8 MATH-500-ზე და 57.8 LiveCodeBench v5-ზე.

ოჯახი გაფართოვდა და არ გადაცდენილა: MiMo-VL-7B-მა (2025 წლის ივნისი) იმავე ხერხემალზე Qwen2.5-ViT ენკოდერი დადგა, 2025 წლის დეკემბერმა კი მოიტანა MiMo-Audio-7B პლუს პირველი MoE ჩანაწერი, MiMo-V2-Flash (309B ჯამური / 15B აქტიური, 27T ტოკენი, FP8 შერეული სიზუსტე). MiMo-V2-Pro მოჰყვა 2026 წლის მარტში დაახლოებით 1T / 42B აქტიურით და 1M კონტექსტით, OpenRouter-ზე კვირების განმავლობაში „Hunter Alpha"-ს სახელით ყოფნის შემდეგ. MiMo-V2.5 და MiMo-V2.5-Pro ერთად გამოვიდა 2026 წლის 22 აპრილს, ორივე MIT-ის ქვეშ.

03MiMo-V2.5-Pro-ს შიგნით: როგორ გამოიყურება საფუძველი

Xiaomi-ის გამოქვეყნებული მოდელის ბარათის მიხედვით, MiMo-V2.5-Pro მეჩხერი ექსპერტთა ნაზავის მოდელია 1.02 ტრილიონი ჯამური პარამეტრითა და ტოკენზე 42 მილიარდი აქტიურით 70 ფენაზე — ერთი მკვრივი, 69 MoE — და 384 მარშრუტიზებული ექსპერტით, 8 ტოკენზე. დამალული ზომაა 6144, MoE-ის ვიწრო შუალედური ზომით 2048.

1.02T
ჯამური პარამეტრი
42B
აქტიური / ტოკენზე
384
ექსპერტი (8 აქტიური)
70
ფენა

ორი გადაწყვეტილება აყალიბებს, როგორ იგრძნობა ის გამოყენებისას. ყურადღების სტეკი ჰიბრიდულია: 10 სრული-ყურადღების ფენა და 60 მოსრიალე-ფანჯრიანი ფენა 128-ის ფანჯრით, პლუს სასწავლი ყურადღების-ჩამწოვი მიკერძოება. Xiaomi აფიქსირებს, რომ ეს KV-ქეშის შენახვას 7-ჯერთან ახლოს ამცირებს ყველგან-გლობალურ ყურადღებასთან შედარებით, გრძელკონტექსტიანი ხარისხის შენარჩუნებისას — სხვაობა ნომინალურად გრძელ ფანჯარასა და იმას შორის, რომლის შევსებაც შეგიძლიათ. ის ასევე ატარებს სამ Multi-Token Prediction ფენას, დეკოდერს სპეკულაციურ თავს ანიჭებს.

წვრთნა იყო 27 ტრილიონ ტოკენზე მშობლიური 32K მიმდევრობის სიგრძით FP8 (E4M3) შერეულ სიზუსტეში, შემდეგ ზედამხედველობითი დაზუსტება, ფართომასშტაბიანი აგენტური RL და მრავალმასწავლებლიანი on-policy დისტილაცია. დაიმახსოვრეთ ეს FP8 დეტალი; ეს ერთადერთი ყველაზე ძლიერი არგუმენტია ამ საფუძვლის 8 ბიტზე მოსამსახურებლად.

Xiaomi მოდელს 57.2%-ს ანიჭებს SWE-bench Pro-ზე, 72.9-ს τ3-Bench-ზე ინსტრუმენტების გამოყენებისთვის და 48.0%-ს Humanity's Last Exam-ზე — გამყიდველის საკუთარი ციფრები შეუკუმშავ მოდელზე, ციტირებული როგორც ასეთი.

ჩვენ 262,144-ტოკენიან ფანჯარას ვემსახურებით და არა საფუძვლის სრულ 1M-ს — კონტექსტს, რომლის სიჩქარეზეც გარანტიას ვიძლევით, და არა მთავარ ციფრს, რომელიც დატვირთვისას იშლება.

04რას ნიშნავს W8A16, ზუსტად

ამ კატალოგის ყოველ მოდელს კვანტიზაციის სუფიქსი აქვს, რომელიც აღწერს რეალურ, გაზომვად გარდაქმნას და არა მარკეტინგულ დონეს. ჩვენია 3BIT-REAP, W4A16-AUTOROUND-REAP და W8A16. MiMo-V2.5-Pro მესამეა.

ჩანაწერი ორად იყოფა. W8 წონის სიზუსტეა: ყოველი პარამეტრი ინახება 8-ბიტიან მთელ რიცხვად 16-ბიტიანი მცურავი წერტილის ნაცვლად, პატარა ჯგუფზე გაზიარებული მასშტაბირების ფაქტორით, ისე რომ თითოეული ჯგუფის ლოკალური დინამიური დიაპაზონი გადარჩება. A16 აქტივაციის სიზუსტეა: მნიშვნელობები, რომლებიც ინფერენსის დროს ფენებს შორის მიედინება, 16 ბიტზე რჩება. წონები იკუმშება; არითმეტიკა — არა.

მეორე ნახევარი ჩუმ, მაგრამ მნიშვნელოვან საქმეს აკეთებს. აქტივაციების კვანტიზაცია წონებზე ბევრად უფრო რთულია: ისინი შეიცავს ექსტრემალურ გამორჩეულ არხებს — რამდენიმე განზომილებას, რომელთა სიდიდე ყველაფერს დანარჩენს ჩრდილავს და მოდელის ქცევის არაპროპორციულ წილს ატარებს. მათი დაბალ სიზუსტემდე დაწევა ზუსტად იმ სიგნალს ჭრის, რომელიც გჭირდებოდათ. მხოლოდ-წონის სქემები ამ პრობლემას გვერდს უვლის აქტივაციის გზას ხელუხლებელს ტოვებით, და სწორედ ამიტომ შეთანხმდა კვანტიზაციის სერიოზული სამუშაო მათზე.

ასე რომ, პრაქტიკული კითხვა ერთ რამემდე ვიწროვდება: რამდენად ცოტა ბიტის ატანა შეუძლია წონას?

05W8A16 W4A16-ის და 3-ბიტის წინააღმდეგ: სად მიდის სინამდვილეში დანაკარგი

ამაზე ყველაზე დიდი გამოქვეყნებული კვლევაა Neural Magic-ისა და Red Hat-ის «Give Me BF16 or Give Me Death»? Accuracy-Performance Trade-Offs in LLM Quantization — 500,000-ზე მეტი შეფასება Llama-3.1 ოჯახზე 8B, 70B და 405B-ზე. მათი მთავარი შედეგი, მათივე ციფრებში:

ფორმატირა იკუმშებამოხსენებული აღდგენა BF16-თან
W8A8-FP (8-ბიტი)წონები + აქტივაციები, float~99.75% საშუალო — „არსებითად უდანაკარგო"
W8A8-INT (8-ბიტი)წონები + აქტივაციები, მთელი რიცხვი99–100% 8B/70B-ზე; 98.2–99.3% 405B-ზე
W4A16-INT (4-ბიტი)მხოლოდ წონები98–99.4% (8B); 98.6–99.8% (70B)

ციფრები მოხსენებული Neural Magic / Red Hat-ის მიერ (arXiv:2411.02355) Llama-3.1 მოდელებზე — გარიგების ფორმა და არა ამ მოდელის ქულა.

პატიოსნად წაკითხული, ეს არგუმენტს ჰგავს ზრუნვის წინააღმდეგ: 4-ბიტი 98–99%-ს აღადგენს, მაშ, რატომ ვაქციოთ ყურადღება? იმიტომ, რომ ეს აკადემიური მრავალარჩევანიანი ბენჩმარკებია, კვანტიზაციის ზიანის აღმოსაჩენად ხელმისაწვდომ ყველაზე ცუდ ინსტრუმენტთან ახლოს. ბენჩმარკის კითხვას აქვს ერთი სწორი პასუხი, მისაწვდომი ერთი ან ორი ტოკენით, და კვანტიზაციის ცდომილება მცირეა, დაახლოებით ნულოვან-საშუალო ხმაური ყოველ ლოგიტზე; მოკლე კითხვაზე ფართო ზღვრით, ეს ხმაური შეიწოვება.

ახლა დაწერეთ ტექნიკური დოკუმენტის 4,000 ტოკენი, შეინარჩუნეთ ხმა 40,000-ტოკენიან ისტორიაზე, ან გამოსცით JSON, რომელიც პირველივე ცდაზე უნდა ვალიდირდეს. იგივე ხმაური ათასჯერ ისესხება თანმიმდევრობით, თითოეული ნიმუში მომდევნოს განაპირობებს. წარუმატებლობის რეჟიმი არასწორი პასუხი არაა — ეს გადახრაა: ინსტრუქციაზე ჩამორთმევა ერთი სვლიდან, პერსონაჟი, რომელიც თავს ჰგავს ცხრათასე ტოკენზე, ხურული ბრჭყალი, რომელიც არასოდეს მოდის.

სად მიდის სინამდვილეში ბიტები

კვანტიზაციის ცდომილება მოდელის უნარებზე თანაბრად არ არის გადანაწილებული; ის კუდში კონცენტრირდება. მაღალმასიური ქცევები — გრამატიკული ინგლისური, Python ფუნქციის ფორმა, სამყაროზე ზედა ათასი ფაქტი — ჭარბად კოდირებულია ბევრ წონაზე და თითქმის ყველაფერს გადარჩება. წონის განაწილების ზუსტად დარეგულირებული, მცირე სიდიდის კუთხეები იშვიათ ნივთებს ინახავს: ბუნდოვანი API-ის ზუსტ ხელმოწერას, კონკრეტული ავტორის რიტმს, ორ მეზობელ CVE-ს შორის სხვაობას. სწორედ ეს მნიშვნელობებია, რომლებსაც უხეში ბადე ერთმანეთში ამრგვალებს.

4 ბიტიდან 3-მდე ნაბიჯი არის ის ადგილი, სადაც ეს წყვეტს ყოფნა გადასახადი და ხდება მთა. Dettmers-ისა და Zettlemoyer-ის k-ბიტიანი ინფერენსის მასშტაბირების კანონებმა დაადგინა, რომ 4 ბიტი წერტილია, რომელიც ნულოვან-გავლის სიზუსტეს მაქსიმიზირებს მოდელის მეხსიერების ბიტზე, ხოლო მის ქვემოთ დეგრადაცია დომინირებს. ოთხი ბიტი ჯგუფზე 16 დონეს იძლევა; სამი — 8-ს. თქვენ ორად ჰყოფთ უკვე უხეში ბადის გარჩევადობას, და დამრგვალების ცდომილება წონაზე დაახლოებით ორმაგდება.

256
დონე ჯგუფზე · 8-ბიტი
16
დონე ჯგუფზე · 4-ბიტი
8
დონე ჯგუფზე · 3-ბიტი

არითმეტიკა, რომელიც წყვეტს

შედარება, რომლის გაკეთებაც ღირს, არითმეტიკაა და არა ბენჩმარკი. რაც შეკუმშვას გადაურჩება, დაახლოებით პარამეტრები × ბიტები პარამეტრზეა — წონის ფაილის ინფორმაციის მატარებელი მოცულობა. აიღეთ ორი ჰიპოთეტური საფუძველი, პარამეტრზე თანაბარი ხარისხის:

  • საფუძველი A: 400B პარამეტრი 3 ბიტზე → დაახლოებით 150 GB შენარჩუნებული წონა.
  • საფუძველი B: 160B პარამეტრი 8 ბიტზე → დაახლოებით 160 GB შენარჩუნებული წონა.

პარამეტრების უხეში რაოდენობით A იმარჯვებს ორნახევარი ერთთან — ის რიცხვი, რომლითაც მოდელის ბარათი იწყება. შენარჩუნებული ინფორმაციით ისინი ეკვივალენტურია, და B-ს გარდა ამისა სტრუქტურული უპირატესობაც აქვს: მისი წონები საკმარისად წვრილ ბადეზე დგას, რომ მისი კუდის ქცევა ხელუხლებელია, ხოლო A-ს კუდი ძირითად მასაში დაკვანტიზდა. A მეტ რამეს იცის; B უფრო ზუსტად იცის, რაც იცის. გრძელი გენერაციისთვის, ზუსტი ფორმატირებისთვის, სტილისტური კონტროლისთვის და გრძელკონტექსტიანი ერთგული დაცვისთვის, აიღეთ B.

საილუსტრაციო არითმეტიკა და არა ბენჩმარკი: ეს გვიჩვენებს, რატომ არის „დიდი საფუძველი" და „უკეთ მოწოდებული მოდელი" სხვადასხვა მტკიცება.

06რატომ ხდის 27 ტრილიონი წვრთნის ტოკენი აგრესიულ კვანტიზაციას უარესს

მეორე, ნაკლებად ინტუიციური შედეგი პირდაპირ ამ საფუძველს ეხება. Kumar-ისა და თანაავტორების ICLR 2025 ნაშრომმა Scaling Laws for Precision დაადგინა, რომ რაც მეტ მონაცემზეა მოდელი გაწვრთნილი, მით მეტ ზიანს აყენებს მას წვრთნის-შემდგომი კვანტიზაცია. დაბალი სიზუსტე ამცირებს მოდელის ეფექტურ პარამეტრების რაოდენობას, და ეს დეგრადაცია იზრდება შეთვისებულ წინასწარი წვრთნის მონაცემებთან ერთად — იმდენად, რომ დამატებითი წინასწარი წვრთნის მონაცემები საერთო ჯამში მავნებელი შეიძლება იყოს, თუ აგრესიულად აპირებთ კვანტიზაციას, რადგან წვრილ სტრუქტურას აწესებთ, რომელსაც ბადე წაშლის.

მოდელს, გაწვრთნილს 5T ტოკენზე, აქვს უხეში, ჭარბი წონის სტრუქტურა და დამატებითი მარაგი. მოდელმა, გაწვრთნილმა 27T ტოკენზე — MiMo-V2.5-Pro-ს ბიუჯეტი — ეს დამატებითი მონაცემები დახარჯა უფრო წვრილი განსხვავებების უფრო ზუსტ წონის მნიშვნელობებში ჩაწერაზე, რასაც ზუსტად ვერ წარმოადგენს 3-ბიტიანი ბადე.

შემდეგ არის 03-ე ნაწილის FP8 ფაქტი, ამ სტატიის ყველაზე სუფთა არგუმენტი. MiMo-V2.5-Pro FP8 შერეულ სიზუსტეში იყო წინასწარ გაწვრთნილი. მისი წონები დასაწყისიდანვე ჩამოყალიბდა ოპტიმიზატორის მიერ, რომელიც დაახლოებით რვა ბიტის სიზუსტეზე მუშაობდა. მისი 8-ბიტიან წონებზე მოწოდება, ამიტომ, არაა დანაკარგიანი შემდგომი აზრი, დაწესებული 16-ბიტიან მოდელზე — ეს ახლოსაა წონების იმ რიცხვით რეჟიმში დაბრუნებასთან, რომელშიც ისწავლა. მერვე ბიტის ქვემოთ მცირე წვრილი სტრუქტურა არსებობს დასაკარგად. იგივეს ვერ ვიტყვით იმ წონებზე, რომლებიც სამამდე იძულებით არის დაწეული.

07REAP: რატომ არის ექსპერტების გასხვლა დამრგვალებისგან სხვა სახის დანაკარგი

სამი დონიდან ორს REAP სუფიქსი აქვს — კატეგორიულად სხვა ოპერაცია კვანტიზაციისგან. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) მეჩხერი MoE მოდელების ერთჯერადი შეკუმშვაა: ის თითოეულ ექსპერტს მარშრუტიზატორის კარიბჭის მნიშვნელობებითა და ექსპერტის აქტივაციის ნორმით აფასებს, შემდეგ კი შლის ყველაზე დაბალქულიანებს. Cerebras აფიქსირებს თითქმის-უდანაკარგო შედეგებს კოდის გენერაციასა და ინსტრუმენტების გამოძახებაზე ექსპერტების 50%-ის გასხვლისასაც.

ჩვენ REAP-ს იმ მიზეზით ვიყენებთ, რის გამოც ის არსებობს: ყველაზე დიდ საფუძვლებზე სწორედ ეს ხდის მათ მომსახურებადად. მაგრამ შენიშნეთ სახეობის სხვაობა. კვანტიზაცია ყოველ წონას ცოტათი ბუნდოვანს ხდის; გასხვლა ექსპერტებს მთლიანად შლის. თუ თქვენი დატვირთვა ძლიერად მარშრუტიზდება იმ შესაძლებლობასთან, რომელიც იშვიათად შერჩეულ ექსპერტში ცხოვრობდა — მცირე პროგრამირების ენა, სპეციალიზებული ლექსიკა — ის არ დეგრადირებულა. ის გაქრა, და არცერთი პრომპტი მას არ აღადგენს. საშუალო მაჩვენებლები შესანიშნავი რჩება; თქვენი კუდის შემთხვევა შეიძლება არა.

MiMo-V2.5-Pro · W8A16-ს REAP სუფიქსი არ აქვს. ყველა 384 ექსპერტი წარმოდგენილია, და მარშრუტიზატორი ირჩევს იმ სრული ნაკრებიდან, რომლითაც საფუძველი გაწვრთნილა.

დონეწონის ბიტებიექსპერტებირას თმობთ
W8A168ყველა წარმოდგენილიაარაფერი სტრუქტურული. ერთგულების დონე.
W4A16-AUTOROUND-REAP4გასხვლილიწონის წვრილი დეტალი პლუს დაბალტრაფიკიანი ექსპერტები, გაცილებით უფრო დიდი საფუძვლის სანაცვლოდ იმავე ფასის ზოლში.
3BIT-REAP3გასხვლილიწონის მნიშვნელოვანი გარჩევადობა პლუს დაბალტრაფიკიანი ექსპერტები — ყველაზე დიდი საფუძვლების სისწრაფით გაშვების ფასი.

საშუალო დონე სამართლიან მოსმენას იმსახურებს. AutoRound გულუბრყვილო დამრგვალება არაა: Intel-ის მეთოდი (arXiv:2309.05516) ნიშნიან გრადიენტულ დაშვებას იყენებს დაახლოებით 200 ნაბიჯზე, რომ დარეგულიროს დამრგვალების გადაწყვეტილებები და ჭრის დიაპაზონი წონის ჯგუფზე, და მოხსენებულია თითქმის-უდანაკარგოდ 4 ბიტზე პარამეტრების უმეტესობაში, სჯობს GPTQ-ს, AWQ-ს, HQQ-სა და OmniQuant-ს ტესტირებული კონფიგურაციების უმეტესობაში. W4A16-AUTOROUND მოდელი ნამდვილად კარგი 4-ბიტიანი მოდელია. ის მაინც 4-ბიტიანი მოდელია.

08ვინ უნდა აირჩიოს 8-ბიტიანი დონე — და ვინ არა

MiMo-V2.5-Pro · W8A16 მთელი კატალოგის ფსკერის ფასზე დგას — $0.50 შემავალზე / $2.00 გამომავალზე მილიონ ტოკენზე, იმავე ზოლში, რაც საშემსვლელო-დონის 4-ბიტიანი მოდელები და დაახლოებით ყველაზე ძვირი მოდელის შემავალი ფასის მეოთხედი, რომელსაც ვემსახურებით. თქვენ პრემიუმს ერთგულებისთვის არ იხდით; თქვენ იმავე ბიუჯეტის სხვა ღერძს ირჩევთ.

აირჩიეთ ის, როცა

  • გამოსავლის სიგრძეა სამუშაო. გრძელფორმიანი ტექნიკური წერა, თავის სიგრძის მხატვრული ლიტერატურა, დოკუმენტაციის სრული გავლები — ყოველი წარმოქმნილი ტოკენი ისეთია, სადაც შეკუმშვის ხმაური გროვდება.
  • ხმასა და თანმიმდევრულობას აქვს მნიშვნელობა. პერსონაჟული სამუშაო, ბრენდის ტონი, გრძელ სესიაზე შენარჩუნებული რეგისტრი. სტილი კუდში ცხოვრობს, და კუდი პირველია, რასაც უხეში კვანტიზაცია ჭამს.
  • სტრუქტურირებულმა გამოსავალმა პირველივე ცდაზე უნდა გაიაროს ვალიდაცია. მოდელს მხარდაჭერილი აქვს json_schema და response_format; სქემის დაცვა სიზუსტის თვისებაა, და ყოველი თავიდან აცილებული ხელახლა ცდა ფულისა და დაყოვნების დანაზოგია.
  • ავსებთ კონტექსტს. ინსტრუქციის დაცვა ტოკენზე 200,000 უფრო რთულია, ვიდრე ტოკენზე 2,000, და ის წონის სიზუსტესთან ერთად დეგრადირდება — ისევე, როგორც გრძელი მსჯელობის კვალი, სადაც შეცდომები იმავე გზით გროვდება.
  • სამუშაო ბუნებით უცენზუროა. უსაფრთხოების კვლევა, წითელი გუნდის მუშაობა, გაუფილტრავი მხატვრული ლიტერატურა, მგრძნობიარე სამედიცინო ან სამართლებრივი ანალიზი — სადაც დაზღვეული პასუხი უარესია, ვიდრე არცერთი.

აირჩიეთ სხვა რამ, როცა

  • გჭირდებათ ხედვა. ეს მოდელი მხოლოდ-ტექსტურია; მისი და-ძმა MiMo-V2.5 · W8A16 ხედვაზე უნარიანია იმავე ფასად და დონეზე.
  • გჭირდებათ ყველაზე ფართო მსოფლიო ცოდნა მოკლე მოთხოვნებზე. ეს არის რეჟიმი, სადაც გაცილებით დიდი 3-ბიტიანი საფუძვლის დამატებითი პარამეტრები იმარჯვებს და მისი კვანტიზაციის ზიანი ძლივს ჩანს.
  • თქვენი დატვირთვა მაღალმოცულობიანი მოკლე კლასიფიკაციაა. კვანტიზაციის ზიანი იქ თითქმის უხილავია — იყიდეთ ის, რაც ყველაზე სწრაფია.

09უცენზურო MiMo API-ის გამოძახება

თუ თქვენი კოდი OpenAI SDK-ს მიმართავს, საბაზო URL-ისა და მოდელის id-ის შეცვლა მთელი მიგრაციაა:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages და /v1/responses იმავე id-სა და შესაძლებლობებს იღებს. პარამეტრების ცნობარი, ინსტრუმენტების გამოძახების სქემები, სტრუქტურირებული გამოსავლის მაგალითები და ცოცხალი სათამაშო მოედანი Shannon AI-ს API დოკუმენტაციაშია.

შესაძლებლობაMiMo-V2.5-Pro · W8A16
კონტექსტის ფანჯარა262,144 ტოკენი
მაქს. გამომავალი მოთხოვნაზე16,384 ტოკენი
სტრიმინგიდიახ — სამივე დიალექტზე
ინსტრუმენტების გამოძახებადიახ
მსჯელობა / reasoning_effortდიახ
json_schema სტრუქტურირებული გამოსავალიდიახ
response_formatდიახ
ხედვა / სურათის შემავალიარა — გამოიყენეთ MiMo-V2.5
უარის ფენა / გამოსავლის ფილტრიარცერთი
ფასი 1M ტოკენზე$0.50 შემავალზე / $2.00 გამომავალზე
შეამოწმეთ წყაროები

აქ ყოველი გარე ციფრი ჩვენგან განსხვავებული ვინმეს მიერაა გამოქვეყნებული და ტექსტში მითითებული. კვანტიზაციის აღდგენის შედეგები Llama ოჯახის კვლევებიდან მოდის: ისინი გარიგების ფორმას აღწერს და არა ამ მოდელის ქულებს.

10ხშირად დასმული კითხვები

რა არის უცენზურო MiMo API?

ეს არის Shannon AI-ს ენდპოინტი MiMo-V2.5-Pro-სთვის, Xiaomi-ის ღია წონების ექსპერტთა ნაზავის მოდელისთვის, მოწოდებული ჩვენსავე GPU კლასტერზე უარის ფენისა და გამოსავლის ფილტრაციის გარეშე. მისკენ მისვლა შესაძლებელია /v1/chat/completions, /v1/messages და /v1/responses-ის საშუალებით, 262,144-ტოკენიანი კონტექსტითა და 16,384 გამომავალი ტოკენით მოთხოვნაზე.

რას ნიშნავს W8A16, და რატომ აქვს ამას მნიშვნელობა?

W8A16 ნიშნავს, რომ წონები თითოეული 8 ბიტად ინახება, ხოლო აქტივაციები 16 ბიტზე გამოითვლება. ეს ჩვენი კატალოგის ყველაზე მაღალი ერთგულების კვანტიზაციის დონეა. გამოქვეყნებული კვლევები აჩვენებს, რომ 8-ბიტიანი მხოლოდ-წონის ფორმატები არსებითად აღადგენს ორიგინალი მოდელის მთელ სიზუსტეს, ხოლო 4-ბიტი მცირე ერთგულებას ცვლის მეხსიერებაზე, 3-ბიტი კი მნიშვნელოვანს.

შეუძლია პატარა მოდელს 8-ბიტზე დაამარცხოს დიდი მოდელი 3-ბიტზე?

ხშირად, დიახ. ის, რაც შეკუმშვას გადაურჩება, დაახლოებით პარამეტრების რაოდენობის ბიტებზე გამრავლებაა პარამეტრზე, და კვანტიზაციის ცდომილება იშვიათ, კუდის ქცევაში კონცენტრირდება. მოდელი, დატოვებული 8 ბიტზე, ინარჩუნებს გრძელფორმიან თანმიმდევრულობას, ზუსტ ფორმატირებას და კუდის ცოდნას; დიდი მოდელი, შეჭყლეტილი 3 ბიტამდე, ინარჩუნებს ფართო ბენჩმარკის ქულებს, მაგრამ კარგავს ამ თვისებებს.

აქვს MiMo-V2.5-Pro-ს ხედვის ან სურათის შემავალის მხარდაჭერა?

არა. MiMo-V2.5-Pro Shannon AI-ზე მხოლოდ-ტექსტურია. მას მხარდაჭერილი აქვს ინსტრუმენტების გამოძახება, მსჯელობა reasoning_effort-ით, JSON-სქემის სტრუქტურირებული გამოსავალი და response_format. თუ სურათის შემავალი გჭირდებათ, გამოიყენეთ და-ძმა მოდელი MiMo-V2.5 W8A16, რომელსაც იმავე ფასად ხედვა აქვს.

რა ღირს უცენზურო MiMo API?

$0.50 მილიონ შემავალ ტოკენზე და $2.00 მილიონ გამომავალ ტოკენზე. ეს ფსკერის ფასია Shannon AI-ს კატალოგში, რაც MiMo-V2.5-Pro-ს ყველაზე იაფ გზად აქცევს 8-ბიტიანი ერთგულების საყიდლად ამ გეითვეიზე.

სცადეთ უცენზურო MiMo API

რვა-ბიტიანი ერთგულება, 262K კონტექსტი, უარის ფენის გარეშე — კატალოგის ფსკერის ფასად.

წაიკითხეთ API-ის დოკუმენტაცია დაათვალიერეთ ყველა მოდელი

მოქმედებს Shannon AI-ს პასუხისმგებლიანი გამოყენების პოლიტიკის ფარგლებში


წყაროები: MiMo ტექნიკური ანგარიში, arXiv:2505.07608 · MiMo-V2.5-Pro-ს მოდელის ბარათი (Xiaomi) · «Give Me BF16 or Give Me Death»?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-ბიტიანი ინფერენსის მასშტაბირების კანონები, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. ყველა ბენჩმარკის ციფრი ავტორების მიერაა მოხსენებული. Shannon AI Shannon Lab LLC-ის პროდუქტია, ნიუ-მექსიკო, აშშ.

ყველა კვლევითი ბმული