8-బిట్ విశ్వసనీయత వద్ద సెన్సార్ లేని MiMo API

చాలా జాబితాలు మీకు పారామీటర్ సంఖ్యను అమ్ముతాయి. అది కొనడానికి తప్పు సంఖ్య, ఎందుకంటే మీరు నిజంగా భరించగలిగే ప్రతి పెద్ద ఓపెన్-వెయిట్స్ మోడల్ ఎక్కడో ఇమిడేలా కుదించబడింది. నిజాయితీ గల ప్రశ్న "ఇది కుదించడానికి ముందు ఎంత పెద్దదిగా ఉండేది?" కాదు కానీ "దానిలో ఇప్పటికీ ఎంత ఇక్కడ ఉంది?" ఈ వ్యాసం ఆ ప్రశ్న గురించి, మరియు సమాధానం దాదాపు అంతా అయిన మా జాబితాలోని మోడల్ గురించి.

01సెన్సార్ లేని MiMo API నిజంగా మీకు ఏమి ఇస్తుంది

సెన్సార్ లేని MiMo API ఒక్క మోడల్ id, MiMo-V2.5-Pro-W8A16, మా సొంత GPU క్లస్టర్‌పై అదే వెయిట్‌లను చేరుకునే మూడు మాండలికాల ద్వారా చేరుకోదగినది: /v1/chat/completions, /v1/messages మరియు /v1/responses. మూడూ స్ట్రీమ్ చేస్తాయి మరియు టూల్ కాలింగ్ మరియు తర్కానికి మద్దతు ఇస్తాయి.

ఇక్కడ సెన్సార్ లేనిదికి ఒక ఇరుకైన అర్థం ఉంది: మోడల్ ముందు తిరస్కరణ పొర లేదు, దాని అవుట్‌పుట్‌పై ఫిల్టర్ లేదు. మేము అడ్డగించము, వర్గీకరించము, లేదా తిరిగి రాయము. మీకు పునాది సొంత ప్రవర్తన లభిస్తుంది — ఒక పరిశోధన-స్థాయి ఓపెన్-వెయిట్స్ మోడల్‌కు దీని అర్థం ఇది భద్రతా పరిశోధన, పెద్దల లేదా హింసాత్మక కల్పన, వైద్య మరియు న్యాయ తర్కంతో, మరియు హోస్ట్ చేయబడిన వాణిజ్య ఎండ్‌పాయింట్‌లు ప్రతిక్షిప్తంగా తిరస్కరించే అభ్యర్థనలతో పాల్గొంటుంది. ఇది మా బాధ్యతాయుత వినియోగ విధానం కింద ఒక వృత్తిపరమైన సాధనం, నియమాల లేమి కాదు.

02MiMo వంశం: తర్కం-మొదట ప్రీట్రైనింగ్‌పై Xiaomi పందెం

MiMo ఒక కొత్త పేరుతో Llama ఉత్పన్నం కాదు; ఇది Xiaomi యొక్క MiMo బృందం నుండి వచ్చిన ఒక ప్రత్యేక వంశం, మరియు మీరు మోడల్‌ను మూల్యాంకనం చేయడానికి ముందు దాని స్థాపక ఆలోచన ముఖ్యమైనది. ఇది MiMo-7B (ఏప్రిల్ 30, 2025, MIT-లైసెన్స్)తో మొదలవుతుంది, దీని సాంకేతిక నివేదిక చాలా ల్యాబ్‌లు తర్కాన్ని RLతో అతికించవలసిన పోస్ట్-ట్రైనింగ్ సమస్యగా చూస్తాయని మరియు ఇది వెనుకబాటుతనం అని వాదిస్తుంది. Xiaomi బదులుగా దాని చుట్టూ ప్రీట్రైనింగ్‌ను పునర్నిర్మించింది: 25 ట్రిలియన్ టోకెన్‌ల అంతటా ఒక మూడు-దశల మిశ్రమం, రెండో దశ సుమారు 70% గణితం మరియు కోడ్‌ను నడుపుతుంది, మూడో దశ సందర్భాన్ని 8K నుండి 32Kకు విస్తరిస్తూ సింథటిక్ తర్క జాడలను మడుస్తుంది — పైగా ఒక ఊహాజనిత-డీకోడింగ్ హెడ్‌గా కూడా పనిచేసే Multi-Token Prediction లక్ష్యం.

ఫలితం చాలా పెద్దదిగా ప్రవర్తించిన ఒక 7B బేస్ మోడల్. Qwen2.5-7B 10.1, Gemma-2-9B 0.0 మరియు Llama-3.1-8B 0.3 స్కోర్ చేసినచోట MiMo-7B-Base AIME 2024పై 32.9 స్కోర్ చేసింది. తర్వాత పోస్ట్-ట్రైనింగ్ ఒక పరీక్ష-కష్టత-ఆధారిత కోడ్ ప్రతిఫలంతో 130,000 ధ్రువీకరించదగిన గణితం మరియు కోడ్ సమస్యలపై RLను నడిపింది, కోడ్ RLను అస్థిరపరిచే విరళ-ప్రతిఫల ఉచ్చు నుండి తప్పించుకుంటూ. ఫలితం o1-mini కంటే ముందు దిగింది:

AIME 2025, MiMo సాంకేతిక నివేదిక నుండి Xiaomi-నివేదించిన గణాంకాలు (arXiv:2505.07608). MiMo-7B-RL MATH-500పై 95.8 మరియు LiveCodeBench v5పై 57.8 కూడా నివేదించింది.

కుటుంబం దారి తప్పకుండా విస్తరించింది: MiMo-VL-7B (జూన్ 2025) అదే వెన్నెముకపై ఒక Qwen2.5-ViT ఎన్‌కోడర్‌ను పెట్టింది, మరియు డిసెంబర్ 2025 MiMo-Audio-7Bను పైగా మొదటి MoE ఎంట్రీ, MiMo-V2-Flashను (309B మొత్తం / 15B క్రియాశీలం, 27T టోకెన్‌లు, FP8 మిశ్రమ కచ్చితత్వం) తీసుకువచ్చింది. "Hunter Alpha"గా OpenRouterపై వారాల తర్వాత మార్చి 2026లో MiMo-V2-Pro సుమారు 1T / 42B క్రియాశీలం వద్ద 1M సందర్భంతో వచ్చింది. MiMo-V2.5 మరియు MiMo-V2.5-Pro ఏప్రిల్ 22, 2026న కలిసి పంపబడ్డాయి, రెండూ MIT.

03MiMo-V2.5-Pro లోపల: పునాది ఎలా కనిపిస్తుంది

Xiaomi ప్రచురించిన మోడల్ కార్డు ప్రకారం, MiMo-V2.5-Pro 1.02 ట్రిలియన్ మొత్తం పారామీటర్లు మరియు ఒక్కో టోకెన్‌కు 42 బిలియన్ క్రియాశీలం గల 70 పొరల అంతటా — ఒకటి దట్టమైనది, 69 MoE — మరియు 384 రూట్ చేయబడే నిపుణులు, ఒక్కో టోకెన్‌కు 8 ఉన్న ఒక విరళ నిపుణుల-మిశ్రమ మోడల్. హిడెన్ పరిమాణం 6144, ఒక ఇరుకైన MoE ఇంటర్మీడియెట్ పరిమాణం 2048తో.

రెండు ఎంపికలు దీన్ని వాడకంలో ఎలా అనిపిస్తుందో ఆకృతీకరిస్తాయి. అటెన్షన్ స్టాక్ హైబ్రిడ్: 128 విండో ఉన్న 10 పూర్తి-అటెన్షన్ పొరలు మరియు 60 స్లైడింగ్-విండో పొరలు, పైగా ఒక నేర్చుకోదగిన అటెన్షన్-సింక్ పక్షపాతం. దీర్ఘ-సందర్భ నాణ్యతను కాపాడుకుంటూ ఇది అన్ని-గ్లోబల్ అటెన్షన్‌తో పోలిస్తే KV-కాష్ నిల్వను 7xకు దగ్గరగా తగ్గిస్తుందని Xiaomi నివేదిస్తుంది — నామమాత్రంగా పొడవైన విండోకూ మీరు నింపడానికి భరించగలిగే దానికీ మధ్య తేడా. ఇది మూడు Multi-Token Prediction పొరలను కూడా పంపుతుంది, డీకోడర్‌కు ఒక ఊహాజనిత హెడ్‌ను ఇస్తూ.

శిక్షణ FP8 (E4M3) మిశ్రమ కచ్చితత్వంలో స్థానిక 32K క్రమ పొడవు వద్ద 27 ట్రిలియన్ టోకెన్‌లు, తర్వాత పర్యవేక్షిత ఫైన్-ట్యూనింగ్, పెద్ద-స్థాయి ఏజెంటిక్ RL మరియు బహుళ-గురు ఆన్-పాలసీ డిస్టిలేషన్. ఆ FP8 వివరాన్ని పట్టుకోండి; ఈ పునాదిని 8 బిట్‌ల వద్ద అందించడానికి అదే బలమైన ఏకైక వాదన.

Xiaomi మోడల్‌ను SWE-bench Proపై 57.2%, టూల్ వాడకానికి τ3-Benchపై 72.9, మరియు Humanity's Last Examపై 48.0%గా నివేదిస్తుంది — కుదించని మోడల్‌పై విక్రేత సొంత సంఖ్యలు, అలాగే ఉదహరించబడ్డాయి.

మేము పునాది యొక్క పూర్తి 1M కాక 262,144-టోకెన్ విండోను అందిస్తాము — లోడ్ కింద క్షీణించే ఒక ముఖ్యాంశ సంఖ్యకు బదులు మేము వేగంతో హామీ ఇవ్వగల ఒక సందర్భం.

04W8A16 అంటే సరిగ్గా ఏమిటి

ఈ జాబితాలోని ప్రతి మోడల్ ఒక మార్కెటింగ్ శ్రేణి కంటే ఒక వాస్తవ, కొలవదగిన రూపాంతరాన్ని వర్ణించే ఒక క్వాంటైజేషన్ ప్రత్యయాన్ని కలిగి ఉంది. మావి 3BIT-REAP, W4A16-AUTOROUND-REAP మరియు W8A16. MiMo-V2.5-Pro మూడోది.

నొటేషన్ రెండుగా విడిపోతుంది. W8 అనేది వెయిట్ కచ్చితత్వం: ప్రతి పారామీటర్ ఒక 16-బిట్ ఫ్లోట్‌కు బదులు ఒక 8-బిట్ ఇంటీజర్‌గా నిల్వ చేయబడుతుంది, ఒక చిన్న గ్రూప్‌కు ఒక భాగస్వామ్య స్కేలింగ్ కారకంతో కాబట్టి ప్రతి గ్రూప్ యొక్క స్థానిక గతిశీల శ్రేణి బతికి ఉంటుంది. A16 అనేది యాక్టివేషన్ కచ్చితత్వం: ఇన్ఫరెన్స్ సమయంలో పొరల మధ్య ప్రవహించే విలువలు 16 బిట్‌ల వద్దే ఉంటాయి. వెయిట్‌లు కుదించబడతాయి; గణితం కాదు.

ఆ రెండో సగం నిశ్శబ్దమైన, ముఖ్యమైన పనిని చేస్తుంది. యాక్టివేషన్‌లను క్వాంటైజ్ చేయడం వెయిట్‌ల కంటే చాలా కష్టం: వాటిలో తీవ్రమైన అవుట్‌లయర్ ఛానెళ్ళు ఉంటాయి — కొన్ని డైమెన్షన్‌లు వాటి పరిమాణాలు మిగతా ప్రతిదాన్నీ మరుగుజ్జుగా చేస్తాయి మరియు మోడల్ ప్రవర్తనలో అసమతుల్య వాటాను మోసుకెళ్తాయి. వాటిని తక్కువ కచ్చితత్వానికి నెడితే మీకు అవసరమైన సంకేతాన్నే మీరు కత్తిరిస్తారు. వెయిట్-మాత్రమే పథకాలు యాక్టివేషన్ మార్గాన్ని అలాగే వదిలేయడం ద్వారా ఈ సమస్యను దాటవేస్తాయి, అందుకే సీరియస్ క్వాంటైజేషన్ పని వాటిపైనే కేంద్రీకృతమైంది.

కాబట్టి ఆచరణాత్మక ప్రశ్న ఒక్క దానికే కుంచించుకుపోతుంది: ఒక వెయిట్ ఎన్ని తక్కువ బిట్‌లను తట్టుకోగలదు?

05W8A16 vs W4A16 vs 3-బిట్: నష్టం నిజంగా ఎక్కడికి వెళుతుంది

దీనిపై అతిపెద్ద ప్రచురించిన అధ్యయనం Neural Magic మరియు Red Hat యొక్క "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization — 8B, 70B మరియు 405B వద్ద Llama-3.1 కుటుంబం అంతటా 500,000 కంటే ఎక్కువ మూల్యాంకనాలు. వారి ముఖ్యాంశ ఫలితం, వారి సంఖ్యలలో:

ఫార్మాట్	ఏమి కుదించబడింది	BF16తో పోలిస్తే నివేదించిన రికవరీ
W8A8-FP (8-బిట్)	వెయిట్‌లు + యాక్టివేషన్‌లు, ఫ్లోట్	~99.75% సగటు — "దాదాపు నష్టం లేనిది"
W8A8-INT (8-బిట్)	వెయిట్‌లు + యాక్టివేషన్‌లు, ఇంటీజర్	8B/70B వద్ద 99–100%; 405B వద్ద 98.2–99.3%
W4A16-INT (4-బిట్)	వెయిట్‌లు మాత్రమే	98–99.4% (8B); 98.6–99.8% (70B)

Llama-3.1 మోడల్‌లపై Neural Magic / Red Hat (arXiv:2411.02355) నివేదించిన గణాంకాలు — వర్తకం యొక్క ఆకారం, ఈ మోడల్ స్కోర్ కాదు.

నిజాయితీగా చదివితే, అది పట్టించుకోవడానికి వ్యతిరేకంగా ఒక వాదనగా కనిపిస్తుంది: 4-బిట్ 98–99% తిరిగి పొందుతుంది, కాబట్టి ఎందుకు శ్రద్ధ పెట్టాలి? ఎందుకంటే అవి అకడమిక్ బహుళ-ఎంపిక బెంచ్‌మార్క్‌లు, క్వాంటైజేషన్ నష్టాన్ని గుర్తించడానికి అందుబాటులో ఉన్న అత్యంత చెత్త సాధనానికి దగ్గరగా ఉంటాయి. ఒక బెంచ్‌మార్క్ ప్రశ్నకు ఒకటి లేదా రెండు టోకెన్‌లలో చేరుకోగల ఒక సరైన సమాధానం ఉంటుంది, మరియు క్వాంటైజేషన్ లోపం ప్రతి లాజిట్‌పైనా చిన్నది, దాదాపు సున్నా-సగటు శబ్దం; ఒక విశాల మార్జిన్ ఉన్న ఒక చిన్న ప్రశ్నపై, ఆ శబ్దం శోషించబడుతుంది.

ఇప్పుడు 4,000 టోకెన్‌ల ఒక సాంకేతిక పత్రాన్ని రాయండి, 40,000-టోకెన్ల కథ అంతటా ఒక స్వరాన్ని పట్టుకోండి, లేదా మొదటి ప్రయత్నంలోనే ధ్రువీకరించాల్సిన JSONను విడుదల చేయండి. అదే శబ్దం వరుసగా వేల సార్లు నమూనా చేయబడుతుంది, ప్రతి నమూనా తర్వాతదాన్ని కండిషన్ చేస్తూ. వైఫల్య రూపం ఒక తప్పు సమాధానం కాదు — అది దారితప్పడం: మొదటి మలుపు నుండే సూచనపై సడలుతున్న పట్టు, టోకెన్ 3,000 దగ్గర తనలా వినిపించడం మానేసే ఒక పాత్ర, ఎప్పటికీ రాని ఒక క్లోజింగ్ బ్రేస్.

బిట్‌లు నిజంగా ఎక్కడికి వెళతాయి

క్వాంటైజేషన్ లోపం మోడల్ సామర్థ్యాల అంతటా సమానంగా వ్యాపించదు; ఇది తోకలో కేంద్రీకృతమవుతుంది. అధిక-మాస్ ప్రవర్తనలు — వ్యాకరణబద్ధమైన ఇంగ్లీష్, ఒక Python ఫంక్షన్ ఆకారం, ప్రపంచం గురించి అగ్ర వెయ్యి వాస్తవాలు — అనేక వెయిట్‌ల అంతటా పునరావృతంగా ఎన్‌కోడ్ చేయబడతాయి మరియు దాదాపు దేన్నైనా బతికి ఉంటాయి. వెయిట్ పంపిణీ యొక్క ఖచ్చితంగా-ట్యూన్ చేయబడిన, చిన్న-పరిమాణ మూలలు అరుదైన విషయాన్ని పట్టుకుంటాయి: ఒక అస్పష్ట APIయొక్క ఖచ్చితమైన సంతకం, ఒక నిర్దిష్ట రచయిత యొక్క లయ, రెండు ప్రక్కనే ఉన్న CVEల మధ్య తేడా. ఒక ముతక గ్రిడ్ ఒకదానిలోకి ఒకటి రౌండ్ చేసే విలువలు అవే.

4 బిట్‌ల నుండి 3కు వెళ్ళే అడుగే ఇది ఒక పన్నుగా ఆగిపోయి ఒక అగాధంగా మారేది. Dettmers మరియు Zettlemoyer యొక్క k-బిట్ ఇన్ఫరెన్స్ స్కేలింగ్ చట్టాలు 4-బిట్‌ను మోడల్ జ్ఞాపకంలోని ఒక్కో బిట్‌కు జీరో-షాట్ కచ్చితత్వాన్ని గరిష్ఠీకరించే బిందువుగా కనుగొన్నాయి, దాని కింద క్షీణత ఆధిపత్యం చెలాయిస్తూ. నాలుగు బిట్‌లు ఒక్కో గ్రూప్‌కు 16 స్థాయిలను ఇస్తాయి; మూడు 8ను ఇస్తాయి. మీరు ఇప్పటికే ముతకగా ఉన్న ఒక గ్రిడ్ యొక్క రిజల్యూషన్‌ను సగానికి తగ్గిస్తున్నారు, మరియు ఒక్కో వెయిట్‌కు రౌండ్-ఆఫ్ లోపం సుమారు రెండింతలవుతుంది.

దాన్ని నిర్ణయించే గణితం

చేయదగిన పోలిక గణితం, ఒక బెంచ్‌మార్క్ కాదు. కుదింపును బతికే ఉండేది సుమారు పారామీటర్లు × ఒక్కో పారామీటర్‌కు బిట్‌లు — వెయిట్ ఫైల్ యొక్క సమాచారం-మోసుకెళ్ళే పరిమాణం. ఒక్కో పారామీటర్‌కు సమాన నాణ్యత గల రెండు ఊహాత్మక పునాదులను తీసుకోండి:

• పునాది A: 3 బిట్‌ల వద్ద 400B పారామీటర్లు → సుమారు 150 GB నిలుపుకున్న వెయిట్.
• పునాది B: 8 బిట్‌ల వద్ద 160B పారామీటర్లు → సుమారు 160 GB నిలుపుకున్న వెయిట్.

ముడి పారామీటర్ సంఖ్య ప్రకారం A రెండున్నర-నుండి-ఒకటి గెలుస్తుంది — మోడల్ కార్డు ముందుగా చూపే సంఖ్య. నిలుపుకున్న సమాచారం ప్రకారం అవి సమానం, మరియు B తప్ప ఒక నిర్మాణాత్మక ప్రయోజనం ఉంది: దాని వెయిట్‌లు దాని తోక ప్రవర్తన చెక్కుచెదరకుండా ఉండేంత సూక్ష్మమైన ఒక గ్రిడ్‌పై కూర్చుంటాయి, A తోక మాత్రం పెద్ద భాగంలో క్వాంటైజ్ చేయబడింది. A ఎక్కువ విషయాలు తెలుసు; B తనకు తెలిసినది మరింత పదునుగా తెలుసు. దీర్ఘ ఉత్పత్తి, ఖచ్చితమైన ఫార్మాటింగ్, శైలీ నియంత్రణ, మరియు నమ్మకమైన దీర్ఘ-సందర్భ కట్టుబడి ఉండటం కోసం, Bను తీసుకోండి.

ఉదాహరణాత్మక గణితం, ఒక బెంచ్‌మార్క్ కాదు: "పెద్ద పునాది" మరియు "మెరుగ్గా అందించబడిన మోడల్" వేర్వేరు వాదనలు అని ఇది చూపిస్తుంది.

0627 ట్రిలియన్ శిక్షణ టోకెన్‌లు దూకుడైన క్వాంటైజేషన్‌ను ఎందుకు అధ్వాన్నం చేస్తాయి

రెండోది, తక్కువ సహజమైన ఫలితం ఈ పునాదిపై నేరుగా ప్రభావం చూపుతుంది. Kumar et al. యొక్క ICLR 2025 పత్రం Scaling Laws for Precision ఒక మోడల్ ఎంత ఎక్కువ డేటాపై శిక్షణ పొందితే, పోస్ట్-ట్రైనింగ్ క్వాంటైజేషన్ దానికి అంత ఎక్కువ నష్టం చేస్తుందిని కనుగొంటుంది. తక్కువ కచ్చితత్వం మోడల్ యొక్క సమర్థవంతమైన పారామీటర్ సంఖ్యను తగ్గిస్తుంది, మరియు ఆ క్షీణత శోషించిన ప్రీట్రైనింగ్ డేటాతో పెరుగుతుంది — మీరు దూకుడుగా క్వాంటైజ్ చేయాలని ఉద్దేశించినట్లయితే అదనపు ప్రీట్రైనింగ్ డేటా నికర హానికరం కావచ్చునంత దూరం, ఎందుకంటే మీరు గ్రిడ్ చెరిపేసే సూక్ష్మ నిర్మాణాన్ని వేస్తున్నారు.

5T టోకెన్‌లపై శిక్షణ పొందిన ఒక మోడల్‌కు ముతక, పునరావృత వెయిట్ నిర్మాణం మరియు మిగులు ఉంటుంది. 27T టోకెన్‌లుపై శిక్షణ పొందిన ఒక మోడల్ — MiMo-V2.5-Pro బడ్జెట్ — ఆ అదనపు డేటాను మరింత ఖచ్చితమైన వెయిట్ విలువల్లోకి మరింత సూక్ష్మమైన తేడాలను రాయడానికి ఖర్చు చేసింది, ఇది సరిగ్గా ఒక 3-బిట్ గ్రిడ్ ప్రాతినిధ్యం వహించలేనిది.

తర్వాత సెక్షన్ 03 నుండి FP8 వాస్తవం ఉంది, ఈ వ్యాసంలోని అత్యంత శుభ్రమైన వాదన. MiMo-V2.5-Pro FP8 మిశ్రమ కచ్చితత్వంలో ప్రీట్రైన్ చేయబడింది. దాని వెయిట్‌లు మొదటి నుండే సుమారు ఎనిమిది బిట్‌ల కచ్చితత్వంలో పనిచేసే ఒక ఆప్టిమైజర్‌చే ఆకృతీకరించబడ్డాయి. కాబట్టి దాన్ని 8-బిట్ వెయిట్‌ల వద్ద అందించడం ఒక 16-బిట్ మోడల్‌పై విధించిన నష్టభరిత తర్వాత-ఆలోచన కాదు — ఇది వెయిట్‌లను అవి నేర్చుకున్న సంఖ్యా పాలనకు తిరిగి ఇవ్వడానికి దగ్గరగా ఉంటుంది. ఎనిమిదో బిట్ కింద కోల్పోవడానికి తక్కువ సూక్ష్మ నిర్మాణం ఉంది. ఆ వెయిట్‌లను మూడుకు బలవంతం చేయడం గురించి అదే చెప్పలేము.

07REAP: నిపుణుల కత్తిరింపు రౌండింగ్ కంటే ఎందుకు వేరే రకమైన నష్టం

మూడు శ్రేణులలో రెండు REAP ప్రత్యయాన్ని కలిగి ఉన్నాయి — క్వాంటైజేషన్ నుండి వర్గీయంగా వేరైన ఒక ఆపరేషన్. REAP (Router-weighted Expert Activation Pruning, Cerebras Research, arXiv:2510.13999, ICLR 2026) విరళ MoE మోడల్‌ల కోసం ఒక్క-షాట్ కుదింపు: ఇది రౌటర్ యొక్క గేట్ విలువలు మరియు నిపుణుడి క్రియాశీలత నిబంధన ద్వారా ప్రతి నిపుణుడిని స్కోర్ చేస్తుంది, తర్వాత అత్యంత తక్కువ స్కోర్ చేసినవాటిని తొలగిస్తుంది. 50% నిపుణులు కత్తిరించబడినప్పుడు కూడా కోడ్ ఉత్పత్తి మరియు టూల్ కాలింగ్‌పై దాదాపు-నష్టం-లేని ఫలితాలను Cerebras నివేదిస్తుంది.

ఇది ఉనికిలో ఉన్న కారణం కోసమే మేము REAPను వాడతాము: అతిపెద్ద పునాదులపై అవి అందించగలిగేలా చేసేదే ఇది. కానీ రకంలో తేడాను గమనించండి. క్వాంటైజేషన్ ప్రతి వెయిట్‌నూ కొంచెం మసకగా చేస్తుంది; కత్తిరింపు నిపుణులను పూర్తిగా తొలగిస్తుంది. మీ పనిభారం అరుదుగా-ఎంపిక చేయబడిన ఒక నిపుణుడిలో ఉన్న ఒక సామర్థ్యానికి — ఒక చిన్న ప్రోగ్రామింగ్ భాష, ఒక ప్రత్యేక పదజాలం — భారీగా రూట్ చేయబడితే, అది క్షీణించలేదు. అది పోయింది, మరియు ఏ ప్రాంప్టింగూ దాన్ని తిరిగి పొందదు. సగటులు అద్భుతంగానే ఉంటాయి; మీ తోక కేసు కాకపోవచ్చు.

MiMo-V2.5-Pro · W8A16 ఏ REAP ప్రత్యయమూ కలిగి లేదు. అన్ని 384 నిపుణులూ ఉన్నారు, మరియు రౌటర్ పునాది శిక్షణ పొందిన పూర్తి సెట్ నుండి ఎంచుకుంటుంది.

శ్రేణి	వెయిట్ బిట్‌లు	నిపుణులు	మీరు వర్తకం చేసేది
W8A16	8	అందరూ ఉన్నారు	నిర్మాణాత్మకంగా ఏమీ లేదు. విశ్వసనీయత శ్రేణి.
W4A16-AUTOROUND-REAP	4	కత్తిరించబడింది	అదే ధర శ్రేణిలో చాలా పెద్ద పునాదికి బదులుగా, సూక్ష్మ వెయిట్ వివరాలు పైగా తక్కువ-ట్రాఫిక్ నిపుణులు.
3BIT-REAP	3	కత్తిరించబడింది	వేగంగా అతిపెద్ద పునాదులను నడపడానికి ధరగా, గణనీయమైన వెయిట్ రిజల్యూషన్ పైగా తక్కువ-ట్రాఫిక్ నిపుణులు.

మధ్య శ్రేణి ఒక న్యాయమైన విచారణకు అర్హమైనది. AutoRound అమాయక రౌండింగ్ కాదు: Intel పద్ధతి (arXiv:2309.05516) ఒక్కో వెయిట్ గ్రూప్‌కు రౌండింగ్ నిర్ణయాలను మరియు క్లిప్పింగ్ శ్రేణిని ట్యూన్ చేయడానికి సుమారు 200 దశలపైనే సంకేత గ్రేడియంట్ డీసెంట్‌ను వాడుతుంది, మరియు చాలా సెట్టింగ్‌లలో 4 బిట్‌ల వద్ద దాదాపు-నష్టం-లేనిదిగా నివేదించబడింది, చాలా పరీక్షించిన కాన్ఫిగరేషన్‌ల అంతటా GPTQ, AWQ, HQQ మరియు OmniQuantలను ఓడిస్తూ. ఒక W4A16-AUTOROUND మోడల్ నిజంగా మంచి 4-బిట్ మోడల్. ఇది ఇప్పటికీ ఒక 4-బిట్ మోడల్.

088-బిట్ శ్రేణిని ఎవరు ఎంచుకోవాలి — మరియు ఎవరు ఎంచుకోకూడదు

MiMo-V2.5-Pro · W8A16 మొత్తం జాబితా అట్టడుగు ధర వద్ద ఉంది — మిలియన్ టోకెన్‌లకు $0.50 ఇన్ / $2.00 అవుట్, ప్రవేశ-శ్రేణి 4-బిట్ మోడల్‌లతో అదే బ్యాండ్ మరియు మేము అందించే అత్యంత ఖరీదైన మోడల్ ఇన్‌పుట్ ధరలో సుమారు నాలుగవ వంతు. మీరు విశ్వసనీయత కోసం ప్రీమియం చెల్లించడం లేదు; మీరు అదే బడ్జెట్ యొక్క వేరే అక్షాన్ని ఎంచుకుంటున్నారు.

దీన్ని ఎంచుకోండి ఎప్పుడంటే

• అవుట్‌పుట్ పొడవే పని. దీర్ఘ-రూప సాంకేతిక రచన, అధ్యాయం-పొడవు కల్పన, పూర్తి డాక్యుమెంటేషన్ పాస్‌లు — ఉత్పత్తి చేయబడిన ప్రతి టోకెనూ కుదింపు శబ్దం సంకలనమయ్యే ఒక టోకెన్.
• స్వరం మరియు స్థిరత్వం ముఖ్యం. పాత్ర పని, బ్రాండ్ నమోదు, ఒక పొడవైన సెషన్ అంతటా ఉంచబడిన ఒక రిజిస్టర్. శైలి తోకలో ఉంటుంది, మరియు ముతక క్వాంటైజేషన్ మొదట తినేది తోకనే.
• నిర్మాణాత్మక అవుట్‌పుట్ మొదటి ప్రయత్నంలోనే ధ్రువీకరించాలి. మోడల్ json_schema మరియు response_format‌కు మద్దతు ఇస్తుంది; స్కీమా కట్టుబడి ఉండటం ఒక కచ్చితత్వ లక్షణం, మరియు నివారించబడిన ప్రతి రిట్రైనూ డబ్బు మరియు లేటెన్సీని ఆదా చేస్తుంది.
• మీరు సందర్భాన్ని నింపుతున్నారు. టోకెన్ 200,000 వద్ద సూచన కట్టుబడి ఉండటం టోకెన్ 2,000 వద్ద కంటే కష్టం, మరియు ఇది వెయిట్ కచ్చితత్వంతో క్షీణిస్తుంది — లోపాలు అదే విధంగా సంకలనమయ్యే ఒక దీర్ఘ తర్క జాడ కూడా.
• పని సహజంగానే సెన్సార్ లేనిది. భద్రతా పరిశోధన, రెడ్-టీమింగ్, ఫిల్టర్ చేయని కల్పన, సున్నితమైన వైద్య లేదా న్యాయ విశ్లేషణ — ఇక్కడ ఒక తడబడే సమాధానం ఏదీ లేని దానికంటే అధ్వాన్నం.

వేరే దాన్ని ఎంచుకోండి ఎప్పుడంటే

• మీకు విజన్ అవసరం. ఈ మోడల్ కేవలం-టెక్స్ట్; దీని సోదరుడు MiMo-V2.5 · W8A16 అదే ధర మరియు శ్రేణి వద్ద విజన్-సామర్థ్యం గలది.
• మీకు చిన్న ప్రశ్నలపై అత్యంత విస్తృత ప్రపంచ జ్ఞానం అవసరం. అదే పాలన ఇక్కడ చాలా పెద్ద 3-బిట్ పునాది యొక్క అదనపు పారామీటర్లు గెలుస్తాయి మరియు దాని క్వాంటైజేషన్ నష్టం అంతగా కనిపించదు.
• మీ పనిభారం అధిక-పరిమాణ చిన్న వర్గీకరణ. క్వాంటైజేషన్ నష్టం అక్కడ దాదాపు కనిపించదు — ఏది వేగంగా ఉంటే అది కొనండి.

09సెన్సార్ లేని MiMo APIని పిలవడం

మీ కోడ్ OpenAI SDKను లక్ష్యంగా చేసుకుంటే, బేస్ URL మరియు మోడల్ idని మార్చడమే మొత్తం మైగ్రేషన్:

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiMo-V2.5-Pro-W8A16",
    "messages": [
      {"role": "user", "content": "Draft the threat model section."}
    ],
    "reasoning_effort": "high",
    "max_tokens": 16384,
    "stream": true
  }'

/v1/messages మరియు /v1/responses అదే idని మరియు సామర్థ్యాలను స్వీకరిస్తాయి. పారామీటర్ సూచన, టూల్-కాలింగ్ స్కీమాలు, నిర్మాణాత్మక-అవుట్‌పుట్ ఉదాహరణలు మరియు ఒక ప్రత్యక్ష ప్లేగ్రౌండ్ Shannon AI API డాక్యుమెంటేషన్లో ఉన్నాయి.

సామర్థ్యం	MiMo-V2.5-Pro · W8A16
సందర్భ విండో	262,144 టోకెన్‌లు
అభ్యర్థనకు గరిష్ఠ అవుట్‌పుట్	16,384 టోకెన్‌లు
స్ట్రీమింగ్	అవును — మూడు మాండలికాలూ
టూల్ కాలింగ్	అవును
తర్కం / reasoning_effort	అవును
json_schema నిర్మాణాత్మక అవుట్‌పుట్	అవును
response_format	అవును
విజన్ / చిత్ర ఇన్‌పుట్	లేదు — MiMo-V2.5ను వాడండి
తిరస్కరణ పొర / అవుట్‌పుట్ ఫిల్టర్	ఏదీ లేదు
ఒక్కో 1M టోకెన్‌లకు ధర	$0.50 ఇన్ / $2.00 అవుట్

10తరచుగా అడిగే ప్రశ్నలు

---

మూలాలు: MiMo సాంకేతిక నివేదిక, arXiv:2505.07608 · MiMo-V2.5-Pro మోడల్ కార్డు (Xiaomi) · "Give Me BF16 or Give Me Death"?, arXiv:2411.02355 · REAP the Experts, arXiv:2510.13999 · AutoRound, arXiv:2309.05516 · k-బిట్ ఇన్ఫరెన్స్ స్కేలింగ్ చట్టాలు, arXiv:2212.09720 · Scaling Laws for Precision, Kumar et al., ICLR 2025. అన్ని బెంచ్‌మార్క్ గణాంకాలూ వాటి రచయితలు నివేదించినట్టు ఉన్నాయి. Shannon AI Shannon Lab LLC, న్యూ మెక్సికో, USA యొక్క ఉత్పత్తి.