असेन्सॉर्ड Hy3 मॉडेल API
Tencent चा 295B Hy3 आधार 8-बिट वेट विश्वासार्हतेवर, काटेकोर json_schema आउटपुट, 262,144-टोकन विंडो आणि नकार स्तर नाही — तेही कॅटलॉगच्या तळाच्या दरात.
थोडक्यात
Hy3-W8A16 हे आमच्या तीन W8A16 मॉडेलपैकी तिसरे आहे — 8-bit वेट्स, 16-bit ॲक्टिव्हेशन, म्हणजे आम्ही सर्व्ह करत असलेला सर्वोच्च विश्वासार्हतेचा स्तर. ते फक्त मजकुराचे आहे, json_schema आणि response_format दोन्हींना पाठिंबा देते, संपूर्ण कॅटलॉगभरची 262,144-टोकन संदर्भ आणि 16,384-टोकन आउटपुट मर्यादा वागवते, आणि त्याची किंमत प्रति दशलक्ष टोकन $0.50 / $2.00 — म्हणजे तळ. नकार स्तर नाही, आउटपुट फिल्टरिंग नाही. प्रत्येक कॉलवर पार्स होण्याजोगे, टाइप केलेले आउटपुट परत करावेच लागणाऱ्या मोठ्या मजकूर पाइपलाइनसाठी ते निवडा — फिल्टर लावलेले मॉडेल ज्याला हातही लावणार नाही अशा सामग्रीवरही.
“कोणते मॉडेल वापरावे” यावरचे बहुतेक वाद कमाल मर्यादेबद्दल असतात: कोणते सर्वोत्तम कोड लिहिते, सर्वात कठीण गणित सोडवते, सर्वात लांब एजंट रन जिंकते. संरचित पाइपलाइन तशा चालत नाहीत. दिवसाला लाख दस्तऐवजांमधून फील्ड काढणाऱ्या कामाला एकदा तेजस्वी ठरणारे मॉडेल नको असते — त्याला प्रत्येक वेळी त्याच आकारात बरोबर असणारे मॉडेल हवे असते, आणि जिथे JSON वस्तू असायला हवी तिथे परिच्छेद कधीच परत न करणारे. Hy3-W8A16 नेमक्या याच गुणधर्मासाठी इथे आहे.
01Hy3 काय आहे, आणि ते कुठून येते
Hy3 हे Tencent च्या Hunyuan संघाकडून आलेले ओपन-वेट रिझनिंग व एजंटिक मॉडेल आहे, 6 जुलै 2026 रोजी उदार परवान्याअंतर्गत संपूर्णपणे प्रसिद्ध, आणि वेट्स Hugging Face वर प्रकाशित. ते Tencent च्या आधीच्या Hunyuan-Large Mixture-of-Experts कामाची परंपरा पुढे नेते. वास्तुरचनेने ते विरळ MoE आहे: एकूण 295 अब्ज पॅरामीटर, ज्यांपैकी 192 एक्सपर्टवरच्या टॉप-8 राउटिंगमधून साधारण 21 अब्ज प्रति टोकन सक्रिय होतात, 80-स्तरांच्या ट्रान्सफॉर्मरवर ग्रुप्ड-क्वेरी अटेन्शनसह, अधिक सट्टेबाज डिकोडिंगसाठी वेगळा 3.8B बहु-टोकन-भाकिताचा स्तर. मूळ संदर्भ 256K आहे — म्हणजे नेमकी तीच 262,144 टोकन जी आम्ही उपलब्ध करतो, कशाची छाटणीही नाही आणि लहान गोष्टीचा rope-ताणलेला विस्तारही नाही.
प्रति टोकन पैसे मोजणाऱ्या कुणासाठीही ते विरळतेचे गुणोत्तर हाच महत्त्वाचा आकडा आहे: Hy3 295B मॉडेलचे ज्ञान वागवते, पण प्रति फॉरवर्ड पास साधारण 21B मॉडेलइतकेच गणित करते. आणि म्हणूनच ते अधिक जोरात संकुचित करण्याऐवजी 8 बिटवर सर्व्ह करणे आम्हाला परवडते — इतक्या विरळ मॉडेलची 8-bit बिल्ड आमच्या स्वतःच्या GPU क्लस्टरवर तरीही बसते आणि तरीही वेगात चालते.
Tencent त्याला कशात चांगले म्हणते
Tencent च्या प्रकाशित मूल्यमापन कोष्टकांनुसार Hy3 ची बलस्थाने कच्च्या कोडिंगमध्ये नव्हे तर एजंटिक शोध, टूल समन्वय आणि दीर्घ-संदर्भातून माहिती काढणे यात नेमकी बसतात. त्यांचे नोंदवलेले आकडे:
कमजोर पट्ट्या आम्ही मुद्दाम दाखवतो. Tencent च्या स्वतःच्या तुलनेत कोडिंगमध्ये Hy3 GLM-5.2 च्या मागे आहे — SWE-bench Verified वर 84.2 विरुद्ध 78.0, DeepSWE वर 46.2 विरुद्ध 28.0. तुमचे काम स्वायत्त बहु-फाइल सॉफ्टवेअर अभियांत्रिकी असेल, तर आधी उर्वरित मॉडेल संशोधन अनुक्रमणिका वाचा. काम मजकूर वाचून संरचना बाहेर टाकणे असेल, तर हे चित्र जवळजवळ आदर्श आहे.
पाइपलाइनच्या कामासाठी सर्वात महत्त्वाचा आकडा विश्वासार्हतेचा आहे: Tencent Hy3 चा हॅल्युसिनेशन दर 5.4% नोंदवते, जो आधीच्या पिढीत 12.5% होता, आणि सामान्यज्ञानाच्या चुका 25.4% वरून 12.7% वर आल्या. त्यांचे जाहीर प्रशिक्षण तत्त्व — पुरावा असेल तेव्हा उत्तर द्या, नसेल तेव्हा स्पष्ट सांगा — नेमकी तीच वृत्ती अशा माहिती-काढणी मॉडेलमध्ये तुम्हाला हवी असते, जे अन्यथा मूळ मजकुरात नसलेल्या फील्डसाठी संभाव्य वाटणारे मूल्य शोधून काढेल.
या विभागातले सर्व आकडे Tencent ने त्यांच्या स्वतःच्या चाचण्यांतून नोंदवलेले आहेत; लिहिण्याच्या वेळी स्वतंत्र तिसऱ्या पक्षाची पडताळणी बाकी होती. त्यांना दिशादर्शक माना, निकाली नाही.
02W8A16 म्हणजे काय, आणि संरचित आउटपुटसाठी ते का महत्त्वाचे
गेटवेवरचे प्रत्येक मॉडेल क्वांटायझेशन प्रत्यय वागवते. तो सजावट नाही — प्रयोगशाळेने प्रसिद्ध केलेल्या चेकपॉइंटपासून सर्व्ह केलेली वेट्स किती दूर आहेत ते तो सांगतो.
| स्तर | तो काय करतो | विश्वासार्हता |
|---|---|---|
| 3BIT-REAP | 3-bit वेट्स अधिक REAP — क्वांटाइझ करण्याआधी क्वचित राउट होणारे MoE एक्सपर्ट काढून टाकणारी एक्सपर्ट-प्रूनिंग पद्धत | सर्वाधिक संकुचित |
| W4A16-AUTOROUND-REAP | AutoRound मार्गे 4-bit वेट्स / 16-bit ॲक्टिव्हेशन — शिकलेले राउंडिंग, जे भाबड्या जवळच्या-पूर्णांकापेक्षा अचूकता परत मिळवते — अधिक REAP छाटणी | मधली |
| W8A16 | 8-bit वेट्स / 16-bit ॲक्टिव्हेशन. छाटणी नाही, शिकलेल्या राउंडिंगची डागडुजी नाही — वेट्स फक्त दुप्पट अचूकतेवर वागवलेली | सर्वोच्च |
क्वांटायझेशनचे भरकटणे प्रत्यक्षात कुठे दुखते
भाबडे कॉम्प्रेशन जे गमावते त्यातले बहुतांश REAP आणि AutoRound परत मिळवतात — पण त्या वाक्यात “बहुतांश” हा शब्द बरेच काम करतो, आणि उरलेले समानपणे पडत नाही. कमी-बिट क्वांटायझेशन शेपट्या खालावते: कमी संभाव्यतेचे, अधिक नेमकेपणाचे निर्णय. गद्यात ते जवळजवळ अदृश्य असते; वेगळे विशेषण असले तरी वाक्य चांगलेच राहते. संरचित आउटपुटमध्ये तोच सगळा खेळ असतो, कारण स्कीमा म्हणजे कमी संभाव्यतेच्या निर्णयांची लांब साखळी असते आणि त्यातला प्रत्येक नेमका बरोबरच असावा लागतो:
- टोकन-पातळीची वाक्यरचना. एक बंद कंस, एक स्वल्पविराम, एक अवतरणचिन्ह. प्रत्येक एक टोकन आहे, आणि एक चुकीचे टोकन संपूर्ण प्रतिसाद अवैध करते.
- Enum ची शिस्त. तुमची स्कीमा सांगते की
"status"हे"open" | "closed" | "pending"यांपैकी एक आहे; भरकटलेले मॉडेल"Open"किंवा"pending review"परत करते — अर्थाने जवळचे, आणि दोन्हीही म्हणून अवैध. - प्रकाराची शिस्त.
numberफील्ड"1,240"म्हणून येते,boolean"yes"म्हणून. दोन्ही स्ट्रिंग म्हणून पार्स होतात आणि स्कीमा पडताळणीत नापास होतात. - लांब शेपटीतली अक्षरशः मूल्ये. दुर्मीळ विशेषनामे, भागांचे क्रमांक, रासायनिक नावे, बिगर-लॅटिन लिपी, नेमक्या तारखा — नेमका तोच कमी संभाव्यतेचा प्रदेश जो कमी-बिट वेट्स धूसर करतात.
यातले काहीही 4-bit किंवा 3-bit मॉडेलना वाईट ठरवत नाही; संभाषणाच्या कामासाठी विश्वासार्हतेतला फरक किमतीतल्या फरकाच्या लायकीचा नसतो. पण आउटपुटचा ग्राहक माणूस नसून पडताळक असतो, तेव्हा शेपटीतली अचूकता थेट पार्स दरात रूपांतरित होते — आणि पार्स दर पुनःप्रयत्नाच्या अंदाजपत्रकात व p99 विलंबात. W8A16 हा तो स्तर आहे जिथे तुम्ही तो कर भरणे थांबवता.
03संरचित आउटपुट: json_schema आणि response_format
Hy3 संरचित-आउटपुट पृष्ठभागाच्या दोन्ही अर्ध्या भागांना पाठिंबा देते — हे स्पष्टपणे सांगण्याजोगे आहे, कारण संपूर्ण कॅटलॉगभर ते सार्वत्रिक नाही:
| मॉडेल | response_format | json_schema |
|---|---|---|
| Hy3 · W8A16 | होय | होय |
| MiMo-V2.5-Pro · W8A16 | होय | होय |
| inkling · W4A16-AUTOROUND-REAP | होय | नाही |
| Laguna-S-2.1 · W4A16-AUTOROUND-REAP | नाही | नाही |
या दोन यंत्रणांमधला फरक लोक समजतात त्यापेक्षा जास्त महत्त्वाचा आहे. response_format: {"type": "json_object"} फक्त वैध JSON मागते, त्यापलीकडे काही नाही — आकार मॉडेल ठरवते, त्यामुळे दोन कॉल {"name": ...} आणि {"full_name": ...} परत करू शकतात आणि दोन्ही बरोबरच असतात. json_schema आकार आधीच पुरवते: नावानिशी फील्ड, प्रकार, enum, आवश्यक याद्या, घरटी रचना. तो असा करार आहे ज्याविरुद्ध तुम्ही कोड लिहू शकता.
OpenAI-सुसंगत बोलीवरचा एक किमान कॉल:
POST /v1/chat/completions
{
"model": "Hy3-W8A16",
"messages": [
{"role": "system", "content": "Extract fields from the incident report. Use null for anything not stated."},
{"role": "user", "content": "<report text>"}
],
"response_format": {
"type": "json_schema",
"json_schema": {
"name": "incident",
"strict": true,
"schema": {
"type": "object",
"properties": {
"severity": {"type": "string", "enum": ["low","medium","high","critical"]},
"component": {"type": "string"},
"occurred_at": {"type": ["string","null"], "description": "ISO-8601"},
"affected_users": {"type": ["integer","null"]},
"indicators": {
"type": "array",
"items": {"type": "object", "properties": {
"kind": {"type": "string", "enum": ["ip","domain","hash","cve"]},
"value": {"type": "string"}
}, "required": ["kind","value"]}
}
},
"required": ["severity","component","occurred_at","affected_users","indicators"]
}
}
}
}
व्यावहारिक टिपणे
- प्रत्येक फील्ड आवश्यक करा आणि
nullला मुभा द्या. ऐच्छिक फील्ड मुकाट गळण्याला निमंत्रण देतात; आवश्यक पण null घेणारे फील्ड “उपस्थित नाही” असे स्पष्ट सांगायला भाग पाडते, आणि तीही कृती करण्याजोगी माहितीच असते. - मोकळ्या स्ट्रिंगपेक्षा enum सरस. जिथे मूल्यांचा संच बंद करता येईल तिथे तो बंद करा — स्कीमाच्या खऱ्या जगातल्या यशदरावर सर्वाधिक परिणाम करणारा हाच बदल आहे.
- 16,384-टोकन आउटपुट मर्यादेच्या आत राहा. मर्यादा नसलेली ॲरे वस्तूच्या मधोमध छाटली जाईल. ॲरेच्या लांबीवर मर्यादा घाला, किंवा इनपुटचे तुकडे करा.
- सिस्टीम संदेश ठेवा. स्कीमा आकार बांधते; अर्थ मात्र प्रॉम्प्टच ठरवतो — “critical” कशाला म्हणायचे, दोन तारखा दिसल्यास कोणती चालेल, एकके प्रमाणित करायची का.
- तरीही पडताळा. स्कीमा पाठिंबा यशदर वाढवतो; तो पडताळक आणि डेड-लेटर रांगेची जागा घेत नाही.
04“असेन्सॉर्ड” हा नुसता सामग्रीचा नव्हे तर विश्वासार्हतेचा गुणधर्म का आहे
गेटवेवरच्या Hy3 ला नकार स्तर नाही आणि आउटपुट फिल्टरिंग नाही. नेहमीची मांडणी सामग्रीबद्दल असते: सुरक्षा संशोधन, मालवेअर विश्लेषण, एक्सप्लॉइटची टिपणे, वैद्यकीय व कायदेशीर संग्रह, प्रौढ सामग्री, हानी-कमी करणारे दस्तावेजीकरण किंवा शत्रुत्वाच्या वापरकर्त्यांचे प्रतिलेख — हे सर्व मॉडेलने तुमच्या वतीने “नकोच” ठरवल्याशिवाय प्रक्रिया करता येते.
याला दुसरे, अधिक यांत्रिक कारणही आहे. नकार म्हणजे स्कीमाचे उल्लंघन. नकार देणारे फिल्टर लावलेले मॉडेल तुमची वस्तू "unavailable" ध्वजासह परत करत नाही — ते गद्य परत करते. “मी त्या विनंतीत मदत करू शकत नाही.” ती स्ट्रिंग incident वस्तू नाही; ती तुमच्या पडताळकात नापास होते आणि खऱ्या पार्स त्रुटींशेजारी डेड-लेटर रांगेत जाऊन पडते, जिथे आता तुम्हाला धोरणात्मक नकार आणि खरी विकृती वेगळी करावी लागते.
याहून वाईट म्हणजे नकार यादृच्छिकपणे न वाटता सामग्रीशी संबंधित असतात. तुमच्या संग्रहातले 4% सुरक्षा घटना अहवाल असतील आणि मॉडेल त्यातले बहुतेक नाकारत असेल, तर तुमचा 4% थ्रूपुट समानपणे गेलेला नाही — तुमची एक संपूर्ण श्रेणी गेली आहे, आणि त्या डेटावर बांधलेला डॅशबोर्ड नेमकी तीच गोष्ट मुकाट कमी दाखवतो जिच्यासाठी तो अस्तित्वात आहे. श्रेणीच्या आकाराची भोके एकसमान गोंगाटापेक्षा महाग पडतात, कारण त्यांच्यावर कोणताही इशारा वाजत नाही. नकाराचा मार्ग काढून टाका आणि जे उरते — विकृती, छाटणी, संदिग्ध मजकूर — ते विषयाशी असंबद्ध असते, आणि म्हणून मोजण्याजोगे असते.
असेन्सॉर्ड म्हणजे बेजबाबदार नव्हे
नकार स्तर नाही म्हणजे मॉडेल तुमच्या इनपुटवर भाष्य करत नाही. याचा अर्थ खात्यावर देखरेख नाही असा नव्हे. वापरावर आमचे जबाबदार वापर धोरण आणि लागू कायदा लागू आहे, आणि गैरवापराने प्रवेश संपतो. फिल्टर काढून टाकल्याने दस्तऐवजाच्या तुकड्यावरून तुमच्या हेतूचा अंदाज बांधणारे मॉडेल थांबते; तुम्ही जे बांधता त्याची तुमची जबाबदारी संपत नाही.
05संदर्भ, आउटपुट मर्यादा, आणि त्यांचे अंदाजपत्रक कसे आखावे
गेटवेवरची प्रत्येक मॉडेल त्याच मर्यादा वाटून घेतात:
संदर्भ हे सामायिक अंदाजपत्रक आहे: प्रॉम्प्ट अधिक आउटपुट मिळून 262,144 च्या आत बसावे लागते, त्यामुळे एका कॉलमधली व्यावहारिक इनपुट मर्यादा साधारण 2,45,000 टोकन असते, म्हणजे अगदी ढोबळपणे 1,80,000 इंग्रजी शब्द. संरचित कामासाठी 16,384-टोकनची आउटपुट मर्यादा अधिक कठोर असते आणि तीच लोकांना चकवते — प्रति नोंद एक वस्तू बाहेर टाकणारी स्कीमा विंडो भरण्याच्या कितीतरी आधी तिला धडकते. यावर दोन आकृतिबंध चालतात:
- रुंद इनपुट, अरुंद आउटपुट. संपूर्ण करार, अर्ज किंवा लॉग विंडो संदर्भात ढकला आणि एकच सुटसुटीत वस्तू मागा. इनपुट टोकन आउटपुट टोकनच्या एक-चतुर्थांश किमतीचे असतात, त्यामुळे भरपूर वाचून थोडे लिहिण्याला किंमत-रचनाच बक्षीस देते.
- बाइट संख्येवर नव्हे, नोंदींच्या सीमेवर तुकडे करा. मॉडेलला जोड दिसेल तिथे विभागा. वाक्याच्या मधोमध कापलेली नोंद उघड अपयशाऐवजी आत्मविश्वासाने चुकीची वस्तू तयार करते.
Hy3 चे नोंदवलेले दीर्घ-संदर्भ माहिती-काढणीचे बलस्थान — AA-LCR वर 73.4, आणि MRCR दीर्घ-संवाद स्मरणावर 42.9% वरून 75.1% पर्यंतची झेप — नेमकी तीच क्षमता आहे ज्यावर पहिला आकृतिबंध अवलंबून असतो, आणि ती चांगले लिहिण्याहून वेगळे कौशल्य आहे.
06तळाची किंमत, आणि खऱ्या पाइपलाइनचे गणित
Hy3 प्रति दशलक्ष इनपुट टोकन $0.50 आणि प्रति दशलक्ष आउटपुट टोकन $2.00 वर बसते — म्हणजे कॅटलॉगचा तळ, जो MiMo-V2.5, MiMo-V2.5-Pro, DeepSeek-V4-Flash-0731 आणि MiniMax-M3 यांच्यासोबत वाटलेला आहे. प्रातिनिधिक कामांवर सोडवून पाहिल्यास:
| काम | प्रति कॉल इनपुट | प्रति कॉल आउटपुट | प्रति कॉल खर्च | प्रति 1M कॉल |
|---|---|---|---|---|
| फील्ड काढणे | 1,200 | 300 | $0.0012 | $1,200 |
| दस्तऐवज वर्गीकरण | 3,000 | 120 | $0.0018 | $1,800 |
| लांब दस्तऐवजाचा स्कीमात सारांश | 40,000 | 900 | $0.0218 | $21,800 |
| पूर्ण-विंडो विश्लेषण | 240,000 | 2,000 | $0.1240 | $124,000 |
निर्णय बदलणारा आकडा मथळ्याचा दर नसून पुनःप्रयत्नांनंतरचा प्रभावी दर असतो. दोन मॉडेलची किंमत सारखीच असेल आणि एक 6% कॉलवर पडताळणीत नापास होत असेल तिथे दुसरे 1.5% वर होत असेल, तर जास्त भरकटणारे मॉडेल साधारण 4.5% अधिक कॉल चालवते — हे सोसण्याजोगे आहे. नुकसान शेपटीत आहे: पुन्हा केलेल्या कॉलना दुप्पट वेळ लागतो, त्यामुळे रहदारीच्या दिसण्याजोग्या हिश्श्यासाठी p99 विलंब साधारण दुप्पट होतो, आणि जे दोनदा फसते ते हाताने करायचे काम बनते. दिवसाला दहा लाख कॉलवर म्हणजे कुणालातरी वाचाव्या लागणाऱ्या हजारो नोंदी.
म्हणूनच तळाच्या किमतीत 8-बिट स्तराचा युक्तिवाद: इथे विश्वासार्हतेसाठी तुम्ही जास्तीचे पैसे देत नाही, त्यामुळे पुनःप्रयत्नांचे गणित म्हणजे फुकटचा पैसा आहे. 3-bit मॉडेल स्वस्त असते तर तोलण्याजोगी खरी अदलाबदल असती — पण Hy3 ची किंमत कॅटलॉगमधल्या सर्वात स्वस्त गोष्टीइतकीच आहे.
07तीन API बोली, एक मॉडेल
Hy3 गेटवेच्या तिन्ही बोलींवर उपलब्ध आहे आणि प्रत्येकीवर स्ट्रीमिंग आहे. तेच मॉडेल, तीच वेट्स, त्याच मर्यादा — तुमच्याकडे आधीच असलेल्या SDK शी जुळेल ती निवडा.
| एंडपॉइंट | बोली | तेव्हा वापरा जेव्हा |
|---|---|---|
| /v1/chat/completions | OpenAI | तुमच्याकडे OpenAI SDK, LangChain किंवा LlamaIndex आहे. बेस URL इकडे वळवा, मॉडेल आयडी बदला. |
| /v1/messages | Anthropic | तुम्ही Anthropic SDK वर आहात आणि भाषांतर स्तराशिवाय कंटेंट ब्लॉक हवे आहेत. |
| /v1/responses | Responses | तुम्हाला टाइप केलेले आउटपुट आणि सर्व्हर-बाजूची स्थिती असलेला नवा विनंती-आकार हवा आहे. |
Hy3 टूल कॉलिंग आणि रिझनिंग यांनाही पाठिंबा देते, reasoning_effort सह. माहिती-काढणीच्या कामासाठी उपयुक्त पाऊल सहसा रिझनिंग खाली आणणे हेच असते: स्वच्छ मजकुरावर नीट ठरवलेल्या स्कीमासाठी विचारांची टोकन ही तुम्ही पैसे मोजत असलेली आउटपुट टोकन आणि तुम्ही वाट पाहत असलेला विलंब असतात, आणि मिळकत जेमतेम असते. त्याऐवजी प्रयत्नाचे अंदाजपत्रक खरोखर संदिग्ध इनपुटवर खर्चा.
विनंती व प्रतिसादाचा संपूर्ण संदर्भ, पॅरामीटरच्या याद्या, स्ट्रीमिंगचे अर्थ आणि परस्परसंवादी प्लेग्राउंड API दस्तऐवजांमध्ये आहेत.
08तीन W8A16 मॉडेलमधून निवड करणे
सर्वोच्च विश्वासार्हतेच्या स्तरावर तीन मॉडेल बसतात, तिन्ही तळाच्या किमतीत. निवड बहुतांश मोडॅलिटीची आहे:
| मॉडेल | व्हिजन | json_schema | किंमत इन / आउट | यासाठी निवडा |
|---|---|---|---|---|
| Hy3 · W8A16 | नाही | होय | $0.50 / $2.00 | फक्त-मजकूर संरचित पाइपलाइन, टूल समन्वय, दीर्घ-संदर्भातून माहिती काढणे |
| MiMo-V2.5-Pro · W8A16 | नाही | होय | $0.50 / $2.00 | फक्त-मजकूर काम, जिथे तुम्हाला MiMo रांगेची Pro जुळवणी हवी असते |
| MiMo-V2.5 · W8A16 | होय | होय | $0.50 / $2.00 | प्रतिमा असलेले काहीही — स्कॅन केलेली दस्तऐवजे, स्क्रीनशॉट, छायाचित्रे |
तुमच्या इनपुटचा कोणताही भाग प्रतिमा असेल, तर निर्णय तुमच्यासाठी झालेलाच आहे: Hy3 फक्त मजकुराचे आहे — स्कॅन केलेली PDF, स्क्रीनशॉट आणि छायाचित्रे MiMo-V2.5 कडे पाठवा. इनपुट खरोखरच मजकूर असेल तिथे, एजंटिक टूल वापर, दीर्घ-संदर्भाचे स्मरण आणि कमी नोंदवलेला हॅल्युसिनेशन दर हे Hy3 चे चित्र पाइपलाइनच्या कामाशी सर्वात थेट जुळते. तिन्हींची किंमत सारखीच असल्यामुळे, तुमची स्कीमा त्यांपैकी दोघांवर काहीशे खऱ्या नोंदींवर चालवा आणि पार्स दर तपासा; कोणत्याही कोष्टकापेक्षा — या कोष्टकासह — ते हा प्रश्न अधिक चांगल्या प्रकारे निकाली काढते.
09Hy3 आपली जागा कुठे कमावते
- मोठ्या प्रमाणावरची फील्ड काढणी. करार, अर्ज, घटना अहवाल, प्रतिलेख, क्लिनिकल टिपणे, न्यायालयीन नोंदी — जिथे प्रति दस्तऐवज एक टाइप केलेली वस्तू हेच फळ असते आणि प्रमाणामुळे पुनःप्रयत्न महाग पडतात.
- मोठ्या प्रमाणावरचे वर्गीकरण आणि राउटिंग. बंद enum आउटपुट, जिथे मॉडेलचे संपूर्ण मोल एकोणिसावी श्रेणी कधीच शोधून न काढण्यात असते.
- सुरक्षा आणि धोका-गुप्तवार्तेचे संग्रह. मालवेअरची टिपणे, एक्सप्लॉइटची उघड माहिती आणि फिशिंगचे नमुने — म्हणजे फिल्टर लावलेल्या मॉडेलना नकाराकडे ढकलणारी सामग्री, आणि जिथे श्रेणीच्या आकाराचे भोक संपूर्ण उद्देशच फोल ठरवते.
- अडखळून चालणार नाहीत असे टूल-कॉलिंग एजंट. 8-बिट आर्ग्युमेंट विश्वासार्हता म्हणजे तुमच्या फंक्शनना दिलेले JSON पार्स होते; विद्रूप झालेला टूल कॉल म्हणजे किंचित वाईट उत्तर नव्हे, तर थांबलेला एजंट.
- लांब दस्तऐवजाचे संरचनेत विश्लेषण. संपूर्ण अर्ज आत, एक सुटसुटीत वस्तू बाहेर.
- कंटेंट मॉडरेशन आणि धोरण संशोधन. फिल्टर लावलेले मॉडेल वाचायलाच नकार देते त्या सामग्रीला लेबल लावणे ही ट्रस्ट-अँड-सेफ्टीची कायमची अडचण आहे; काटेकोर स्कीमा असलेले फिल्टरविरहित मॉडेल ती थेट सोडवते.
आणि ते कुठे नाही: प्रतिमा असलेले काहीही (MiMo-V2.5 वापरा), आणि स्वायत्त बहु-फाइल सॉफ्टवेअर अभियांत्रिकी, जिथे Tencent चीच कोष्टके Hy3 ला SWE-bench Verified वर GLM-5.2 च्या मागे आणि DeepSWE वर बऱ्याच मागे ठेवतात.
Hy3 आधाराविषयीचा प्रत्येक वास्तुरचनात्मक आणि बेंचमार्क दावा Tencent च्या सार्वजनिक प्रकाशन सामग्रीतून किंवा त्यावरच्या वृत्तांकनातून आलेला आहे; कॅटलॉगची तथ्ये आमच्या स्वतःच्या थेट /v1/models मधून येतात. दोन्ही पडताळा.
स्पर्धकांच्या आकड्यांसह सर्व बेंचमार्क आकडे Tencent-नोंदित आहेत; लिहिण्याच्या वेळी स्वतंत्र पडताळणी बाकी होती. खर्चाचे आकडे आमच्या प्रकाशित $0.50 / $2.00 दरांवरून मोजलेले आहेत. या पानावरचा एकही आकडा Shannon ने चालवलेला बेंचमार्क किंवा अंदाज नाही.
10वारंवार विचारले जाणारे प्रश्न
असेन्सॉर्ड Hy3 मॉडेल API म्हणजे काय?
तो Hy3-W8A16 या मॉडेल आयडीसाठीचा Shannon AI गेटवे एंडपॉइंट आहे — Tencent चा ओपन-वेट Hy3 आधार, आमच्या स्वतःच्या GPU क्लस्टरवर 8-bit वेट अचूकतेवर, नकार स्तराशिवाय आणि आउटपुट फिल्टरिंगशिवाय सर्व्ह केलेला. तो 262,144-टोकन संदर्भ विंडो, प्रति विनंती 16,384 आउटपुट टोकन, टूल कॉलिंग, reasoning_effort सह रिझनिंग, आणि json_schema व response_format दोन्हींमधून पूर्ण संरचित आउटपुट देतो, तेही /v1/chat/completions, /v1/messages आणि /v1/responses वर स्ट्रीमिंगसह.
Hy3 JSON स्कीमा आणि संरचित आउटपुटला पाठिंबा देते का?
होय. Hy3-W8A16 JSON-वस्तू मोडसाठी response_format आणि काटेकोर, टाइप केलेल्या स्कीमासाठी json_schema — दोन्हींना पाठिंबा देते, म्हणजे संपूर्ण संरचित-आउटपुट पृष्ठभाग, अर्धवट नव्हे. कॅटलॉगमधल्या प्रत्येक मॉडेलबाबत हे खरे नाही: Laguna-S-2.1 यांपैकी कशालाच पाठिंबा देत नाही, आणि inkling response_format ला देते पण json_schema ला नाही. तुमची पाइपलाइन टाइप केलेल्या करारावर अवलंबून असेल, तर तो पाळू शकणाऱ्या मॉडेलपैकी Hy3 एक आहे.
W8A16 म्हणजे काय, आणि ते 4-bit किंवा 3-bit पेक्षा चांगले आहे का?
W8A16 म्हणजे 8-bit वेट्स आणि 16-bit ॲक्टिव्हेशन — आम्ही सर्व्ह करत असलेला सर्वोच्च विश्वासार्हतेचा स्तर. W4A16-AUTOROUND-REAP (4-bit वेट्स, शिकलेले राउंडिंग, एक्सपर्ट छाटणी) आणि 3BIT-REAP (3-bit वेट्स अधिक एक्सपर्ट छाटणी) यांच्या तुलनेत ते प्रसिद्ध वेट्समध्ये सर्वात कमी बदल करते, त्यामुळे वर्तन मूळ चेकपॉइंटच्या सर्वात जवळ राहते. आक्रमक स्तर अस्तित्वात आहेत कारण अन्यथा सर्वात मोठे आधार वेगात सर्व्ह करणे अव्यवहार्य ठरले असते.
Hy3 प्रतिमा किंवा व्हिजनला पाठिंबा देते का?
नाही. Hy3-W8A16 फक्त मजकुराचे आहे. त्याला इमेज भाग पाठवून चालणार नाही. त्याच 8-बिट स्तरावर व्हिजन अधिक संरचित आउटपुट हवे असेल, तर MiMo-V2.5-W8A16 वापरा, जे त्याच $0.50 / $2.00 किमतीत json_schema व response_format सोबत इमेज इनपुटलाही पाठिंबा देते.
Hy3 API चा खर्च किती?
प्रति दशलक्ष इनपुट टोकन $0.50 आणि प्रति दशलक्ष आउटपुट टोकन $2.00 — आमच्या कॅटलॉगमधली तळाची किंमत, MiMo-V2.5, MiMo-V2.5-Pro, DeepSeek-V4-Flash-0731 आणि MiniMax-M3 यांच्यासोबत वाटलेली. प्रति कॉल 1,200 इनपुट आणि 300 आउटपुट टोकनची प्रातिनिधिक माहिती-काढणी पाइपलाइन प्रति कॉल साधारण $0.0012, म्हणजे प्रति दशलक्ष कॉल साधारण $1,200 पडते.
Hy3 एखादी विनंती नाकारेल का?
मॉडेलसमोर नकार स्तर नाही आणि आउटपुट फिल्टरिंग नाही. संरचित पाइपलाइनसाठी हा जितका सामग्रीचा तितकाच विश्वासार्हतेचाही गुणधर्म आहे: नकार म्हणजे स्कीमाचे उल्लंघन, कारण मॉडेल उत्तर का देणार नाही हे सांगणारे गद्य तुमच्या पडताळकाला अपेक्षित असलेली वस्तू म्हणून पार्स होत नाही. नकाराचा मार्ग काढून टाकल्याने सुरक्षा, वैद्यकीय, कायदेशीर आणि प्रौढ-सामग्रीच्या संग्रहांवरचा पार्स-अपयशाचा संपूर्ण वर्गच नाहीसा होतो.
तुमच्या स्वतःच्या स्कीमावर Hy3 चालवा
8-बिट विश्वासार्हता, काटेकोर json_schema, 262K संदर्भ, नकार नाहीत — तेही तळाच्या दरात.
मॉडेल आयडी Hy3-W8A16 · फक्त मजकूर · प्रति 1M टोकन $0.50 इन / $2.00 आउट
स्रोत: Tencent Hunyuan मॉडेल कार्ड · Hy3 रेपॉझिटरी · Hunyuan-Large: An Open-Source MoE Model (arXiv 2411.02265) · Hy3 प्रकाशनावरचे VentureBeat वृत्तांकन. आधाराचे बेंचमार्क Tencent-नोंदित आणि स्वतंत्र पडताळणी होईपर्यंत तात्पुरते आहेत. Shannon AI चे संचालन Shannon Lab LLC, न्यू मेक्सिको, अमेरिका करते.