സെൻസർ ചെയ്യാത്ത Hy3 മോഡൽ API
Tencent-ന്റെ 295B Hy3 അടിത്തറ 8-ബിറ്റ് വെയ്റ്റ് കൃത്യതയിൽ, കർശനമായ json_schema ഔട്ട്പുട്ടോടെ, 262,144-ടോക്കൺ ജാലകവും നിരസന പാളിയില്ലാതെയും — കാറ്റലോഗിന്റെ തറനിരക്കിൽ.
TL;DR
Hy3-W8A16 ഞങ്ങളുടെ മൂന്ന് W8A16 മോഡലുകളിൽ മൂന്നാമത്തേതാണ് — 8-ബിറ്റ് വെയ്റ്റുകൾ, 16-ബിറ്റ് ആക്ടിവേഷനുകൾ, ഞങ്ങൾ നൽകുന്ന ഏറ്റവും ഉയർന്ന-കൃത്യതാ തട്ട്. ഇത് ടെക്സ്റ്റ്-മാത്രമാണ്, json_schema-യും response_format-ഉം രണ്ടും പിന്തുണയ്ക്കുന്നു, കാറ്റലോഗ്-വ്യാപകമായ 262,144-ടോക്കൺ സന്ദർഭവും 16,384-ടോക്കൺ ഔട്ട്പുട്ട് പരിധിയും വഹിക്കുന്നു, ദശലക്ഷം ടോക്കണിന് $0.50 / $2.00 ചെലവാകുന്നു — തറ. നിരസന പാളിയില്ല, ഔട്ട്പുട്ട് ഫിൽട്ടറിംഗില്ല. ഫിൽട്ടർ ചെയ്ത ഒരു മോഡൽ തൊടാൻ വിസമ്മതിക്കുന്ന ഉള്ളടക്കത്തിലടക്കം, എല്ലാ കോളിലും പാഴ്സ് ചെയ്യാവുന്നതും ടൈപ്പ് ചെയ്തതുമായ ഔട്ട്പുട്ട് തിരികെ നൽകേണ്ട ഉയർന്ന-വോളിയം ടെക്സ്റ്റ് പൈപ്പ്ലൈനുകൾക്കായി ഇത് തിരഞ്ഞെടുക്കുക.
"ഏത് മോഡൽ ഉപയോഗിക്കണം" എന്ന മിക്ക തർക്കങ്ങളും ഉയരത്തെക്കുറിച്ചാണ്: ഏതാണ് ഏറ്റവും നല്ല കോഡ് എഴുതുന്നത്, ഏറ്റവും കടുപ്പമുള്ള ഗണിതം പരിഹരിക്കുന്നത്, ഏറ്റവും ദൈർഘ്യമേറിയ ഏജന്റ് റൺ ജയിക്കുന്നത്. ഘടനാപരമായ പൈപ്പ്ലൈനുകൾ അങ്ങനെയല്ല പ്രവർത്തിക്കുന്നത്. ഒരു ലക്ഷം രേഖകളിൽ നിന്ന് ദിവസവും ഫീൽഡുകൾ എക്സ്ട്രാക്റ്റ് ചെയ്യുന്ന ഒരു ജോലിക്ക് ഒരിക്കൽ മിടുക്കനായ ഒരു മോഡൽ ആവശ്യമില്ല — എല്ലാ തവണയും അതേ രൂപത്തിൽ ശരിയായ ഒന്നാണ് വേണ്ടത്, JSON ഒബ്ജക്ട് വേണ്ടിടത്ത് ഒരിക്കലും ഒരു ഖണ്ഡിക തിരികെ നൽകാത്തതും. അതാണ് Hy3-W8A16 ഇവിടെയുള്ളതിന്റെ ഗുണം.
01Hy3 എന്താണ്, അത് എവിടെ നിന്നാണ് വരുന്നത്
Tencent-ന്റെ Hunyuan ടീമിൽ നിന്നുള്ള ഒരു ഓപ്പൺ-വെയ്റ്റ്സ് യുക്തിചിന്താ, ഏജന്റിക് മോഡലാണ് Hy3, 2026 ജൂലൈ 6-ന് ഒരു അനുവദനീയമായ ലൈസൻസിന് കീഴിൽ പൂർണ്ണമായി പുറത്തിറക്കി, Hugging Face-ൽ വെയ്റ്റുകൾ പ്രസിദ്ധീകരിച്ചു. Tencent-ന്റെ മുൻകാല Hunyuan-Large Mixture-of-Experts ജോലിയുടെ പരമ്പര ഇത് തുടരുന്നു. വാസ്തുവിദ്യാപരമായി ഇത് ഒരു സ്പാഴ്സ് MoE ആണ്: 295 ബില്യൺ ആകെ പാരാമീറ്ററുകൾ, അതിൽ ഏകദേശം 21 ബില്യൺ ടോക്കണിന് സജീവമാകുന്നു 192 എക്സ്പെർട്ടുകളിലുടനീളം top-8 റൂട്ടിംഗ് വഴി, ഗ്രൂപ്പ്ഡ്-ക്വറി അറ്റൻഷനുള്ള 80-ലെയർ ട്രാൻസ്ഫോർമറിൽ, കൂടാതെ സ്പെക്യുലേറ്റീവ് ഡീകോഡിംഗിനായി പ്രത്യേകം 3.8B മൾട്ടി-ടോക്കൺ-പ്രെഡിക്ഷൻ ലെയറും. നേറ്റീവ് സന്ദർഭം 256K ആണ് — ഞങ്ങൾ വെളിപ്പെടുത്തുന്ന കൃത്യമായ 262,144 ടോക്കൺ, വലുതായ എന്തിന്റെയെങ്കിലും ട്രങ്കേഷനല്ല, ചെറുതായ എന്തിന്റെയെങ്കിലും റോപ്പ്-സ്ട്രെച്ച്ഡ് വിപുലീകരണവുമല്ല.
ടോക്കണിന് പണം നൽകുന്ന ആർക്കും പ്രധാനപ്പെട്ട സംഖ്യയാണ് ആ സ്പാഴ്സിറ്റി അനുപാതം: ഒരു 21B മോഡലിന്റെ ഏകദേശം ഗണിതം ഓരോ ഫോർവേഡ് പാസിലും ചെയ്യുമ്പോൾ 295B മോഡലിന്റെ അറിവ് Hy3 വഹിക്കുന്നു. അതുകൊണ്ടാണ് ഇത് കൂടുതൽ കഠിനമായി കംപ്രസ് ചെയ്യുന്നതിന് പകരം 8 ബിറ്റിൽ നൽകാൻ ഞങ്ങൾക്ക് കഴിയുന്നത് — ഇത്രയും സ്പാഴ്സ് ആയ ഒരു മോഡലിന്റെ 8-ബിറ്റ് നിർമ്മാണം ഇപ്പോഴും ഞങ്ങളുടെ സ്വന്തം GPU ക്ലസ്റ്ററിൽ ഒതുങ്ങുകയും വേഗത്തിൽ പ്രവർത്തിക്കുകയും ചെയ്യുന്നു.
Tencent എന്തിലാണ് ഇത് നല്ലതെന്ന് റിപ്പോർട്ട് ചെയ്യുന്നത്
അസംസ്കൃത കോഡിംഗിനെക്കാൾ ഏജന്റിക് സെർച്ച്, ടൂൾ ഓർക്കസ്ട്രേഷൻ, ദീർഘ-സന്ദർഭ വീണ്ടെടുക്കൽ എന്നിവയിലാണ് Hy3-യുടെ ശക്തികൾ എന്ന് Tencent-ന്റെ പ്രസിദ്ധീകരിച്ച മൂല്യനിർണ്ണയ പട്ടികകൾ കൃത്യമായി കാണിക്കുന്നു. അവർ റിപ്പോർട്ട് ചെയ്ത കണക്കുകൾ:
ദുർബലമായ ബാറുകൾ ഞങ്ങൾ മനഃപൂർവ്വം കാണിക്കുന്നു. Tencent-ന്റെ സ്വന്തം താരതമ്യത്തിൽ Hy3 കോഡിംഗിൽ GLM-5.2-നെക്കാൾ പിന്നിലാണ് — SWE-bench Verified-ൽ 84.2-നെതിരെ 78.0, DeepSWE-ൽ 46.2-നെതിരെ 28.0. നിങ്ങളുടെ വർക്ക്ലോഡ് സ്വയംഭരണ മൾട്ടി-ഫയൽ സോഫ്റ്റ്വെയർ എഞ്ചിനീയറിംഗ് ആണെങ്കിൽ, ആദ്യം ബാക്കി മോഡൽ ഗവേഷണ സൂചിക വായിക്കുക. ടെക്സ്റ്റ് വായിച്ച് ഘടന പുറപ്പെടുവിക്കുന്നതാണെങ്കിൽ, പ്രൊഫൈൽ ഏകദേശം അനുയോജ്യമാണ്.
പൈപ്പ്ലൈൻ ജോലിക്ക് ഏറ്റവും പ്രധാനപ്പെട്ട സംഖ്യ ഒരു വിശ്വാസ്യതാ സംഖ്യയാണ്: മുൻ തലമുറയിലെ 12.5%-ൽ നിന്ന് കുറഞ്ഞ് Hy3-യുടെ ഭ്രമാത്മകതാ നിരക്ക് 5.4% ആണെന്ന് Tencent റിപ്പോർട്ട് ചെയ്യുന്നു, കോമൺസെൻസ് പിശകുകൾ 25.4%-ൽ നിന്ന് 12.7%-ലേക്ക് കുറഞ്ഞു. തെളിവുള്ളപ്പോൾ ഉത്തരം നൽകുക, ഒന്നുമില്ലാത്തപ്പോൾ വ്യക്തമായി പറയുക എന്ന അവരുടെ പ്രസ്താവിത പരിശീലന തത്വം, ഉറവിടം ഒരിക്കലും പരാമർശിക്കാത്ത ഒരു ഫീൽഡിനായി വിശ്വസനീയമായ ഒരു മൂല്യം കണ്ടുപിടിക്കുന്ന ഒരു എക്സ്ട്രാക്ഷൻ മോഡലിൽ നിങ്ങൾക്ക് വേണ്ട സ്വഭാവം തന്നെയാണ്.
ഈ വിഭാഗത്തിലെ എല്ലാ കണക്കുകളും Tencent-ന്റെ സ്വന്തം ടെസ്റ്റ് റണ്ണുകളിൽ നിന്ന് റിപ്പോർട്ട് ചെയ്തതാണ്; സ്വതന്ത്ര മൂന്നാം-കക്ഷി പരിശോധന എഴുതുന്ന സമയത്ത് ഇപ്പോഴും തീർച്ചയായിട്ടില്ല. അവയെ സ്ഥിരതയുള്ളതായല്ല, ദിശാസൂചകമായി കണക്കാക്കുക.
02W8A16 എന്താണ് അർത്ഥമാക്കുന്നത്, ഘടനാപരമായ ഔട്ട്പുട്ടിന് അത് പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്
ഗേറ്റ്വേയിലെ ഓരോ മോഡലും ഒരു ക്വാണ്ടൈസേഷൻ ഉപസർഗ്ഗം വഹിക്കുന്നു. അത് അലങ്കാരമല്ല — ലാബ് പുറത്തിറക്കിയ ചെക്ക്പോയിന്റിൽ നിന്ന് നൽകിയ വെയ്റ്റുകൾ എത്ര ദൂരെയാണ് ഇരിക്കുന്നത് എന്ന് ഇത് നിങ്ങളോട് പറയുന്നു.
| തട്ട് | ഇത് എന്ത് ചെയ്യുന്നു | കൃത്യത |
|---|---|---|
| 3BIT-REAP | 3-ബിറ്റ് വെയ്റ്റുകൾ കൂടാതെ REAP, ക്വാണ്ടൈസ് ചെയ്യുന്നതിന് മുമ്പ് അപൂർവ്വമായി റൂട്ട് ചെയ്യപ്പെടുന്ന MoE എക്സ്പെർട്ടുകളെ ഉപേക്ഷിക്കുന്ന ഒരു എക്സ്പെർട്ട്-പ്രൂണിംഗ് രീതി | ഏറ്റവും കംപ്രസ് ചെയ്തത് |
| W4A16-AUTOROUND-REAP | 4-ബിറ്റ് വെയ്റ്റുകൾ / 16-ബിറ്റ് ആക്ടിവേഷനുകൾ AutoRound വഴി — നൈസർഗ്ഗിക റൗണ്ട്-ടു-നിയറസ്റ്റിനെക്കാൾ കൃത്യത വീണ്ടെടുക്കുന്ന പഠിച്ച റൗണ്ടിംഗ് — കൂടാതെ REAP പ്രൂണിംഗും | മധ്യമം |
| W8A16 | 8-ബിറ്റ് വെയ്റ്റുകൾ / 16-ബിറ്റ് ആക്ടിവേഷനുകൾ. പ്രൂണിംഗില്ല, പഠിച്ച-റൗണ്ടിംഗ് നന്നാക്കലില്ല — വെയ്റ്റുകൾ വെറും ഇരട്ടി കൃത്യതയിൽ വഹിക്കുന്നു | ഏറ്റവും ഉയർന്നത് |
ക്വാണ്ടൈസേഷൻ ഡ്രിഫ്റ്റ് യഥാർത്ഥത്തിൽ എവിടെ ഉപദ്രവിക്കുന്നു
REAP-ഉം AutoRound-ഉം നൈസർഗ്ഗിക കംപ്രഷൻ നഷ്ടപ്പെടുത്തുന്നതിന്റെ ഭൂരിഭാഗവും വീണ്ടെടുക്കുന്നു — പക്ഷേ ആ വാചകത്തിൽ "ഭൂരിഭാഗം" ജോലി ചെയ്യുന്നു, ബാക്കിയുള്ളത് തുല്യമായി വീഴുന്നില്ല. കുറഞ്ഞ-ബിറ്റ് ക്വാണ്ടൈസേഷൻ വാലുകളെ നശിപ്പിക്കുന്നു: കുറഞ്ഞ-സാധ്യതയുള്ള, ഉയർന്ന-നിർദ്ദിഷ്ടതയുള്ള തീരുമാനങ്ങൾ. ഗദ്യത്തിൽ ഇത് ഏകദേശം അദൃശ്യമാണ്; വ്യത്യസ്തമായ ഒരു വിശേഷണം ഇപ്പോഴും ഒരു നല്ല വാക്യമാണ്. ഘടനാപരമായ ഔട്ട്പുട്ടിൽ ഇത് മുഴുവൻ കളിയാണ്, കാരണം ഓരോന്നും കൃത്യമായി ശരിയായിരിക്കേണ്ട കുറഞ്ഞ-സാധ്യതയുള്ള തീരുമാനങ്ങളുടെ ഒരു നീണ്ട ശൃംഖലയാണ് ഒരു സ്കീമ:
- ടോക്കൺ-തല സിന്റാക്സ്. ഒരു ക്ലോസിംഗ് ബ്രേസ്, ഒരു കോമ, ഒരു ക്വോട്ട് കാരക്ടർ. ഓരോന്നും ഒരു ടോക്കൺ ആണ്, ഒരു തെറ്റായ ടോക്കൺ മുഴുവൻ പ്രതികരണത്തെയും അസാധുവാക്കുന്നു.
- Enum അച്ചടക്കം. നിങ്ങളുടെ സ്കീമ പറയുന്നു
"status""open" | "closed" | "pending"എന്നിവയിലൊന്നാണ്; ഡ്രിഫ്റ്റ് ചെയ്ത ഒരു മോഡൽ"Open"അല്ലെങ്കിൽ"pending review"തിരികെ നൽകുന്നു — അർത്ഥപരമായി അടുത്തതും, രണ്ടിനും സാധുതയില്ലാത്തതും. - Type അച്ചടക്കം. ഒരു
numberഫീൽഡ്"1,240"ആയി തിരികെ വരുന്നു, ഒരുboolean"yes"ആയും. രണ്ടും സ്ട്രിംഗുകളായി പാഴ്സ് ചെയ്യുകയും സ്കീമ പരാജയപ്പെടുകയും ചെയ്യുന്നു. - ലോംഗ്-ടെയിൽ ലിറ്ററലുകൾ. അപൂർവ്വമായ ശരിയായ നാമങ്ങൾ, ഭാഗം നമ്പറുകൾ, രാസ നാമങ്ങൾ, ലാറ്റിൻ അല്ലാത്ത ലിപികൾ, കൃത്യമായ തീയതികൾ — കുറഞ്ഞ-ബിറ്റ് വെയ്റ്റുകൾ മങ്ങിക്കുന്ന കുറഞ്ഞ-സാധ്യതാ പ്രദേശം കൃത്യമായി.
ഇതൊന്നും 4-ബിറ്റ് അല്ലെങ്കിൽ 3-ബിറ്റ് മോഡലുകളെ മോശമാക്കുന്നില്ല; സംഭാഷണ ജോലിക്ക് കൃത്യതാ വ്യത്യാസം പലപ്പോഴും വില വ്യത്യാസത്തിന് യോഗ്യമല്ല. പക്ഷേ ഔട്ട്പുട്ടിന്റെ ഉപഭോക്താവ് ഒരു മനുഷ്യനല്ല ഒരു വാലിഡേറ്റർ ആയിരിക്കുമ്പോൾ, വാലുകളിലെ കൃത്യത നേരിട്ട് പാഴ്സ് നിരക്കിലേക്ക് പരിവർത്തനം ചെയ്യുന്നു — പാഴ്സ് നിരക്ക് റീട്രൈ ബജറ്റിലേക്കും p99 ലേറ്റൻസിയിലേക്കും. ആ നികുതി അടയ്ക്കുന്നത് നിർത്തുന്ന തട്ടാണ് W8A16.
03ഘടനാപരമായ ഔട്ട്പുട്ട്: json_schema, response_format
ഘടനാപരമായ-ഔട്ട്പുട്ട് പ്രതലത്തിന്റെ രണ്ട് പകുതികളും Hy3 പിന്തുണയ്ക്കുന്നു — വ്യക്തമായി പറയേണ്ട കാര്യമാണ്, കാരണം അത് കാറ്റലോഗിലുടനീളം സാർവ്വത്രികമല്ല:
| മോഡൽ | response_format | json_schema |
|---|---|---|
| Hy3 · W8A16 | അതെ | അതെ |
| MiMo-V2.5-Pro · W8A16 | അതെ | അതെ |
| inkling · W4A16-AUTOROUND-REAP | അതെ | ഇല്ല |
| Laguna-S-2.1 · W4A16-AUTOROUND-REAP | ഇല്ല | ഇല്ല |
രണ്ട് സംവിധാനങ്ങൾ തമ്മിലുള്ള വ്യത്യാസം ആളുകൾ കരുതുന്നതിനെക്കാൾ പ്രധാനമാണ്. response_format: {"type": "json_object"} സാധുവായ JSON മാത്രമേ ചോദിക്കുന്നുള്ളൂ — മോഡൽ രൂപം തിരഞ്ഞെടുക്കുന്നു, അതിനാൽ രണ്ട് കോളുകൾക്ക് {"name": ...}, {"full_name": ...} എന്നിവ തിരികെ നൽകാം രണ്ടും ശരിയായിരിക്കും. json_schema മുൻകൂട്ടി രൂപം നൽകുന്നു: പേരുള്ള ഫീൽഡുകൾ, ടൈപ്പുകൾ, enum-കൾ, ആവശ്യമായ ലിസ്റ്റുകൾ, നെസ്റ്റിംഗ്. അതൊരു കരാറാണ് നിങ്ങൾക്ക് കോഡ് എഴുതാൻ കഴിയുന്നത്.
OpenAI-അനുയോജ്യമായ ഭാഷാഭേദത്തിലെ ഒരു ചെറിയ കോൾ:
POST /v1/chat/completions
{
"model": "Hy3-W8A16",
"messages": [
{"role": "system", "content": "Extract fields from the incident report. Use null for anything not stated."},
{"role": "user", "content": "<report text>"}
],
"response_format": {
"type": "json_schema",
"json_schema": {
"name": "incident",
"strict": true,
"schema": {
"type": "object",
"properties": {
"severity": {"type": "string", "enum": ["low","medium","high","critical"]},
"component": {"type": "string"},
"occurred_at": {"type": ["string","null"], "description": "ISO-8601"},
"affected_users": {"type": ["integer","null"]},
"indicators": {
"type": "array",
"items": {"type": "object", "properties": {
"kind": {"type": "string", "enum": ["ip","domain","hash","cve"]},
"value": {"type": "string"}
}, "required": ["kind","value"]}
}
},
"required": ["severity","component","occurred_at","affected_users","indicators"]
}
}
}
}
പ്രായോഗിക കുറിപ്പുകൾ
- എല്ലാ ഫീൽഡും ആവശ്യമുള്ളതാക്കി
nullഅനുവദിക്കുക. ഓപ്ഷണൽ ഫീൽഡുകൾ നിശ്ശബ്ദ ഡ്രോപ്പുകൾക്ക് ക്ഷണിക്കുന്നു; ആവശ്യമുള്ളതും null ആകാവുന്നതുമായ ഒരു ഫീൽഡ് വ്യക്തമായ ഒരു "ഇല്ല" നിർബന്ധിതമാക്കുന്നു, അത് നിങ്ങൾക്ക് പ്രവർത്തിക്കാൻ കഴിയുന്ന വിവരമാണ്. - Enum-കൾ സ്വതന്ത്ര സ്ട്രിംഗുകളെ തോൽപ്പിക്കുന്നു. നിങ്ങൾക്ക് മൂല്യ സെറ്റ് അടയ്ക്കാൻ കഴിയുന്നിടത്തെല്ലാം, അടയ്ക്കുക — ഒരു സ്കീമയുടെ യഥാർത്ഥ-ലോക പാസ് നിരക്കിലേക്കുള്ള ഏറ്റവും ഉയർന്ന-സ്വാധീനമുള്ള മാറ്റം.
- 16,384-ടോക്കൺ ഔട്ട്പുട്ട് പരിധിക്ക് താഴെ തുടരുക. പരിധിയില്ലാത്ത ഒരു അറേ ഒബ്ജക്ടിന് മധ്യേ ട്രങ്കേറ്റ് ചെയ്യും. അറേ നീളങ്ങൾ പരിമിതപ്പെടുത്തുക, അല്ലെങ്കിൽ ഇൻപുട്ട് ഷാർഡ് ചെയ്യുക.
- സിസ്റ്റം സന്ദേശം സൂക്ഷിക്കുക. സ്കീമ രൂപത്തെ നിയന്ത്രിക്കുന്നു; പ്രോംപ്റ്റ് ഇപ്പോഴും അർത്ഥത്തെ ഭരിക്കുന്നു — എന്താണ് "ക്രിട്ടിക്കൽ" ആയി കണക്കാക്കുന്നത്, രണ്ട് തീയതികൾ പ്രത്യക്ഷപ്പെടുമ്പോൾ ഏതാണ് ജയിക്കുന്നത്, യൂണിറ്റുകൾ നോർമലൈസ് ചെയ്യണോ.
- എന്തായാലും വാലിഡേറ്റ് ചെയ്യുക. സ്കീമ പിന്തുണ പാസ് നിരക്ക് ഉയർത്തുന്നു; ഇത് ഒരു വാലിഡേറ്ററെയും ഡെഡ്-ലെറ്റർ ക്യൂവിനെയും മാറ്റിസ്ഥാപിക്കുന്നില്ല.
04"സെൻസർ ചെയ്യാത്തത്" ഒരു ഉള്ളടക്ക സ്വത്ത് മാത്രമല്ല, ഒരു വിശ്വാസ്യതാ സ്വത്ത് ആയിരിക്കുന്നത് എന്തുകൊണ്ട്
ഗേറ്റ്വേയിലെ Hy3-ക്ക് നിരസന പാളിയോ ഔട്ട്പുട്ട് ഫിൽട്ടറിംഗോ ഇല്ല. സാധാരണ ഫ്രെയിമിംഗ് ഉള്ളടക്കത്തെക്കുറിച്ചാണ്: മോഡൽ നിങ്ങൾക്ക് വേണ്ടി അതിന് വേണ്ട എന്ന് തീരുമാനിക്കാതെ സുരക്ഷാ ഗവേഷണം, മാൽവെയർ വിശകലനം, എക്സ്പ്ലോയിറ്റ് എഴുത്തുകൾ, മെഡിക്കൽ, നിയമ കോർപ്പസുകൾ, മുതിർന്നവർക്കുള്ള ഉള്ളടക്കം, ദോഷം-കുറയ്ക്കൽ ഡോക്യുമെന്റേഷൻ അല്ലെങ്കിൽ ശത്രുതാപരമായ-ഉപയോക്തൃ ട്രാൻസ്ക്രിപ്റ്റുകൾ എന്നിവ പ്രോസസ് ചെയ്യാൻ നിങ്ങൾക്ക് കഴിയും.
അതിന് പ്രാധാന്യമുള്ള രണ്ടാമത്തെ, കൂടുതൽ യാന്ത്രികമായ ഒരു കാരണമുണ്ട്. ഒരു നിരസനം ഒരു സ്കീമ ലംഘനമാണ്. നിരസിക്കുന്ന ഫിൽട്ടർ ചെയ്ത ഒരു മോഡൽ "unavailable" ഫ്ലാഗോടെ നിങ്ങളുടെ ഒബ്ജക്ട് തിരികെ നൽകുന്നില്ല — അത് ഗദ്യം തിരികെ നൽകുന്നു. "ആ അഭ്യർത്ഥനയിൽ സഹായിക്കാൻ എനിക്ക് കഴിയില്ല." ആ സ്ട്രിംഗ് ഒരു incident ഒബ്ജക്ടല്ല; അത് നിങ്ങളുടെ വാലിഡേറ്ററെ പരാജയപ്പെടുത്തുകയും യഥാർത്ഥ പാഴ്സ് പിശകുകൾക്കൊപ്പം ഡെഡ്-ലെറ്റർ ക്യൂവിൽ ഇറങ്ങുകയും ചെയ്യുന്നു, ഇപ്പോൾ നിങ്ങൾ പോളിസി നിരസനങ്ങളെ യഥാർത്ഥ വൈകൃതങ്ങളിൽ നിന്ന് വേർതിരിക്കേണ്ടിവരുന്നു.
കൂടുതൽ മോശം, നിരസനങ്ങൾ ക്രമരഹിതമായി വിതരണം ചെയ്യപ്പെടുന്നതിനുപകരം ഉള്ളടക്കവുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു. നിങ്ങളുടെ കോർപ്പസിന്റെ 4% സുരക്ഷാ സംഭവ റിപ്പോർട്ടുകളാണെങ്കിൽ മോഡൽ അവയിൽ ഭൂരിഭാഗവും നിരസിക്കുന്നുവെങ്കിൽ, നിങ്ങൾ 4% ത്രൂപുട്ട് തുല്യമായി നഷ്ടപ്പെടുത്തിയിട്ടില്ല — നിങ്ങൾ ഒരു വിഭാഗം നഷ്ടപ്പെടുത്തി, ആ ഡാറ്റയിൽ നിർമ്മിച്ച ഡാഷ്ബോർഡ് അത് വെളിപ്പെടുത്താൻ നിലനിൽക്കുന്ന കാര്യം തന്നെ നിശ്ശബ്ദമായി കുറച്ചു റിപ്പോർട്ട് ചെയ്യുന്നു. വിഭാഗ-ആകൃതിയിലുള്ള ദ്വാരങ്ങൾ ഏകീകൃത ശബ്ദത്തെക്കാൾ ചെലവേറിയതാണ് കാരണം ഒന്നും അവയിൽ അലേർട്ട് ചെയ്യുന്നില്ല. നിരസന പാത നീക്കം ചെയ്യുക, ബാക്കിയുള്ളത് — വൈകൃതങ്ങൾ, ട്രങ്കേഷനുകൾ, അവ്യക്തമായ ടെക്സ്റ്റ് — വിഷയവുമായി പരസ്പര ബന്ധമില്ലാത്തതും അതിനാൽ അളക്കാവുന്നതുമാണ്.
സെൻസർ ചെയ്യാത്തത് ഉത്തരവാദിത്തമില്ലാത്തതല്ല
നിരസന പാളി ഇല്ലെന്നാൽ മോഡൽ നിങ്ങളുടെ ഇൻപുട്ടിനെക്കുറിച്ച് അഭിപ്രായം പറയുന്നില്ല എന്നാണ്. അക്കൗണ്ട് നിരീക്ഷിക്കപ്പെടുന്നില്ല എന്നല്ല അതിന്റെ അർത്ഥം. ഞങ്ങളുടെ ഉത്തരവാദിത്ത ഉപയോഗ നയവും ബാധകമായ നിയമവുമാണ് ഉപയോഗത്തെ നിയന്ത്രിക്കുന്നത്, ദുരുപയോഗം ആക്സസ് അവസാനിപ്പിക്കുന്നു. ഫിൽട്ടർ നീക്കം ചെയ്യുന്നത് ഒരു ഡോക്യുമെന്റ് ശകലത്തിൽ നിന്ന് നിങ്ങളുടെ ഉദ്ദേശ്യം ഊഹിക്കുന്ന ഒരു മോഡലിനെ നിർത്തുന്നു; നിങ്ങൾ നിർമ്മിക്കുന്നതിനുള്ള നിങ്ങളുടെ ഉത്തരവാദിത്തം അത് നീക്കം ചെയ്യുന്നില്ല.
05സന്ദർഭം, ഔട്ട്പുട്ട് പരിധി, അവ എങ്ങനെ ബജറ്റ് ചെയ്യാം
ഗേറ്റ്വേയിലെ ഓരോ മോഡലും ഒരേ പരിധികൾ പങ്കിടുന്നു:
സന്ദർഭം ഒരു പങ്കിട്ട ബജറ്റാണ്: പ്രോംപ്റ്റും ഔട്ട്പുട്ടും ചേർന്ന് 262,144-ൽ ഒതുങ്ങണം, അതിനാൽ ഒരു കോളിലെ പ്രായോഗിക ഇൻപുട്ട് പരിധി ഏകദേശം 245,000 ടോക്കൺ ആണ്, ഏകദേശം 180,000 ഇംഗ്ലീഷ് വാക്കുകൾ. ഘടനാപരമായ ജോലിക്ക് 16,384-ടോക്കൺ ഔട്ട്പുട്ട് പരിധിയാണ് കടുപ്പമുള്ള പരിധി, ആളുകളെ അത്ഭുതപ്പെടുത്തുന്നത് — ഓരോ റെക്കോർഡിനും ഒരു ഒബ്ജക്ട് പുറപ്പെടുവിക്കുന്ന ഒരു സ്കീമ ജാലക നിറയുന്നതിന് വളരെ മുമ്പുതന്നെ അതിലെത്തുന്നു. രണ്ട് പാറ്റേണുകൾ ഇതിനെതിരെ പ്രവർത്തിക്കുന്നു:
- വിശാലമായ ഇൻപുട്ട്, ഇടുങ്ങിയ ഔട്ട്പുട്ട്. ഒരു മുഴുവൻ കരാർ, ഫയലിംഗ് അല്ലെങ്കിൽ ലോഗ് വിൻഡോ സന്ദർഭത്തിലേക്ക് തള്ളി ഒരു കോംപാക്ട് ഒബ്ജക്ട് ചോദിക്കുക. ഇൻപുട്ട് ടോക്കണുകൾക്ക് ഔട്ട്പുട്ട് ടോക്കണുകളുടെ കാൽ ഭാഗം മാത്രമേ ചെലവാകൂ, അതിനാൽ ധാരാളം വായിക്കുകയും കുറച്ച് എഴുതുകയും ചെയ്യുന്നതിന് പ്രൈസിംഗ് പ്രതിഫലം നൽകുന്നു.
- ബൈറ്റ് എണ്ണങ്ങളിലല്ല, റെക്കോർഡ് അതിരുകളിൽ ചങ്ക് ചെയ്യുക. മോഡലിന് സീം കാണാൻ കഴിയുന്നിടത്ത് വിഭജിക്കുക. വാക്യത്തിനിടയിൽ മുറിച്ച ഒരു റെക്കോർഡ് വ്യക്തമായ പരാജയത്തിനുപകരം ആത്മവിശ്വാസത്തോടെ തെറ്റായ ഒരു ഒബ്ജക്ട് ഉണ്ടാക്കുന്നു.
Hy3-യുടെ റിപ്പോർട്ട് ചെയ്ത ദീർഘ-സന്ദർഭ വീണ്ടെടുക്കൽ ശക്തി — AA-LCR-ൽ 73.4, MRCR ദീർഘ-സംഭാഷണ ഓർമ്മയിൽ 42.9%-ൽ നിന്ന് 75.1%-ലേക്കുള്ള ഒരു കുതിപ്പ് — ആദ്യ പാറ്റേൺ ആശ്രയിക്കുന്ന കഴിവ് കൃത്യമായി ഇതാണ്, നന്നായി എഴുതുന്നതിൽ നിന്ന് വ്യത്യസ്തമായ ഒരു കഴിവ്.
06തറ വില, യഥാർത്ഥ പൈപ്പ്ലൈനിന്റെ ഗണിതം
Hy3 ദശലക്ഷം ഇൻപുട്ട് ടോക്കണിന് $0.50-ലും ദശലക്ഷം ഔട്ട്പുട്ട് ടോക്കണിന് $2.00-ലും നിലകൊള്ളുന്നു — MiMo-V2.5, MiMo-V2.5-Pro, DeepSeek-V4-Flash-0731, MiniMax-M3 എന്നിവയോടൊപ്പം പങ്കിടുന്ന കാറ്റലോഗ് തറ. പ്രാതിനിധ്യ ലോഡുകളിലൂടെ പ്രവർത്തിപ്പിച്ചത്:
| വർക്ക്ലോഡ് | ഇൻപുട്ട് / കോൾ | ഔട്ട്പുട്ട് / കോൾ | ചെലവ് / കോൾ | 1M കോളുകൾക്ക് |
|---|---|---|---|---|
| ഫീൽഡ് എക്സ്ട്രാക്ഷൻ | 1,200 | 300 | $0.0012 | $1,200 |
| ഡോക്യുമെന്റ് വർഗ്ഗീകരണം | 3,000 | 120 | $0.0018 | $1,800 |
| സ്കീമയിലേക്ക് ദീർഘ-ഡോക്യുമെന്റ് സംഗ്രഹം | 40,000 | 900 | $0.0218 | $21,800 |
| മുഴുവൻ-ജാലക വിശകലനം | 240,000 | 2,000 | $0.1240 | $124,000 |
തീരുമാനങ്ങൾ മാറ്റുന്ന സംഖ്യ ഹെഡ്ലൈൻ നിരക്കല്ല, റീട്രൈകൾക്ക് ശേഷമുള്ള ഫലപ്രദമായ നിരക്കാണ്. രണ്ട് മോഡലുകൾക്ക് ഒരേ വില ഉണ്ടെങ്കിലും ഒന്ന് 6% കോളുകളിൽ വാലിഡേഷൻ പരാജയപ്പെടുകയും മറ്റൊന്ന് 1.5%-ൽ പരാജയപ്പെടുകയും ചെയ്യുന്നുവെങ്കിൽ, ഉയർന്ന-ഡ്രിഫ്റ്റ് മോഡൽ ഏകദേശം 4.5% കൂടുതൽ കോളുകൾ പ്രവർത്തിപ്പിക്കുന്നു — അതിജീവിക്കാവുന്നത്. കേടുപാട് വാലിലാണ്: റീട്രൈ ചെയ്ത കോളുകൾക്ക് ഇരട്ടി സമയമെടുക്കും, അതിനാൽ ട്രാഫിക്കിന്റെ ദൃശ്യമായ ഒരു ഭാഗത്തിന് p99 ലേറ്റൻസി ഏകദേശം ഇരട്ടിയാകുന്നു, രണ്ട് തവണ പരാജയപ്പെടുന്നത് കൈകൊണ്ടുള്ള ജോലിയായി മാറുന്നു. ദിവസം ഒരു ദശലക്ഷം കോളുകളിൽ അത് ആരെങ്കിലും വായിക്കേണ്ട ആയിരക്കണക്കിന് റെക്കോർഡുകളാണ്.
അതുകൊണ്ടാണ് തറ വിലയിലെ 8-ബിറ്റ് തട്ടിന് വേണ്ടിയുള്ള വാദം: ഇവിടെ കൃത്യതയ്ക്ക് നിങ്ങൾ ഒരു പ്രീമിയം നൽകുന്നില്ല, അതിനാൽ റീട്രൈ ഗണിതം സൗജന്യ പണമാണ്. ഒരു 3-ബിറ്റ് മോഡൽ വിലകുറഞ്ഞതായിരുന്നെങ്കിൽ തൂക്കിനോക്കാൻ ഒരു യഥാർത്ഥ വ്യാപാരം ഉണ്ടാകുമായിരുന്നു — Hy3 കാറ്റലോഗിലെ ഏറ്റവും വിലകുറഞ്ഞ കാര്യത്തിന്റെ അതേ വില വഹിക്കുന്നു.
07മൂന്ന് API ഭാഷാഭേദങ്ങൾ, ഒരു മോഡൽ
മൂന്ന് ഗേറ്റ്വേ ഭാഷാഭേദങ്ങളിലും Hy3 എത്തിച്ചേരാം, ഓരോന്നിലും സ്ട്രീമിംഗോടെ. അതേ മോഡൽ, അതേ വെയ്റ്റുകൾ, അതേ പരിധികൾ — നിങ്ങൾക്ക് ഇതിനകം ഉള്ള SDK-യുമായി പൊരുത്തപ്പെടുന്നത് തിരഞ്ഞെടുക്കുക.
| എൻഡ്പോയിന്റ് | ഭാഷാഭേദം | എപ്പോൾ ഉപയോഗിക്കണം |
|---|---|---|
| /v1/chat/completions | OpenAI | നിങ്ങൾക്ക് ഒരു OpenAI SDK, LangChain അല്ലെങ്കിൽ LlamaIndex ഉണ്ട്. ബേസ് URL ഇവിടെ ചൂണ്ടിക്കാണിക്കുക, മോഡൽ ഐഡി മാറ്റുക. |
| /v1/messages | Anthropic | നിങ്ങൾ Anthropic SDK-യിലാണ്, വിവർത്തന പാളിയില്ലാതെ കണ്ടന്റ് ബ്ലോക്കുകൾ വേണം. |
| /v1/responses | Responses | ടൈപ്പ് ചെയ്ത ഔട്ട്പുട്ടും സെർവർ-സൈഡ് സ്റ്റേറ്റും ഉള്ള പുതിയ അഭ്യർത്ഥന രൂപം നിങ്ങൾക്ക് വേണം. |
ടൂൾ കോളിംഗും യുക്തിചിന്തയും, reasoning_effort ഉൾപ്പെടെ Hy3 പിന്തുണയ്ക്കുന്നു. എക്സ്ട്രാക്ഷൻ ജോലിക്ക് ഉപകാരപ്രദമായ നീക്കം സാധാരണയായി യുക്തിചിന്ത കുറയ്ക്കുകയാണ്: വൃത്തിയുള്ള ടെക്സ്റ്റിൽ നന്നായി വ്യക്തമാക്കിയ ഒരു സ്കീമയിൽ, ചിന്താ ടോക്കണുകൾ നിങ്ങൾ പണം നൽകുന്ന ഔട്ട്പുട്ട് ടോക്കണുകളും കാത്തിരിക്കുന്ന ലേറ്റൻസിയുമാണ്, നാമമാത്ര നേട്ടത്തിന്. അതിനുപകരം ശരിക്കും അവ്യക്തമായ ഇൻപുട്ടിൽ പരിശ്രമ ബജറ്റ് ചെലവഴിക്കുക.
പൂർണ്ണ അഭ്യർത്ഥന, പ്രതികരണ റഫറൻസ്, പാരാമീറ്റർ ലിസ്റ്റുകൾ, സ്ട്രീമിംഗ് സെമാന്റിക്സ്, ഒരു സംവേദനാത്മക പ്ലേഗ്രൗണ്ട് എന്നിവ API ഡോക്യുമെന്റേഷനിൽ ജീവിക്കുന്നു.
08മൂന്ന് W8A16 മോഡലുകൾക്കിടയിൽ തിരഞ്ഞെടുക്കൽ
മൂന്ന് മോഡലുകൾ ഏറ്റവും ഉയർന്ന-കൃത്യതാ തട്ടിൽ ഇരിക്കുന്നു, എല്ലാം തറ വിലയിൽ. തിരഞ്ഞെടുപ്പ് കൂടുതലും മോഡാലിറ്റിയാണ്:
| മോഡൽ | വിഷൻ | json_schema | വില ഇൻ / ഔട്ട് | ഇത് തിരഞ്ഞെടുക്കുക |
|---|---|---|---|---|
| Hy3 · W8A16 | ഇല്ല | അതെ | $0.50 / $2.00 | ടെക്സ്റ്റ്-മാത്രം ഘടനാപരമായ പൈപ്പ്ലൈനുകൾ, ടൂൾ ഓർക്കസ്ട്രേഷൻ, ദീർഘ-സന്ദർഭ വീണ്ടെടുക്കൽ |
| MiMo-V2.5-Pro · W8A16 | ഇല്ല | അതെ | $0.50 / $2.00 | MiMo പരമ്പരയുടെ Pro ട്യൂണിംഗ് വേണ്ട ടെക്സ്റ്റ്-മാത്രം ജോലി |
| MiMo-V2.5 · W8A16 | അതെ | അതെ | $0.50 / $2.00 | ഇമേജുകളുള്ള എന്തും — സ്കാൻ ചെയ്ത ഡോക്യുമെന്റുകൾ, സ്ക്രീൻഷോട്ടുകൾ, ഫോട്ടോകൾ |
നിങ്ങളുടെ ഇൻപുട്ടിന്റെ ഏതെങ്കിലും ഭാഗം ഒരു ഇമേജ് ആണെങ്കിൽ തീരുമാനം നിങ്ങൾക്കായി എടുത്തുകഴിഞ്ഞു: Hy3 ടെക്സ്റ്റ്-മാത്രമാണ് — സ്കാൻ ചെയ്ത PDF-കൾ, സ്ക്രീൻഷോട്ടുകൾ, ഫോട്ടോഗ്രാഫുകൾ MiMo-V2.5-ലേക്ക് അയക്കുക. ഇൻപുട്ട് യഥാർത്ഥത്തിൽ ടെക്സ്റ്റ് ആണെങ്കിൽ, Hy3-യുടെ ഏജന്റിക് ടൂൾ ഉപയോഗം, ദീർഘ-സന്ദർഭ ഓർമ്മ, കുറഞ്ഞ റിപ്പോർട്ട് ചെയ്ത ഭ്രമാത്മകത എന്നിവയുടെ പ്രൊഫൈൽ പൈപ്പ്ലൈൻ ജോലിയിലേക്ക് ഏറ്റവും നേരിട്ട് മാപ്പ് ചെയ്യുന്നു. മൂന്നിനും ഒരേ വിലയായതിനാൽ, നൂറുകണക്കിന് യഥാർത്ഥ റെക്കോർഡുകളിൽ രണ്ടെണ്ണത്തിനെതിരെ നിങ്ങളുടെ സ്കീമ പ്രവർത്തിപ്പിച്ച് പാഴ്സ് നിരക്കുകൾ താരതമ്യം ചെയ്യുക; ഈ പട്ടിക ഉൾപ്പെടെ ഏത് പട്ടികയേക്കാളും അത് നന്നായി തീരുമാനിക്കും.
09Hy3 അതിന്റെ സ്ഥാനം നേടുന്നിടത്ത്
- ഉയർന്ന-വോളിയം ഫീൽഡ് എക്സ്ട്രാക്ഷൻ. കരാറുകൾ, ഫയലിംഗുകൾ, സംഭവ റിപ്പോർട്ടുകൾ, ട്രാൻസ്ക്രിപ്റ്റുകൾ, ക്ലിനിക്കൽ കുറിപ്പുകൾ, കോടതി രേഖകൾ — ഒരു ഡോക്യുമെന്റിന് ഒരു ടൈപ്പ് ചെയ്ത ഒബ്ജക്ട് ഡെലിവറബിളായ എവിടെയും വോളിയം റീട്രൈകൾ ചെലവേറിയതാക്കുന്നു.
- വലിയ തോതിൽ വർഗ്ഗീകരണവും റൂട്ടിംഗും. അടച്ച enum ഔട്ട്പുട്ടുകൾ, മോഡലിന്റെ മുഴുവൻ മൂല്യവും ഒരിക്കലും പത്തൊമ്പതാമത്തെ വിഭാഗം കണ്ടുപിടിക്കാതിരിക്കുന്നതാണ്.
- സുരക്ഷ, ഭീഷണി-ഇന്റലിജൻസ് കോർപ്പസുകൾ. മാൽവെയർ എഴുത്തുകൾ, എക്സ്പ്ലോയിറ്റ് വെളിപ്പെടുത്തലുകൾ, ഫിഷിംഗ് സാമ്പിളുകൾ — ഫിൽട്ടർ ചെയ്ത മോഡലുകളെ നിരസനത്തിലേക്ക് വീഴിക്കുന്ന വസ്തുക്കൾ, ഒരു വിഭാഗ-ആകൃതിയിലുള്ള ദ്വാരം ലക്ഷ്യത്തെ പരാജയപ്പെടുത്തുന്നിടം.
- നിർത്തരുതാത്ത ടൂൾ-കോളിംഗ് ഏജന്റുകൾ. 8-ബിറ്റ് ആർഗ്യുമെന്റ് കൃത്യത അർത്ഥമാക്കുന്നത് നിങ്ങളുടെ ഫംഗ്ഷനുകൾക്ക് കൈമാറിയ JSON പാഴ്സ് ചെയ്യുന്നു എന്നാണ്; ഒരു കുഴഞ്ഞ ടൂൾ കോൾ അല്പം മോശം ഉത്തരമല്ല, നിർത്തിയ ഒരു ഏജന്റാണ്.
- ഘടനയിലേക്ക് ദീർഘ-ഡോക്യുമെന്റ് വിശകലനം. മുഴുവൻ ഫയലിംഗ് അകത്ത്, ഒരു കോംപാക്ട് ഒബ്ജക്ട് പുറത്ത്.
- ഉള്ളടക്ക മോഡറേഷനും പോളിസി ഗവേഷണവും. ഫിൽട്ടർ ചെയ്ത ഒരു മോഡൽ വായിക്കാൻ വിസമ്മതിക്കുന്ന വസ്തുക്കൾ ലേബൽ ചെയ്യുന്നത് ഒരു നിലനിൽക്കുന്ന ട്രസ്റ്റ്-ആൻഡ്-സേഫ്റ്റി പ്രശ്നമാണ്; കർശനമായ ഒരു സ്കീമയുള്ള ഒരു അൺഫിൽട്ടർ ചെയ്ത മോഡൽ അത് നേരിട്ട് പരിഹരിക്കുന്നു.
അതിന് സ്ഥാനമില്ലാത്തിടം: ഇമേജുകളുള്ള എന്തും (MiMo-V2.5 ഉപയോഗിക്കുക), സ്വയംഭരണ മൾട്ടി-ഫയൽ സോഫ്റ്റ്വെയർ എഞ്ചിനീയറിംഗും, SWE-bench Verified-ൽ Tencent-ന്റെ സ്വന്തം പട്ടികകൾ Hy3-യെ GLM-5.2-ന് പിന്നിലും DeepSWE-ൽ വളരെ പിന്നിലും വയ്ക്കുന്നിടം.
Hy3 അടിത്തറയെക്കുറിച്ചുള്ള ഓരോ വാസ്തുവിദ്യാ, ബെഞ്ച്മാർക്ക് അവകാശവാദവും Tencent-ന്റെ പൊതു റിലീസ് വസ്തുക്കളിൽ നിന്നോ അവയെക്കുറിച്ചുള്ള മാധ്യമ കവറേജിൽ നിന്നോ ആണ്; കാറ്റലോഗ് വസ്തുതകൾ ഞങ്ങളുടെ സ്വന്തം ലൈവ് /v1/models-ൽ നിന്നാണ്. രണ്ടും പരിശോധിക്കുക.
ബെഞ്ച്മാർക്ക് കണക്കുകൾ Tencent-റിപ്പോർട്ട് ചെയ്തതാണ്, മത്സരാർത്ഥി സംഖ്യകൾ ഉൾപ്പെടെ; സ്വതന്ത്ര പരിശോധന എഴുതുന്ന സമയത്ത് തീർച്ചയായിട്ടില്ല. ചെലവ് കണക്കുകൾ ഞങ്ങളുടെ പ്രസിദ്ധീകരിച്ച $0.50 / $2.00 നിരക്കുകളിൽ നിന്ന് കണക്കാക്കിയതാണ്. ഈ പേജിലെ ഒരു സംഖ്യയും Shannon നടത്തിയ ബെഞ്ച്മാർക്ക് അല്ല ഒരു എസ്റ്റിമേറ്റുമല്ല.
10പതിവായി ചോദിക്കുന്ന ചോദ്യങ്ങൾ
എന്താണ് സെൻസർ ചെയ്യാത്ത Hy3 മോഡൽ API?
Hy3-W8A16 എന്ന മോഡൽ ഐഡിക്കുള്ള Shannon AI ഗേറ്റ്വേ എൻഡ്പോയിന്റാണ് അത് — Tencent-ന്റെ ഓപ്പൺ-വെയ്റ്റ്സ് Hy3 അടിത്തറ ഞങ്ങളുടെ സ്വന്തം GPU ക്ലസ്റ്ററിൽ 8-ബിറ്റ് വെയ്റ്റ് കൃത്യതയിൽ നൽകുന്നു, നിരസന പാളിയോ ഔട്ട്പുട്ട് ഫിൽട്ടറിംഗോ ഇല്ലാതെ. ഇത് 262,144-ടോക്കൺ സന്ദർഭ ജാലകം, അഭ്യർത്ഥനയ്ക്ക് 16,384 ഔട്ട്പുട്ട് ടോക്കൺ, ടൂൾ കോളിംഗ്, reasoning_effort ഉള്ള യുക്തിചിന്ത, json_schema, response_format എന്നിവയിലൂടെ പൂർണ്ണ ഘടനാപരമായ ഔട്ട്പുട്ട് എന്നിവ /v1/chat/completions, /v1/messages, /v1/responses എന്നിവയിൽ സ്ട്രീമിംഗോടെ വാഗ്ദാനം ചെയ്യുന്നു.
Hy3 JSON സ്കീമയും ഘടനാപരമായ ഔട്ട്പുട്ടും പിന്തുണയ്ക്കുന്നുണ്ടോ?
അതെ. Hy3-W8A16 JSON-ഒബ്ജക്ട് മോഡിനുള്ള response_format-നെയും കർശനവും ടൈപ്പ് ചെയ്തതുമായ സ്കീമകൾക്കുള്ള json_schema-യെയും പിന്തുണയ്ക്കുന്നു — പൂർണ്ണ ഘടനാപരമായ-ഔട്ട്പുട്ട് പ്രതലം, ഭാഗികമായതല്ല. അത് കാറ്റലോഗിലെ എല്ലാ മോഡലിനും ശരിയല്ല: Laguna-S-2.1 രണ്ടും പിന്തുണയ്ക്കുന്നില്ല, inkling response_format പിന്തുണയ്ക്കുന്നു പക്ഷേ json_schema അല്ല. നിങ്ങളുടെ പൈപ്പ്ലൈൻ ഒരു ടൈപ്പ് ചെയ്ത കരാറിനെ ആശ്രയിക്കുന്നുവെങ്കിൽ, അത് പാലിക്കാൻ കഴിയുന്ന മോഡലുകളിലൊന്നാണ് Hy3.
W8A16 എന്നാൽ എന്താണ് അർത്ഥമാക്കുന്നത്, 4-ബിറ്റിനെയോ 3-ബിറ്റിനെയോക്കാൾ അത് മികച്ചതാണോ?
W8A16 എന്നാൽ 8-ബിറ്റ് വെയ്റ്റുകളും 16-ബിറ്റ് ആക്ടിവേഷനുകളും എന്നാണ് — ഞങ്ങൾ നൽകുന്ന ഏറ്റവും ഉയർന്ന-കൃത്യതാ തട്ട്. W4A16-AUTOROUND-REAP (4-ബിറ്റ് വെയ്റ്റുകൾ, പഠിച്ച റൗണ്ടിംഗ്, എക്സ്പെർട്ട് പ്രൂണിംഗ്), 3BIT-REAP (3-ബിറ്റ് വെയ്റ്റുകളും എക്സ്പെർട്ട് പ്രൂണിംഗും) എന്നിവയുമായി താരതമ്യം ചെയ്യുമ്പോൾ, ഇത് പുറത്തിറക്കിയ വെയ്റ്റുകളെ ഏറ്റവും കുറച്ച് മാറ്റുന്നു, അതിനാൽ സ്വഭാവം ഒറിജിനൽ ചെക്ക്പോയിന്റിനോട് ഏറ്റവും അടുത്ത് നിലനിൽക്കുന്നു. വേഗതയിൽ നൽകാൻ അല്ലാത്തപക്ഷം പ്രായോഗികമല്ലാത്ത ഏറ്റവും വലിയ അടിത്തറകൾക്കായാണ് ആക്രമണോത്സുകമായ തട്ടുകൾ നിലനിൽക്കുന്നത്.
Hy3 ഇമേജുകളോ വിഷനോ പിന്തുണയ്ക്കുന്നുണ്ടോ?
ഇല്ല. Hy3-W8A16 ടെക്സ്റ്റ്-മാത്രമാണ്. ഇതിലേക്ക് ഇമേജ് ഭാഗങ്ങൾ അയക്കുന്നത് പ്രവർത്തിക്കില്ല. അതേ 8-ബിറ്റ് തട്ടിൽ വിഷനും ഘടനാപരമായ ഔട്ട്പുട്ടും വേണമെങ്കിൽ, json_schema, response_format എന്നിവയോടൊപ്പം അതേ $0.50 / $2.00 വിലയിൽ ഇമേജ് ഇൻപുട്ട് പിന്തുണയ്ക്കുന്ന MiMo-V2.5-W8A16 ഉപയോഗിക്കുക.
Hy3 API-ക്ക് എത്ര ചെലവാകും?
ദശലക്ഷം ഇൻപുട്ട് ടോക്കണിന് $0.50-ഉം ദശലക്ഷം ഔട്ട്പുട്ട് ടോക്കണിന് $2.00-ഉം — ഞങ്ങളുടെ കാറ്റലോഗിലെ തറനിരക്ക്, MiMo-V2.5, MiMo-V2.5-Pro, DeepSeek-V4-Flash-0731, MiniMax-M3 എന്നിവയോടൊപ്പം പങ്കിടുന്നത്. കോളിന് 1,200 ഇൻപുട്ടും 300 ഔട്ട്പുട്ട് ടോക്കണുമുള്ള ഒരു പ്രാതിനിധ്യ എക്സ്ട്രാക്ഷൻ പൈപ്പ്ലൈനിന് ഏകദേശം $0.0012 കോളിന് അല്ലെങ്കിൽ ദശലക്ഷം കോളുകൾക്ക് ഏകദേശം $1,200 ചെലവാകും.
Hy3 ഒരു അഭ്യർത്ഥന നിരസിക്കുമോ?
മോഡലിന് മുന്നിൽ ഒരു നിരസന പാളിയോ ഔട്ട്പുട്ട് ഫിൽട്ടറിംഗോ ഇല്ല. ഒരു ഘടനാപരമായ പൈപ്പ്ലൈനിന് അത് ഉള്ളടക്ക സ്വത്ത് പോലെതന്നെ ഒരു വിശ്വാസ്യതാ സ്വത്തുമാണ്: ഒരു നിരസനം ഒരു സ്കീമ ലംഘനമാണ്, കാരണം മോഡൽ എന്തുകൊണ്ട് ഉത്തരം നൽകില്ല എന്ന് വിശദീകരിക്കുന്ന ഗദ്യം നിങ്ങളുടെ വാലിഡേറ്റർ പ്രതീക്ഷിക്കുന്ന ഒബ്ജക്ടായി പാഴ്സ് ചെയ്യില്ല. നിരസന പാതയെ നീക്കം ചെയ്യുന്നത് സുരക്ഷ, മെഡിക്കൽ, നിയമ, മുതിർന്നവർക്കുള്ള ഉള്ളടക്ക കോർപ്പസുകളിലെ പാഴ്സ് പരാജയങ്ങളുടെ ഒരു മുഴുവൻ വിഭാഗത്തെയും നീക്കം ചെയ്യുന്നു.
നിങ്ങളുടെ സ്വന്തം സ്കീമയിൽ Hy3 പ്രവർത്തിപ്പിക്കുക
8-ബിറ്റ് കൃത്യത, കർശനമായ json_schema, 262K സന്ദർഭം, നിരസനങ്ങളില്ല — തറ വിലയിൽ.
മോഡൽ ഐഡി Hy3-W8A16 · ടെക്സ്റ്റ്-മാത്രം · ദശലക്ഷം ടോക്കണിന് $0.50 ഇൻ / $2.00 ഔട്ട്
ഉറവിടങ്ങൾ: Tencent Hunyuan model cards · Hy3 repository · Hunyuan-Large: An Open-Source MoE Model (arXiv 2411.02265) · VentureBeat coverage of the Hy3 release. അടിത്തറ ബെഞ്ച്മാർക്കുകൾ Tencent-റിപ്പോർട്ട് ചെയ്തതും സ്വതന്ത്ര പരിശോധന കാത്തിരിക്കുന്നതുമാണ്. Shannon AI പ്രവർത്തിപ്പിക്കുന്നത് Shannon Lab LLC, ന്യൂ മെക്സിക്കോ, USA ആണ്.