API-ja e pacensuruar Hy3

Shumica e debateve "cilin model duhet të përdor" bëhen për tavanin: cili shkruan kodin më të mirë, zgjidh matematikën më të vështirë, fiton ekzekutimin më të gjatë të agjentit. Tubacionet e strukturuara nuk funksionojnë kështu. Një punë që nxjerr fusha nga njëqind mijë dokumente në ditë nuk ka nevojë për një model që është i shkëlqyer një herë — ka nevojë për një që është i saktë në të njëjtën formë çdo herë, dhe që s'kthen kurrë një paragraf ku i takon një objekt JSON. Kjo është veçoria për të cilën ekziston Hy3-W8A16.

01Çfarë është Hy3, dhe nga vjen

Hy3 është një model arsyetimi dhe agjentik me pesha të hapura nga ekipi Hunyuan i Tencent-it, i publikuar plotësisht më 6 korrik 2026 nën një licencë leje, me pesha të botuara në Hugging Face. Vazhdon linjën e punës më të hershme të Tencent-it me Mixture-of-Experts, Hunyuan-Large. Arkitekturalisht është një MoE i rrallë: 295 miliardë parametra në total, prej të cilëve rreth 21 miliardë aktivizohen për token përmes drejtimit top-8 nëpër 192 ekspertë, mbi një transformer 80-shtresor me vëmendje të grupuar në pyetje (grouped-query attention), plus një shtresë 3.8B parashikimi shumë-tokenësh të veçantë për dekodim spekulativ. Konteksti vendas është 256K — pikërisht 262.144 tokenat që ekspozojmë, jo një prerje e diçkaje më të madhe ose një zgjatje e diçkaje më të vogël me rope-stretching.

Ai raport rrallësie është shifra e rëndësishme për këdo që paguan për token: Hy3 mbart njohuritë e një modeli 295B ndërsa bën përafërsisht aritmetikën e një modeli 21B për kalim përpara. Kjo është edhe arsyeja pse mund ta përballojmë ta shërbejmë me 8 bita në vend që ta ngjeshim më fort — një ndërtim 8-bitësh i një modeli kaq të rrallë ende përshtatet dhe ende ekzekutohet shpejt në grupin tonë të GPU-ve.

Për çfarë raporton Tencent se është i mirë

Tabelat e vlerësimit të publikuara nga Tencent i vendosin pikat e forta të Hy3-shit drejt e te kërkimi agjentik, orkestrimi i mjeteve dhe rikthimi me kontekst të gjatë në vend të programimit të pastër. Shifrat e tyre të raportuara:

I tregojmë shtyllat e dobëta me qëllim. Hy3 mbetet pas GLM-5.2 në programim në krahasimin e vetë Tencent-it — 78.0 kundrejt 84.2 te SWE-bench Verified, 28.0 kundrejt 46.2 te DeepSWE. Nëse ngarkesa juaj e punës është inxhinieri softuerësh autonome me shumë skedarë, lexoni së pari pjesën tjetër të indeksit të kërkimit të modeleve. Nëse është lexim teksti dhe nxjerrje strukture, profili është afër idealit.

Shifra që ka më shumë rëndësi për punën me tubacione është një çështje besueshmërie: Tencent raporton se shkalla e halucinacioneve të Hy3-shit është 5.4%, e ulur nga 12.5% në brezin e mëparshëm, me gabime sensi të përbashkët që bien nga 25.4% në 12.7%. Parimi i tyre i deklaruar i stërvitjes — përgjigju kur ka dëshmi, thuaj hapur kur nuk ka — është pikërisht disponimi që doni te një model nxjerrjeje, i cili përndryshe do të trillonte një vlerë të besueshme për një fushë që burimi nuk e përmend kurrë.

Të gjitha shifrat në këtë seksion janë të raportuara nga Tencent nga ekzekutimet e veta të testeve; verifikimi i pavarur nga palë të treta ishte ende në pritje në kohën e shkrimit. Trajtojini si drejtuese, jo të vendosura.

02Çfarë do të thotë W8A16, dhe pse ka rëndësi për daljen e strukturuar

Çdo model në portë mban një prapashtesë kuantizimi. Nuk është zbukurim — ju thotë sa larg ndodhen peshat e shërbyera nga checkpoint-i i publikuar nga laboratori.

Niveli	Çfarë bën	Besnikëria
3BIT-REAP	Pesha 3-bitëshe plus REAP, një metodë krasitjeje ekspertësh që heq ekspertët e MoE-së të drejtuar rrallë përpara kuantizimit	Më e ngjeshura
W4A16-AUTOROUND-REAP	Pesha 4-bitëshe / aktivizime 16-bitëshe përmes AutoRound — rrumbullakim i mësuar që rikuperon saktësi kundrejt rrumbullakimit naiv te më i afërti — plus krasitje REAP	E mesme
W8A16	Pesha 8-bitëshe / aktivizime 16-bitëshe. Pa krasitje, pa riparim me rrumbullakim të mësuar — peshat thjesht mbahen me dyfishin e saktësisë	Më e larta

Ku dëmton vërtet shmangia e kuantizimit

REAP dhe AutoRound rikuperojnë shumicën e asaj që humbet kuantizimi naiv — por "shumica" po bën punë në atë fjali, dhe mbetja nuk bie në mënyrë të njëtrajtshme. Kuantizimi me bita të pakta degradon bishtat: vendimet me gjasë të ulët dhe specifikë të lartë. Në prozë kjo është pothuajse e padukshme; një mbiemër tjetër është ende një fjali e mirë. Në daljen e strukturuar është gjithçka, sepse një skemë është një zinxhir i gjatë vendimesh me gjasë të ulët, secili prej të cilëve duhet të jetë saktësisht i drejtë:

• Sintaksa në nivel tokeni. Një kllapë mbylljeje, një presje, një thonjëz. Secila është një token, dhe një token i gabuar e pavlefshmëron gjithë përgjigjen.
• Disiplina e enum-eve. Skema juaj thotë se "status" është njëri nga "open" | "closed" | "pending"; një model i shmangur kthen "Open" ose "pending review" — afër semantikisht, dhe i pavlefshëm si njëri ashtu edhe tjetri.
• Disiplina e tipeve. Një fushë number kthehet si "1,240", një boolean si "yes". Të dyja analizohen si vargje (strings) dhe dështojnë skemën.
• Literale të bishtit të gjatë. Emra të përveçëm të rrallë, numra pjesësh, emra kimikë, shkrime jo-latine, data të sakta — pikërisht rajoni me gjasë të ulët që peshat me bita të pakta e turbullojnë.

Asnjëra nga këto nuk i bën modelet 4-bitëshe ose 3-bitëshe të këqija; për punë bisedimore diferenca e besnikërisë shpesh nuk ia vlen diferencën e çmimit. Por kur konsumuesi i daljes është një validues e jo një njeri, saktësia te bishtat kthehet drejtpërdrejt në shkallë analizimi — dhe shkalla e analizimit në buxhet riprovash dhe vonesë p99. W8A16 është niveli ku pushoni së paguari atë taksë.

03Dalje e strukturuar: json_schema dhe response_format

Hy3 mbështet të dyja gjysmat e sipërfaqes së daljes së strukturuar — ia vlen ta themi shprehimisht, sepse kjo nuk është universale nëpër katalog:

Modeli	response_format	json_schema
Hy3 · W8A16	Po	Po
MiMo-V2.5-Pro · W8A16	Po	Po
inkling · W4A16-AUTOROUND-REAP	Po	Jo
Laguna-S-2.1 · W4A16-AUTOROUND-REAP	Jo	Jo

Dallimi mes dy mekanizmave ka më shumë rëndësi sesa mendon njeriu. response_format: {"type": "json_object"} kërkon JSON të vlefshëm dhe asgjë më shumë — modeli zgjedh formën, kështu që dy thirrje mund të kthejnë {"name": ...} dhe {"full_name": ...} dhe të dyja janë të sakta. json_schema jep formën që në krye: fusha të emërtuara, tipe, enum-e, lista të detyrueshme, ndërfutje. Ky është një kontratë kundrejt të cilës mund të shkruani kod.

Një thirrje minimale në dialektin e pajtueshëm me OpenAI:

POST /v1/chat/completions

{
  "model": "Hy3-W8A16",
  "messages": [
    {"role": "system", "content": "Extract fields from the incident report. Use null for anything not stated."},
    {"role": "user", "content": "<report text>"}
  ],
  "response_format": {
    "type": "json_schema",
    "json_schema": {
      "name": "incident",
      "strict": true,
      "schema": {
        "type": "object",
        "properties": {
          "severity":  {"type": "string", "enum": ["low","medium","high","critical"]},
          "component": {"type": "string"},
          "occurred_at": {"type": ["string","null"], "description": "ISO-8601"},
          "affected_users": {"type": ["integer","null"]},
          "indicators": {
            "type": "array",
            "items": {"type": "object", "properties": {
              "kind":  {"type": "string", "enum": ["ip","domain","hash","cve"]},
              "value": {"type": "string"}
            }, "required": ["kind","value"]}
          }
        },
        "required": ["severity","component","occurred_at","affected_users","indicators"]
      }
    }
  }
}

Shënime praktike

• Bëni çdo fushë të detyrueshme dhe lejoni null. Fushat opsionale ftojnë rënie të heshtura; një fushë e detyrueshme por e pranueshme si null detyron një "s'është e pranishme" të shprehur, që është informacion mbi të cilin mund të veproni.
• Enum-et ia kalojnë vargjeve të lira. Kudo që mund ta mbyllni bashkësinë e vlerave, mbylleni — ndryshimi me levën më të lartë mbi shkallën reale të kalueshmërisë së një skeme.
• Qëndroni nën kufirin e daljes prej 16.384 tokenash. Një varg (array) i pakufizuar do të pritet në mes të një objekti. Kufizoni gjatësitë e vargjeve, ose ndajeni hyrjen në pjesë.
• Ruajeni mesazhin e sistemit. Skema kufizon formën; prompti vazhdon të qeverisë semantikën — çfarë llogaritet si "critical," cila datë fiton kur shfaqen dy, a duhen normalizuar njësitë.
• Validojeni sido që të jetë. Mbështetja e skemës e ngre shkallën e kalueshmërisë; nuk zëvendëson një validues dhe një radhë letrash të vdekura (dead-letter queue).

04Pse "i pacensuruar" është një veti besueshmërie, jo vetëm përmbajtjeje

Hy3 në portë s'ka shtresë refuzimi as filtrim të daljes. Korniza e zakonshme ka të bëjë me përmbajtjen: mund të përpunoni kërkim sigurie, analizë malware-i, shkrime shfrytëzimesh, korpuse mjekësore dhe ligjore, material për të rritur, dokumentacion zvogëlimi dëmi ose transkripte përdoruesish armiqësorë pa e lënë modelin të vendosë në emrin tuaj se preferon të mos e bëjë.

Ka një arsye të dytë, më mekanike se rëndësia. Një refuzim është shkelje skeme. Një model i filtruar që refuzon nuk e kthen objektin tuaj me një flamur "unavailable" — kthen prozë. "Nuk mund t'ju ndihmoj me atë kërkesë." Ai varg nuk është një objekt incident; dështon te validuesi juaj dhe përfundon te radha e letrave të vdekura përkrah gabimeve të vërteta të analizimit, ku tani duhet t'i ndani refuzimet e politikës nga keqformimet e vërteta.

Më keq, refuzimet lidhen me përmbajtjen në vend që të shpërndahen rastësisht. Nëse 4% e korpusit tuaj janë raporte incidentesh sigurie dhe modeli refuzon shumicën e tyre, s'keni humbur 4% të kapacitetit në mënyrë të njëtrajtshme — keni humbur një kategori, dhe paneli i ndërtuar mbi ato të dhëna nën-raporton në heshtje pikërisht atë që ekziston për ta zbuluar. Vrimat në formë kategorie kushtojnë më shumë se zhurma e njëtrajtshme sepse asgjë nuk paralajmëron për to. Hiqeni shtegun e refuzimit dhe ajo që mbetet — keqformime, prerje, tekst i paqartë — nuk lidhet me temën, dhe si e tillë është e matshme.

05Konteksti, kufiri i daljes, dhe si t'i buxhetoni

Çdo model në portë ndan të njëjtat kufij:

Konteksti është një buxhet i përbashkët: prompti plus dalja duhet të përshtaten së bashku brenda 262.144, kështu që kufiri praktik i hyrjes në një thirrje të vetme është rreth 245.000 tokena, shumë përafërsisht 180.000 fjalë anglisht. Për punë të strukturuar, kufiri i daljes prej 16.384 tokenash është kufizimi më i vështirë dhe ai që i habit njerëzit — një skemë që nxjerr një objekt për çdo rekord e godet atë shumë përpara se dritarja të mbushet. Dy praktika veprojnë kundër kësaj:

• Hyrje e gjerë, dalje e ngushtë. Shtyni një kontratë, dosje ose dritare regjistrash të tërë në kontekst dhe kërkoni një objekt kompakt të vetëm. Tokenat e hyrjes kushtojnë një të katërtën e tokenave të daljes, kështu që çmimi shpërblen leximin shumë dhe shkrimin pak.
• Ndajini sipas kufijve të rekordeve, jo sipas numrit të bajteve. Ndajini aty ku modeli mund ta shohë tegelin. Një rekord i prerë në mes të fjalisë prodhon një objekt të gabuar me bindje në vend të një dështimi të dukshëm.

Forca e raportuar e Hy3-shit në rikthimin me kontekst të gjatë — 73.4 te AA-LCR, dhe një kërcim nga 42.9% në 75.1% te rikujtimi i bisedave të gjata MRCR — është pikërisht aftësia nga e cila varet modeli i parë, dhe një shkathtësi ndryshe nga të shkruarit mirë.

06Çmimi i dyshemesë, dhe aritmetika e një tubacioni të vërtetë

Hy3 qëndron te 0.50 $ për milion tokena hyrjeje dhe 2.00 $ për milion tokena dalje — dyshemeja e katalogut, e ndarë me MiMo-V2.5, MiMo-V2.5-Pro, DeepSeek-V4-Flash-0731 dhe MiniMax-M3. E punuar nëpër ngarkesa përfaqësuese:

Ngarkesa	Hyrje / thirrje	Dalje / thirrje	Kosto / thirrje	Për 1M thirrje
Nxjerrje fushash	1.200	300	$0.0012	$1,200
Klasifikim dokumentesh	3.000	120	$0.0018	$1,800
Përmbledhje dokumenti të gjatë në skemë	40.000	900	$0.0218	$21,800
Analizë e gjithë dritares	240.000	2.000	$0.1240	$124,000

Shifra që ndryshon vendimet nuk është tarifa kryesore por tarifa efektive pas riprovave. Nëse dy modele kushtojnë njësoj dhe njëri dështon në vlerësim te 6% e thirrjeve ndërsa tjetri dështon te 1.5%, modeli me shmangie të lartë ekzekuton rreth 4.5% më shumë thirrje — e mbijetueshme. Dëmi është te bishti: thirrjet e riprovuara marrin dyfishin e kohës, kështu që vonesa p99 përafërsisht dyfishohet për një pjesë të dukshme të trafikut, dhe çfarëdo që dështon dy herë bëhet punë dorazi. Te një milion thirrje në ditë kjo janë mijëra rekorde që dikush duhet t'i lexojë.

Prandaj argumenti për nivelin 8-bitësh me çmimin e dyshemesë: nuk po paguani një çmim shtesë për besnikëri këtu, kështu që aritmetika e riprovave është para falas. Nëse një model 3-bitësh do të ishte më i lirë do të kishte një shkëmbim të vërtetë për t'u peshuar — Hy3 kushton njësoj sa gjëja më e lirë në katalog.

07Tri dialekte API-je, një model

Hy3 është i arritshëm në të tria dialektet e portës me transmetim në secilin. I njëjti model, të njëjtat pesha, të njëjtët kufij — zgjidhni cilindo që përputhet me SDK-në që keni tashmë.

Endpoint	Dialekti	Përdoreni kur
/v1/chat/completions	OpenAI	Keni një SDK OpenAI, LangChain ose LlamaIndex. Drejtojeni URL-në bazë këtu, ndryshoni id-në e modelit.
/v1/messages	Anthropic	Jeni në SDK-në e Anthropic dhe doni blloqe përmbajtjeje pa një shtresë përkthimi.
/v1/responses	Responses	Doni formën më të re të kërkesës me dalje të tipizuar dhe gjendje anë-serveri.

Hy3 mbështet gjithashtu thirrje mjetesh dhe arsyetim, përfshirë reasoning_effort. Për punë nxjerrjeje lëvizja e dobishme zakonisht është ta ulni arsyetimin: mbi një skemë të specifikuar mirë me tekst të pastër, tokenat e mendimit janë tokena dalje që i paguani dhe vonesë që e prisni, për një fitim margjinal. Shpenzojeni buxhetin e përpjekjes në hyrje vërtet të paqarta.

Referenca e plotë e kërkesës dhe përgjigjes, listat e parametrave, semantika e transmetimit dhe një terren prove ndërveprues jetojnë te dokumentacioni i API-t.

08Zgjedhja mes tre modeleve W8A16

Tri modele ndodhen te niveli me besnikërinë më të lartë, të gjitha me çmimin e dyshemesë. Zgjedhja është kryesisht çështje modaliteti:

Modeli	Pamja	json_schema	Çmimi hyrje / dalje	Zgjidheni për
Hy3 · W8A16	Jo	Po	$0.50 / $2.00	Tubacione të strukturuara vetëm-me-tekst, orkestrim mjetesh, rikthim me kontekst të gjatë
MiMo-V2.5-Pro · W8A16	Jo	Po	$0.50 / $2.00	Punë vetëm-me-tekst ku doni rregullimin Pro të linjës MiMo
MiMo-V2.5 · W8A16	Po	Po	$0.50 / $2.00	Çdo gjë me imazhe — dokumente të skanuara, pamje ekrani, fotografi

Nëse ndonjë pjesë e hyrjes suaj është imazh, vendimi merret vetë: Hy3 është vetëm-me-tekst — dërgojani PDF-të e skanuara, pamjet e ekranit dhe fotografitë MiMo-V2.5-it. Kur hyrja është vërtet tekst, profili i Hy3-shit i përdorimit agjentik të mjeteve, rikujtimit me kontekst të gjatë dhe halucinacionit të ulët të raportuar përputhet drejtpërdrejt me punën e tubacioneve. Meqë të tria kushtojnë njësoj, ekzekutoni skemën tuaj mbi dy prej tyre në disa qindra rekorde të vërteta dhe krahasoni shkallët e analizimit; kjo e vendos më mirë se çdo tabelë, përfshirë këtë.

09Ku e fiton Hy3 vendin e vet

• Nxjerrje fushash me volum të lartë. Kontrata, dosje, raporte incidentesh, transkripte, shënime klinike, dokumente gjyqësore — kudo që një objekt i tipizuar për dokument është produkti dhe volumi i bën riprovat të shtrenjta.
• Klasifikim dhe drejtim në shkallë. Dalje enum-esh të mbyllura, ku e gjithë vlera e modelit është të mos trillojë kurrë një kategori të nëntëmbëdhjetë.
• Korpuse sigurie dhe inteligjence kërcënimesh. Shkrime malware-i, zbulime shfrytëzimesh dhe mostra phishing-u — materiali që i çon modelet e filtruara drejt refuzimit, dhe ku një vrimë në formë kategorie e mund qëllimin.
• Agjentë me thirrje mjetesh që s'duhet të bllokohen. Besnikëria 8-bitëshe e argumenteve do të thotë që JSON-i i dhënë funksioneve tuaja analizohet; një thirrje mjeti e shtrembëruar është një agjent i bllokuar, jo thjesht një përgjigje pak më e keqe.
• Analizë dokumentesh të gjata në strukturë. E gjithë dosja brenda, një objekt kompakt jashtë.
• Moderim përmbajtjeje dhe kërkim politikash. Etiketimi i materialit që një model i filtruar refuzon ta lexojë është një problem i qëndrueshëm besimi dhe sigurie; një model i pafiltruar me një skemë të rreptë e zgjidh drejtpërdrejt.

Dhe ku nuk e fiton: çdo gjë me imazhe (përdorni MiMo-V2.5), dhe inxhinieri softuerësh autonome me shumë skedarë, ku tabelat e vetë Tencent-it e vendosin Hy3-shin pas GLM-5.2 te SWE-bench Verified dhe shumë pas te DeepSWE.

Shifrat e benchmark-ut janë të raportuara nga Tencent, përfshirë shifrat e konkurrentëve; verifikimi i pavarur ishte në pritje në kohën e shkrimit. Shifrat e kostos llogariten nga tarifat tona të publikuara 0.50 $ / 2.00 $. Asnjë shifër në këtë faqe s'është benchmark i ekzekutuar nga Shannon-i apo vlerësim.

10Pyetje të bëra shpesh

---

Burimet: Kartat e modelit Tencent Hunyuan · Depoja e Hy3 · Hunyuan-Large: An Open-Source MoE Model (arXiv 2411.02265) · Mbulimi i VentureBeat mbi publikimin e Hy3-shit. Benchmark-et e themelit janë të raportuara nga Tencent dhe të përkohshme, në pritje të verifikimit të pavarur. Shannon AI operohet nga Shannon Lab LLC, Nju Meksiko, SHBA.