Onzenséiert Hy3-Modell-API

Déi meescht Diskussiounen iwwer „wéi ee Modell soll ech benotzen“ ginn ëm d'Ubierstgrenz: wéi een schreift de beschte Code, léist déi schwéierst Mathematik, gewënnt de längsten Agentelaf. Strukturéiert Pipelinen funktionéieren net esou. En Job deen Deeg fir Deeg Felder aus honnertdausend Dokumenter zitt brauch kee Modell deen eemol brillant ass — en brauch een deen all Kéier an der selwechter Form richteg ass, an deen ni eng Paragraph zréckgëtt wou e JSON-Objet hikënnt. Dat ass d'Eegeschaft wofir Hy3-W8A16 hei ass.

01Wat Hy3 ass, a wou et hierkënnt

Hy3 ass en Open-Weight-Modell fir Raisonnéieren an agentesch Aarbecht vun dem Tencent senger Hunyuan-Equipe, komplett den 6. Juli 2026 ënner enger zouloossender Lizenz erauskomm, mat de Gewiichter op Hugging Face publizéiert. Et féiert d'Ofstamung vun dem Tencent senger fréierer Mixture-of-Experts-Aarbecht Hunyuan-Large weider. Architektonesch ass et e spuersamt MoE: 295 Milliarde Parameter total, dovunner ronn 21 Milliarden aktiv pro Token iwwer Top-8-Routing iwwer 192 Experten, op engem Transformer mat 80 Schichten a Grouped-Query-Attention, plus eng separat Schicht vun 3.8B fir Multi-Token-Prediktioun fir de spekulative Decode. Den natiive Kontext huet 256K — genee déi 262,144 Token déi mir ubidden, a keng Kierzung vun eppes Gréisserem an och keng mat Rope gestreckte Verlängerung vun eppes Klengerem.

Dat Spuersamkeetsverhältnis ass déi wichteg Zuel fir jiddereen dee pro Token bezuelt: Hy3 dréit d'Wësse vun engem Modell mat 295B, wärend et pro Virwäertspass ronn d'Rechnerei vun engem mat 21B mécht. An dat ass och de Grond firwat mir eis leeschte kënnen et mat 8 Bit ze servéieren amplaz et méi haart ze komprinéieren — en 8-Bit-Build vun engem esou spuersame Modell passt ëmmer nach a leeft ëmmer nach séier op eisem eegene GPU-Cluster.

Wourann Tencent bericht datt et gutt ass

Dem Tencent seng publizéiert Evaluatiounstabelle setzen dem Hy3 seng Stäerkte kloer op agentesch Sich, Toolorchestréierung an Ofruff bei laangem Kontext an net op reng Programméieren. Hir berichte Zuelen:

Mir weisen déi schwaach Balken mat Absicht. Hy3 läit beim Programméieren hannert GLM-5.2 an dem Tencent sengem eegene Verglach — 78.0 géint 84.2 op SWE-bench Verified, 28.0 géint 46.2 op DeepSWE. Wann deng Aarbechtslaascht autonom Softwaretechnik iwwer méi Dateien ass, dann lies als éischt de Rescht vum Fuerschungsindex zu de Modeller. Wann se Text liesen a Struktur erausginn ass, dann ass de Profil no beim Ideal.

D'Zuel déi fir Pipelineaarbecht am meeschte zielt ass eng zur Zouverlässegkeet: Tencent bericht dem Hy3 seng Halluzinatiounsquot mat 5.4 %, erof vun 12.5 % an der virechter Generatioun, wouduerch d'Feeler beim Allgemengwëssen vun 25.4 % op 12.7 % gefall sinn. Hire festgehalene Trainingsprinzip — äntwer wann et Belee gëtt, sé et kloer wann et keng gëtt — ass genee d'Astellung déi s du bei engem Extraktiounsmodell wëlls, deen soss e plausibele Wäert fir e Feld erfanne géif dat d'Quell ni erwäänt.

All Zuelen an dëser Sektioun si vum Tencent aus hiren eegene Testleef bericht; eng onofhängeg Iwwerpréifung vun Drëtten stoung zum Zäitpunkt vum Schreiwen nach aus. Behandel se als richtungsweisend an net als geklärt.

02Wat W8A16 heescht, a firwat et fir strukturéierten Output zielt

All Modell um Gateway dréit e Quantiséierungssuffix. Et ass keng Dekoratioun — et seet dir, wéi wäit déi servéiert Gewiichter vum Checkpoint ewech sinn deen d'Labo erausbruecht huet.

Stuf	Wat se mécht	Tréischtheet
3BIT-REAP	3-Bit-Gewiichter plus REAP, eng Method fir d'Expert-Pruning déi selten geroutete MoE-Experten virum Quantiséiere falen léisst	Am stäerkste kompriméiert
W4A16-AUTOROUND-REAP	4-Bit-Gewiichter / 16-Bit-Aktivéierungen mat AutoRound — geléiert Rondung déi Genauegkeet géint dat naiivt Ronne op de nächste Wäert zréckgewënnt — plus REAP-Pruning	Mëtt
W8A16	8-Bit-Gewiichter / 16-Bit-Aktivéierungen. Kee Pruning, keng Reparatur mat geléierter Rondung — d'Gewiichter ginn einfach mat der duebeler Präzisioun gedroen	Héchst

Wou d'Ofdrëft vun der Quantiséierung tatsächlech wéi deet

REAP an AutoRound gewanne dat meescht zréck wat naiiv Kompressioun verléiert — mä „dat meescht“ mécht an deem Saz vill Aarbecht, an de Rescht landt net gläichméisseg. Quantiséierung mat wéinege Bit baut d'Schwänz of: d'Entscheedunge mat klenger Wahrscheinlechkeet a grousser Spezifizitéit. A Prosa ass dat bal onsiichtbar; en anert Adjektiv ass ëmmer nach e gudde Saz. Am strukturéierten Output ass et alles, well e Schema eng laang Kette vun Entscheedunge mat klenger Wahrscheinlechkeet ass, déi all eenzel genee richteg si mussen:

• Syntax um Tokenniveau. Eng zoumaachend Klamer, e Komma, en Ufeierungszeechen. All ee vun hinnen ass een Token, an ee falschen Token invalidéiert déi ganz Äntwert.
• Enum-Disziplin. Däi Schema seet, "status" ass ee vu "open" | "closed" | "pending"; en ofgedriwwene Modell gëtt "Open" oder "pending review" zréck — semantesch no drun, a keng vu béide valabel.
• Typ-Disziplin. E Feld vum Typ number kënnt als "1,240" zréck, e boolean als "yes". Béid parsen als Zeechenkette a falen um Schema duerch.
• Literaler aus dem laange Schwanz. Selten Eegennimm, Deelnummeren, chemesch Nimm, net-laténgesch Schrëften, genee Datumen — genee de Beräich mat klenger Wahrscheinlechkeet deen niddregbiteg Gewiichter verwëschen.

Näischt dovunner mécht 4-Bit- oder 3-Bit-Modeller schlecht; fir Konversatiounsaarbecht ass den Tréischtheetsënnerscheed dacks den Präisënnerscheed net wäert. Mä wann de Konsument vum Output e Validéierer ass an net e Mënsch, da gëtt d'Präzisioun an de Schwänz direkt zur Parsquot — an d'Parsquot zum Neiversuchsbudget an zur p99-Latenz. W8A16 ass d'Stuf wou s du ophäls déi Steier ze bezuelen.

03Strukturéierten Output: json_schema a response_format

Hy3 ënnerstëtzt béid Halschenten vun der Fläch fir strukturéierten Output — et lount sech dat ausdrécklech ze soen, well dat am Katalog net iwwerall esou ass:

Modell	response_format	json_schema
Hy3 · W8A16	Jo	Jo
MiMo-V2.5-Pro · W8A16	Jo	Jo
inkling · W4A16-AUTOROUND-REAP	Jo	Nee
Laguna-S-2.1 · W4A16-AUTOROUND-REAP	Nee	Nee

Den Ënnerscheed tëscht deenen zwee Mechanismen zielt méi wéi d'Leit unhuelen. response_format: {"type": "json_object"} freet no valabelem JSON a soss näischt — de Modell wielt d'Form, sou datt zwee Opruff {"name": ...} an {"full_name": ...} zréckginn a béid richteg sinn. json_schema gëtt d'Form virewech: benannt Felder, Typen, Enumen, Lëschte vu Pflichtfelder, Verschachtelung. Dat ass e Kontrakt géint deen s du Code schreiwe kanns.

E minimalen Opruff um OpenAI-kompatibelen Dialekt:

POST /v1/chat/completions

{
  "model": "Hy3-W8A16",
  "messages": [
    {"role": "system", "content": "Extract fields from the incident report. Use null for anything not stated."},
    {"role": "user", "content": "<report text>"}
  ],
  "response_format": {
    "type": "json_schema",
    "json_schema": {
      "name": "incident",
      "strict": true,
      "schema": {
        "type": "object",
        "properties": {
          "severity":  {"type": "string", "enum": ["low","medium","high","critical"]},
          "component": {"type": "string"},
          "occurred_at": {"type": ["string","null"], "description": "ISO-8601"},
          "affected_users": {"type": ["integer","null"]},
          "indicators": {
            "type": "array",
            "items": {"type": "object", "properties": {
              "kind":  {"type": "string", "enum": ["ip","domain","hash","cve"]},
              "value": {"type": "string"}
            }, "required": ["kind","value"]}
          }
        },
        "required": ["severity","component","occurred_at","affected_users","indicators"]
      }
    }
  }
}

Praktesch Notizen

• Maach all Feld verlaangt an erlaab null. Fakultativ Felder lueden zu stëllen Ausfäll an; e verlaangt Feld dat null si kann erzwéngt en ausdréckleche „net do“, an dat ass eng Informatioun mat där s du eppes ufänke kanns.
• Enumen schloe fräi Zeechenketten. Iwwerall wou s du de Wäertsatz zoumaache kanns, maach en zou — dat ass déi Ännerung mam gréissten Hiewel op déi richteg Duerchgangsquot vun engem Schema.
• Bleif ënner der Outputubierstgrenz vun 16,384 Token. En ongebonnent Array gëtt an der Mëtt vun engem Objet ofgeschnidden. Kap d'Arraylängten, oder deel den Input op.
• Behal d'Systemnoriicht. D'Schema begrenzt d'Form; de Prompt reegelt weiderhin d'Semantik — wat als „kritesch“ zielt, wéi eent Datum gewënnt wann der zwee optauchen, ob d'Eenheeten normaliséiert ginn.
• Validéier trotzdem. D'Schemaënnerstëtzung hieft d'Duerchgangsquot; se ersetzt kee Validéierer a keng Dead-Letter-Queue.

04Firwat „onzenséiert“ eng Zouverlässegkeetseegenschaft ass an net nëmmen eng inhaltlech

Hy3 um Gateway huet keng Refus-Schicht a keng Filterung vum Output. Déi gewinnt Formuléierung geet ëm den Inhalt: s du kanns Sécherheetsfuerschung, Analys vu Schadsoftware, Exploit-Berichter, medizinesch a juristesch Korpora, Erwuessenematerial, Dokumentatioun zur Schuedensminderung oder Transkriptioune vu feindlechen Notzer veraarbechten, ouni datt de Modell fir dech entscheet, datt en dat léiwer net géif.

Et gëtt en zweeten, méi mechanesche Grond firwat et zielt. E Refus ass eng Schemaverletzung. E gefilterte Modell deen ofleent gëtt dir net däin Objet mat engem Fändel "unavailable" zréck — en gëtt Prosa zréck. „Ech kann dir bei där Ufro net hëllefen.“ Déi Zeechenkette ass keen incident-Objet; se fält bei dengem Validéierer duerch a landt an der Dead-Letter-Queue nieft richtege Parsfeeler, wou s du elo Politikrefusen vu richtege Formfeeler trenne muss.

Nach méi schlëmm: d'Refusen hänke mam Inhalt zesummen an verdeele sech net zoufälleg. Wann 4 % vun dengem Korpus Sécherheetsvirfallsberichter sinn an de Modell déi meescht dovunner ofleent, dann hues du net gläichméisseg 4 % vum Duerchsaz verluer — s du hues eng Kategorie verluer, an d'Dashboard dat op deenen Donnéeë gebaut ass mellt roueg genee dat ze wéineg wourfir et gëtt. Lächer an der Form vun enger Kategorie kaschte méi wéi gläichméissegt Geräisch, well näischt drop alarméiert. Huel de Refuswee ewech an dat wat iwwreg bleift — Formfeeler, Kierzungen, zweiddeidegen Text — hänkt net mam Sujet zesummen an ass domat moossbar.

05Kontext, Outputubierstgrenz, a wéi ee se plangt

All Modell um Gateway deelt déi selwecht Limiten:

De Kontext ass e gedeelte Budget: de Prompt an den Output musse zesummen an 262,144 eranpassen, sou datt déi praktesch Inputubierstgrenz an engem Opruff bei ronn 245,000 Token läit, ganz grof ronn 180,000 englesch Wierder. Fir strukturéiert Aarbecht ass d'Outputkap vun 16,384 Token déi méi haart Limit an déi déi d'Leit iwwerrascht — e Schema dat een Objet pro Datesaz erausgëtt trëfft se laang ier de Fënster voll ass. Zwee Muster hëllefen dogéint:

• Breeden Input, schmuelen Output. Drécks e ganze Kontrakt, eng Aginn oder e Logbuchfënster an de Kontext a frot no engem eenzege kompakten Objet. D'Input-Token kaschten e Véierel vun den Output-Token, an domat belount de Präis, vill ze liesen a wéineg ze schreiwen.
• Deel op Datesatzgrenzen op, net op Byteszuelen. Deel do wou de Modell d'Naht gesäit. En Datesatz deen an der Mëtt vun engem Saz ofgeschnidden ass produzéiert en iwwerzeegt falschen Objet an net e siichtbare Feeler.

Dem Hy3 seng berichte Stäerkt beim Ofruff mat laangem Kontext — 73.4 op AA-LCR, an e Sprong vu 42.9 % op 75.1 % beim Erënnere vu laangen Dialogen op MRCR — ass genee d'Fäegkeet op déi dat éischt Muster sech stäipt, an eng aner Fäegkeet wéi gutt ze schreiwen.

06Buedempräis, an d'Rechnung vun enger richteger Pipeline

Hy3 sëtzt op $0.50 pro Millioun Input-Token an $2.00 pro Millioun Output-Token — de Buedem vum Katalog, gedeelt mat MiMo-V2.5, MiMo-V2.5-Pro, DeepSeek-V4-Flash-0731 a MiniMax-M3. Duerchgerechent op representativ Laaschten:

Aarbechtslaascht	Input / Opruff	Output / Opruff	Käschte / Opruff	Pro 1M Opruff
Feldextraktioun	1,200	300	$0.0012	$1,200
Dokumentklassifikatioun	3,000	120	$0.0018	$1,800
Laangt Dokument an e Schema zesummefaassen	40,000	900	$0.0218	$21,800
Analys mat vollem Fënster	240,000	2,000	$0.1240	$124,000

D'Zuel déi Entscheedungen ännert ass net den Haapttarif, mä den effektiven Tarif no den Neiversich. Wann zwee Modeller datselwecht kaschten an een op 6 % vun den Opruff bei der Validéierung duerchfält, wou deen aneren op 1.5 % duerchfält, da leeft de Modell mat der héijer Ofdrëft ronn 4.5 % méi Opruff — auszehalen. De Schued läit um Schwanz: nei probéiert Opruff daueren duebel esou laang, sou datt d'p99-Latenz sech fir e siichtbaren Deel vum Trafic ongeféier verduebelt, an alles wat zweemol duerchfält gëtt Handaarbecht. Bei enger Millioun Opruff den Dag sinn dat Dausende vun Datesätz déi ee liese muss.

Dohier d'Argument fir d'8-Bit-Stuf zum Buedempräis: s du bezuels hei keen Opschlag fir d'Tréischtheet, an domat ass d'Rechnung mat den Neiversich gratis Geld. Wann e 3-Bit-Modell bëlleger wier, dann hätt ee en echten Tosch ofzewäen — Hy3 kascht datselwecht wéi dat Bëllegst am Katalog.

07Dräi API-Dialekter, ee Modell

Hy3 ass op allen dräi Gateway-Dialekter erreechbar, mat Streaming op jidderengem. Dee selwechte Modell, déi selwecht Gewiichter, déi selwecht Limiten — wiel deen deen zu dem SDK passt deen s du schonn hues.

Endpunkt	Dialekt	Benotz e wann
/v1/chat/completions	OpenAI	Du en OpenAI-SDK, LangChain oder LlamaIndex hues. Riicht d'Basis-URL heihinner a wiessel d'Modell-Id.
/v1/messages	Anthropic	Du um Anthropic-SDK bass an Inhaltsblocke wëlls ouni Iwwersetzungsschicht.
/v1/responses	Responses	Du déi méi nei Ufroform mat typiséiertem Output a Serverzoustand wëlls.

Hy3 ënnerstëtzt och Tool-Calling a Raisonnéieren, dorënner reasoning_effort. Fir Extraktiounsaarbecht ass de nëtzleche Schrëtt meeschtens, d'Raisonnéieren erofzedréien: bei engem gutt spezifizéierte Schema iwwer propperen Text sinn d'Denktoken Output-Token déi s du bezuels an eng Latenz déi s du ofwaarts, fir e marginale Gewënn. Gëff de Opwandsbudget amplaz op wierklech zweiddeidegen Input aus.

Déi voll Referenz fir Ufro an Äntwert, d'Parameterlëschten, d'Streamingsemantik an en interaktive Playground stinn an der API-Dokumentatioun.

08Tëscht den dräi W8A16-Modeller wielen

Dräi Modeller sëtzen op der Stuf mat der héchster Tréischtheet, all zum Buedempräis. D'Wiel ass meeschtens eng Fro vun der Modalitéit:

Modell	Vision	json_schema	Präis eran / eraus	Wiel en fir
Hy3 · W8A16	Nee	Jo	$0.50 / $2.00	Strukturéiert Pipelinen nëmme mat Text, Toolorchestréierung, Ofruff bei laangem Kontext
MiMo-V2.5-Pro · W8A16	Nee	Jo	$0.50 / $2.00	Aarbecht nëmme mat Text wou s du d'Pro-Ofstëmmung vun der MiMo-Rei wëlls
MiMo-V2.5 · W8A16	Jo	Jo	$0.50 / $2.00	Alles mat Biller — gescannten Dokumenter, Screenshoten, Fotoen

Wann iergendeen Deel vun dengem Input e Bild ass, ass d'Entscheedung fir dech getraff: Hy3 ass nëmmen Text — schéck gescannte PDFen, Screenshoten a Fotoen op MiMo-V2.5. Wou den Input wierklech Text ass, passt dem Hy3 säi Profil aus agentescher Tool-Notzung, Erënnerung bei laangem Kontext an nidderer berichter Halluzinatioun am direktsten op Pipelineaarbecht. Well all dräi datselwecht kaschten, looss däi Schema géint zwee vun hinnen op e puer honnert richtegen Datesätz lafen a vergläich d'Parsquoten; dat entscheet et besser wéi all Tabell, dës hei abegraff.

09Wou Hy3 seng Plaz verdéngt

• Feldextraktioun am groussen Volumen. Kontrakter, Aginnen, Virfallsberichter, Transkriptiounen, klinesch Notizen, Geriichtsakten — iwwerall wou en typiséierten Objet pro Dokument d'Liwwerung ass an de Volumen d'Neiversich deier mécht.
• Klassifikatioun a Weiderleedung am grousse Mooss. Zouenen Enum-Output, wou dem Modell säi ganze Wäert ass, ni eng nonzéngt Kategorie ze erfannen.
• Korpora aus Sécherheet an Bedreeungsopklärung. Berichter iwwer Schadsoftware, Verëffentlechunge vun Exploiten a Phishing-Proufen — dat Material dat gefiltert Modeller an de Refus dreift, a wou e Lach an der Form vun enger Kategorie den Zweck zerstéiert.
• Tool-Calling-Agenten déi net stoe bleiwen dierfen. Argumenttréischtheet op 8 Bit heescht, datt d'JSON dat dengen Funktiounen iwwerginn gëtt parst; e verkrëppelten Tool-Call ass en Agent dee stoe bleift, an net eng e bësse méi schlecht Äntwert.
• Analys vu laangen Dokumenter an eng Struktur. Eng ganz Aginn eran, ee kompakten Objet eraus.
• Inhaltsmoderatioun a Politikfuerschung. Material ze beschrëften dat e gefilterte Modell sech weigert ze liesen ass e stänneg Problem am Beräich Vertrauen a Sécherheet; en ongefiltert Modell mat engem strenge Schema léist et direkt.

A wou net: alles mat Biller (benotz MiMo-V2.5), an autonom Softwaretechnik iwwer méi Dateien, wou dem Tencent seng eege Tabellen Hy3 op SWE-bench Verified hannert GLM-5.2 setzen a kloer dohannert op DeepSWE.

D'Benchmarkzuele si vum Tencent bericht, dorënner och d'Zuele vun de Konkurrenten; eng onofhängeg Iwwerpréifung stoung zum Zäitpunkt vum Schreiwen aus. D'Käschtezuele si vun eise publizéierten Tarifer vun $0.50 / $2.00 gerechent. Keng Zuel op dëser Säit ass e vu Shannon gelafene Benchmark oder eng Schätzung.

10Dacks gestallte Froen

---

Quellen: Modellkaarte vum Tencent Hunyuan · Hy3-Repository · Hunyuan-Large: An Open-Source MoE Model (arXiv 2411.02265) · VentureBeat-Berichterstattung iwwer d'Erausbrénge vum Hy3. D'Basisbenchmarke si vum Tencent bericht a virleefeg, bis eng onofhängeg Iwwerpréifung virläit. Shannon AI gëtt vun Shannon Lab LLC, New Mexico, USA, bedriwwen.