Onzenséiert Nemotron-API

Déi meescht „offen“ Modeller sinn Open Weights an soss näischt — en Tarball vu Parameteren, eng Lizenz, a Schweigen doriwwer, wou d'Zuelen hierkommen. Nemotron ass zanter zwee Joer déi konsequent Ausnam: NVIDIA liwwert d'Gewiichter, d'Datesätz vum Nachtraining, d'RL-Ëmfeld an d'Rezept. Dat zielt fir en onzenséierten Endpunkt op eng Manéier déi ee liicht iwwersäit. E Modell dessen Alignementsdaten publizéiert sinn ass ee bei deem s du säi Refusverhalen duerchdenke kanns amplaz drop ze roden — an ee bei deem eng Drëttpartei legitim en Asaz ouni Inhaltsfilter viru sengem Mond maache kann.

01Wat ass Nemotron 3 Ultra?

Nemotron 3 Ultra ass dat gréisste Member vun dem NVIDIA senger Nemotron-3-Famill, den 4. Juni 2026 op Hugging Face erauskomm. Dem NVIDIA säin technesche Bericht beschreift en als „e Mixture-of-Experts-Sproochmodell mat hybrider Mamba-Attention, mat 550 Milliarde Parameter total an 55 Milliarden aktiv“ — ronn 10 % vum Netz schafft un engem gegebene Token, an dat ass wat e Modell mat enger hallwer Billioun Parameter iwwerhaapt servéierbar mécht.

Déi berichte Struktur huet 108 Schichten bei enger Modelldimensioun vun 8,192, mat Mamba-2-Zoustandsraumschichten déi mat enger dënner Rei vu vollen Attention-Schichte verschachtelt sinn, an 512 Experte pro MoE-Schicht mat Top-22-Routing. D'Virtraining ass op ronn 20 Billiounen Texttoken an zwou Phasen gelaf — als éischt op Diversitéit, dann op Qualitéit gewiicht — mat engem Stand vu September 2025, 12 natierleche Sproochen an 43 Programméiersproochen. D'Nachtraining huet SFT benotzt, RL a méi Ëmfeld mat iwwerpréifbare Belounungen, an Multi-Teacher On-Policy Distillation iwwer méi wéi zéng Spezialistelehrer. Dat ugestrieft Designziel sinn Agenten déi laang lafen: Sessiounen déi e groussen Kontext halen, Dosende Mol Tools opruffen, a laang genuch lafen datt d'Ekonomie pro Token d'Rechnung dominéiert.

02D'Nemotron-Ofstamung, a firwat d'Hierkonft zielt

Nemotron ass keng eemoleg Saach. Et ass de siichtbaren Output vun engem Fuerschungsprogramm vum NVIDIA dee säit 2024 an déiselwecht Richtung leeft, an all Generatioun huet eppes hannerlooss wat den aktuelle Modell nach ëmmer mat sech dréit. Nemotron-4 340B (Juni 2024) koum mat enger offener Pipeline fir d'Generéiere vu synteteschen Donnéeën eraus, mat sengem Belounungsmodell a sengem Generator, plus enger ongewéinlecher Offenleeung: déi iwwerwältegend Majoritéit vu senge Alignementsdaten war vun engem Modell generéiert. De Modell als Datefabréck an net als Orakel ass de Grond firwat spéider Nemotron-Verëffentlechungen ëmmer nach Datesätz nieft de Gewiichter matliwweren.

Llama-Nemotron — Raisonnéieren dat s du ausschalte kanns

D'Llama-Nemotron-Famill vun 2025 (LN-Nano 8B, LN-Super 49B, LN-Ultra 253B) huet zwou Iddie bäigesteiert déi gutt gealtert sinn. Déi éischt war architektonesch: dem NVIDIA seng neural Architektursich Puzzle huet eng Bibliothéik vu blockweis destilléierten Transformerblock gebaut a se mat gemëscht-ganzzueleger Programméierung zesummegesat, wouduerch Modeller entstinn wou verschidde Block d'Attention ganz iwwersprangen oder se duerch eng eenzeg linear Schicht ersetzen, wärend FFN Fusion openeen folgend Feed-Forward-Block an manner, méi breet, parallel zesummegeklappt huet — an domat déi sequenziell Déift kierzt an net d'Parameterzuel. LN-Ultra huet op en eenzegt Knuet mat 8×H100 gepasst an huet dobäi, laut dem NVIDIA sengem Pabeier, DeepSeek-R1 op GPQA-Diamond iwwertraff (76.0 % géint 71.5 %).

Déi zweet war verhalensmässeg: Llama-Nemotron war déi éischt offe Famill mat engem dynamesche Schalter fir d'Raisonnéieren, deen d'Trainingsdaten an der Systeminstruktioun als detailed thinking on oder detailed thinking off markéiert huet, mat Formatbelounungen déi am Un-Modus <think>-Taggen duerchgesat hunn. Ee Set Gewiichter, zwee Verhalen, wielbar zum Zäitpunkt vun der Inferenz. Dem Nemotron 3 seng Kontroll iwwer de Raisonnéierungsbudget — an de Parameter reasoning_effort op eiser API — stamme direkt vun där Aarbecht of.

Nemotron 3 — d'hybrid Wendung

Nemotron 3 huet d'Oflehnung u Llama duerch eng vun Null op gebaute hybrid Architektur ersat an LatentMoE derbäigesat (Token gi virum Routing komprinéiert, wat laut NVIDIA „4× esou vill Experte fir déiselwecht Inferenzkäschte“ erlaabt), plus Multi-Token-Prediktioun an natiivt Virtraining an NVFP4. NVIDIA huet kumuléiert 50 Milliounen SFT-Beispiller, 2 Milliounen RL-Aufgaben a 55 RL-Ëmfeld nieft de Gewiichter publizéiert — du muss engem Ubidder net op d'Wuert gleewen, wat de Modell geléiert huet, well d'Léiermaterial erofluedbar ass.

03Wat déi hybrid Architektur dir bréngt

Bei engem Transformer wiisst de KV-Cache linear mat der Sequenzlängt, an dofir gëtt d'Inferenz mat laangem Kontext am Späicher deier ier se et an der Rechnerei gëtt. Mamba-2-Schichte si Zoustandsraummodeller déi e rekurrente Zoustand mat fester Gréisst mat sech droen, an domat wiisst hire Späicherverbrauch pro Token net mat der Geschicht; wat se schlecht kënnen ass de präzisen assoziativen Ofruff. D'Hybrid behält Mamba-2 fir de Gros vun der Sequenzveraarbechtung plus eng Minoritéit vu richtegen Attention-Schichte fir just deen Ofruff dee Zoustandsraumschichten verpatzen, mat engem aggressive Verhältnis vu 64 Query-Käpp op 2 KV-Käpp dat de Cache nach weider verklengert. NVIDIA bericht 94.7 % op RULER bei 1M Token — e Benchmark fir d'Nolauschtere vun der Nol am Hee, gebaut fir Modeller ze erwëschen déi e Fënster behaapten dat se net notze kënnen.

D'Konsequenz ass den Duerchsaz: NVIDIA behaapt bis zu ronn 6× méi héijen Inferenzduerchsaz wéi vergläichbar Modeller bei gläicher Genauegkeet, an Artificial Analysis huet onofhängeg 140.3 Token/Sekonn gemooss, mat 1.33 Sekonnen bis zum éischten Token — Plaz 7 vun 89 Modeller. Bei engem Agentelaf mat 200 Ronnen ass dat den Ënnerscheed tëscht owes fäerdeg sinn an guer net fäerdeg ginn.

04Wat „3BIT-REAP“ éierlech gesot heescht

De Suffix ass keng Dekoratioun — en seet dir genee, wat mat der Basis gemaach gouf, fir datt se passt.

REAP — Router-weighted Expert Activation Pruning — kënnt vu Cerebras Research a gouf op der ICLR 2026 ugeholl. An engem spuersamen MoE schéckt de Router all Token op eng Handvoll Experten; iwwer eng richteg Aarbechtslaascht ginn der e puer stänneg getraff an aner bal ni. REAP bewäert all Expert no engem Salienzkritär dat kombinéiert, wéi staark de Router e gräift an wéi grouss seng Bäiträg zum Output sinn, an huelt dann déi mannst salient direkt eraus — Cerebras bericht, bis zu 50 % vun den Experten aus Modeller mat bis zu enger Billioun Parameter ze prunen an dobäi d'Basisqualitéit gréisstendeels ze erhalen, a fënnt datt bei generative Aufgabe wéi Code d'Pruning d'Zesummeleeë schléit. D'3-Bit-Quantiséierung komprinéiert duerno wat iwwerlieft huet. Fir d'éischt prunen, dann quantiséieren, sou datt de Bit-Budget op Experte geet déi Trafic droen an net iwwer déi doudeg verschmiert gëtt.

Kompressioun ass net gratis, a mir maachen och net esou wéi wier se et: aggressiv Quantiséierung weist sech als éischt als kleng Ofbau bei der genauer Formattreiheet a bei laange Rechenketten, an net als siichtbar Onkohärenz. Wou déi dräi Stufe landen:

Suffix	Wat et ass	Wou mir et benotzen
3BIT-REAP	3-Bit-Gewiichter + Expert-Pruning	Déi gréisste Basen, wou soss näischt bei Tempo passt
W4A16-AUTOROUND-REAP	4-Bit-Gewiichter / 16-Bit-Aktivéierungen, geléiert Rondung mat AutoRound, + Pruning	Mëttelgrouss Basen; AutoRound gewënnt Genauegkeet géint dat naiivt Ronne op de nächste Wäert zréck
W8A16	8-Bit-Gewiichter / 16-Bit-Aktivéierungen	Héchst Tréischtheet; Basen déi kleng genuch si fir keng aggressiv Kompressioun ze brauchen

Nemotron 3 Ultra mat 550B fält kloer an déi éischt Kategorie. Wann deng Aarbechtslaascht ongewéinlech empfindlech op genauen numereschen Output iwwer laang Kette reagéiert, da lëscht den Fuerschungsindex d'W8A16-Stuf op — MiMo-V2.5-Pro-W8A16 an Hy3-W8A16 — um Buedem vu $0.50/$2.00. En echten Tosch a kee Trichter: méi klenge Modell, manner Kompressioun.

05Wat „onzenséiert“ op dësem Endpunkt heescht

Konkret: et gëtt keng Refus-Schicht a keng Inhaltsfilterung um Output. Kee Klassifikateur kuckt däi Prompt un a gëtt eng fäerdeg Ofsoen zréck, an d'Äntwert gëtt net gescannt ier se an däi Stream kënnt. Wat s du kriss ass dem Modell säin eegent Verhalen.

Hei hält déi offen Ofstamung op, blousst Trivia ze sinn. Well NVIDIA d'Donnéeë vum Nachtraining an d'RL-Ëmfeld publizéiert huet, sinn dem Modell seng Neigunge prinzipiell iwwerpréifbar an net Folklore. A well OpenMDW-1.1 eng zouloossend Lizenz vun der Linux Foundation ass déi Architektur, Parameteren, Dokumentatioun a Software ofdeckt, kann en onofhängege Bedreiwer en zerännerten, ongefiltert Asaz op senger eegener Hardware servéieren ouni datt d'Lizenz d'Hindernis ass. Vill „offe“ Modelllizenzen erlaben dat net. Dës hei jo. Den Ënnerscheed weist sech do, wou reflexhafte Refus e Feeler ass a kee Sécherheetsfeature:

• Sécherheetsfuerschung — Schwachstellenanalys, Duerchdenke vun Exploiten, Verhalen vu Schadsoftware, Red-Team-Tooling, ouni sech ze streide, ob d'Fro erlaabt ass.
• Chimie, Biologie a Pharmakologie — Doséierungsrechnungen, Reaktiounsmechanismen, Toxikologie, Syntheswee déi e gefilterten Endpunkt beim éischte Schlësselwuert ofleent.
• Adversariellt ML — schwéier Negativer, Jailbreak-Korpora an Ofusotaxonomien fir Klassifikateuren déi dat richtegt Zeug gesinn hu mussen.
• Klinesch, juristesch a forensesch Texter — Falmaterial dat vun Natur aus dréchen ass a genee dofir refuséiert gëtt.

Onzenséiert heescht net onverantwortlech. Du bass fir dat verantwortlech wat s du generéiers, an eis Politik fir verantwortlech Notzung an eis Notzungsbedingunge gëllen fir de Kont. Eng Refus-Schicht ewechzehuele hëlt eng Vermuddung iwwer d'Absicht ewech; et hëlt net deng Flichten no deem Recht ewech dat fir dech gëllt.

06STEM a Raisonnéieren: wat déi publizéiert Zuele soen

Dem Nemotron säi Trainingsfokus ass Mathematik, Code, Wëssenschaft an Instruktiounsfollegen, säitdeem den Datesaz fürs Llama-Nemotron-Nachtraining genee ronderëm déi véier Axe gebaut gouf. Wat NVIDIA fir d'Nemotron-3-Ultra-Basis bericht — vum Ubidder bericht Zuelen um onkompriméierte Modell, déi mir net selwer gelaf sinn:

Zwee Virbehalter déi méi wäert si wéi d'Zuelen. D'Zuel fir SWE-Bench Verified ass eng Spann — NVIDIA bericht 65.0 % bis 70.4 %, jee no deem wéi ee Agentegeschir se leeft (Pi, OpenHands, Hermes, OpenCode, Mini SWE Agent), an eng Spann vu fënnef Punkten allenzeg vum Geschir weist, wéi vill agentesch Punktzuele vum Geschir ofhänken an net vum Modell. An Artificial Analysis huet Nemotron 3 Ultra op 48 op hirem Intelligence Index gesat, Plaz 9 vun 89 Modeller — staark, net d'Spëtzt vum Feld, an hir onofhängeg Miessung ass déi, déi mir méi héich gewiichte géifen wéi dem Ubidder seng Folie.

Zu der virechter Generatioun bericht dem NVIDIA säi Llama-Nemotron-Pabeier fir LN-Ultra 76.0 % op GPQA-Diamond géint dem DeepSeek-R1 seng 71.5 % an dem Llama-3.1-405B-Instruct seng 43.4 %, plus 80.8 % op AIME 2024 — en anere Modell, hei mat dobäi well Wëssenschaft op Doktorniveau a Wettbewerbsmathematik zanter zwou Generatiounen d'Zil vun der Famill sinn.

Benchmarkzuele wéi vum NVIDIA publizéiert (Juni 2026) um onkompriméierten Nemotron 3 Ultra, a vun Artificial Analysis fir onofhängeg Miessungen. Kompriméiert Builds kënnen ofwäichen. Mir publizéiere keng Benchmarkzuelen déi mir net iwwerpréift hunn oder net zouuerdne kënnen.

07De Präis, an de Virbehalt zur Wuertfëlleg

Bei $0.75 pro Millioun Input-Token an $3.30 pro Millioun Output-Token sëtzt Nemotron3Ultra beim Input am ënneschten Drëttel vun eisem Katalog a beim Output an der Mëtt. Duerchgespillte Beispiller, well e Präis pro Millioun schwéier ze spiere sinn:

Form vum Opruff	Input	Output	Käschten
Typesch RAG-Ronn	50,000	4,000	$0.051
Analys vun engem laangen Dokument	150,000	8,000	$0.139
Opruff a maximaler Gréisst	262,144	16,384	$0.251

Eng Ufro mat vollem Kontext a vollem Output — all Token deen den Endpunkt unhëlt an all Token deen en erausgëtt — kascht ronn 25 Cent. Déiselwecht Form op Kimi-K3-3BIT-REAP, eisem deiersten Modell mat $3.83/$19.12, kascht ronn $1.32, also 5.3× méi.

Elo de Virbehalt, an en ass real. Artificial Analysis huet gemooss datt Nemotron 3 Ultra 2.3× méi Output-Token wéi de mediane Konkurrent iwwer hire ganze Benchmarksatz generéiert. Raisonnéierungsmodeller verrechnen dir d'Denken, an dësen hei denkt laang; e Präisvirdeel pro Token verpufft an engem Nodeel pro Aufgab, wa de Modell dräimol esou laang raisonnéiert fir bei déiselwecht Äntwert ze kommen. D'Ofhëllef ass agebaut an op eiser API zougänglech: Nemotron 3 gouf op eng Kontroll vum Raisonnéierungsbudget nachtrainéiert, an reasoning_effort gëtt hei ënnerstëtzt — NVIDIA beschreift e Modus mat mannerem Opwand deen däitlech manner Denktoken benotzt, fir en Tosch vun der Genauegkeet am eenstellege Beräich. Bei Klassifikatioun, Extraktioun a Weiderleedung dréi en erof an d'Ekonomie ännert sech materiell; bei engem Beweis oder enger Refaktoriséierung iwwer méi Dateien dréi en erop a bezuel bewosst dofir. Mooss deng eegen Token pro Aufgab, amplaz d'Präislëscht ze liesen an unzehuelen.

08En uruffen: dräi Dialekter, ee Modell

All Modell um Gateway äntwert op dräi Streaming-API-Flächen, sou datt s du e bestoende Client dorop riichte kanns ouni deng Integratioun nei ze schreiwen: /v1/chat/completions (OpenAI-Dialekt), /v1/messages (Anthropic-Dialekt), an /v1/responses.

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Nemotron3Ultra-3BIT-REAP",
    "reasoning_effort": "medium",
    "stream": true,
    "messages": [
      {"role": "user", "content": "Derive the worst-case cache behavior of this loop nest."}
    ]
  }'

Iwwersiicht vun de Fäegkeeten, sou datt dech bei der Integratioun näischt iwwerrascht:

Fäegkeet	Nemotron3Ultra · 3BIT-REAP
Kontextfenster	262,144 Token
Max. Output / Ufro	16,384 Token
Streaming	Jo
Tool-Calling	Jo
Raisonnéierungsspueren	Jo
reasoning_effort	Jo
json_schema (streng)	Jo
response_format	Jo
Vision / Billerinput	Nee — nëmmen Text
Refus-Schicht	Keng

D'Vision-Zeil erwëscht d'Leit: Nemotron3Ultra ass nëmmen Text. Wann deng Pipeline Biller schéckt, benotz MiniMax-M3-3BIT-REAP oder MiMo-V2.5-W8A16 fir $0.50/$2.00, oder Kimi-K2.6-W4A16-AUTOROUND-REAP fir $0.78/$3.67 — all vision-fäeg, all onzenséiert, all um selwechte Kontext vun 262,144 Token. Déi voll Parameterreferenz steet an der API-Dokumentatioun.

09Wou Nemotron3Ultra ënner den zwielef sëtzt

De Katalog sinn zwielef onzenséiert Modeller déi datselwecht Kontextfenster, déi selwecht dräi Dialekter an déiselwecht Ofwiesenheet vun enger Refus-Schicht deelen; si ënnerscheede sech an der Basis, am Präis an an de Fäegkeeten. Dem Nemotron seng Plaz ass spezifesch: den Aarbechtsgaul fir Raisonnéiere mat offener Ofstamung — net dee bëllegsten, net dee fäegsten, mä deen mat der gréisster ëffentlecher Pabeierspuer hannert sengem Verhalen, am schäerfsten op STEM an Agenten ofgestëmmt.

Modell	Eran / 1M	Eraus / 1M	Vision	Wiel en fir
MiniMax-M3 · 3BIT-REAP	$0.50	$2.00	Jo	Déi bëllegst vision-fäeg Optioun
MiMo-V2.5-Pro · W8A16	$0.50	$2.00	Nee	Quantiséierungsstuf mat der héchster Tréischtheet
GLM-5.2 · 3BIT-REAP	$0.73	$2.34	Nee	Dat bëllegst Raisonnéieren op grousser Basis
Nemotron3Ultra · 3BIT-REAP	$0.75	$3.30	Nee	STEM, Agenten, offen Ofstamung
Kimi-K2.6 · W4A16-AUTOROUND-REAP	$0.78	$3.67	Jo	Vision + AutoRound-Tréischtheet
DeepSeek-V4-Pro · 3BIT-REAP	$1.95	$3.90	Nee	Déif Analys an engem eenzege Schoss
Kimi-K3 · 3BIT-REAP	$3.83	$19.12	Jo	Absolut Ubierstgrenz vun de Fäegkeeten

Siwen vun zwielef gewisen. De komplette Katalog — dorënner Laguna-S-2.1, inkling, DeepSeek-V4-Flash, MiMo-V2.5 an Hy3 — steet an der API-Dokumentatioun. Denk drun datt Laguna-S-2.1 kee strukturéierten Output ënnerstëtzt an inkling kee json_schema; Nemotron3Ultra ënnerstëtzt béid.

De noosten Noper am Präis ass GLM-5.2-3BIT-REAP mat $0.73/$2.34, an den éierleche Verglach ass deen: GLM-5.2 ass pro Token bëlleger, virun allem um Output. Nemotron bréngt e publizéierten Trainingskorpus, en ausdréckleche Knäppche fir de Raisonnéierungsbudget, an eng Familljegeschicht déi op Wëssenschaft op Doktorniveau zielt. Allgemengt Raisonnéiere mat héijem Volumen: looss dee bëllegere lafen. STEM-lastech, agentesch, oder engem Audit ënnerworf dat freet, wou dem Modell säi Verhalen hierkënnt: Nemotron verdéngt den Ënnerscheed.

10Dacks gestallte Froen

---

Quellen: Technesche Bericht zu NVIDIA Nemotron 3 Ultra · NVIDIA-Entwécklerblog (Juni 2026) · Architekturnotizen zu Nemotron 3 Super · Llama-Nemotron: Efficient Reasoning Models · Cerebras Research, REAP. D'Benchmarke vun der Basis si vum NVIDIA um onkompriméierte Modell bericht, ausser wa se Artificial Analysis zougeuerdent sinn; kompriméiert Builds kënnen ofwäichen. D'Präisser an d'Fäegkeete sinn aktuell mam Stand vum 5. September 2026.