Ongesensureerde Nemotron API

Die meeste "oop" modelle is oop gewigte en niks anders nie — 'n tarball van parameters, 'n lisensie, en stilte oor waar die syfers vandaan kom. Nemotron is al twee jaar lank die konsekwente uitsondering: NVIDIA stuur die gewigte, die na-afrigtingsdatastelle, die RL-omgewings en die resep saam. Dit maak vir 'n ongesensureerde eindpunt saak op 'n manier wat maklik is om mis te kyk. 'n Model wie se belyningsdata gepubliseer is, is een wie se weieringsgedrag jy kan beredeneer in plaas van raai — en een wat 'n derde party wettiglik kan ontplooi sonder 'n inhoudsfilter wat aan sy mond vasgeskroef is.

01Wat is Nemotron 3 Ultra?

Nemotron 3 Ultra is die grootste lid van NVIDIA se Nemotron 3-familie, op 4 Junie 2026 na Hugging Face vrygestel. NVIDIA se tegniese verslag beskryf dit as "a 550 billion total and 55 billion active parameter Mixture-of-Experts Hybrid Mamba-Attention language model" — ongeveer 10% van die netwerk werk aan enige gegewe teken, wat is wat 'n model met 'n halwe biljoen parameters hoegenaamd bedienbaar maak.

Die berigte uitleg is 108 lae teen 'n modeldimensie van 8,192, wat Mamba-2-toestandruimtelae met 'n yl stel volle aandaglae afwissel, 512 eksperts per MoE-laag met top-22-routering. Voorafleer het op ongeveer 20 biljoen teksstekens gehardloop in twee fases — eers diversiteitsgerig, toe kwaliteitsgerig — met 'n afsnydatum in September 2025, 12 natuurlike tale en 43 programmeertale. Na-afrigting het SFT gebruik, RL oor verskeie omgewings met verifieerbare belonings, en Multi-Teacher On-Policy Distillation oor meer as tien spesialisonderwysers. Die verklaarde ontwerpdoelwit is langlopende agente: sessies wat 'n groot konteks vashou, gereedskap dosyne kere roep, en lank genoeg loop dat die ekonomie per teken die rekening oorheers.

02Die Nemotron-afstamming, en waarom die stamboom saak maak

Nemotron is nie 'n eenmalige ding nie. Dit is die sigbare uitset van 'n NVIDIA-navorsingsprogram wat sedert 2024 in dieselfde rigting loop, en elke geslag het iets nagelaat wat die huidige model steeds dra. Nemotron-4 340B (Junie 2024) het met 'n oop pyplyn vir sintetiese datagenerering, sy beloningsmodel en sy generator verskyn, plus 'n ongewone bekendmaking: die oorgrote meerderheid van sy belyningsdata is deur 'n model gegenereer. Die model as 'n datafabriek eerder as 'n orakel is waarom latere Nemotron-vrystellings steeds datastelle saam met gewigte stuur.

Llama-Nemotron — redenering wat jy kan afskakel

Die 2025 Llama-Nemotron-familie (LN-Nano 8B, LN-Super 49B, LN-Ultra 253B) het twee idees bygedra wat goed verouder het. Die eerste was argitektonies: NVIDIA se Puzzle-soektog na neurale argitekture het 'n biblioteek van blokgewys gedistilleerde transformerblokke gebou en dit met gemengde-heeltal-programmering saamgestel, wat modelle oplewer waar sommige blokke aandag heeltemal oorslaan of dit met 'n enkele lineêre laag vervang, terwyl FFN Fusion opeenvolgende voorwaartsvoerblokke in minder, wyer, parallelle blokke saamgevou het — wat sekwensiële diepte sny eerder as parametertelling. LN-Ultra het op 'n enkele 8×H100-nodus gepas terwyl dit, volgens NVIDIA se artikel, DeepSeek-R1 op GPQA-Diamond geklop het (76.0% teenoor 71.5%).

Die tweede was gedragsmatig: Llama-Nemotron was die eerste oop familie met 'n dinamiese redeneerskakelaar, wat afrigtingsdata as detailed thinking on of detailed thinking off in die stelselinstruksie gemerk het, met formaatbelonings wat <think>-etikette in die aan-modus afdwing. Een stel gewigte, twee gedragswyses, kiesbaar tydens afleiding. Nemotron 3 se beheer oor die redeneerbegroting — en die reasoning_effort-parameter op ons API — stam regstreeks uit daardie werk.

Nemotron 3 — die hibriede wending

Nemotron 3 het die Llama-afleiding met 'n hibriede argitektuur van nuuts af vervang en LatentMoE bygevoeg (wat tekens komprimeer voor routering, wat volgens NVIDIA "4x as many experts for the same inference cost" moontlik maak), multi-teken-voorspelling, en inheemse NVFP4-voorafleer. NVIDIA het kumulatief 50 miljoen SFT-monsters, 2 miljoen RL-take en 55 RL-omgewings saam met die gewigte gepubliseer — jy hoef nie 'n verskaffer se woord te vat vir wat die model geleer is nie, want die leermateriaal is aflaaibaar.

03Wat die hibriede argitektuur vir jou koop

'n Transformer se KV-kas groei lineêr met reekslengte, wat is waarom langkonteks-afleiding in geheue duur word voor rekenkrag. Mamba-2-lae is toestandruimtemodelle wat 'n rekurrente toestand van vaste grootte dra, sodat hulle geheuekoste per teken nie met geskiedenis groei nie; waarin hulle swak is, is presiese assosiatiewe herroeping. Die hibried behou Mamba-2 vir die grootste deel van die reeksverwerking plus 'n minderheid van werklike aandaglae vir die herroeping wat toestandruimtelae verknoei, met 'n aggressiewe verhouding van 64 navraagkoppe tot 2 KV-koppe wat die kas verder krimp. NVIDIA berig 94.7% op RULER teen 1M tekens — 'n naald-in-die-hooimied-maatstaf wat gebou is om modelle te vang wat 'n venster eis wat hulle nie kan gebruik nie.

Die gevolg is deurset: NVIDIA eis tot ongeveer 6× hoër afleidingsdeurset as vergelykbare modelle teen gelykstaande akkuraatheid, en Artificial Analysis het onafhanklik 140.3 tekens/sekonde gemeet met 1.33 sekondes tot die eerste teken — 7de uit 89 modelle. Op 'n agentlopie van 200 beurte is dit die verskil tussen om in 'n middag klaar te kry en om nie klaar te kry nie.

04Wat "3BIT-REAP" eerlik beteken

Die agtervoegsel is nie versiering nie — dit sê presies wat aan die grondslag gedoen is om dit te laat pas.

REAP — Router-weighted Expert Activation Pruning — kom van Cerebras Research en is vir ICLR 2026 aanvaar. In 'n yl MoE stuur die router elke teken na 'n handjievol eksperts; oor 'n werklike werklading word sommige gedurig getref en ander byna nooit. REAP punt elke ekspert op 'n opvallendheidsmaatstaf wat hoe sterk die router dit hek met hoe groot sy uitvoerbydraes is kombineer, en verwyder dan die minste opvallendes heeltemal — Cerebras berig dat dit tot 50% van die eksperts uit modelle so groot soos 1 biljoen parameters snoei terwyl dit die grondlynkwaliteit grootliks behou, en vind dat snoei vir generatiewe take soos kode saamsmelting klop. 3-bis-kwantisering komprimeer dan wat oorleef. Snoei eers, kwantiseer tweede, sodat die bisbegroting na eksperts gaan wat verkeer dra in plaas daarvan om oor dooies uitgesmeer te word.

Kompressie is nie gratis nie, en ons maak nie asof dit is nie: aggressiewe kwantisering wys eerste as klein agteruitgang in presiese formaatnakoming en langketting-rekenkunde, nie as sigbare onsamehangendheid nie. Waar die drie vlakke lê:

Agtervoegsel	Wat dit is	Waar ons dit gebruik
3BIT-REAP	3-bis-gewigte + ekspertsnoei	Die grootste grondslae, waar niks anders teen spoed pas nie
W4A16-AUTOROUND-REAP	4-bis-gewigte / 16-bis-aktiverings, AutoRound se aangeleerde afronding, + snoei	Middelgroot grondslae; AutoRound herwin akkuraatheid bo naïewe afronding-na-naaste
W8A16	8-bis-gewigte / 16-bis-aktiverings	Hoogste getrouheid; grondslae klein genoeg om nie aggressiewe kompressie nodig te hê nie

Nemotron 3 Ultra teen 550B val vierkantig in die eerste kategorie. As jou werklading ongewoon sensitief is vir presiese numeriese uitvoer oor lang kettings, lys die navorsingsindeks die W8A16-vlak — MiMo-V2.5-Pro-W8A16 en Hy3-W8A16 — teen die vloer van $0.50/$2.00. 'n Werklike ruil, nie 'n tregter nie: kleiner model, minder kompressie.

05Wat "ongesensureerd" op hierdie eindpunt beteken

Konkreet: daar is geen weieringslaag en geen inhoudsfiltrering op die uitvoer nie. Geen klassifiseerder inspekteer jou opdrag en gee 'n geblikte weiering terug nie, en die antwoord word nie geskandeer voordat dit jou stroom bereik nie. Wat jy kry, is die model se eie gedrag.

Dit is waar die oop afstamming ophou om onbenullighede te wees. Omdat NVIDIA die na-afrigtingsdata en die RL-omgewings gepubliseer het, is die model se geneigdhede in beginsel ouditeerbaar eerder as volksoorlewering. En omdat OpenMDW-1.1 'n toegeeflike Linux Foundation-lisensie is wat argitektuur, parameters, dokumentasie en sagteware dek, kan 'n onafhanklike operateur 'n gewysigde, ongefiltreerde ontplooiing op sy eie hardeware bedien sonder dat die lisensie die struikelblok is. Baie "oop" modellisensies laat dit nie toe nie. Hierdie een wel. Die verskil wys op waar refleksiewe weiering 'n fout is, nie 'n veiligheidskenmerk nie:

• Sekuriteitsnavorsing — kwesbaarheidsontleding, uitbuitingsredenering, wanwaregedrag, rooispangereedskap, sonder om te stry oor of die vraag toegelaat word.
• Chemie, biologie en farmakologie — doseringswiskunde, reaksiemeganismes, toksikologie, sinteseroetes wat 'n gefiltreerde eindpunt by sleutelwoordkontak weier.
• Teenstrydige ML — harde negatiewes, tronkbreekkorpora en misbruiktaksonomieë vir klassifiseerders wat die werklike ding moes gesien het.
• Kliniese, regs- en forensiese teks — saakmateriaal wat van nature grafies is en presies daarom geweier word.

Ongesensureerd is nie onaanspreeklik nie. Jy besit wat jy genereer, en ons Beleid vir Verantwoordelike Gebruik en Diensbepalings beheer die rekening. Om 'n weieringslaag te verwyder, verwyder 'n raaiskoot oor bedoeling; dit verwyder nie jou verpligtinge onder die reg wat op jou van toepassing is nie.

06STEM en redenering: wat die gepubliseerde syfers sê

Nemotron se afrigtingsfokus is wiskunde, kode, wetenskap en instruksievolging sedert die Llama-Nemotron na-afrigtingsdatastel presies om daardie vier asse gebou is. Wat NVIDIA vir die Nemotron 3 Ultra-grondslag berig — verskaffer-berigte syfers op die ongekomprimeerde model, wat ons nie self gehardloop het nie:

Twee voorbehoude is meer werd as die syfers. Die SWE-Bench Verified-syfer is 'n reeks — NVIDIA berig 65.0% tot 70.4% afhangende van watter agentraamwerk dit hardloop (Pi, OpenHands, Hermes, OpenCode, Mini SWE Agent), en 'n verspreiding van vyf punte uit die steierwerk alleen wys hoeveel agentiese tellings van die raamwerk eerder as die model afhang. En Artificial Analysis het Nemotron 3 Ultra op 48 op sy Intelligence Index geplaas, 9de uit 89 modelle — sterk, nie boaan die veld nie, en hulle onafhanklike meting is die een wat ons bo enige verskaffer se skyfie sou weeg.

Oor die vorige geslag berig NVIDIA se Llama-Nemotron-artikel LN-Ultra teen 76.0% op GPQA-Diamond teenoor DeepSeek-R1 se 71.5% en Llama-3.1-405B-Instruct se 43.4%, plus 80.8% op AIME 2024 — 'n ander model, ingesluit omdat nagraadse wetenskap en kompetisiewiskunde vir twee geslagte die familie se teiken was.

Maatstafsyfers soos deur NVIDIA gepubliseer (Junie 2026) op die ongekomprimeerde Nemotron 3 Ultra, en deur Artificial Analysis vir onafhanklike metings. Gekomprimeerde bou-eenhede kan verskil. Ons publiseer nie maatstafsyfers wat ons nie geverifieer het of nie kan toeskryf nie.

07Prys, en die woordrykheidsvoorbehoud

Teen $0.75 per miljoen insettekens en $3.30 per miljoen uitvoertekens sit Nemotron3Ultra in die onderste derde van ons katalogus op inset en die middel op uitvoer. Uitgewerkte voorbeelde, want prysing per miljoen is moeilik om te voel:

Oproepvorm	Inset	Uitvoer	Koste
Tipiese RAG-beurt	50,000	4,000	$0.051
Lang dokumentontleding	150,000	8,000	$0.139
Oproep van maksimum grootte	262,144	16,384	$0.251

'n Versoek met volle konteks en volle uitvoer — elke teken wat die eindpunt sal aanvaar en elke teken wat dit sal produseer — kos ongeveer 25 sent. Dieselfde vorm op Kimi-K3-3BIT-REAP, ons duurste model teen $3.83/$19.12, kos ongeveer $1.32, of 5.3× meer.

Nou die voorbehoud, en dit is werklik. Artificial Analysis het gemeet dat Nemotron 3 Ultra 2.3× meer uitvoertekens as die mediaan-eweknie oor hulle maatstafstel genereer. Redeneermodelle faktureer jou vir die denke, en hierdie een dink lank; 'n voordeel in prys per teken verdamp in 'n nadeel per taak as die model drie keer so lank redeneer om by dieselfde antwoord uit te kom. Die versagting is ingebou en op ons API beskikbaar: Nemotron 3 is na-afgerig vir beheer oor die redeneerbegroting, en reasoning_effort word hier ondersteun — NVIDIA beskryf 'n laer-poging-modus wat aansienlik minder denketekens gebruik vir 'n enkelsyfer-akkuraatheidsruil. Op klassifikasie, onttrekking en routering: draai dit af en die ekonomie verander wesenlik; op 'n bewys of 'n multi-lêer-herstrukturering: draai dit op en betaal doelbewus daarvoor. Meet jou eie tekens-per-taak eerder as om die pryslys te lees en aan te neem.

08Om dit te roep: drie dialekte, een model

Elke model op die poort antwoord op drie stromende API-oppervlakke, sodat jy 'n bestaande kliënt daarna kan wys sonder om jou integrasie te herskryf: /v1/chat/completions (OpenAI-dialek), /v1/messages (Anthropic-dialek), en /v1/responses.

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Nemotron3Ultra-3BIT-REAP",
    "reasoning_effort": "medium",
    "stream": true,
    "messages": [
      {"role": "user", "content": "Derive the worst-case cache behavior of this loop nest."}
    ]
  }'

Vermoë-opsomming, sodat niks jou by integrasietyd verras nie:

Vermoë	Nemotron3Ultra · 3BIT-REAP
Konteksvenster	262,144 tekens
Maks uitvoer / versoek	16,384 tekens
Stroming	Ja
Gereedskaproeping	Ja
Redeneerspore	Ja
reasoning_effort	Ja
json_schema (streng)	Ja
response_format	Ja
Visie / beeldinset	Nee — slegs teks
Weieringslaag	Geen

Die visie-ry vang mense uit: Nemotron3Ultra is slegs teks. As jou pyplyn beelde stuur, gebruik MiniMax-M3-3BIT-REAP of MiMo-V2.5-W8A16 teen $0.50/$2.00, of Kimi-K2.6-W4A16-AUTOROUND-REAP teen $0.78/$3.67 — almal visie-bekwaam, almal ongesensureerd, almal op dieselfde konteks van 262,144 tekens. Die volledige parameterverwysing is in die API-dokumentasie.

09Waar Nemotron3Ultra tussen die twaalf inpas

Die katalogus is twaalf ongesensureerde modelle wat dieselfde konteksvenster, dieselfde drie dialekte en dieselfde afwesigheid van 'n weieringslaag deel; hulle verskil in grondslag, prys en vermoë. Nemotron se posisie is spesifiek: die werkperd vir redenering met oop afstamming — nie die goedkoopste nie, nie die bekwaamste nie, maar die een met die meeste openbare papierspoor agter sy gedrag, die hardste na STEM en agente ingestel.

Model	In / 1M	Uit / 1M	Visie	Kies dit vir
MiniMax-M3 · 3BIT-REAP	$0.50	$2.00	Ja	Goedkoopste visie-bekwame opsie
MiMo-V2.5-Pro · W8A16	$0.50	$2.00	Nee	Kwantiseringsvlak met die hoogste getrouheid
GLM-5.2 · 3BIT-REAP	$0.73	$2.34	Nee	Goedkoopste redenering op 'n groot grondslag
Nemotron3Ultra · 3BIT-REAP	$0.75	$3.30	Nee	STEM, agente, oop afstamming
Kimi-K2.6 · W4A16-AUTOROUND-REAP	$0.78	$3.67	Ja	Visie + AutoRound-getrouheid
DeepSeek-V4-Pro · 3BIT-REAP	$1.95	$3.90	Nee	Diep enkelskoot-ontleding
Kimi-K3 · 3BIT-REAP	$3.83	$19.12	Ja	Absolute vermoënsplafon

Sewe uit twaalf gewys. Die volledige katalogus — insluitend Laguna-S-2.1, inkling, DeepSeek-V4-Flash, MiMo-V2.5 en Hy3 — is in die API-dokumente. Let daarop dat Laguna-S-2.1 nie gestruktureerde uitvoer ondersteun nie en inkling nie json_schema ondersteun nie; Nemotron3Ultra ondersteun albei.

Die naaste buurman volgens prys is GLM-5.2-3BIT-REAP teen $0.73/$2.34, en die eerlike vergelyking is dit: GLM-5.2 is goedkoper per teken, veral op uitvoer. Nemotron bring 'n gepubliseerde afrigtingskorpus, 'n eksplisiete knop vir die redeneerbegroting, en 'n familiegeskiedenis wat op nagraadse wetenskap gemik is. Algemene redenering op hoë volume: hardloop die goedkoper een. STEM-swaar, agenties, of onderworpe aan 'n oudit wat vra waar die model se gedrag vandaan kom: Nemotron verdien die verskil.

10Gereelde vrae

---

Bronne: NVIDIA Nemotron 3 Ultra tegniese verslag · NVIDIA-ontwikkelaarsblog (Junie 2026) · Nemotron 3 Super-argitektuurnotas · Llama-Nemotron: Efficient Reasoning Models · Cerebras Research, REAP. Grondslagmaatstawwe is deur NVIDIA berig op die ongekomprimeerde model tensy dit aan Artificial Analysis toegeskryf word; gekomprimeerde bou-eenhede kan verskil. Pryse en vermoëns is geldig soos op 5 September 2026.