API Nemotron Tanpa Tapisan

Kebanyakan model "terbuka" hanyalah pemberat terbuka dan tidak lebih daripada itu — satu tarball parameter, satu lesen, dan sepi tentang dari mana angkanya datang. Nemotron sudah dua tahun menjadi pengecualian yang konsisten: NVIDIA menghantar pemberatnya, set data pasca-latihannya, persekitaran RL-nya dan resipinya. Itu penting bagi sebuah titik akhir tanpa tapisan dengan cara yang mudah terlepas pandang. Model yang data penjajarannya diterbitkan ialah model yang kelakuan penolakannya boleh anda fikirkan secara rasional dan bukan diteka — dan model yang boleh disajikan secara sah oleh pihak ketiga tanpa penapis kandungan dipasang pada mulutnya.

01Apa itu Nemotron 3 Ultra?

Nemotron 3 Ultra ialah ahli terbesar keluarga Nemotron 3 NVIDIA, dikeluarkan ke Hugging Face pada 4 Jun 2026. Laporan teknikal NVIDIA menerangkannya sebagai "model bahasa Campuran Pakar Hibrid Mamba-Attention dengan 550 bilion jumlah parameter dan 55 bilion parameter aktif" — kira-kira 10% daripada rangkaian bekerja pada mana-mana token, dan itulah yang menjadikan model separuh trilion parameter boleh disajikan langsung.

Susun atur yang dilaporkan ialah 108 lapisan pada dimensi model 8,192, menyelang-selikan lapisan ruang-keadaan Mamba-2 dengan satu set jarang lapisan perhatian penuh, 512 pakar setiap lapisan MoE dengan penghalaan top-22. Pralatihan berjalan pada kira-kira 20 trilion token teks dalam dua fasa — condong-kepelbagaian, kemudian condong-kualiti — dengan potongan September 2025, 12 bahasa asli dan 43 bahasa pengaturcaraan. Pasca-latihan menggunakan SFT, RL berbilang persekitaran dengan ganjaran boleh disahkan, dan Multi-Teacher On-Policy Distillation merentasi lebih daripada sepuluh guru pakar. Sasaran reka bentuk yang dinyatakan ialah ejen yang berjalan lama: sesi yang memegang konteks besar, memanggil alat berpuluh kali, dan berjalan cukup lama sehingga ekonomi setiap token menguasai bil.

02Keturunan Nemotron, dan mengapa warisan itu penting

Nemotron bukan sesuatu yang sekali lalu. Ia hasil ketara sebuah program penyelidikan NVIDIA yang berjalan ke arah yang sama sejak 2024, dan setiap generasi meninggalkan sesuatu yang model semasa masih bawa. Nemotron-4 340B (Jun 2024) dihantar bersama saluran penjanaan data sintetik terbuka, model ganjarannya dan penjananya, berserta satu pendedahan luar biasa: majoriti besar data penjajarannya dijana model. Model sebagai kilang data dan bukan sebagai orakel itulah sebab keluaran Nemotron kemudian terus menghantar set data bersama pemberat.

Llama-Nemotron — penaakulan yang boleh anda matikan

Keluarga Llama-Nemotron 2025 (LN-Nano 8B, LN-Super 49B, LN-Ultra 253B) menyumbang dua idea yang bertahan baik. Yang pertama bersifat seni bina: carian seni bina neural Puzzle NVIDIA membina perpustakaan blok transformer yang disuling blok demi blok dan memasangnya dengan pengaturcaraan integer bercampur, menghasilkan model yang sesetengah bloknya melangkau perhatian sepenuhnya atau menggantikannya dengan satu lapisan linear, manakala FFN Fusion meruntuhkan blok suap-hadapan berturutan menjadi blok yang lebih sedikit, lebih lebar dan selari — memotong kedalaman berjujukan dan bukan bilangan parameter. LN-Ultra muat pada satu nod 8×H100 sambil, menurut kertas NVIDIA, mengatasi DeepSeek-R1 pada GPQA-Diamond (76.0% berbanding 71.5%).

Yang kedua bersifat kelakuan: Llama-Nemotron ialah keluarga terbuka pertama dengan suis penaakulan dinamik, menandakan data latihan detailed thinking on atau detailed thinking off dalam arahan sistem, dengan ganjaran format menguatkuasakan tag <think> dalam mod hidup. Satu set pemberat, dua kelakuan, boleh dipilih pada masa inferens. Kawalan bajet penaakulan Nemotron 3 — dan parameter reasoning_effort pada API kami — turun terus daripada kerja itu.

Nemotron 3 — pusingan hibrid

Nemotron 3 menggantikan terbitan Llama dengan seni bina hibrid dari kosong dan menambah LatentMoE (memampatkan token sebelum penghalaan, yang menurut NVIDIA membolehkan "4x lebih ramai pakar untuk kos inferens yang sama"), ramalan berbilang token, dan pralatihan NVFP4 asli. NVIDIA menerbitkan kumulatif 50 juta sampel SFT, 2 juta tugas RL dan 55 persekitaran RL bersama pemberatnya — anda tidak perlu bergantung pada kata vendor tentang apa yang diajar kepada model itu, kerana bahan pengajarannya boleh dimuat turun.

03Apa yang seni bina hibrid itu berikan kepada anda

Cache KV sesebuah transformer membesar secara linear dengan panjang jujukan, dan itulah sebabnya inferens konteks panjang menjadi mahal dari segi memori sebelum pengiraan. Lapisan Mamba-2 ialah model ruang-keadaan yang membawa keadaan berulang bersaiz tetap, jadi kos memori setiap tokennya tidak membesar dengan sejarah; apa yang lemah padanya ialah ingatan semula bersekutu yang tepat. Hibrid itu mengekalkan Mamba-2 untuk sebahagian besar pemprosesan jujukan berserta minoriti lapisan perhatian sebenar untuk ingatan semula yang lapisan ruang-keadaan tersasar, dengan nisbah agresif 64-kepala-pertanyaan / 2-kepala-KV yang mengecilkan lagi cache itu. NVIDIA melaporkan 94.7% pada RULER pada 1J token — penanda aras pencarian jarum yang dibina untuk menangkap model yang mendakwa tetingkap yang tidak boleh mereka gunakan.

Akibatnya ialah daya pemprosesan: NVIDIA mendakwa daya pemprosesan inferens sehingga kira-kira 6× lebih tinggi berbanding model setara pada ketepatan yang setanding, dan Artificial Analysis mengukur secara bebas 140.3 token/saat dengan masa ke token pertama 1.33 saat — ke-7 daripada 89 model. Pada larian ejen 200 pusingan itu ialah beza antara selesai petang itu juga dan tidak selesai langsung.

04Apa maksud "3BIT-REAP", secara jujur

Akhiran itu bukan hiasan — ia memberitahu anda dengan tepat apa yang dilakukan pada asasnya supaya ia muat.

REAP — Router-weighted Expert Activation Pruning — datang daripada Cerebras Research dan diterima ke ICLR 2026. Dalam MoE jarang, penghala menghantar setiap token kepada segelintir pakar; sepanjang beban kerja sebenar sesetengahnya dikenai berterusan dan yang lain hampir tidak pernah. REAP memberi skor kepada setiap pakar pada kriteria keserlahan yang menggabungkan berapa kuat penghala menggetnya dengan berapa besar sumbangan outputnya, kemudian membuang yang paling kurang serlah terus — Cerebras melaporkan pemangkasan sehingga 50% pakar daripada model sebesar 1 trilion parameter sambil sebahagian besarnya mengekalkan kualiti dasar, dan mendapati bahawa bagi tugas generatif seperti kod, pemangkasan mengalahkan pencantuman. Kuantuman 3-bit kemudian memampatkan apa yang terselamat. Pangkas dahulu, kuantumkan kemudian, supaya bajet bit pergi kepada pakar yang membawa trafik dan bukan disapu merata pada pakar yang mati.

Pemampatan bukan percuma, dan kami tidak akan berpura-pura sebaliknya: kuantuman agresif muncul mula-mula sebagai kemerosotan kecil dalam pematuhan format tepat dan aritmetik rantaian panjang, bukan sebagai ketidakkoherenan yang ketara. Di mana ketiga-tiga tingkat itu berada:

Akhiran	Apa itu	Di mana kami menggunakannya
3BIT-REAP	Pemberat 3-bit + pemangkasan pakar	Asas terbesar, di mana tiada apa lagi yang muat pada kelajuan
W4A16-AUTOROUND-REAP	Pemberat 4-bit / pengaktifan 16-bit, pembundaran terpelajar AutoRound, + pemangkasan	Asas bersaiz sederhana; AutoRound memulihkan ketepatan berbanding pembundaran-ke-terdekat yang naif
W8A16	Pemberat 8-bit / pengaktifan 16-bit	Kesetiaan tertinggi; asas yang cukup kecil hingga tidak perlukan pemampatan agresif

Nemotron 3 Ultra pada 550B jatuh tepat dalam kategori pertama. Jika beban kerja anda luar biasa sensitif terhadap output berangka yang tepat sepanjang rantaian panjang, indeks penyelidikan menyenaraikan tingkat W8A16 — MiMo-V2.5-Pro-W8A16 dan Hy3-W8A16 — pada lantai $0.50/$2.00. Satu pertukaran sebenar, bukan corong jualan: model lebih kecil, pemampatan lebih sedikit.

05Apa maksud "tanpa tapisan" pada titik akhir ini

Secara konkrit: tiada lapisan penolakan dan tiada penapisan kandungan dikenakan pada output. Tiada pengelas memeriksa gesaan anda lalu memulangkan penolakan siap kalengan, dan respons tidak diimbas sebelum sampai ke strim anda. Apa yang anda dapat ialah kelakuan model itu sendiri.

Di sinilah keturunan terbuka itu berhenti menjadi sekadar fakta remeh. Kerana NVIDIA menerbitkan data pasca-latihan dan persekitaran RL-nya, kecenderungan model itu boleh diaudit pada prinsipnya dan bukan sekadar cerita mulut. Dan kerana OpenMDW-1.1 ialah lesen permisif Linux Foundation yang merangkumi seni bina, parameter, dokumentasi dan perisian, seorang pengendali bebas boleh menyajikan penyajian yang diubah suai dan tanpa tapisan pada perkakasan mereka sendiri tanpa lesen itu menjadi halangan. Banyak lesen model "terbuka" tidak membenarkannya. Yang ini membenarkan. Bezanya muncul di tempat penolakan refleks itu pepijat, bukan ciri keselamatan:

• Penyelidikan keselamatan — analisis kerentanan, penaakulan eksploit, kelakuan perisian hasad, perkakasan pasukan merah, tanpa berbalah sama ada soalan itu dibenarkan.
• Kimia, biologi dan farmakologi — matematik dos, mekanisme tindak balas, toksikologi, laluan sintesis yang ditolak oleh titik akhir bertapis sebaik terkena kata kunci.
• ML adversarial — negatif sukar, korpus jailbreak dan taksonomi penyalahgunaan bagi pengelas yang perlu pernah melihat benda sebenar.
• Teks klinikal, undang-undang dan forensik — bahan kes yang memang grafik secara semula jadi dan ditolak justeru atas sebab itu.

Tanpa tapisan bukan bermakna tanpa tanggungjawab. Anda memiliki apa yang anda jana, dan Dasar Penggunaan Bertanggungjawab serta Terma Perkhidmatan kami mentadbir akaun itu. Membuang lapisan penolakan membuang satu tekaan tentang niat; ia tidak membuang kewajipan anda di bawah undang-undang yang terpakai kepada anda.

06STEM dan penaakulan: apa kata angka yang diterbitkan

Fokus latihan Nemotron ialah matematik, kod, sains dan pematuhan arahan sejak set data pasca-latihan Llama-Nemotron dibina tepat di sekitar empat paksi itu. Apa yang NVIDIA laporkan bagi asas Nemotron 3 Ultra — angka yang dilaporkan vendor pada model tanpa mampatan, yang bukan kami jalankan:

Dua kaveat yang lebih bernilai daripada angka itu sendiri. Angka SWE-Bench Verified itu ialah satu julat — NVIDIA melaporkan 65.0% hingga 70.4% bergantung pada rangka ejen mana yang menjalankannya (Pi, OpenHands, Hermes, OpenCode, Mini SWE Agent), dan sebaran lima mata daripada perancah semata-mata menunjukkan betapa bergantungnya skor agentik pada rangka itu dan bukan pada model. Dan Artificial Analysis meletakkan Nemotron 3 Ultra pada 48 dalam Intelligence Index mereka, ke-9 daripada 89 model — kuat, bukan di puncak bidang, dan pengukuran bebas mereka itulah yang kami akan timbang mengatasi mana-mana slaid vendor.

Pada generasi terdahulu, kertas Llama-Nemotron NVIDIA melaporkan LN-Ultra pada 76.0% pada GPQA-Diamond berbanding 71.5% DeepSeek-R1 dan 43.4% Llama-3.1-405B-Instruct, berserta 80.8% pada AIME 2024 — model yang berbeza, disertakan kerana sains peringkat siswazah dan matematik pertandingan sudah menjadi sasaran keluarga ini selama dua generasi.

Angka penanda aras seperti diterbitkan NVIDIA (Jun 2026) pada Nemotron 3 Ultra tanpa mampatan, dan oleh Artificial Analysis bagi pengukuran bebas. Binaan termampat mungkin berbeza. Kami tidak menerbitkan angka penanda aras yang kami tidak sahkan atau tidak boleh atributkan.

07Harga, dan kaveat kepanjangan output

Pada $0.75 setiap juta token input dan $3.30 setiap juta token output, Nemotron3Ultra berada di sepertiga bawah katalog kami pada input dan di pertengahan pada output. Contoh terkira, kerana harga setiap juta sukar dirasai:

Bentuk panggilan	Input	Output	Kos
Pusingan RAG biasa	50,000	4,000	$0.051
Analisis dokumen panjang	150,000	8,000	$0.139
Panggilan bersaiz maksimum	262,144	16,384	$0.251

Permintaan konteks penuh dan output penuh — setiap token yang titik akhir itu akan terima dan setiap token yang ia akan hasilkan — berharga kira-kira 25 sen. Bentuk yang sama pada Kimi-K3-3BIT-REAP, model kami yang paling mahal pada $3.83/$19.12, berharga kira-kira $1.32, atau 5.3× lebih.

Kini kaveatnya, dan ia nyata. Artificial Analysis mengukur Nemotron 3 Ultra menjana 2.3× lebih banyak token output berbanding median rakan setaranya merentasi suite penanda aras mereka. Model penaakulan membilkan anda untuk pemikirannya, dan yang ini berfikir panjang lebar; kelebihan harga setiap token menguap menjadi kerugian setiap tugas jika model menaakul tiga kali lebih lama untuk sampai ke jawapan yang sama. Peredanya terbina dan didedahkan pada API kami: Nemotron 3 dipasca-latih untuk kawalan bajet penaakulan, dan reasoning_effort disokong di sini — NVIDIA menerangkan mod usaha lebih rendah yang menggunakan jauh lebih sedikit token pemikiran dengan pertukaran ketepatan satu digit. Pada pengelasan, pengekstrakan dan penghalaan, turunkan ia dan ekonominya berubah dengan ketara; pada satu bukti matematik atau pemfaktoran semula berbilang fail, naikkan ia dan bayar untuknya secara sengaja. Ukur token-setiap-tugas anda sendiri dan bukan membaca senarai harga lalu mengandaikan.

08Memanggilnya: tiga dialek, satu model

Setiap model pada get laluan menjawab pada tiga permukaan API penstriman, jadi anda boleh mengacukan klien sedia ada kepadanya tanpa menulis semula integrasi anda: /v1/chat/completions (dialek OpenAI), /v1/messages (dialek Anthropic), dan /v1/responses.

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Nemotron3Ultra-3BIT-REAP",
    "reasoning_effort": "medium",
    "stream": true,
    "messages": [
      {"role": "user", "content": "Derive the worst-case cache behavior of this loop nest."}
    ]
  }'

Ringkasan keupayaan, supaya tiada apa yang mengejutkan anda pada waktu integrasi:

Keupayaan	Nemotron3Ultra · 3BIT-REAP
Tetingkap konteks	262,144 token
Output maks / permintaan	16,384 token
Penstriman	Ya
Panggilan alat	Ya
Jejak penaakulan	Ya
reasoning_effort	Ya
json_schema (ketat)	Ya
response_format	Ya
Visi / input imej	Tidak — teks sahaja
Lapisan penolakan	Tiada

Baris visi itu sering menangkap orang: Nemotron3Ultra ialah teks sahaja. Jika saluran anda menghantar imej, gunakan MiniMax-M3-3BIT-REAP atau MiMo-V2.5-W8A16 pada $0.50/$2.00, atau Kimi-K2.6-W4A16-AUTOROUND-REAP pada $0.78/$3.67 — semuanya berkeupayaan visi, semuanya tanpa tapisan, semuanya pada konteks 262,144 token yang sama. Rujukan parameter penuh ada dalam dokumentasi API.

09Di mana Nemotron3Ultra berada dalam kalangan dua belas

Katalog ini ialah dua belas model tanpa tapisan yang berkongsi tetingkap konteks yang sama, tiga dialek yang sama dan ketiadaan lapisan penolakan yang sama; ia berbeza pada asas, harga dan keupayaan. Kedudukan Nemotron adalah khusus: kuda kerja penaakulan berketurunan terbuka — bukan yang termurah, bukan yang paling berkemampuan, tetapi yang paling banyak jejak kertas awam di sebalik kelakuannya, ditala paling kuat ke arah STEM dan ejen.

Model	Masuk / 1J	Keluar / 1J	Visi	Pilih ia untuk
MiniMax-M3 · 3BIT-REAP	$0.50	$2.00	Ya	Pilihan berkeupayaan visi termurah
MiMo-V2.5-Pro · W8A16	$0.50	$2.00	Tidak	Tingkat kuantuman berkesetiaan tertinggi
GLM-5.2 · 3BIT-REAP	$0.73	$2.34	Tidak	Penaakulan asas besar termurah
Nemotron3Ultra · 3BIT-REAP	$0.75	$3.30	Tidak	STEM, ejen, keturunan terbuka
Kimi-K2.6 · W4A16-AUTOROUND-REAP	$0.78	$3.67	Ya	Visi + kesetiaan AutoRound
DeepSeek-V4-Pro · 3BIT-REAP	$1.95	$3.90	Tidak	Analisis mendalam sekali tembak
Kimi-K3 · 3BIT-REAP	$3.83	$19.12	Ya	Siling keupayaan mutlak

Tujuh daripada dua belas ditunjukkan. Katalog penuh — termasuk Laguna-S-2.1, inkling, DeepSeek-V4-Flash, MiMo-V2.5 dan Hy3 — ada dalam dokumen API. Ambil perhatian bahawa Laguna-S-2.1 tidak menyokong output berstruktur dan inkling tidak menyokong json_schema; Nemotron3Ultra menyokong kedua-duanya.

Jiran terdekat dari segi harga ialah GLM-5.2-3BIT-REAP pada $0.73/$2.34, dan perbandingan yang jujur ialah ini: GLM-5.2 lebih murah setiap token, terutamanya pada output. Nemotron membawa korpus latihan yang diterbitkan, tombol bajet penaakulan yang eksplisit, dan sejarah keluarga yang menyasarkan sains peringkat siswazah. Penaakulan am volum tinggi: jalankan yang lebih murah. Berat STEM, agentik, atau tertakluk kepada audit yang bertanya dari mana datangnya kelakuan model: Nemotron berbaloi dengan bezanya.

10Soalan lazim

---

Sumber: Laporan teknikal NVIDIA Nemotron 3 Ultra · Blog pembangun NVIDIA (Jun 2026) · Nota seni bina Nemotron 3 Super · Llama-Nemotron: Efficient Reasoning Models · Cerebras Research, REAP. Penanda aras asas dilaporkan NVIDIA pada model tanpa mampatan melainkan diatributkan kepada Artificial Analysis; binaan termampat mungkin berbeza. Harga dan keupayaan adalah semasa setakat 5 September 2026.