API Nemotron Tanpa Sensor

Sebagian besar model "terbuka" hanyalah bobot terbuka dan tidak lebih — segumpal parameter, sebuah lisensi, dan kebisuan soal dari mana angkanya berasal. Nemotron sudah dua tahun menjadi perkecualian yang konsisten: NVIDIA mengirimkan bobotnya, dataset pasca-pelatihannya, lingkungan RL-nya, dan resepnya. Itu penting bagi sebuah endpoint tanpa sensor dengan cara yang mudah terlewat. Model yang data penyelarasannya dipublikasikan adalah model yang perilaku penolakannya bisa Anda nalar alih-alih Anda terka — dan model yang boleh disebarkan pihak ketiga secara sah tanpa filter konten dibaut ke mulutnya.

01Apa itu Nemotron 3 Ultra?

Nemotron 3 Ultra adalah anggota terbesar keluarga Nemotron 3 milik NVIDIA, dirilis ke Hugging Face pada 4 Juni 2026. Laporan teknis NVIDIA menggambarkannya sebagai "model bahasa Mixture-of-Experts Hybrid Mamba-Attention dengan total 550 miliar dan 55 miliar parameter aktif" — kira-kira 10% jaringan bekerja pada token mana pun, dan itulah yang membuat model setengah triliun parameter bisa dilayani sama sekali.

Tata letak yang dilaporkan adalah 108 lapisan pada dimensi model 8.192, menyelang-nyelingkan lapisan state-space Mamba-2 dengan sekumpulan kecil lapisan atensi penuh, 512 expert per lapisan MoE dengan perutean top-22. Prapelatihan berjalan pada kira-kira 20 triliun token teks dalam dua fase — condong keberagaman, lalu condong kualitas — dengan cutoff September 2025, 12 bahasa alami dan 43 bahasa pemrograman. Pasca-pelatihan memakai SFT, RL multi-lingkungan dengan imbalan yang bisa diverifikasi, dan Multi-Teacher On-Policy Distillation dari lebih dari sepuluh guru spesialis. Target desain yang dinyatakan adalah agen berjalan panjang: sesi yang memegang konteks besar, memanggil tool berpuluh kali, dan berjalan cukup lama sehingga ekonomi per-token mendominasi tagihan.

02Silsilah Nemotron, dan kenapa asal-usulnya penting

Nemotron bukan produk sekali jadi. Ia adalah keluaran kasatmata dari sebuah program riset NVIDIA yang berjalan ke arah yang sama sejak 2024, dan tiap generasi meninggalkan sesuatu yang masih dibawa model sekarang. Nemotron-4 340B (Juni 2024) hadir dengan pipeline pembangkitan data sintetis yang terbuka, model imbalannya dan generatornya, plus pengungkapan yang tidak biasa: mayoritas mutlak data penyelarasannya dihasilkan model. Gagasan model sebagai pabrik data alih-alih orakel itulah sebabnya rilis Nemotron berikutnya terus mengirimkan dataset berdampingan dengan bobot.

Llama-Nemotron — penalaran yang bisa Anda matikan

Keluarga Llama-Nemotron 2025 (LN-Nano 8B, LN-Super 49B, LN-Ultra 253B) menyumbang dua gagasan yang menua dengan baik. Yang pertama arsitektural: pencarian arsitektur neural Puzzle milik NVIDIA membangun pustaka blok transformer yang didistilasi per blok lalu merakitnya dengan pemrograman bilangan bulat campuran, menghasilkan model yang sebagian bloknya melewatkan atensi sama sekali atau menggantinya dengan satu lapisan linier, sementara FFN Fusion meruntuhkan blok feed-forward berurutan menjadi lebih sedikit, lebih lebar, dan paralel — memangkas kedalaman sekuensial alih-alih jumlah parameter. LN-Ultra muat pada satu node 8×H100 sementara, menurut makalah NVIDIA, mengungguli DeepSeek-R1 pada GPQA-Diamond (76,0% berbanding 71,5%).

Yang kedua bersifat perilaku: Llama-Nemotron adalah keluarga terbuka pertama dengan sakelar penalaran dinamis, menandai data pelatihan dengan detailed thinking on atau detailed thinking off di instruksi sistem, dengan imbalan format yang menegakkan tag <think> pada mode aktif. Satu set bobot, dua perilaku, dipilih saat inferensi. Kontrol anggaran penalaran pada Nemotron 3 — dan parameter reasoning_effort di API kami — adalah keturunan langsung dari pekerjaan itu.

Nemotron 3 — belokan ke hybrid

Nemotron 3 mengganti turunan Llama dengan arsitektur hybrid yang dibangun dari nol dan menambahkan LatentMoE (mengompresi token sebelum perutean, yang menurut NVIDIA memungkinkan "expert empat kali lebih banyak dengan biaya inferensi yang sama"), prediksi multi-token, dan prapelatihan NVFP4 native. NVIDIA memublikasikan kumulatif 50 juta sampel SFT, 2 juta tugas RL dan 55 lingkungan RL berdampingan dengan bobotnya — Anda tidak harus percaya begitu saja pada kata vendor soal apa yang diajarkan ke model, karena bahan ajarnya bisa diunduh.

03Apa yang Anda dapat dari arsitektur hybrid

Cache KV sebuah transformer tumbuh linier terhadap panjang urutan, dan itulah sebabnya inferensi konteks panjang jadi mahal di memori sebelum mahal di komputasi. Lapisan Mamba-2 adalah model state-space yang membawa state rekuren berukuran tetap, jadi biaya memori per-tokennya tidak tumbuh seiring riwayat; kelemahannya adalah pengingatan asosiatif yang presisi. Hybrid ini menahan Mamba-2 untuk sebagian besar pemrosesan urutan plus segelintir lapisan atensi sungguhan untuk pengingatan yang gagal ditangani lapisan state-space, dengan rasio agresif 64 query head / 2 KV head yang mengecilkan cache lebih jauh lagi. NVIDIA melaporkan 94,7% pada RULER di 1 juta token — benchmark pencarian jarum yang dibuat untuk menangkap model yang mengaku punya jendela yang tak bisa mereka pakai.

Konsekuensinya adalah throughput: NVIDIA mengklaim throughput inferensi hingga kira-kira 6× lebih tinggi dibanding model sebanding pada akurasi setara, dan Artificial Analysis mengukur secara independen 140,3 token/detik dengan waktu ke token pertama 1,33 detik — peringkat 7 dari 89 model. Pada sesi agen 200 giliran, itulah beda antara selesai sore ini dan tidak selesai.

04Apa arti "3BIT-REAP", secara jujur

Akhirannya bukan hiasan — ia memberi tahu Anda persis apa yang dilakukan terhadap fondasinya supaya muat.

REAP — Router-weighted Expert Activation Pruning — berasal dari Cerebras Research dan diterima di ICLR 2026. Dalam MoE yang sparse, router mengirim tiap token ke segelintir expert; sepanjang beban kerja nyata, sebagian dijangkau terus-menerus dan sisanya hampir tidak pernah. REAP menilai tiap expert pada kriteria saliensi yang memadukan seberapa kuat router membukakan gerbang untuknya dan seberapa besar sumbangan keluarannya, lalu menyingkirkan yang paling tidak menonjol sekaligus — Cerebras melaporkan pemangkasan hingga 50% expert dari model sebesar 1 triliun parameter sambil sebagian besar mempertahankan kualitas dasar, dan menemukan bahwa untuk tugas generatif seperti kode, memangkas mengalahkan menggabungkan. Kuantisasi 3-bit lalu mengompresi apa yang tersisa. Pangkas dulu, kuantisasi kemudian, supaya anggaran bit mengalir ke expert yang memikul trafik alih-alih dilumurkan ke expert yang mati.

Kompresi tidak gratis, dan kami tidak akan berpura-pura sebaliknya: kuantisasi agresif muncul lebih dulu sebagai penurunan kecil pada kepatuhan format yang persis dan aritmetika berantai panjang, bukan sebagai ketidakkoherenan yang kasatmata. Berikut posisi ketiga tingkatannya:

Akhiran	Apa itu	Di mana kami memakainya
3BIT-REAP	Bobot 3-bit + pemangkasan expert	Fondasi terbesar, tempat tidak ada lagi yang muat pada kecepatan penuh
W4A16-AUTOROUND-REAP	Bobot 4-bit / aktivasi 16-bit, pembulatan terpelajar AutoRound, + pemangkasan	Fondasi berukuran menengah; AutoRound memulihkan akurasi dibanding pembulatan-ke-terdekat yang naif
W8A16	Bobot 8-bit / aktivasi 16-bit	Kesetiaan tertinggi; fondasi yang cukup kecil sehingga tak butuh kompresi agresif

Nemotron 3 Ultra pada 550B jelas masuk kategori pertama. Kalau beban kerja Anda luar biasa peka terhadap keluaran numerik yang persis sepanjang rantai panjang, indeks riset memuat tingkat W8A16 — MiMo-V2.5-Pro-W8A16 dan Hy3-W8A16 — di lantai $0.50/$2.00. Sebuah pertukaran nyata, bukan corong penjualan: model lebih kecil, kompresi lebih ringan.

05Apa arti "tanpa sensor" di endpoint ini

Konkretnya: tidak ada lapisan penolakan dan tidak ada penyaringan konten yang diterapkan pada keluaran. Tidak ada pengklasifikasi yang memeriksa prompt Anda lalu mengembalikan penolakan kalengan, dan responsnya tidak dipindai sebelum sampai ke stream Anda. Yang Anda terima adalah perilaku model itu sendiri.

Di sinilah silsilah terbuka berhenti menjadi trivia. Karena NVIDIA memublikasikan data pasca-pelatihan dan lingkungan RL-nya, watak model itu bisa diaudit secara prinsip alih-alih menjadi cerita rakyat. Dan karena OpenMDW-1.1 adalah lisensi permisif Linux Foundation yang mencakup arsitektur, parameter, dokumentasi dan perangkat lunak, sebuah operator independen boleh melayani penyebaran yang dimodifikasi dan tak disaring di perangkat kerasnya sendiri tanpa lisensi menjadi penghalang. Banyak lisensi model "terbuka" tidak mengizinkan itu. Yang ini mengizinkan. Bedanya terasa di tempat penolakan refleks adalah bug, bukan fitur keamanan:

• Riset keamanan — analisis kerentanan, penalaran eksploit, perilaku malware, perkakas red-team, tanpa berdebat soal apakah pertanyaannya diizinkan.
• Kimia, biologi dan farmakologi — aritmetika dosis, mekanisme reaksi, toksikologi, rute sintesis yang ditolak endpoint tersaring begitu menyentuh kata kunci.
• ML adversarial — negatif sulit, korpus jailbreak dan taksonomi penyalahgunaan untuk pengklasifikasi yang perlu pernah melihat barang aslinya.
• Teks klinis, hukum dan forensik — materi kasus yang memang grafis sifatnya dan ditolak justru karena itu.

Tanpa sensor bukan berarti tanpa pertanggungjawaban. Anda memiliki apa yang Anda hasilkan, dan Kebijakan Penggunaan Bertanggung Jawab serta Ketentuan Layanan kami mengatur akun Anda. Menghapus lapisan penolakan menghapus tebakan soal niat; ia tidak menghapus kewajiban Anda menurut hukum yang berlaku bagi Anda.

06STEM dan penalaran: apa kata angka yang dipublikasikan

Fokus pelatihan Nemotron adalah matematika, kode, sains dan pengikutan instruksi sejak dataset pasca-pelatihan Llama-Nemotron dibangun persis di sekitar empat poros itu. Yang dilaporkan NVIDIA untuk fondasi Nemotron 3 Ultra — angka yang dilaporkan vendor pada model yang belum dikompresi, yang tidak kami jalankan sendiri:

Dua catatan yang lebih berharga daripada angkanya. Angka SWE-Bench Verified itu adalah sebuah rentang — NVIDIA melaporkan 65,0% sampai 70,4% tergantung harness agen mana yang menjalankannya (Pi, OpenHands, Hermes, OpenCode, Mini SWE Agent), dan selisih lima poin yang lahir dari scaffolding saja menunjukkan betapa skor agentik bergantung pada harness alih-alih pada modelnya. Dan Artificial Analysis menempatkan Nemotron 3 Ultra pada 48 di Intelligence Index mereka, peringkat 9 dari 89 model — kuat, bukan puncak lapangan, dan pengukuran independen merekalah yang akan kami bobot di atas slide vendor mana pun.

Pada generasi sebelumnya, makalah Llama-Nemotron NVIDIA melaporkan LN-Ultra pada 76,0% di GPQA-Diamond berhadapan dengan 71,5% milik DeepSeek-R1 dan 43,4% milik Llama-3.1-405B-Instruct, plus 80,8% pada AIME 2024 — model yang berbeda, dimasukkan karena sains tingkat pascasarjana dan matematika kompetisi sudah dua generasi menjadi sasaran keluarga ini.

Angka benchmark sebagaimana dipublikasikan NVIDIA (Juni 2026) pada Nemotron 3 Ultra yang belum dikompresi, dan oleh Artificial Analysis untuk pengukuran independen. Build terkompresi bisa berbeda. Kami tidak memublikasikan angka benchmark yang tidak kami verifikasi atau tidak bisa kami atribusikan.

07Harga, dan catatan soal keborosan kata

Pada $0.75 per satu juta token masukan dan $3.30 per satu juta token keluaran, Nemotron3Ultra duduk di sepertiga bawah katalog kami untuk masukan dan di tengah untuk keluaran. Contoh terhitung, karena harga per-juta sulit dirasakan:

Bentuk panggilan	Masukan	Keluaran	Biaya
Giliran RAG khas	50,000	4,000	$0.051
Analisis dokumen panjang	150,000	8,000	$0.139
Panggilan berukuran maksimum	262,144	16,384	$0.251

Permintaan berkonteks penuh dan berkeluaran penuh — setiap token yang akan diterima endpoint dan setiap token yang akan diproduksinya — berbiaya sekitar 25 sen. Bentuk yang sama pada Kimi-K3-3BIT-REAP, model termahal kami di $3.83/$19.12, berbiaya sekitar $1.32, atau 5,3× lebih mahal.

Sekarang catatannya, dan ini nyata. Artificial Analysis mengukur Nemotron 3 Ultra menghasilkan 2,3× lebih banyak token keluaran dibanding median pesaingnya di seluruh rangkaian benchmark mereka. Model penalaran menagih Anda untuk proses berpikirnya, dan yang satu ini berpikir panjang; keunggulan harga per-token menguap menjadi kerugian per-tugas kalau modelnya bernalar tiga kali lebih lama untuk sampai ke jawaban yang sama. Peredamnya sudah terpasang dan terbuka di API kami: Nemotron 3 dipasca-latih untuk kontrol anggaran penalaran, dan reasoning_effort didukung di sini — NVIDIA menggambarkan mode berupaya-rendah yang memakai token berpikir jauh lebih sedikit dengan pertukaran akurasi satu digit. Pada klasifikasi, ekstraksi dan perutean, turunkan dan ekonominya berubah secara material; pada sebuah pembuktian atau refactor lintas berkas, naikkan dan bayarlah dengan sadar. Ukur sendiri token-per-tugas Anda alih-alih membaca daftar harga lalu berasumsi.

08Memanggilnya: tiga dialek, satu model

Setiap model di gateway menjawab pada tiga permukaan API streaming, jadi Anda bisa mengarahkan klien yang sudah ada ke sana tanpa menulis ulang integrasi Anda: /v1/chat/completions (dialek OpenAI), /v1/messages (dialek Anthropic), dan /v1/responses.

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Nemotron3Ultra-3BIT-REAP",
    "reasoning_effort": "medium",
    "stream": true,
    "messages": [
      {"role": "user", "content": "Derive the worst-case cache behavior of this loop nest."}
    ]
  }'

Ringkasan kemampuan, supaya tidak ada yang mengejutkan Anda saat integrasi:

Kemampuan	Nemotron3Ultra · 3BIT-REAP
Jendela konteks	262.144 token
Keluaran maks / permintaan	16.384 token
Streaming	Ya
Tool calling	Ya
Jejak penalaran	Ya
reasoning_effort	Ya
json_schema (ketat)	Ya
response_format	Ya
Visi / masukan gambar	Tidak — hanya teks
Lapisan penolakan	Tidak ada

Baris visi itu sering mengecoh orang: Nemotron3Ultra hanya teks. Kalau pipeline Anda mengirim gambar, pakai MiniMax-M3-3BIT-REAP atau MiMo-V2.5-W8A16 di $0.50/$2.00, atau Kimi-K2.6-W4A16-AUTOROUND-REAP di $0.78/$3.67 — semuanya berkemampuan visi, semuanya tanpa sensor, semuanya pada konteks 262.144 token yang sama. Referensi parameter lengkap ada di dokumentasi API.

09Di mana Nemotron3Ultra berdiri di antara dua belas model

Katalognya berisi dua belas model tanpa sensor yang berbagi jendela konteks yang sama, tiga dialek yang sama dan ketiadaan lapisan penolakan yang sama; bedanya ada pada fondasi, harga dan kemampuan. Posisi Nemotron spesifik: kuda beban penalaran bersilsilah terbuka — bukan yang termurah, bukan yang paling mampu, tetapi yang punya jejak makalah publik paling banyak di balik perilakunya, disetel paling keras ke arah STEM dan agen.

Model	Masuk / 1M	Keluar / 1M	Visi	Pilih untuk
MiniMax-M3 · 3BIT-REAP	$0.50	$2.00	Ya	Opsi berkemampuan visi termurah
MiMo-V2.5-Pro · W8A16	$0.50	$2.00	Tidak	Tingkat kuantisasi berkesetiaan tertinggi
GLM-5.2 · 3BIT-REAP	$0.73	$2.34	Tidak	Penalaran fondasi besar termurah
Nemotron3Ultra · 3BIT-REAP	$0.75	$3.30	Tidak	STEM, agen, silsilah terbuka
Kimi-K2.6 · W4A16-AUTOROUND-REAP	$0.78	$3.67	Ya	Visi + kesetiaan AutoRound
DeepSeek-V4-Pro · 3BIT-REAP	$1.95	$3.90	Tidak	Analisis sekali-jalan yang mendalam
Kimi-K3 · 3BIT-REAP	$3.83	$19.12	Ya	Plafon kemampuan mutlak

Tujuh dari dua belas ditampilkan. Katalog lengkapnya — termasuk Laguna-S-2.1, inkling, DeepSeek-V4-Flash, MiMo-V2.5 dan Hy3 — ada di dokumentasi API. Perhatikan bahwa Laguna-S-2.1 tidak mendukung output terstruktur dan inkling tidak mendukung json_schema; Nemotron3Ultra mendukung keduanya.

Tetangga terdekat menurut harga adalah GLM-5.2-3BIT-REAP di $0.73/$2.34, dan perbandingan jujurnya begini: GLM-5.2 lebih murah per token, terutama pada keluaran. Nemotron membawa korpus pelatihan yang dipublikasikan, tombol anggaran penalaran yang eksplisit, dan riwayat keluarga yang membidik sains tingkat pascasarjana. Penalaran umum bervolume tinggi: jalankan yang lebih murah. Berat STEM, agentik, atau tunduk pada audit yang menanyakan dari mana perilaku model itu berasal: Nemotron layak menerima selisihnya.

10Pertanyaan yang sering diajukan

---

Sumber: Laporan teknis NVIDIA Nemotron 3 Ultra · Blog developer NVIDIA (Juni 2026) · Catatan arsitektur Nemotron 3 Super · Llama-Nemotron: Efficient Reasoning Models · Cerebras Research, REAP. Benchmark fondasi dilaporkan NVIDIA pada model yang belum dikompresi kecuali diatribusikan ke Artificial Analysis; build terkompresi bisa berbeda. Harga dan kemampuan berlaku per 5 September 2026.