무검열 Nemotron API

대부분의 "오픈" 모델은 가중치만 열려 있고 그뿐입니다. 파라미터 타르볼 하나, 라이선스 한 장, 그리고 그 숫자들이 어디서 왔는지에 대한 침묵. Nemotron은 2년째 한결같은 예외입니다. NVIDIA는 가중치와 사후학습 데이터셋, RL 환경, 레시피까지 함께 내놓습니다. 이것이 무검열 엔드포인트에 갖는 의미는 놓치기 쉽습니다. 정렬 데이터가 공개된 모델은 거절 행동을 추측하는 대신 따져 볼 수 있는 모델이며, 제3자가 입에 콘텐츠 필터를 물리지 않고도 정당하게 배포할 수 있는 모델입니다.

01Nemotron 3 Ultra란 무엇인가

Nemotron 3 Ultra는 NVIDIA Nemotron 3 계열의 최대 모델로, 2026년 6월 4일 Hugging Face에 공개되었습니다. NVIDIA 기술 보고서는 이를 "총 5500억, 활성 550억 파라미터의 전문가 혼합 하이브리드 Mamba-Attention 언어 모델"이라고 설명합니다. 주어진 토큰마다 네트워크의 약 10%만 동작한다는 뜻이며, 5000억 파라미터급 모델을 애초에 서빙 가능하게 만드는 것이 바로 이 구조입니다.

공개된 구성은 모델 차원 8,192에 108개 레이어이며, Mamba-2 상태공간 레이어 사이에 전체 어텐션 레이어를 드물게 끼워 넣고, MoE 레이어마다 전문가 512개를 두어 top-22로 라우팅합니다. 사전학습은 약 20조 텍스트 토큰으로 두 단계에 걸쳐 진행되었습니다. 먼저 다양성 편향, 다음 품질 편향이며, 컷오프는 2025년 9월, 자연어 12종과 프로그래밍 언어 43종을 포함합니다. 사후학습에는 SFT, 검증 가능한 보상을 쓰는 다중 환경 RL, 그리고 열 명이 넘는 전문 교사 모델을 활용한 다중 교사 온폴리시 증류가 쓰였습니다. 명시된 설계 목표는 장시간 실행되는 에이전트입니다. 큰 컨텍스트를 유지하고, 툴을 수십 번 호출하며, 토큰당 경제성이 청구서를 좌우할 만큼 오래 도는 세션 말입니다.

02Nemotron의 계보, 그리고 혈통이 중요한 이유

Nemotron은 일회성 결과물이 아닙니다. 2024년부터 같은 방향으로 달려온 NVIDIA 연구 프로그램의 가시적 산출물이며, 각 세대가 남긴 것을 지금 모델이 여전히 지니고 있습니다. Nemotron-4 340B(2024년 6월)는 공개 합성 데이터 생성 파이프라인과 보상 모델, 생성 모델을 함께 내놓았고, 흔치 않은 사실 하나를 밝혔습니다. 정렬 데이터의 압도적 다수가 모델로 생성되었다는 것입니다. 신탁이 아니라 데이터 공장으로서의 모델 — 이후 Nemotron 릴리스가 가중치와 함께 데이터셋을 계속 내놓는 이유가 여기 있습니다.

Llama-Nemotron — 끌 수 있는 추론

2025년 Llama-Nemotron 계열(LN-Nano 8B, LN-Super 49B, LN-Ultra 253B)은 오래 살아남은 아이디어 둘을 남겼습니다. 첫째는 아키텍처입니다. NVIDIA의 Puzzle 신경망 아키텍처 탐색은 블록 단위로 증류한 트랜스포머 블록 라이브러리를 만들고 혼합 정수 계획법으로 조립해, 어떤 블록은 어텐션을 아예 건너뛰거나 단일 선형 레이어로 대체하는 모델을 만들어 냈습니다. 여기에 FFN Fusion이 연속된 피드포워드 블록을 더 적고 넓은 병렬 블록으로 접어, 파라미터 수가 아니라 순차 깊이를 줄였습니다. LN-Ultra는 8×H100 노드 하나에 들어가면서도, NVIDIA 논문에 따르면 GPQA-Diamond에서 DeepSeek-R1을 앞섰습니다(76.0% 대 71.5%).

둘째는 행동입니다. Llama-Nemotron은 동적 추론 토글을 갖춘 최초의 공개 계열로, 시스템 지시문에 detailed thinking on 또는 detailed thinking off를 태깅해 학습 데이터를 구성하고, on 모드에서는 형식 보상으로 <think> 태그를 강제했습니다. 가중치 한 벌, 행동 둘, 추론 시점에 선택. Nemotron 3의 추론 예산 제어와 우리 API의 reasoning_effort 파라미터는 바로 그 작업에서 곧장 내려온 것입니다.

Nemotron 3 — 하이브리드로의 전환

Nemotron 3는 Llama 파생을 버리고 처음부터 새로 지은 하이브리드 아키텍처로 갈아탔고, 여기에 LatentMoE(라우팅 전에 토큰을 압축하며, NVIDIA는 이것이 "동일한 추론 비용으로 4배 많은 전문가"를 가능하게 한다고 말합니다), 멀티 토큰 예측, 네이티브 NVFP4 사전학습을 더했습니다. NVIDIA는 가중치와 함께 누적 5000만 건의 SFT 샘플, 200만 개의 RL 과제, 55개의 RL 환경을 공개했습니다. 모델이 무엇을 배웠는지 벤더의 말을 믿을 필요가 없습니다. 교재를 직접 내려받을 수 있으니까요.

03하이브리드 아키텍처가 사 주는 것

트랜스포머의 KV 캐시는 시퀀스 길이에 선형으로 커집니다. 장문맥 추론이 연산보다 메모리에서 먼저 비싸지는 이유입니다. Mamba-2 레이어는 고정 크기의 순환 상태를 나르는 상태공간 모델이라 토큰당 메모리 비용이 히스토리와 함께 늘지 않습니다. 대신 정밀한 연상 회상에 약합니다. 하이브리드는 시퀀스 처리의 대부분을 Mamba-2에 맡기고, 상태공간 레이어가 놓치는 회상을 위해 소수의 진짜 어텐션 레이어를 남겨 둡니다. 쿼리 헤드 64개 대 KV 헤드 2개라는 공격적인 비율이 캐시를 한 번 더 줄입니다. NVIDIA는 100만 토큰에서 RULER 94.7%를 보고하는데, 이는 쓰지도 못할 윈도우를 내세우는 모델을 잡아내려고 만든 바늘 찾기 벤치마크입니다.

결과는 처리량입니다. NVIDIA는 동급 정확도에서 비교 모델 대비 최대 약 6배 높은 추론 처리량을 주장하고, Artificial Analysis는 독립적으로 초당 140.3 토큰과 첫 토큰까지 1.33초를 측정해 89개 모델 중 7위로 매겼습니다. 200턴짜리 에이전트 실행에서는 오후 안에 끝나느냐 못 끝나느냐의 차이입니다.

04"3BIT-REAP"의 정직한 의미

접미사는 장식이 아닙니다. 파운데이션을 집어넣기 위해 무슨 처리를 했는지 정확히 말해 줍니다.

REAP — 라우터 가중 전문가 활성화 프루닝 — 은 Cerebras Research에서 나왔고 ICLR 2026에 채택되었습니다. 희소 MoE에서 라우터는 각 토큰을 소수의 전문가에게 보내는데, 실제 워크로드에서 어떤 전문가는 끊임없이 선택되고 어떤 전문가는 거의 선택되지 않습니다. REAP은 라우터가 얼마나 강하게 게이팅하는지와 출력 기여가 얼마나 큰지를 결합한 중요도 기준으로 각 전문가를 채점한 뒤, 가장 덜 중요한 것을 통째로 제거합니다. Cerebras는 1조 파라미터 규모 모델에서도 전문가의 최대 50%를 프루닝하면서 기준 품질을 대체로 보존했다고 보고하며, 코드 같은 생성 과제에서는 병합보다 프루닝이 낫다고 밝힙니다. 그다음 3비트 양자화가 살아남은 것을 압축합니다. 먼저 자르고 나중에 양자화하므로, 비트 예산이 죽은 전문가에 흩뿌려지는 대신 트래픽을 감당하는 전문가에게 갑니다.

압축은 공짜가 아니며, 그렇지 않은 척하지도 않겠습니다. 공격적인 양자화는 눈에 보이는 횡설수설이 아니라, 정확한 형식 준수와 긴 사슬 산술에서의 작은 열화로 먼저 드러납니다. 세 티어의 위치는 다음과 같습니다.

접미사	정체	쓰이는 곳
3BIT-REAP	3비트 가중치 + 전문가 프루닝	다른 방법으로는 속도를 내며 들어가지 않는 최대 파운데이션
W4A16-AUTOROUND-REAP	4비트 가중치 / 16비트 활성화, AutoRound 학습된 반올림, + 프루닝	중간 크기 파운데이션. AutoRound가 단순 반올림보다 정확도를 회복시킵니다
W8A16	8비트 가중치 / 16비트 활성화	최고 충실도. 공격적 압축이 필요 없을 만큼 작은 파운데이션

5500억 파라미터의 Nemotron 3 Ultra는 확실히 첫 번째 범주에 속합니다. 워크로드가 긴 사슬에 걸친 정확한 수치 출력에 유난히 민감하다면, 리서치 인덱스에 W8A16 티어 — MiMo-V2.5-Pro-W8A16과 Hy3-W8A16 — 가 $0.50/$2.00 최저가로 정리되어 있습니다. 유인책이 아니라 진짜 맞바꿈입니다. 더 작은 모델, 더 적은 압축.

05이 엔드포인트에서 "무검열"이 뜻하는 것

구체적으로 말하면 거절 레이어가 없고, 출력에 적용되는 콘텐츠 필터링이 없습니다. 어떤 분류기도 여러분의 프롬프트를 검사해 정형화된 거절문을 돌려주지 않으며, 응답은 스트림에 닿기 전에 스캔되지 않습니다. 여러분이 받는 것은 모델 자신의 행동입니다.

여기서 공개 계보가 잡지식이기를 그칩니다. NVIDIA가 사후학습 데이터와 RL 환경을 공개했기 때문에, 이 모델의 성향은 소문이 아니라 원리적으로 감사 가능한 대상입니다. 그리고 OpenMDW-1.1이 아키텍처, 파라미터, 문서, 소프트웨어를 모두 아우르는 Linux Foundation의 허용적 라이선스이기 때문에, 독립 운영자가 수정된 무필터 배포를 자체 하드웨어에서 제공하는 데 라이선스가 걸림돌이 되지 않습니다. 많은 "오픈" 모델 라이선스는 그것을 허용하지 않습니다. 이 라이선스는 허용합니다. 그 차이는 반사적 거절이 안전 기능이 아니라 버그인 곳에서 드러납니다.

• 보안 연구 — 취약점 분석, 익스플로잇 추론, 멀웨어 행동, 레드팀 도구. 질문이 허용되는지를 두고 실랑이하지 않아도 됩니다.
• 화학, 생물학, 약리학 — 용량 계산, 반응 메커니즘, 독성학, 필터링된 엔드포인트가 키워드만 닿아도 거절하는 합성 경로.
• 적대적 머신러닝 — 실제 사례를 본 적 있어야 하는 분류기를 위한 하드 네거티브, 탈옥 코퍼스, 악용 분류 체계.
• 임상·법률·법의학 텍스트 — 본질상 적나라하며 바로 그 이유로 거절당하는 사건 자료.

무검열이 무책임을 뜻하지는 않습니다. 여러분이 생성한 것은 여러분의 것이며, 계정은 우리의 책임 있는 사용 정책과 서비스 약관의 적용을 받습니다. 거절 레이어를 걷어내는 것은 의도에 대한 추측을 걷어내는 것이지, 여러분에게 적용되는 법률상의 의무를 걷어내는 것이 아닙니다.

06STEM과 추론: 공개된 수치가 말하는 것

Llama-Nemotron 사후학습 데이터셋이 수학, 코드, 과학, 지시 수행이라는 네 축을 중심으로 만들어진 이래, Nemotron의 학습 초점은 줄곧 그곳이었습니다. NVIDIA가 Nemotron 3 Ultra 파운데이션에 대해 보고한 수치는 다음과 같으며, 이는 비압축 모델에 대한 벤더 보고 수치이고 우리가 직접 돌린 것이 아닙니다.

수치보다 값진 단서가 둘 있습니다. SWE-Bench Verified 수치는 구간입니다. NVIDIA는 어떤 에이전트 하네스로 돌리느냐(Pi, OpenHands, Hermes, OpenCode, Mini SWE Agent)에 따라 65.0%에서 70.4%까지를 보고하며, 스캐폴딩만으로 5점이 벌어진다는 사실은 에이전트 점수가 모델보다 하네스에 얼마나 의존하는지를 보여 줍니다. 또 Artificial Analysis는 Nemotron 3 Ultra를 자사 Intelligence Index에서 48점, 89개 모델 중 9위로 놓았습니다. 강력하되 최상위는 아니며, 우리는 어떤 벤더의 슬라이드보다 이 독립 측정치에 무게를 둡니다.

앞 세대에 대해서는, NVIDIA의 Llama-Nemotron 논문이 LN-Ultra의 GPQA-Diamond 76.0%를 DeepSeek-R1의 71.5%, Llama-3.1-405B-Instruct의 43.4%와 나란히 보고하고, AIME 2024에서 80.8%를 함께 보고합니다. 다른 모델이지만, 대학원 수준 과학과 경시 수학이 두 세대에 걸친 이 계열의 표적이었기에 함께 싣습니다.

벤치마크 수치는 NVIDIA가 2026년 6월 비압축 Nemotron 3 Ultra에 대해 공개한 값이며, 독립 측정치는 Artificial Analysis의 값입니다. 압축 빌드는 다를 수 있습니다. 우리는 직접 검증하지 않았거나 출처를 밝힐 수 없는 벤치마크 수치는 게시하지 않습니다.

07가격, 그리고 장황함이라는 단서

100만 입력 토큰당 $0.75, 100만 출력 토큰당 $3.30으로, Nemotron3Ultra는 우리 카탈로그에서 입력 기준 하위 3분의 1, 출력 기준 중간에 놓입니다. 100만 단위 가격은 체감이 어려우니 실제 예시로 보겠습니다.

호출 형태	입력	출력	비용
일반적인 RAG 한 턴	50,000	4,000	$0.051
긴 문서 분석	150,000	8,000	$0.139
최대 크기 호출	262,144	16,384	$0.251

컨텍스트를 가득 채우고 출력도 가득 뽑는 요청 — 엔드포인트가 받아 주는 모든 토큰과 내놓는 모든 토큰 — 은 약 25센트입니다. 같은 형태를 우리 최고가 모델인 Kimi-K3-3BIT-REAP($3.83/$19.12)로 돌리면 약 $1.32, 5.3배입니다.

이제 단서인데, 진짜입니다. Artificial Analysis는 자사 벤치마크 묶음 전반에서 Nemotron 3 Ultra가 중앙값 경쟁 모델보다 2.3배 많은 출력 토큰을 생성한다고 측정했습니다. 추론 모델은 생각한 값도 청구하며, 이 모델은 길게 생각합니다. 같은 답에 도달하는 데 세 배를 사고한다면 토큰당 가격 우위는 과제당 열세로 증발합니다. 완화 수단은 내장되어 있고 우리 API에 노출되어 있습니다. Nemotron 3는 추론 예산 제어를 목표로 사후학습되었고, 여기서 reasoning_effort가 지원됩니다. NVIDIA는 낮은 노력 모드가 한 자릿수 정확도 손실로 사고 토큰을 상당히 줄인다고 설명합니다. 분류, 추출, 라우팅에서는 낮추면 경제성이 눈에 띄게 달라지고, 증명이나 다중 파일 리팩터링에서는 의도적으로 올리고 그 값을 치르세요. 가격표만 보고 넘겨짚지 말고, 여러분의 과제당 토큰 수를 직접 측정하세요.

08호출하기: 세 가지 방언, 하나의 모델

게이트웨이의 모든 모델은 세 가지 스트리밍 API 표면에 응답하므로, 통합을 다시 짜지 않고 기존 클라이언트를 그대로 가리키면 됩니다. /v1/chat/completions(OpenAI 방언), /v1/messages(Anthropic 방언), /v1/responses입니다.

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer $SHANNON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Nemotron3Ultra-3BIT-REAP",
    "reasoning_effort": "medium",
    "stream": true,
    "messages": [
      {"role": "user", "content": "Derive the worst-case cache behavior of this loop nest."}
    ]
  }'

통합 시점에 놀라지 않도록 지원 기능을 정리했습니다.

기능	Nemotron3Ultra · 3BIT-REAP
컨텍스트 윈도우	262,144 토큰
요청당 최대 출력	16,384 토큰
스트리밍	지원
툴 호출	지원
추론 트레이스	지원
reasoning_effort	지원
json_schema (엄격)	지원
response_format	지원
비전 / 이미지 입력	미지원 — 텍스트 전용
거절 레이어	없음

비전 행에서 많이들 걸립니다. Nemotron3Ultra는 텍스트 전용입니다. 파이프라인이 이미지를 보낸다면 $0.50/$2.00의 MiniMax-M3-3BIT-REAP나 MiMo-V2.5-W8A16, 또는 $0.78/$3.67의 Kimi-K2.6-W4A16-AUTOROUND-REAP를 쓰세요. 모두 비전을 지원하고, 모두 무검열이며, 모두 같은 262,144 토큰 컨텍스트를 씁니다. 전체 파라미터 레퍼런스는 API 문서에 있습니다.

09열두 모델 중 Nemotron3Ultra의 자리

카탈로그는 같은 컨텍스트 윈도우, 같은 세 방언, 그리고 거절 레이어가 없다는 같은 성질을 공유하는 무검열 모델 열두 개입니다. 차이는 파운데이션, 가격, 기능에 있습니다. Nemotron의 위치는 분명합니다. 공개 계보를 지닌 추론 일꾼 — 가장 싸지도, 가장 강력하지도 않지만, 자신의 행동 뒤에 가장 많은 공개 기록을 남긴 모델이며 STEM과 에이전트 쪽으로 가장 세게 튜닝된 모델입니다.

모델	입력 / 100만	출력 / 100만	비전	고르는 이유
MiniMax-M3 · 3BIT-REAP	$0.50	$2.00	지원	가장 저렴한 비전 지원 선택지
MiMo-V2.5-Pro · W8A16	$0.50	$2.00	미지원	최고 충실도 양자화 티어
GLM-5.2 · 3BIT-REAP	$0.73	$2.34	미지원	가장 저렴한 대형 파운데이션 추론
Nemotron3Ultra · 3BIT-REAP	$0.75	$3.30	미지원	STEM, 에이전트, 공개 계보
Kimi-K2.6 · W4A16-AUTOROUND-REAP	$0.78	$3.67	지원	비전 + AutoRound 충실도
DeepSeek-V4-Pro · 3BIT-REAP	$1.95	$3.90	미지원	깊이 있는 단발 분석
Kimi-K3 · 3BIT-REAP	$3.83	$19.12	지원	절대적인 능력 상한

열두 개 중 일곱 개를 실었습니다. Laguna-S-2.1, inkling, DeepSeek-V4-Flash, MiMo-V2.5, Hy3를 포함한 전체 카탈로그는 API 문서에 있습니다. Laguna-S-2.1은 구조화 출력을 지원하지 않고 inkling은 json_schema를 지원하지 않는다는 점에 유의하세요. Nemotron3Ultra는 둘 다 지원합니다.

가격상 가장 가까운 이웃은 $0.73/$2.34의 GLM-5.2-3BIT-REAP이며, 정직한 비교는 이렇습니다. GLM-5.2가 토큰당 더 싸고, 특히 출력에서 그렇습니다. Nemotron은 공개된 학습 코퍼스와 명시적인 추론 예산 다이얼, 그리고 대학원 수준 과학을 겨냥해 온 계열의 이력을 가져옵니다. 대량의 일반 추론이라면 더 싼 쪽을 돌리세요. STEM 비중이 높거나, 에이전트형이거나, 모델의 행동이 어디서 왔는지를 묻는 감사를 받아야 한다면 Nemotron이 그 차액의 값을 합니다.

10자주 묻는 질문

---

출처: NVIDIA Nemotron 3 Ultra 기술 보고서 · NVIDIA 개발자 블로그 (2026년 6월) · Nemotron 3 Super 아키텍처 노트 · Llama-Nemotron: Efficient Reasoning Models · Cerebras Research, REAP. 파운데이션 벤치마크는 Artificial Analysis로 출처를 밝힌 경우를 제외하면 비압축 모델에 대한 NVIDIA 보고 수치입니다. 압축 빌드는 다를 수 있습니다. 가격과 기능은 2026년 9월 5일 기준입니다.