무검열 Inkling 모델 API

우리 게이트웨이의 열두 모델 중 대부분은 텍스트 전용입니다. 넷은 아니고, 그 넷 가운데 Inkling은 분명한 자리를 차지합니다. 문제의 어려운 부분이 그림이지만 예산이 플래그십까지는 닿지 않을 때 손을 뻗는 비전 모델입니다. 이 카드는 파운데이션이 어디서 왔는지, W4A16-AUTOROUND-REAP 접미사가 거기에 무슨 일을 했는지, API 표면에서 무엇이 되고 무엇이 안 되는지를 다루고 — 솔직하게 — 같은 카탈로그의 더 싼 모델이 나은 선택인 경우까지 짚습니다.

01Inkling은 무엇이고 누가 만들었나

Inkling은 Thinking Machines Lab의 첫 오픈 웨이트 모델로 2026년 7월 15일에 공개되었습니다. "오픈"을 표방하는 대부분의 릴리스와 달리 Hugging Face에 완전한 다운로드 가능 가중치와 함께 나왔고 transformers, SGLang, vLLM, llama.cpp에서 출시 당일부터 지원되었습니다. 우리 같은 인프라에서 아예 돌릴 수 있게 된 이유가 그것입니다. Thinking Machines의 자체 릴리스 자료에 실린 대표 수치는 다음과 같습니다.

희소 전문가 혼합 구조입니다. 히든 크기 6,144의 디코더 레이어 66개 중 앞의 둘은 밀집이고, 나머지 64개가 라우팅 전문가 256개와 공유 전문가 2개를 담으며 토큰당 라우팅 전문가 6개가 활성화됩니다. 어떤 토큰에서든 파라미터의 약 4%만 발화하는 셈인데, 조 단위에 가까운 모델을 서비스할 수 있게 만드는 것이 바로 이 점입니다.

이름을 붙여 둘 만큼 특이한 아키텍처 선택이 둘 있습니다. 어텐션이 교차 배치되어 있습니다. 512 토큰 창의 슬라이딩 윈도우 어텐션 55개 레이어와 전역 어텐션 11개 레이어가 5:1 패턴으로 반복됩니다. 그리고 Inkling은 RoPE를 쓰지 않습니다. 학습되는 입력 의존적 상대 위치 편향을 쓰고, 키/값 프로젝션과 잔차 분기에 짧은 인과 합성곱을 함께 둡니다. Sebastian Raschka의 아키텍처 노트는 둘 다 2026년의 표준 레시피에서 실제로 벗어난 지점이라고 지적합니다. 학습에는 큰 행렬 파라미터에 Muon을, 나머지에 Adam을 썼고, 사후 학습에서 3,000만 회가 넘는 비동기 RL 롤아웃을 돌렸습니다.

API 사용자에게 중요한 것은 이런 잡학이 아닙니다. 중요한 것은 이 모델이 텍스트·이미지·오디오·비디오에 걸친 45조 토큰으로 학습된 프런티어 규모의 네이티브 멀티모달 파운데이션이라는 점입니다. 나중에 비전 어댑터를 덧댄 텍스트 모델이 아닙니다. 이미지는 4층 계층형 MLP 패치화기를 거쳐 40×40 픽셀 패치로 인코딩되고 같은 디코더에서 텍스트와 함께 처리됩니다. 시각적 이해가 사전학습 목표 안에 있었습니다.

02W4A16-AUTOROUND-REAP은 무슨 뜻인가

그 접미사에는 서로 다른 일을 하는 세 가지 기법이 쌓여 있습니다. 알아 둘 가치가 있는데, 우리 API에서 호출하는 모델과 Thinking Machines가 공개한 체크포인트 사이의 가장 큰 차이가 바로 이 접미사이기 때문입니다.

REAP — 아무도 라우팅하지 않는 전문가 잘라 내기

REAP은 Cerebras Research의 라우터 가중 전문가 활성화 프루닝(arXiv 2510.13999, ICLR 2026 채택)입니다. 레이어당 전문가가 256개인 MoE에서 라우터는 일을 고르게 나누지 않습니다. 어떤 전문가는 끊임없이 호출되고, 어떤 전문가는 드물게 발화하며 발화해도 기여가 적습니다. REAP은 라우터의 게이트 값과 전문가의 활성화 노름 둘 다로 각 전문가를 채점하고 — 자주 선택되더라도 갱신 크기가 작은 전문가는 선택 횟수가 시사하는 것보다 덜 중요합니다 — 중요도가 낮은 쪽을 양자화 이전에 한 번에 제거합니다.

더 유행하는 전문가 병합 대신 프루닝을 쓰는 이유는 둘이 과제 유형에 따라 갈리기 때문입니다. 병합은 판별형 벤치마크에서는 경쟁력 있어 보이지만 생성형에서는 무너집니다. REAP 저자들은 프루닝이 사람들이 API를 사는 바로 그 워크로드 — 코드 합성, 툴 호출, 다중 턴 추론 — 에서 품질을 더 잘 보존한다고 보고합니다. 압축률 50%를 넘겨서도, 20B에서 1T 파라미터까지의 모델 전반에서 그렇습니다. 병합은 라우터의 전문화를 파괴하고, 프루닝은 살아남은 전문가와 그들 사이의 라우팅을 그대로 둡니다.

AutoRound — 어디로 반올림할지 학습하기

AutoRound는 Intel의 사후 학습 양자화 방법입니다(arXiv 2309.05516, SignRound로 발표). 순진한 양자화는 각 가중치를 표현 가능한 가장 가까운 4비트 값으로 반올림합니다. 기본값으로는 합리적이지만 규모가 커지면 나쁜 선택인데, 반올림 오차는 독립적이지 않아 66층 스택을 거치며 누적되기 때문입니다. AutoRound는 반올림 결정을 최적화 대상으로 다룹니다. 부호 있는 경사 하강법이 수백 스텝에 걸쳐 반올림 방향과 가중치 클리핑 범위를 함께 조정하며, 재학습 없이 양자화 인식 학습의 정확도를 빌려 옵니다. Intel은 극단적인 저비트 설정에서 가장 큰 이득이 나고 INT4에서도 경쟁 우위가 있다고 보고합니다.

W4A16 — 비트를 어디에 쓸 것인가

W4A16은 수치 포맷입니다. 4비트 가중치, 16비트 활성값. 9,750억 파라미터 모델에서 메모리를 지배하는 가중치는 BF16 대비 약 4분의 1로 줄고, 연산은 16비트로 유지됩니다. 이 분리는 비전 모델에서 특히 중요합니다. 활성값까지 양자화하는 방식은 이미지 이해가 의존하는 세밀한 수치 작업 — 작은 축 레이블 읽기, 도표의 가는 선 구분하기, 비슷한 두 색조 분리하기 — 을 정확히 해칩니다. 활성값을 16비트로 두면 대역폭을 쓰는 대신 비전 워크로드가 체감하는 지점에서 정밀도를 되사 옵니다.

셋을 쌓으면 아주 큰 파운데이션에 쓰는 공격적인 3BIT-REAP 티어의 품질 절벽 없이도 잘 들어맞고 빠른 모델이 나옵니다. 가격이 반영하는 것이 바로 그 맞바꿈입니다.

03비전: 거절 없는 이미지 분석 API

Inkling은 Kimi-K3, Kimi-K2.6, MiniMax-M3와 함께 우리 카탈로그에서 비전이 되는 네 모델 중 하나입니다. Thinking Machines 릴리스에 실린 베이스 모델의 비전 결과는 MMMU Pro(Standard 10) 73.3%, CharXiv 추론 문항 78.1%이며, 모델이 차트에 대해 Python을 실행하도록 허용하면 82.0%까지 올라갑니다. 양자화되지 않은 체크포인트에 대한 연구소 자체 수치이므로, 우리 빌드의 측정값이 아니라 이 계열의 천장으로 받아들이세요.

곱씹어 볼 것은 CharXiv입니다. 사람들이 OCR 서비스가 아니라 비전 API를 사는 이유와 맞닿아 있기 때문입니다. 이 벤치마크는 과학 차트에 대한 추론을 시험합니다. 축에서 값을 읽고, 두 계열을 비교하고, 추세가 뒤집히는 지점을 알아채는 일이죠. "이 이미지에 무슨 글자가 있는가"가 아니라 "이 도표는 무엇을 주장하며 그 주장이 성립하는가"입니다. 작은 캡셔너 대신 9,750억 파라미터 추론 모델에 그림을 보내는 일을 정당화하는 것이 바로 그것입니다.

이미지 전송은 평범한 OpenAI 호환 작업입니다. /v1/chat/completions에는 image_url 콘텐츠 파트, /v1/messages에는 Anthropic 스타일 image 블록, /v1/responses에는 그에 상응하는 형태를 쓰면 됩니다. 세 방언 모두 같은 가중치를 때리고 셋 다 스트리밍되므로, 기존 SDK가 이미 말하는 쪽을 고르세요. 실제 예제는 09절에 있습니다.

무검열이라는 점은 텍스트보다 비전에서 더 중요합니다. 비전 엔드포인트의 거절 레이어는 유난히 무딘데, 보통 모델이 요청을 추론하기도 전에 이미지부터 분류하기 때문입니다. 정당한 작업이 끊임없이 걸립니다. 임상 기록 파이프라인의 상처 사진, 사고 보고서의 포렌식 스크린샷, 비평문을 위해 분석 중인 영화의 한 프레임, 의료 스캔, 이름이 들어간 문서 이미지 같은 것들이죠. 우리 게이트웨이의 Inkling 앞에는 그런 분류기가 없습니다. 보낸 것을 보고 물어본 것에 답합니다. 그게 제품입니다.

04구조화 출력: response_format은 되고 json_schema는 안 됨

Inkling이 카탈로그 대부분보다 능력이 떨어지는 유일한 지점이며, 프로덕션에서 발견하기보다 미리 계획해 두는 편이 낫습니다.

기능	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
비전(이미지 입력)	지원	지원	지원	없음
response_format	지원	지원	지원	없음
json_schema	없음	지원	지원	없음
툴 호출	지원	지원	지원	지원
추론 강도	지원	지원	지원	지원

response_format: {"type": "json_object"}는 동작합니다. 문법적으로 유효한 JSON을 받습니다. 받지 못하는 것은 여러분이 건넨 스키마에 대한 문법 구속 디코딩, 즉 샘플러가 구조를 위반하는 토큰을 물리적으로 내놓지 못하게 막는 방식입니다. 필드 이름, 열거값 소속, 필수 키의 존재는 보장이 아니라 모델의 선택입니다.

그와 함께 사는 방법 셋을, 신뢰도가 낮은 순서대로 적습니다.

1. 스키마를 프롬프트에 넣고 검증하기. 스키마를 시스템 프롬프트에 문자 그대로의 JSON으로 넣고, response_format을 json_object로 설정한 뒤 응답을 여러분 쪽에서 검증하세요. 검증 실패 시 검증기의 오류 메시지를 덧붙여 재시도합니다. 싸고, 동작하며, 재시도 예산이 필요합니다.
2. 툴 정의를 스키마로 쓰기. 툴 호출은 지원됩니다. 그리고 함수의 파라미터 정의가 곧 JSON 스키마입니다. 원하는 추출에 맞춰 이름 붙인 툴 하나를 선언하고, 그것을 강제한 뒤 인자를 읽으세요. Inkling에서는 보통 이 방법이 가장 강력하고 추가 비용도 들지 않습니다.
3. 작업을 두 모델로 나누기. Inkling이 비전과 추론을 산문으로 처리하게 한 다음, 그 산문을 $0.50 / $2.00짜리 MiMo-V2.5-W8A16에 진짜 json_schema와 함께 넘겨 구조화 단계를 맡기세요. 호출은 두 번이지만 두 번째는 싸고 형태가 결정적이며, 똑똑해야 하는 모델이 이미지를 본 모델입니다.

대량 추출 파이프라인이라면 3번이 우리가 권하는 패턴입니다. 프리미엄은 그것이 필요한 단계에만 지불하세요.

05가격 프리미엄이 사 주는 것

100만 토큰당 입력 $1.42 / 출력 $6.07로 Inkling은 의도적으로 카탈로그의 한가운데에 있습니다. 열두 모델 중 여섯이 $0.50 / $2.00 최저가에 있습니다. 역시 비전이 되는 플래그십 Kimi-K3는 $3.83 / $19.12입니다. Inkling은 출력 기준으로 최저가의 약 3배이자 플래그십의 약 3분의 1입니다.

2026년 9월 기준 Shannon AI 게이트웨이 정가, 100만 토큰당 출력 가격(USD). 막대 길이는 가격에 비례하며 길수록 비쌉니다.

그 프리미엄이 값을 하는 곳과 하지 않는 곳을 솔직하게 읽으면 이렇습니다.

워크로드	Inkling을 쓸 것인가?	이유
차트 / 도표 추론	예	공개된 CharXiv와 MMMU Pro 수치가 이 파운데이션의 가장 강한 지점입니다.
스크린샷 기반 에이전트	예	비전과 툴 호출, 262K 히스토리를 한 모델에서. 인계가 필요 없습니다.
도표가 많은 긴 문서	예	텍스트와 이미지가 하나의 디코더, 하나의 컨텍스트 윈도우를 공유합니다.
일반 텍스트 생성	아니오	$0.50 / $2.00짜리 모델 여섯이 이 일을 합니다. 부르지도 않을 비전 경로에 돈을 내는 셈입니다.
대량 스키마 추출	아니오	json_schema가 없습니다. MiMo-V2.5가 더 싸고 구속도 됩니다.
절대적인 최고 난도 천장	아니오	플래그십은 Kimi-K3입니다. 천장이 제약이라면 3.1배를 지불하세요.
가능한 한 싼 비전	아니오	MiniMax-M3가 $0.50 / $2.00에 비전을 지원합니다. 거기서 시작하고 품질이 요구할 때 올리세요.

이 표는 순위가 아니라 라우팅 규칙으로 읽으세요. Inkling이 맞는 작업의 폭은 마케팅 페이지가 주장할 법한 것보다 좁고, 그 안에서는 가격 대비 이기기 어렵습니다. 밖이라면 우리는 더 싼 모델을 팔고 여러분을 붙잡는 쪽을 택하겠습니다.

06262K 컨텍스트 윈도우와 실제로 들어가는 것

게이트웨이의 열두 모델은 모두 입력 컨텍스트 262,144 토큰, 요청당 최대 출력 16,384 토큰으로 제공됩니다. 의도적으로 통일했습니다. 컨텍스트 처리가 코드 안에서 모델별 분기가 되어서는 안 되고, 설정 파일에서 inkling을 MiniMax-M3로 바꿨다고 들어가는 양이 소리 없이 달라져서도 안 됩니다.

공개된 파운데이션과의 격차는 짚어 둡니다. Thinking Machines는 Inkling을 1,048,576 토큰으로 문서화했고, 우리는 그중 262K 구간을 제공합니다. 정말로 단일 요청에서 100만 토큰이 필요한 워크로드라면 우리는 그 엔드포인트가 아니며, 만들기 전에 아는 편이 낫습니다.

262K의 규모감은 이렇습니다. 도표까지 포함한 400쪽짜리 기술 PDF, 중간 규모 코드베이스, 몇 시간 분량의 녹취, 또는 수십 개의 툴 결과와 스크린샷 몇 장을 안고 가는 긴 에이전트 세션이 각각 한 요청에 들어갑니다. 비전 모델에서는 이미지도 컨텍스트를 먹는다는 점을 기억하세요. 빽빽한 스크린샷은 공짜가 아니며, 프레임을 계속 흘려보내는 세션은 텍스트 전용 세션보다 윈도우를 빨리 채웁니다. 아키텍처는 여기에 잘 맞습니다. 슬라이딩 윈도우 대 전역 5:1 패턴 덕분에 대부분의 레이어는 512 토큰 이웃 안에서 어텐션을 계산하고, 전역 레이어가 주기적으로 장거리 구조를 다시 끌어옵니다.

07추론 강도: 필요할 때만 사고에 돈 내기

Inkling은 조절 가능한 추론 강도를 노출하며, 이는 카탈로그에서 더 쓸모 있는 손잡이 중 하나입니다. 상위 모델은 none과 minimal부터 low, medium, high, xhigh를 거쳐 max까지의 단계를 받으며, 세 방언 모두에서 표준 reasoning_effort 파라미터로 노출됩니다.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

이것은 이빨이 있는 비용 레버입니다. 추론 토큰이 100만당 $6.07의 출력 토큰으로 과금되기 때문입니다. Thinking Machines는 Terminal Bench 2.1에서 Inkling이 Nemotron 3 Ultra와 비슷한 점수를 약 3분의 1의 토큰으로 낸다고 보고합니다. 토큰 효율은 강도 시스템의 명시된 설계 목표이지 우연이 아닙니다.

실무적으로는 이렇습니다. 캡셔닝, 분류, 단순 추출처럼 답이 이미지 안에 있고 추론 사슬이 필요 없는 작업에는 low나 minimal로 돌리세요. high 이상은 차트 추론, 다단계 시각 비교, 중간 단계가 틀리면 비싼 에이전트 턴에 남겨 두세요. 대부분의 팀은 이 파라미터를 아예 설정하지 않고, 출력 비용을 몇 배나 아낄 기회를 그냥 흘려보냅니다.

08여기서 "무검열"이 뜻하는 것과 뜻하지 않는 것

구체적으로, 우리는 이 모델을 거절 레이어 없이, 출력 필터링 없이 구동합니다. 여러분의 프롬프트를 읽고 모델이 답해도 되는지 판정하는 분류기도, 응답이 스트리밍되기 전에 그것을 읽는 분류기도 없습니다. 모델이 확신이 없거나 지식이 없으면 그렇다고 말합니다. 그것은 정책이 아니라 모델입니다. 다만 일반 소비자 제품이 금기로 취급하는 주제에서 반사적으로 거절하는 일은 없습니다.

비전에서는 이것이 가치 제안의 전부입니다. 비전 API 앞에 놓인 이미지 분류기는 부정확하고, 거짓 양성의 타격은 그 기능이 가장 필요한 전문 작업에 가장 크게 떨어집니다. 보안 연구, 임상 현장, 저널리즘과 포렌식, 영화·미술 비평, 그리고 자신이 검열하는 대상을 들여다봐야 하는 모더레이션 도구가 그렇습니다. 범주만 보고 거절하는 엔드포인트는 이 중 어느 것도 신뢰할 만하게 서비스할 수 없습니다.

솔직한 단서 둘. 첫째, Thinking Machines는 자사 레퍼런스 배포에 대한 안전성 평가를 공개합니다. FORTRESS 적대적 78.0%, FORTRESS 양성 95.9%, StrongREJECT 98.6%입니다. 이 수치들은 그들의 가드레일이 놓인 그들의 스택을 설명하는 것이지 우리 스택을 설명하지 않으며, 우리는 마치 그런 것처럼 인용하지 않겠습니다. 그 숫자가 부분적으로 측정하는 레이어를 우리는 제거했습니다. 그것이 제품이고, 그것이 책임입니다.

둘째, "거절 레이어 없음"은 "규칙 없음"이 아닙니다. Shannon Lab LLC는 책임 있는 이용 정책과 미국 법률 아래에서 운영됩니다. 분류기를 제거하는 것은 판단을 여러분에게 옮기는 것이지 판단을 없애는 것이 아닙니다. 이 위에 무언가를 만든다면 규모를 키우기 전에 정책을 읽으세요.

09시작하기

같은 베이스 URL, 같은 키, 세 가지 방언입니다. 코드가 이미 OpenAI, Anthropic, Responses API를 호출하고 있다면 모델 문자열을 바꾸는 것이 보통 마이그레이션의 전부입니다.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

전체 파라미터 레퍼런스, /v1/messages와 /v1/responses의 형태, 스트리밍 이벤트 포맷, 라이브 플레이그라운드는 API 문서에 있습니다. 나머지 열한 모델의 모델 카드는 Shannon Research에 있습니다.

파운데이션 수치는 양자화되지 않은 Inkling 체크포인트에 대해 Thinking Machines Lab이 공개한 값이며, 우리 양자화 빌드가 아니라 계열의 천장을 설명합니다. 가격과 기능 플래그는 2026년 9월 기준 Shannon AI 게이트웨이 정가 값입니다.

10자주 묻는 질문

---

출처: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling 아키텍처 및 벤치마크 노트. 파운데이션 벤치마크는 양자화되지 않은 체크포인트에 대해 연구소가 보고한 값입니다.