无审查 Inkling 模型 API

我们网关上的十二个模型里，大多数是纯文本的。有四个不是，而在这四个里，Inkling 占据一个很具体的位置：当图片本身才是问题的难点、但预算又够不到旗舰时，你会去找的那个视觉模型。这份指南讲清楚基座从哪来、W4A16-AUTOROUND-REAP 这个后缀对它做了什么、它在 API 层面能做什么不能做什么，以及 —— 老实说 —— 什么时候同一个目录里更便宜的模型才是更好的选择。

01Inkling 是什么，是谁做的？

Inkling 是 Thinking Machines Lab 的第一个开源权重模型，2026 年 7 月 15 日发布。和大多数自称「开放」的发布不同，它在 Hugging Face 上直接给出了完整可下载的权重，并且在 transformers、SGLang、vLLM 和 llama.cpp 上第零天就有支持 —— 这也正是它能跑在我们这类基础设施上的前提。以下是 Thinking Machines 自己发布材料里的关键数字：

这是一个稀疏混合专家布局：66 层解码器，隐藏维度 6,144，前两层是稠密层，剩下 64 层各带 256 个路由专家外加 2 个共享专家，每 token 激活 6 个路由专家。任意一个 token 上大约只有 4% 的参数被点亮 —— 这正是一个接近万亿参数的模型还能被服务出来的原因。

有两个架构选择特别到值得单独点名。注意力是交错的 —— 55 层是窗口为 512 token 的滑动窗口注意力，对应 11 层全局注意力，按 5:1 的模式循环。而且 Inkling 不用 RoPE：它用的是一种可学习、依赖输入的相对位置偏置，再配合作用在 key/value 投影和残差分支上的短因果卷积。Sebastian Raschka 的架构笔记把这两点都标为对 2026 年标准配方的实质性偏离。训练时大矩阵参数用 Muon，其余用 Adam，随后在后训练阶段跑了超过 3,000 万次异步 RL rollout。

对一个 API 使用者来说，重点不是这些冷知识，而是：这是一个前沿规模、原生多模态的基座，在 45 万亿 token 上训练，覆盖文本、图像、音频和视频 —— 不是一个事后接上视觉适配器的文本模型。图像被切成 40×40 像素的 patch，经过一个四层分层 MLP patchifier 编码，然后在同一个解码器里和文本联合处理。视觉理解本来就写在预训练目标里。

02W4A16-AUTOROUND-REAP 是什么意思？

这个后缀里叠了三种彼此独立的技术，各干各的活。值得搞明白，因为这个后缀就是你在我们 API 上调用的模型和 Thinking Machines 发布的那份 checkpoint 之间最大的差别。

REAP —— 把没人路由到的专家剪掉

REAP 全称 Router-weighted Expert Activation Pruning，来自 Cerebras Research（arXiv 2510.13999，被 ICLR 2026 接收）。在一个每层 256 个专家的 MoE 里，路由器并不会把工作平均分配：有些专家被不断命中，有些很少触发、而且触发时贡献也很小。REAP 同时用路由器的门控值和专家的激活范数给每个专家打分 —— 一个被频繁选中但只贡献小幅更新的专家，其重要性低于它的被选次数所暗示的 —— 然后在量化之前，一次性把低显著度的那些剪掉。

我们选剪枝而不是更时髦的专家合并，原因在于两者会随任务类型分道扬镳。合并在判别式基准上看着还行，到了生成式任务上就崩了。REAP 的作者报告说，剪枝在人们真正会为之付费的那类负载上更好地保住了质量 —— 代码合成、工具调用、多轮推理 —— 在压缩比超过 50% 时依然成立，模型规模从 20B 一直到 1T 都验证过。合并会毁掉路由器的专业化分工；剪枝则原样保留幸存的专家以及它们之间的路由关系。

AutoRound —— 学出该往哪边舍入

AutoRound 是 Intel 的训练后量化方法（arXiv 2309.05516，以 SignRound 之名发表）。朴素量化把每个权重就近取整到最接近的 4 比特可表示值 —— 这是个合理的默认值，在大规模下却是个糟糕的默认值，因为舍入误差之间并不独立，会在 66 层的堆叠里累积。AutoRound 把舍入决策当成一个要优化的对象：用带符号梯度下降在几百步内联合调节舍入方向和权重截断范围，在不重新训练的前提下借来量化感知训练的精度。Intel 报告称，收益在极低比特设置下最大，在 INT4 上也有竞争优势。

W4A16 —— 比特花在哪

W4A16 是数值格式：4 比特权重，16 比特激活。在一个 975B 模型里主导显存占用的是权重，它们缩到大约 BF16 体积的四分之一，而算术运算仍保持在 16 比特。这个切分对视觉模型尤其关键：对激活也做量化的方案，伤到的恰恰是图像理解所依赖的细粒度数值工作 —— 读出一个很小的坐标轴标签、分辨示意图里的一根细线、区分两种相近的色调。把激活保持在 16 比特要多花带宽，换回来的是视觉负载能真切感知到的精度。

三者叠加，得到的是一个装得下、也跑得快的模型，同时避开了我们用在最大基座上的激进 3BIT-REAP 档位那种质量断崖。价格反映的就是这笔取舍。

03视觉：一个不会拒答的图像分析 API

Inkling 是我们目录里四个具备视觉能力的模型之一，另外三个是 Kimi-K3、Kimi-K2.6 和 MiniMax-M3。基座模型公布的视觉成绩，出自 Thinking Machines 的发布材料，是 MMMU Pro（Standard 10）73.3% 和 CharXiv 推理题 78.1% —— 当允许模型对图表运行 Python 时升到 82.0%。这些是该实验室对未量化 checkpoint 的自报数字；请把它们当作这个模型家族的上限，而不是对我们这份构建的测量。

CharXiv 是最值得多说两句的一个，因为它恰好对应了人们为什么要买视觉 API 而不是 OCR 服务。它考的是对科学图表的推理 —— 从坐标轴上读出一个数值、比较两条曲线、注意到某个趋势发生反转。不是「这张图里有什么文字」，而是「这张图在主张什么，这个主张站得住吗」。这才是把一张图片送进一个 975B 推理模型、而不是一个小型描述模型的理由。

发送图像就是普通的 OpenAI 兼容操作 —— 在 /v1/chat/completions 上放一个 image_url 内容片段，在 /v1/messages 上放一个 Anthropic 风格的 image 块，或者在 /v1/responses 上用对应写法。三种方言打到的是同一份权重，也都支持流式；你现有 SDK 会说哪种就用哪种。第 09 节有一个完整示例。

「无审查」这件事，对视觉比对文本更要紧。视觉端点上的拒答层格外粗暴，因为它通常是在模型还没对请求做任何推理之前，就先给图像分类。正当工作会被不断误伤：临床记录流程里的一张伤口照片、事故复盘里的一张取证截图、影评分析用的一帧电影画面、一张医学扫描、一张恰好含有姓名的文档图像。我们网关上的 Inkling 前面没有这样的分类器。它看你发来的东西，回答你提出的问题。这就是产品本身。

04结构化输出：response_format 可以，json_schema 不行

这是 Inkling 在整个目录里唯一比大多数模型弱的地方，与其在生产环境里踩到，不如提前把方案想好。

能力	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
视觉（图像输入）	支持	支持	支持	不支持
response_format	支持	支持	支持	不支持
json_schema	不支持	支持	支持	不支持
工具调用	支持	支持	支持	支持
Reasoning effort	支持	支持	支持	支持

response_format: {"type": "json_object"} 是可用的 —— 你会拿到语法上合法的 JSON。你拿不到的是按你提供的 schema 做语法约束解码，也就是采样器在物理层面被阻止吐出任何违反你结构的 token。字段名、枚举取值、必填键是否出现，都由模型自己决定，不是保证。

有三种办法跟这个限制共处，可靠性依次递增：

1. 把 schema 写进提示词，然后校验。把 schema 以字面 JSON 的形式放进系统提示，把 response_format 设为 json_object，然后在你这一侧校验响应。校验失败就带上校验器的报错信息重试。便宜、管用，但需要预留重试预算。
2. 用一个工具定义充当 schema。工具调用是支持的，而函数的参数定义本身就是一份 JSON Schema。为你想要的抽取任务声明一个工具，强制模型调用它，然后读取参数。这通常是 Inkling 上最强的选项，而且不额外花钱。
3. 把任务拆给两个模型。让 Inkling 用散文形式完成视觉理解和推理，再把这段散文交给 $0.50 / $2.00 的 MiMo-V2.5-W8A16，用真正的 json_schema 做结构化那一步。两次调用，但第二次很便宜、形状确定，而且需要「聪明」的那个模型正是看过图片的那个。

对任何大批量抽取流水线，我们都会推荐第 3 种模式。只为真正需要它的那一步付溢价。

05这份价格溢价买到了什么？

以每百万 token 输入 $1.42 / 输出 $6.07 计，Inkling 是被刻意放在我们目录中段的。十二个模型里有六个处在 $0.50 / $2.00 的地板档。同样具备视觉能力的旗舰 Kimi-K3 是 $3.83 / $19.12。Inkling 在输出价上大约是地板档的三倍，约为旗舰的三分之一。

输出价格，美元每 100 万 token，Shannon AI 网关标价，2026 年 9 月。条形长度与价格成正比；越长越贵。

下面老实说说这份溢价在哪里对得起价钱，在哪里对不起。

工作负载	用 Inkling 吗？	原因
图表 / 示意图推理	用	公布的 CharXiv 和 MMMU Pro 成绩，正是这个基座最擅长的地方。
截图驱动的智能体	用	视觉、工具调用和 262K 的历史都在一个模型里，不需要交接。
带插图的长文档	用	文本和图像共用一个解码器、一个上下文窗口。
纯文本生成	不用	$0.50 / $2.00 的六个模型都能干。你是在为一条永远不会调用的视觉通路买单。
大批量 schema 抽取	不用	没有 json_schema。MiMo-V2.5 更便宜，而且有约束。
绝对前沿上限	不用	Kimi-K3 才是旗舰。如果上限就是瓶颈，那就付这 3.1 倍。
尽可能便宜的视觉	不用	MiniMax-M3 在 $0.50 / $2.00 就有视觉。从那儿开始，质量顶不住再往上升。

请把这张表读成一条路由规则，而不是一份排名。Inkling 适用的区间比一张营销页面会宣称的窄，但在这个区间之内，它在价格上很难被击败。区间之外，我们宁可卖给你更便宜的那个模型，把你留住。

06262K 上下文窗口，以及它实际装得下什么

网关上全部十二个模型都以 262,144 token 的输入上下文和每次请求 16,384 token 的最大输出提供服务。统一是刻意为之：上下文处理不该在你的代码里变成按模型分支的逻辑，而在配置文件里把 inkling 换成 MiniMax-M3，也不该悄悄改变能装下多少东西。

请注意它和公布的基座之间的差距：Thinking Machines 给 Inkling 标的是 1,048,576 token，我们提供的是其中 262K 的一段。如果你真有百万 token 级的单次请求负载，我们不是那个端点 —— 与其等你建完再发现，不如现在就知道。

262K 大概是什么概念：一份 400 页的技术 PDF 连同其插图、一个中等规模的代码库、几个小时的转录稿，或者一段携带几十个工具结果和若干张截图的长智能体会话 —— 每一项都能装进一次请求。在视觉模型上还要记住图像同样消耗上下文；一张信息密集的截图不是免费的，一个持续送帧的会话会比纯文本会话更快把窗口填满。架构在这方面很合适：5:1 的滑动窗口与全局注意力配比，意味着大多数层只在 512 token 的邻域内做注意力，再由全局层周期性地把长程结构拉回来。

07Reasoning effort：只在需要时为思考付钱

Inkling 暴露了可控的 reasoning effort —— 这是目录里更有用的旋钮之一。上游模型接受从 none、minimal，经 low、medium、high、xhigh，一直到 max 的各档，并通过标准的 reasoning_effort 参数在三种方言上都能设置。

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

这是一个真有牙齿的成本杠杆，因为推理 token 是按输出 token、以每百万 $6.07 计费的。Thinking Machines 报告称，在 Terminal Bench 2.1 上 Inkling 用大约三分之一的 token 就达到了与 Nemotron 3 Ultra 相当的分数 —— token 效率是这套 effort 机制明确写下的设计目标，不是碰巧。

实操建议：描述、分类和直白抽取用 low 或 minimal，这些任务的答案就在图里，不需要一条推理链。把 high 及以上留给图表推理、多步视觉比较，以及那些中间步骤出错代价很高的智能体回合。大多数团队根本不设这个参数，白白丢掉了几倍的输出成本差。

08这里的「无审查」是什么意思 —— 以及不是什么意思

说具体点：我们运行这个模型时没有拒答层，也不对输出做过滤。没有分类器去读你的提示、决定模型可不可以回答，也没有分类器在响应流出之前先读一遍。当模型不确定或确实不知道时，它会直说 —— 那是模型本身，不是政策。你不会遇到的，是面向大众的产品对某些话题那种条件反射式的拒绝。

对视觉来说，这就是全部价值所在。挡在视觉 API 前面的图像分类器都不够精确，而误报率打击最狠的，恰恰是最需要这项能力的专业工作：安全研究、临床场景、新闻与取证、影视与艺术批评，以及那些必须直视自己要审核之物的审核工具。一个按类别拒答的端点，没法可靠地服务上面任何一种。

两点必须老实交代。第一，Thinking Machines 为他们自己的参考部署公布了安全评测 —— FORTRESS 对抗 78.0%、FORTRESS 良性 95.9%、StrongREJECT 98.6%。那些数字描述的是他们的技术栈、装着他们的护栏。它们描述的不是我们的，我们也不会拿来假装是我们的。这些数字部分衡量的正是那一层，而我们把它拿掉了；这是产品，也是责任。

第二，「没有拒答层」不等于「没有规则」。Shannon Lab LLC 在《负责任使用政策》和适用的美国法律之下运营。移除一个分类器是把判断权移交给你，不是把判断本身删掉。如果你要在这上面做东西，扩量之前请先读那份政策。

09开始使用

同一个 base URL、同一把密钥、三种方言。如果你的代码已经在调用 OpenAI、Anthropic 或 Responses API，那么改掉模型字符串通常就是全部的迁移工作。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

完整参数说明、/v1/messages 与 /v1/responses 的请求结构、流式事件格式，以及一个可以直接试的 playground，都在 API 文档里。另外十一个模型的指南在 Shannon Research。

基座数字是 Thinking Machines Lab 针对未量化 Inkling checkpoint 公布的数据，描述的是这个家族的上限，不是我们量化版本的表现。价格与能力标记为 2026 年 9 月的 Shannon AI 网关标价。

10常见问题

---

来源：Thinking Machines Lab —— Introducing Inkling · Hugging Face —— Welcome Inkling · REAP the Experts（arXiv 2510.13999） · Optimize Weight Rounding via Signed Gradient Descent（arXiv 2309.05516） · Sebastian Raschka —— Inkling 架构与基准笔记。基座基准为实验室针对未量化 checkpoint 的自报数据。