API Inkling không kiểm duyệt

Phần lớn trong mười hai mô hình trên gateway của chúng tôi chỉ xử lý văn bản. Bốn mô hình thì không, và trong bốn mô hình đó Inkling giữ một vị trí rất cụ thể: đây là mô hình thị giác bạn tìm đến khi bức ảnh mới là phần khó của bài toán nhưng ngân sách không đủ để chạm tới một flagship. Thẻ này nói về xuất xứ của nền tảng, hậu tố W4A16-AUTOROUND-REAP đã làm gì với nó, nó làm được và không làm được gì ở bề mặt API, và — nói thẳng — khi nào một mô hình rẻ hơn trong cùng danh mục mới là lựa chọn đúng.

01Inkling là gì, và ai xây dựng nó?

Inkling là mô hình trọng số mở đầu tiên của Thinking Machines Lab, công bố ngày 15 tháng 7, 2026. Khác với hầu hết các bản phát hành tự nhận là "mở", nó ra mắt với trọng số tải về được đầy đủ trên Hugging Face và hỗ trợ ngay từ ngày đầu trong transformers, SGLang, vLLM và llama.cpp — đó chính là lý do nó chạy được trên hạ tầng như của chúng tôi. Những con số chính, lấy từ tài liệu phát hành của chính Thinking Machines:

Đó là một bố cục Mixture-of-Experts thưa: 66 lớp decoder với hidden size 6.144, hai lớp đầu là dense, 64 lớp còn lại mang 256 expert được định tuyến cộng 2 expert dùng chung, với 6 expert được định tuyến kích hoạt trên mỗi token. Khoảng 4% số tham số hoạt động trên bất kỳ token nào — đó là điều khiến một mô hình gần nghìn tỷ tham số có thể phục vụ được.

Hai lựa chọn kiến trúc đủ khác thường để phải gọi tên. Attention được đan xen — 55 lớp attention cửa sổ trượt trên cửa sổ 512 token đối lại 11 lớp toàn cục, theo mẫu lặp 5:1. Và Inkling không dùng RoPE: nó dùng một bias vị trí tương đối được học và phụ thuộc đầu vào, cùng với các convolution nhân quả ngắn trên phép chiếu key/value và các nhánh residual. Ghi chú kiến trúc của Sebastian Raschka đánh dấu cả hai là những khác biệt thực sự so với công thức chuẩn năm 2026. Huấn luyện dùng Muon cho các tham số ma trận lớn và Adam cho phần còn lại, rồi hơn 30 triệu lượt rollout RL bất đồng bộ trong giai đoạn hậu huấn luyện.

Điều đáng quan tâm với người dùng API không phải là mấy chi tiết vụn vặt đó. Mà là: đây là một nền tảng quy mô frontier, đa phương thức bẩm sinh, huấn luyện trên 45 nghìn tỷ token trải khắp văn bản, hình ảnh, âm thanh và video — không phải một mô hình văn bản rồi gắn thêm bộ chuyển đổi thị giác vào sau. Ảnh được mã hóa thành các mảng 40×40 pixel qua một bộ patchifier MLP phân cấp bốn lớp và được xử lý chung với văn bản trong cùng một decoder. Hiểu hình ảnh nằm ngay trong mục tiêu tiền huấn luyện.

02W4A16-AUTOROUND-REAP nghĩa là gì?

Ba kỹ thuật riêng biệt được xếp chồng trong hậu tố đó, và chúng làm những việc khác nhau. Đáng để hiểu, vì hậu tố này chính là khác biệt lớn nhất giữa mô hình bạn gọi trên API của chúng tôi và checkpoint mà Thinking Machines công bố.

REAP — cắt bỏ những expert không ai định tuyến tới

REAP là Router-weighted Expert Activation Pruning, từ Cerebras Research (arXiv 2510.13999, được chấp nhận tại ICLR 2026). Trong một MoE với 256 expert mỗi lớp, router không chia việc đều nhau: một số expert bị gọi liên tục, số khác hiếm khi kích hoạt và đóng góp rất ít khi có kích hoạt. REAP chấm điểm mỗi expert dựa trên cả giá trị cổng của router lẫn chuẩn kích hoạt của expert đó — một expert được chọn thường xuyên nhưng chỉ đóng góp những cập nhật biên độ nhỏ thì ít quan trọng hơn số lần được chọn của nó gợi ý — rồi loại bỏ những expert có độ nổi bật thấp trong một lần duy nhất, trước khi lượng tử hóa.

Lý do chúng tôi dùng cắt tỉa thay vì kiểu gộp expert đang thịnh hành hơn là vì hai cách này rẽ nhánh theo loại tác vụ. Gộp trông có vẻ cạnh tranh trên các benchmark phân biệt và sụp đổ trên các benchmark sinh. Các tác giả của REAP báo cáo rằng cắt tỉa giữ được chất lượng tốt hơn đúng ở những khối lượng công việc mà người ta mua API để làm — sinh mã, gọi tool, suy luận nhiều lượt — ở tỷ lệ nén vượt 50%, trên các mô hình từ 20 tỷ đến 1 nghìn tỷ tham số. Gộp phá hủy tính chuyên biệt của router; cắt tỉa để nguyên các expert còn sống và cách định tuyến giữa chúng.

AutoRound — học xem nên làm tròn ở đâu

AutoRound là phương pháp lượng tử hóa sau huấn luyện của Intel (arXiv 2309.05516, công bố dưới tên SignRound). Lượng tử hóa ngây thơ làm tròn mỗi trọng số tới giá trị 4 bit biểu diễn được gần nhất — một mặc định hợp lý và là một lựa chọn tồi ở quy mô lớn, bởi vì sai số làm tròn không độc lập với nhau và tích lũy qua một chồng 66 lớp. AutoRound coi quyết định làm tròn là thứ cần tối ưu: hạ gradient có dấu điều chỉnh đồng thời hướng làm tròn và ngưỡng cắt trọng số qua vài trăm bước, mượn được độ chính xác của huấn luyện nhận biết lượng tử hóa mà không cần huấn luyện lại. Intel báo cáo mức cải thiện lớn nhất ở các thiết lập số bit cực thấp và một lợi thế cạnh tranh ở INT4.

W4A16 — các bit đi đâu

W4A16 là định dạng số: trọng số 4 bit, kích hoạt 16 bit. Trọng số — thứ chiếm phần lớn bộ nhớ trong một mô hình 975 tỷ — co lại còn khoảng một phần tư dung lượng BF16, trong khi phép tính vẫn ở 16 bit. Sự phân chia đó đặc biệt quan trọng với một mô hình thị giác: các sơ đồ lượng tử hóa cả kích hoạt làm hỏng đúng phần công việc số học tinh vi mà việc hiểu hình ảnh phụ thuộc vào — đọc một nhãn trục nhỏ, phân giải một đường mảnh trong sơ đồ, tách hai sắc độ gần giống nhau. Giữ kích hoạt ở 16 bit tốn băng thông và đổi lại độ chính xác ở đúng chỗ mà một khối lượng công việc thị giác nhận ra.

Xếp chồng lại, ba kỹ thuật cho ra một mô hình vừa đủ nhỏ để chạy và vẫn nhanh, mà không có vách chất lượng của bậc 3BIT-REAP quyết liệt hơn mà chúng tôi dùng cho những nền tảng lớn nhất. Đó chính là đánh đổi mà mức giá phản ánh.

03Thị giác: một API phân tích ảnh không từ chối

Inkling là một trong bốn mô hình có thị giác trong danh mục của chúng tôi, cùng với Kimi-K3, Kimi-K2.6 và MiniMax-M3. Kết quả thị giác công bố của mô hình gốc, từ bản phát hành của Thinking Machines, là 73.3% trên MMMU Pro (Standard 10) và 78.1% trên các câu hỏi suy luận CharXiv — tăng lên 82.0% khi mô hình được phép chạy Python trên biểu đồ. Đó là số liệu của chính phòng lab cho checkpoint chưa lượng tử hóa; hãy coi chúng là trần của dòng mô hình, không phải phép đo bản dựng của chúng tôi.

CharXiv là con số đáng dừng lại, vì nó phản ánh đúng lý do người ta mua một API thị giác chứ không phải một dịch vụ OCR. Nó kiểm tra khả năng suy luận trên biểu đồ khoa học — đọc một giá trị trên trục, so sánh hai chuỗi số liệu, nhận ra một xu hướng đảo chiều. Không phải "trong ảnh này có chữ gì" mà "hình này khẳng định điều gì, và khẳng định đó có đứng vững không". Đó là điều biện minh cho việc gửi một bức ảnh tới mô hình suy luận 975 tỷ tham số thay vì một bộ chú thích ảnh nhỏ.

Gửi ảnh là công việc tương thích OpenAI bình thường — một content part image_url tới /v1/chat/completions, một khối image kiểu Anthropic tới /v1/messages, hoặc tương đương trên /v1/responses. Cả ba phương ngữ đều đi tới cùng bộ trọng số và cả ba đều stream; hãy chọn cái mà SDK sẵn có của bạn đã nói được. Có một ví dụ hoàn chỉnh ở mục 09.

Phần "không kiểm duyệt" quan trọng với thị giác hơn là với văn bản. Một lớp từ chối đặt trước endpoint thị giác thường thô bạo một cách bất thường, vì nó thường phân loại bức ảnh trước khi mô hình kịp suy luận về yêu cầu. Công việc chính đáng bị chặn liên tục: một bức ảnh vết thương trong quy trình ghi chú lâm sàng, một ảnh chụp màn hình pháp y trong báo cáo sự cố, một khung hình từ bộ phim đang được phân tích cho một bài phê bình, một ảnh chụp y khoa, một ảnh tài liệu tình cờ có chứa tên người. Inkling trên gateway của chúng tôi không có bộ phân loại nào đứng chắn phía trước. Nó nhìn thứ bạn gửi và trả lời câu hỏi bạn đặt ra. Đó chính là sản phẩm.

04Đầu ra có cấu trúc: response_format có, json_schema không

Đây là chỗ duy nhất Inkling kém hơn phần lớn danh mục, và tính trước thì tốt hơn là phát hiện ra khi đã chạy production.

Khả năng	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Thị giác (đầu vào ảnh)	Có	Có	Có	Không
response_format	Có	Có	Có	Không
json_schema	Không	Có	Có	Không
Gọi tool	Có	Có	Có	Có
Mức độ suy luận	Có	Có	Có	Có

response_format: {"type": "json_object"} hoạt động — bạn nhận được JSON hợp lệ về cú pháp. Thứ bạn không nhận được là giải mã bị ràng buộc bởi ngữ pháp theo một schema bạn cung cấp, nơi bộ lấy mẫu bị chặn về mặt vật lý không cho phát ra một token vi phạm cấu trúc của bạn. Tên trường, thành viên enum và sự hiện diện của các khóa bắt buộc là lựa chọn của mô hình, không phải một bảo đảm.

Ba cách sống chung với điều đó, theo thứ tự độ tin cậy tăng dần:

1. Đưa schema vào prompt rồi kiểm tra. Đặt schema vào system prompt dưới dạng JSON nguyên văn, đặt response_format thành json_object, và kiểm tra phản hồi ở phía bạn. Thử lại khi kiểm tra thất bại, kèm thông báo lỗi của bộ kiểm tra. Rẻ, chạy được, cần một ngân sách cho việc thử lại.
2. Dùng một định nghĩa tool làm schema. Gọi tool có được hỗ trợ, và định nghĩa tham số của một hàm chính là một JSON Schema. Hãy khai báo một tool duy nhất đặt tên theo phần trích xuất bạn muốn, buộc mô hình gọi nó, rồi đọc các tham số. Đây thường là lựa chọn mạnh nhất trên Inkling và nó không tốn thêm gì.
3. Chia việc cho hai mô hình. Để Inkling lo phần thị giác và suy luận bằng văn xuôi, rồi đưa văn xuôi đó cho MiMo-V2.5-W8A16 ở mức $0.50 / $2.00 với một json_schema thật cho bước cấu trúc hóa. Hai lời gọi, nhưng lời gọi thứ hai rẻ, có hình dạng xác định, và mô hình cần thông minh chính là mô hình đã nhìn thấy bức ảnh.

Phương án 3 là mẫu hình chúng tôi khuyên dùng cho bất kỳ quy trình trích xuất khối lượng lớn nào. Chỉ trả mức giá cao cho đúng bước cần đến nó.

05Khoản chênh lệch giá mua được gì?

Ở mức $1.42 vào / $6.07 ra mỗi triệu token, Inkling nằm có chủ đích ở giữa danh mục của chúng tôi. Sáu trong mười hai mô hình ở mức sàn $0.50 / $2.00. Kimi-K3 — bản flagship, cũng có thị giác — là $3.83 / $19.12. Inkling vào khoảng gấp ba lần mức sàn ở đầu ra và khoảng một phần ba bản flagship.

Giá đầu ra, USD mỗi 1M token, giá niêm yết Shannon AI Gateway, tháng 9 năm 2026. Chiều rộng thanh tỷ lệ với giá; dài hơn là đắt hơn.

Đây là đánh giá thành thật về nơi khoản chênh lệch đó xứng đáng — và nơi nó không.

Khối lượng công việc	Dùng Inkling?	Vì sao
Suy luận trên biểu đồ / sơ đồ	Có	Các con số CharXiv và MMMU Pro đã công bố là điểm mạnh nhất của nền tảng này.
Agent điều khiển bằng ảnh chụp màn hình	Có	Thị giác cộng gọi tool cộng 262K lịch sử trong một mô hình, không cần chuyển giao.
Tài liệu dài có hình	Có	Văn bản và hình ảnh dùng chung một decoder và một cửa sổ ngữ cảnh.
Sinh văn bản thuần	Không	Sáu mô hình ở mức $0.50 / $2.00 làm được việc này. Bạn đang trả tiền cho một đường thị giác mà bạn không bao giờ gọi tới.
Trích xuất schema khối lượng lớn	Không	Không có json_schema. MiMo-V2.5 rẻ hơn và có ràng buộc.
Trần tuyệt đối của frontier	Không	Kimi-K3 là bản flagship. Hãy trả mức 3.1× nếu trần chất lượng mới là ràng buộc.
Thị giác rẻ nhất có thể	Không	MiniMax-M3 có thị giác ở mức $0.50 / $2.00. Hãy bắt đầu ở đó, nâng cấp khi chất lượng buộc bạn phải làm vậy.

Hãy đọc bảng đó như một quy tắc định tuyến, không phải một bảng xếp hạng. Inkling phù hợp với một dải công việc hẹp hơn những gì một trang tiếp thị sẽ nói, và bên trong dải đó nó rất khó bị đánh bại về giá. Bên ngoài dải đó, chúng tôi thà bán cho bạn mô hình rẻ hơn và giữ bạn ở lại.

06Cửa sổ ngữ cảnh 262K, và thứ thực sự nhét vừa

Cả mười hai mô hình trên gateway đều được phục vụ với ngữ cảnh đầu vào 262.144 token và đầu ra tối đa 16.384 token mỗi yêu cầu. Đồng nhất một cách có chủ đích: việc xử lý ngữ cảnh không bao giờ nên trở thành một nhánh riêng cho từng mô hình trong mã của bạn, và đổi inkling thành MiniMax-M3 trong một file cấu hình không nên âm thầm thay đổi thứ gì nhét vừa.

Hãy chú ý khoảng cách so với nền tảng đã công bố: Thinking Machines ghi nhận Inkling ở 1.048.576 token, và chúng tôi phục vụ một lát 262K của con số đó. Nếu bạn thực sự có khối lượng công việc một-yêu-cầu-một-triệu-token, chúng tôi không phải endpoint cho việc đó, và bạn nên biết trước khi xây dựng.

Để hình dung quy mô ở 262K: một PDF kỹ thuật 400 trang kèm hình, một codebase cỡ trung, vài giờ bản ghi lời nói, hoặc một phiên agent dài mang theo hàng chục kết quả tool và một nhúm ảnh chụp màn hình — mỗi thứ vừa trong một yêu cầu. Trên một mô hình thị giác, hãy nhớ rằng ảnh cũng tiêu tốn ngữ cảnh; một ảnh chụp màn hình dày đặc không hề miễn phí, và một phiên liên tục đẩy khung hình vào sẽ lấp đầy cửa sổ nhanh hơn một phiên chỉ có văn bản. Kiến trúc rất hợp với việc này: mẫu 5:1 giữa cửa sổ trượt và toàn cục nghĩa là phần lớn các lớp chỉ chú ý trong vùng lân cận 512 token, với các lớp toàn cục định kỳ kéo cấu trúc tầm xa trở lại.

07Mức độ suy luận: chỉ trả tiền cho việc nghĩ khi bạn cần

Inkling cho phép điều khiển mức độ suy luận — một trong những núm vặn hữu ích hơn cả trong danh mục. Mô hình gốc nhận các mức từ none và minimal qua low, medium, high, xhigh, tới max, được phơi ra trên cả ba phương ngữ qua tham số chuẩn reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Đây là một đòn bẩy chi phí có răng, vì token suy luận được tính như token đầu ra ở mức $6.07 mỗi triệu. Thinking Machines báo cáo rằng trên Terminal Bench 2.1, Inkling đạt điểm ngang Nemotron 3 Ultra với khoảng một phần ba số token — hiệu quả token là mục tiêu thiết kế được nêu rõ của hệ thống mức độ suy luận, không phải chuyện tình cờ.

Trong thực tế: chạy low hoặc minimal cho chú thích ảnh, phân loại và trích xuất đơn giản, khi câu trả lời nằm sẵn trong bức ảnh và không cần chuỗi suy diễn nào. Hãy để dành high trở lên cho suy luận trên biểu đồ, so sánh thị giác nhiều bước, và những lượt agent mà một bước trung gian sai sẽ rất đắt. Phần lớn các đội không bao giờ đặt tham số này, và bỏ lại trên bàn một khoản chênh lệch chi phí đầu ra gấp nhiều lần.

08"Không kiểm duyệt" ở đây nghĩa là gì — và không nghĩa là gì

Cụ thể: chúng tôi chạy mô hình này không lớp từ chối và không lọc đầu ra. Không có bộ phân loại nào đọc prompt của bạn rồi quyết định mô hình có được trả lời hay không, và không có bộ nào đọc phản hồi trước khi nó stream ra. Khi mô hình không chắc chắn hoặc thiếu kiến thức, nó nói vậy — đó là mô hình, không phải chính sách. Thứ bạn sẽ không gặp là một cú từ chối phản xạ về một chủ đề mà một sản phẩm đại chúng coi là vùng cấm.

Với thị giác, đây là toàn bộ giá trị đề xuất. Các bộ phân loại ảnh đặt trước API thị giác thiếu chính xác, và tỷ lệ dương tính giả rơi nặng nhất lên đúng những công việc chuyên môn cần đến khả năng này nhất: nghiên cứu bảo mật, bối cảnh lâm sàng, báo chí và pháp y, phê bình điện ảnh và nghệ thuật, công cụ kiểm duyệt nội dung buộc phải nhìn vào chính thứ nó kiểm duyệt. Một endpoint từ chối theo hạng mục không thể phục vụ đáng tin cậy cho bất kỳ việc nào trong số đó.

Hai lưu ý thành thật. Thứ nhất, Thinking Machines công bố các đánh giá an toàn cho bản triển khai tham chiếu của họ — 78.0% trên FORTRESS adversarial, 95.9% trên FORTRESS benign, 98.6% trên StrongREJECT. Những con số đó mô tả ngăn xếp của họ với các rào chắn của họ đang bật. Chúng không mô tả ngăn xếp của chúng tôi, và chúng tôi sẽ không trích dẫn chúng như thể có. Chúng tôi đã gỡ bỏ chính cái lớp mà một phần những con số đó đo lường; đó là sản phẩm, và cũng là trách nhiệm.

Thứ hai, "không lớp từ chối" không phải "không luật lệ". Shannon Lab LLC hoạt động theo Chính sách Sử dụng Có Trách nhiệm và luật pháp Hoa Kỳ hiện hành. Gỡ bỏ một bộ phân loại là chuyển phán đoán sang bạn, không phải xóa bỏ nó. Nếu bạn đang xây dựng trên nền này, hãy đọc chính sách trước khi mở rộng quy mô.

09Bắt đầu

Cùng base URL, cùng khóa, ba phương ngữ. Nếu mã của bạn đã gọi OpenAI, Anthropic hoặc Responses API, đổi chuỗi model thường là toàn bộ việc di chuyển.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Tham chiếu tham số đầy đủ, hình dạng của /v1/messages và /v1/responses, định dạng sự kiện streaming, và một playground trực tiếp đều có trong tài liệu API. Thẻ mô hình cho mười một mô hình còn lại nằm ở Shannon Research.

Các con số về nền tảng là số liệu Thinking Machines Lab công bố cho checkpoint Inkling chưa lượng tử hóa và mô tả trần của dòng mô hình, không phải bản dựng đã lượng tử hóa của chúng tôi. Giá và các cờ khả năng là giá trị niêm yết của Shannon AI Gateway tính đến tháng 9 năm 2026.

10Câu hỏi thường gặp

---

Nguồn: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Ghi chú kiến trúc và benchmark Inkling. Benchmark nền tảng là số liệu do phòng lab báo cáo cho checkpoint chưa lượng tử hóa.