API Model Inkling Tanpa Sensor

Sebagian besar dari dua belas model di gateway kami khusus teks. Empat di antaranya tidak, dan di antara keempatnya Inkling menempati posisi yang spesifik: model visi yang Anda raih ketika gambarnya adalah bagian tersulit dari masalah tapi anggaran tidak sampai ke model andalan. Kartu ini membahas dari mana fondasinya datang, apa yang dilakukan akhiran W4A16-AUTOROUND-REAP terhadapnya, apa yang bisa dan tidak bisa ia lakukan di permukaan API, dan — dengan jujur — kapan model yang lebih murah di katalog yang sama adalah pilihan yang lebih tepat.

01Apa itu Inkling, dan siapa yang membangunnya?

Inkling adalah model berbobot terbuka pertama dari Thinking Machines Lab, dipublikasikan 15 Juli 2026. Tidak seperti kebanyakan rilis yang diposisikan sebagai "terbuka", ia dikirim dengan bobot lengkap yang bisa diunduh di Hugging Face dan dukungan hari-nol di transformers, SGLang, vLLM, dan llama.cpp — dan itulah sebabnya ia sama sekali bisa dijalankan di infrastruktur seperti milik kami. Angka utamanya, dari materi rilis Thinking Machines sendiri:

Itu tata letak Mixture-of-Experts jarang: 66 lapisan dekoder pada ukuran tersembunyi 6.144, dua yang pertama padat, 64 sisanya membawa 256 expert terutekan ditambah 2 expert bersama, dengan 6 expert terutekan aktif per token. Kira-kira 4% dari parameternya menyala pada token mana pun — dan itulah yang membuat model berukuran hampir satu triliun parameter bisa dilayani sama sekali.

Dua pilihan arsitektur cukup tidak biasa untuk disebut. Attention-nya selang-seling — 55 lapisan sliding-window attention di atas jendela 512 token melawan 11 lapisan global, dalam pola berulang 5:1. Dan Inkling tidak memakai RoPE: ia memakai bias posisi relatif yang dipelajari dan bergantung masukan, berdampingan dengan konvolusi kausal pendek pada proyeksi key/value dan cabang residualnya. Catatan arsitektur Sebastian Raschka menandai keduanya sebagai penyimpangan nyata dari resep standar 2026. Pelatihannya memakai Muon untuk parameter matriks besar dan Adam untuk sisanya, lalu lebih dari 30 juta rollout RL asinkron di pasca-pelatihan.

Yang penting bagi pemakai API bukan detail sepelenya. Yang penting adalah bahwa ini fondasi berskala frontier dan multimodal secara native yang dilatih pada 45 triliun token mencakup teks, gambar, audio dan video — bukan model teks yang ditempeli adaptor visi belakangan. Gambar dikodekan sebagai petak 40×40 piksel lewat patchifier MLP hierarkis empat lapis dan diproses bersama teks di dekoder yang sama. Pemahaman visual sudah ada di tujuan pralatihannya.

02Apa arti W4A16-AUTOROUND-REAP?

Tiga teknik terpisah ditumpuk dalam akhiran itu, dan masing-masing mengerjakan hal yang berbeda. Layak dipahami, karena akhiran itulah perbedaan terbesar antara model yang Anda panggil di API kami dan checkpoint yang dipublikasikan Thinking Machines.

REAP — memangkas expert yang tak pernah dirutekan siapa pun

REAP adalah Router-weighted Expert Activation Pruning, dari Cerebras Research (arXiv 2510.13999, diterima di ICLR 2026). Dalam MoE dengan 256 expert per lapisan, router tidak membagi kerja secara merata: sebagian expert dihantam terus-menerus, sebagian lain jarang menyala dan menyumbang sedikit ketika menyala. REAP menilai tiap expert pada kedua sinyal — nilai gerbang router dan norma aktivasi expert — sebab expert yang sering dipilih tapi menyumbang pembaruan bermagnitudo kecil lebih tidak penting daripada yang disiratkan jumlah pemilihannya — lalu membuang yang bersaliensi rendah dalam sekali jalan, sebelum kuantisasi.

Alasan kami memakai pemangkasan alih-alih penggabungan expert yang lebih populer adalah karena keduanya menyimpang menurut jenis tugas. Penggabungan tampak kompetitif pada benchmark diskriminatif dan berantakan pada benchmark generatif. Para penulis REAP melaporkan bahwa pemangkasan mempertahankan kualitas lebih baik justru pada beban kerja yang membuat orang membeli sebuah API — sintesis kode, tool calling, penalaran multi-giliran — pada rasio kompresi melewati 50%, di seluruh model dari 20B sampai 1T parameter. Penggabungan menghancurkan spesialisasi router; pemangkasan meninggalkan expert yang bertahan beserta perutean di antara mereka tetap utuh.

AutoRound — mempelajari ke mana membulatkan

AutoRound adalah metode kuantisasi pasca-pelatihan dari Intel (arXiv 2309.05516, dipublikasikan sebagai SignRound). Kuantisasi naif membulatkan tiap bobot ke nilai 4-bit terdekat yang bisa direpresentasikan — pilihan bawaan yang masuk akal, dan pilihan buruk pada skala besar, karena galat pembulatan tidak saling bebas dan menumpuk sepanjang tumpukan 66 lapisan. AutoRound memperlakukan keputusan pembulatan sebagai sesuatu yang perlu dioptimalkan: signed gradient descent menyetel arah pembulatan dan rentang pemotongan bobot secara bersamaan selama beberapa ratus langkah, meminjam akurasi pelatihan sadar kuantisasi tanpa melatih ulang. Intel melaporkan keuntungan terbesar pada setelan bit sangat rendah dan keunggulan kompetitif pada INT4.

W4A16 — ke mana bit-bitnya pergi

W4A16 adalah format numeriknya: bobot 4-bit, aktivasi 16-bit. Bobot — yang mendominasi memori pada model 975B — menyusut jadi kira-kira seperempat jejak BF16, sementara aritmetikanya tetap pada 16 bit. Pembagian itu penting khususnya untuk model visi: skema yang mengkuantisasi aktivasi justru melukai kerja numerik halus yang diandalkan pemahaman gambar — membaca label sumbu yang kecil, memisahkan garis tipis dalam diagram, membedakan dua gradasi warna yang mirip. Menjaga aktivasi pada 16 bit memakan bandwidth dan membeli kembali presisi di tempat yang dirasakan beban kerja visi.

Ditumpuk, ketiganya menghasilkan model yang muat dan tetap cepat tanpa jurang kualitas dari tier agresif 3BIT-REAP yang kami pakai pada fondasi-fondasi paling besar. Itulah pertukaran yang tercermin di harganya.

03Visi: API analisis gambar tanpa penolakan

Inkling adalah satu dari empat model berkemampuan visi di katalog kami, berdampingan dengan Kimi-K3, Kimi-K2.6, dan MiniMax-M3. Hasil visi model dasar yang dipublikasikan, dari rilis Thinking Machines, adalah 73,3% pada MMMU Pro (Standard 10) dan 78,1% pada pertanyaan penalaran CharXiv — naik ke 82,0% ketika model diizinkan menjalankan Python terhadap grafiknya. Itu angka lab tersebut untuk checkpoint yang belum dikuantisasi; perlakukan sebagai plafon keluarganya, bukan pengukuran build kami.

CharXiv yang paling layak dibahas, karena ia memetakan alasan orang membeli API visi alih-alih layanan OCR. Ia menguji penalaran atas grafik ilmiah — membaca nilai dari sumbu, membandingkan dua seri, memperhatikan tren yang berbalik. Bukan "teks apa yang ada di gambar ini" melainkan "apa yang diklaim gambar ini, dan apakah klaimnya bertahan". Itulah yang membenarkan mengirim sebuah gambar ke model penalaran 975B alih-alih ke captioner kecil.

Mengirim gambar itu pekerjaan kompatibel-OpenAI biasa — bagian konten image_url pada /v1/chat/completions, blok image bergaya Anthropic pada /v1/messages, atau padanannya pada /v1/responses. Ketiga dialek menuju bobot yang sama dan ketiganya bisa streaming; pilih yang sudah dipahami SDK Anda. Contoh lengkapnya ada di bagian 09.

Bagian tanpa sensornya lebih penting untuk visi daripada untuk teks. Lapisan penolakan pada endpoint visi luar biasa tumpul, karena ia biasanya mengklasifikasikan gambar sebelum model menalar tentang permintaannya. Pekerjaan yang sah terus-menerus tersangkut: foto luka dalam pipeline catatan klinis, tangkapan layar forensik dalam laporan insiden, satu frame film yang sedang dianalisis untuk tulisan kritik, pindaian medis, gambar dokumen yang kebetulan memuat sebuah nama. Inkling di gateway kami tidak punya klasifier semacam itu di depannya. Ia melihat apa yang Anda kirim dan menjawab pertanyaan yang Anda ajukan. Itulah produknya.

04Output terstruktur: response_format ya, json_schema tidak

Ini satu-satunya tempat Inkling kalah mampu dibanding sebagian besar katalog, dan lebih baik direncanakan sejak awal ketimbang ditemukan saat sudah produksi.

Kapabilitas	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Visi (masukan gambar)	Ya	Ya	Ya	Tidak
response_format	Ya	Ya	Ya	Tidak
json_schema	Tidak	Ya	Ya	Tidak
Tool calling	Ya	Ya	Ya	Ya
Reasoning effort	Ya	Ya	Ya	Ya

response_format: {"type": "json_object"} bekerja — Anda mendapat JSON yang sahih secara sintaksis. Yang tidak Anda dapat adalah dekode yang dibatasi grammar terhadap schema yang Anda berikan, di mana sampler secara fisik dicegah memancarkan token yang melanggar struktur Anda. Nama field, keanggotaan enum, dan kehadiran kunci wajib adalah pilihan model, bukan jaminan.

Tiga cara untuk hidup dengan itu, dari yang paling rendah ke paling tinggi keandalannya:

1. Berikan schema-nya lewat prompt lalu validasi. Taruh schema di system prompt sebagai JSON literal, set response_format ke json_object, lalu validasi jawabannya di sisi Anda. Ulangi saat validasi gagal dengan pesan error validator disertakan. Murah, berhasil, butuh anggaran pengulangan.
2. Pakai definisi alat sebagai schema. Tool calling memang didukung, dan definisi parameter sebuah fungsi adalah JSON Schema. Deklarasikan satu alat yang dinamai sesuai ekstraksi yang Anda mau, paksakan, lalu baca argumennya. Ini biasanya opsi terkuat di Inkling dan tidak menambah biaya apa pun.
3. Bagi pekerjaannya ke dua model. Biarkan Inkling mengerjakan visi dan penalarannya dalam bentuk prosa, lalu serahkan prosa itu ke MiMo-V2.5-W8A16 seharga $0.50 / $2.00 dengan json_schema sungguhan untuk tahap penstrukturan. Dua panggilan, tapi yang kedua murah, bentuknya deterministik, dan model yang harus pintar adalah yang melihat gambarnya.

Opsi 3 adalah pola yang akan kami rekomendasikan untuk pipeline ekstraksi bervolume tinggi mana pun. Bayar preminya hanya untuk langkah yang memang membutuhkannya.

05Apa yang dibeli premi harganya?

Pada $1.42 masuk / $6.07 keluar per satu juta token, Inkling sengaja duduk di tengah katalog kami. Enam dari dua belas model ada di lantai $0.50 / $2.00. Kimi-K3 — sang andalan, juga berkemampuan visi — seharga $3.83 / $19.12. Inkling kira-kira tiga kali lantai pada keluaran dan kira-kira sepertiga dari sang andalan.

Harga keluaran, USD per 1J token, tarif daftar Shannon AI Gateway, September 2026. Lebar batang sebanding dengan harga; makin panjang makin mahal.

Berikut pembacaan jujur tentang di mana premi itu membayar dirinya sendiri — dan di mana tidak.

Beban kerja	Pakai Inkling?	Kenapa
Penalaran grafik / diagram	Ya	Angka CharXiv dan MMMU Pro yang dipublikasikan adalah kekuatan terbesar fondasi ini.
Agen berbasis tangkapan layar	Ya	Visi ditambah tool calling ditambah riwayat 262K dalam satu model, tanpa serah terima.
Dokumen panjang bergambar	Ya	Teks dan gambar berbagi satu dekoder dan satu jendela konteks.
Generasi teks polos	Tidak	Enam model seharga $0.50 / $2.00 melakukan ini. Anda membayar jalur visi yang tak pernah Anda panggil.
Ekstraksi schema massal	Tidak	Tidak ada json_schema. MiMo-V2.5 lebih murah dan terbatasi schema.
Plafon frontier mutlak	Tidak	Kimi-K3 adalah sang andalan. Bayar 3,1× kalau plafonnya yang jadi kendala.
Visi semurah mungkin	Tidak	MiniMax-M3 punya visi seharga $0.50 / $2.00. Mulai dari sana, naik kalau kualitas memaksa.

Bacalah itu sebagai aturan perutean, bukan peringkat. Inkling tepat untuk pita pekerjaan yang lebih sempit daripada yang akan diklaim halaman pemasaran, dan di dalam pita itu ia sulit dikalahkan soal harga. Di luarnya, kami lebih suka menjual model yang lebih murah kepada Anda dan mempertahankan Anda.

06Jendela konteks 262K, dan apa yang sebenarnya muat

Kedua belas model di gateway dilayani dengan konteks masukan 262.144 token dan keluaran maksimum 16.384 token per permintaan. Seragam dengan sengaja: penanganan konteks seharusnya tidak pernah menjadi percabangan per model di kode Anda, dan menukar inkling dengan MiniMax-M3 di sebuah berkas konfigurasi seharusnya tidak diam-diam mengubah apa yang muat.

Perhatikan jurangnya terhadap fondasi yang dipublikasikan: Thinking Machines mendokumentasikan Inkling pada 1.048.576 token, dan kami melayani irisan 262K darinya. Kalau Anda punya beban kerja satu-permintaan sejuta token yang sungguhan, kami bukan endpoint untuk itu, dan lebih baik Anda tahu sebelum membangun.

Untuk gambaran skala pada 262K: PDF teknis 400 halaman beserta gambarnya, basis kode berukuran menengah, transkrip beberapa jam, atau sesi agentik panjang yang membawa puluhan hasil alat dan beberapa tangkapan layar — masing-masing muat dalam satu permintaan. Pada model visi, ingat bahwa gambar juga memakan konteks; tangkapan layar yang padat tidak gratis, dan sesi yang mengalirkan frame mengisi jendela lebih cepat daripada sesi khusus teks. Arsitekturnya cocok untuk ini: pola 5:1 antara sliding-window dan global berarti sebagian besar lapisan menaruh perhatian dalam lingkungan 512 token, dengan lapisan global secara berkala menarik kembali struktur jarak jauh.

07Reasoning effort: membayar pemikiran hanya saat Anda perlu

Inkling membuka reasoning effort yang bisa dikendalikan — salah satu tombol paling berguna di katalog. Model hulunya menerima level dari none dan minimal melalui low, medium, high, xhigh, sampai max, dimunculkan di ketiga dialek lewat parameter standar reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Ini tuas biaya yang bergigi, karena token penalaran ditagih sebagai token keluaran seharga $6.07 per satu juta. Thinking Machines melaporkan bahwa pada Terminal Bench 2.1 Inkling mencapai skor setara Nemotron 3 Ultra dengan kira-kira sepertiga jumlah tokennya — efisiensi token adalah tujuan desain yang dinyatakan dari sistem effort ini, bukan kebetulan.

Dalam praktik: jalankan low atau minimal untuk pemberian keterangan, klasifikasi, dan ekstraksi lurus, di mana jawabannya ada di gambar dan tak perlu rantai inferensi. Simpan high ke atas untuk penalaran grafik, perbandingan visual multi-langkah, dan giliran agentik di mana satu langkah antara yang salah itu mahal. Kebanyakan tim tidak pernah menyetel parameter ini sama sekali, dan meninggalkan selisih biaya keluaran berlipat-lipat di atas meja.

08Apa arti "tanpa sensor" di sini — dan apa yang bukan

Konkretnya: kami menjalankan model ini tanpa lapisan penolakan dan tanpa penyaringan pada keluaran. Tidak ada klasifier yang membaca prompt Anda dan memutuskan apakah model boleh menjawab, dan tidak ada yang membaca jawabannya sebelum ia mengalir. Ketika model tidak yakin atau kekurangan pengetahuan, ia mengatakannya — itu modelnya, bukan sebuah kebijakan. Yang tidak akan Anda dapat adalah penolakan refleks pada topik yang dianggap terlarang oleh produk konsumen umum.

Untuk visi, inilah keseluruhan proposisi nilainya. Klasifier gambar di depan API visi itu tidak presisi, dan tingkat positif-palsunya paling keras menghantam pekerjaan profesional yang paling membutuhkan kemampuan itu: riset keamanan, konteks klinis, jurnalisme dan forensik, kritik film dan seni, perkakas moderasi yang harus melihat benda yang dimoderasinya. Endpoint yang menolak berdasarkan kategori tidak bisa melayani satu pun di antaranya dengan andal.

Dua catatan jujur. Pertama, Thinking Machines mempublikasikan evaluasi keamanan untuk penerapan rujukan mereka — 78,0% pada FORTRESS adversarial, 95,9% pada FORTRESS benign, 98,6% pada StrongREJECT. Angka-angka itu menggambarkan tumpukan mereka dengan pagar pengaman mereka terpasang. Angka itu tidak menggambarkan tumpukan kami, dan kami tidak akan mengutipnya seolah-olah begitu. Kami membuang lapisan yang sebagian diukur angka-angka itu; itulah produknya, dan tanggung jawabnya.

Kedua, "tanpa lapisan penolakan" bukan "tanpa aturan". Shannon Lab LLC beroperasi di bawah Kebijakan Penggunaan Bertanggung Jawab dan hukum AS yang berlaku. Membuang sebuah klasifier memindahkan penilaian kepada Anda, bukan menghapusnya. Kalau Anda membangun di atas ini, baca kebijakannya sebelum Anda memperbesar skala.

09Memulai

Base URL yang sama, kunci yang sama, tiga dialek. Kalau kode Anda sudah memanggil OpenAI, Anthropic, atau Responses API, mengubah string model biasanya sudah seluruh migrasinya.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Referensi parameter lengkap, bentuk /v1/messages dan /v1/responses, format event streaming, dan playground langsung ada di dokumentasi API. Kartu model untuk sebelas model lainnya ada di Shannon Research.

Angka fondasi adalah angka terpublikasi Thinking Machines Lab untuk checkpoint Inkling yang belum dikuantisasi dan menggambarkan plafon keluarganya, bukan build terkuantisasi kami. Harga dan flag kapabilitas adalah nilai daftar Shannon AI Gateway per September 2026.

10Pertanyaan yang sering diajukan

---

Sumber: Thinking Machines Lab — Memperkenalkan Inkling · Hugging Face — Selamat Datang Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — catatan arsitektur dan benchmark Inkling. Benchmark fondasi dilaporkan lab untuk checkpoint yang belum dikuantisasi.