API Model Inkling Tanpa Tapisan

Kebanyakan dua belas model pada get laluan kami ialah teks sahaja. Empat bukan, dan antara empat itu Inkling memegang kedudukan yang khusus: model visi yang anda capai apabila gambar itulah bahagian sukar masalahnya tetapi belanjawan tidak sampai kepada model utama. Kad ini merangkumi dari mana asas itu datang, apa yang akhiran W4A16-AUTOROUND-REAP lakukan padanya, apa yang ia akan dan tidak akan lakukan pada permukaan API, dan — secara jujur — bila model yang lebih murah dalam katalog yang sama ialah pilihan yang lebih baik.

01Apakah Inkling, dan siapa yang membinanya?

Inkling ialah model pemberat terbuka pertama daripada Thinking Machines Lab, diterbitkan 15 Julai 2026. Tidak seperti kebanyakan keluaran yang diposisikan sebagai "terbuka", ia dihantar dengan pemberat penuh yang boleh dimuat turun di Hugging Face dan sokongan hari sifar dalam transformers, SGLang, vLLM, dan llama.cpp — dan itulah cara ia menjadi boleh dijalankan pada infrastruktur seperti kami langsung. Angka utamanya, daripada bahan keluaran Thinking Machines sendiri:

Itu susun atur Campuran Pakar yang jarang: 66 lapisan penyahkod pada saiz tersembunyi 6,144, dua yang pertama padat, 64 yang berbaki membawa 256 pakar dihalakan berserta 2 pakar dikongsi, dengan 6 pakar dihalakan aktif setiap token. Lebih kurang 4% daripada parameter menyala pada mana-mana token — dan itulah yang menjadikan model hampir trilion parameter boleh disajikan langsung.

Dua pilihan seni bina cukup luar biasa untuk dinamakan. Perhatian bersifat selang-seli — 55 lapisan perhatian tetingkap gelongsor ke atas tetingkap 512 token berbanding 11 lapisan global, dalam corak berulang 5:1. Dan Inkling tidak menggunakan RoPE: ia menggunakan bias kedudukan relatif terpelajar yang bergantung input, di samping konvolusi kausal pendek pada unjuran kunci/nilai dan cabang baki. Nota seni bina Sebastian Raschka menandakan kedua-duanya sebagai penyimpangan sebenar daripada resipi 2026 yang standard. Latihan menggunakan Muon untuk parameter matriks besar dan Adam untuk selebihnya, kemudian lebih 30 juta pelancaran RL tak segerak dalam pasca latihan.

Intinya bagi pengguna API bukan trivia itu. Ia ialah bahawa ini asas berskala terdepan dan multimodal secara asli yang dilatih pada 45 trilion token merangkumi teks, imej, audio dan video — bukan model teks dengan penyesuai visi yang dicantum kemudian. Imej dikodkan sebagai tampalan piksel 40×40 melalui pengtampal MLP hierarki empat lapisan dan diproses bersama dengan teks dalam penyahkod yang sama. Pemahaman visual berada dalam objektif pralatihan.

02Apa maksud W4A16-AUTOROUND-REAP?

Tiga teknik berasingan ditindankan dalam akhiran itu, dan ia melakukan kerja yang berbeza. Berbaloi difahami, kerana akhiran itulah beza tunggal terbesar antara model yang anda panggil pada API kami dan pusat semak yang Thinking Machines terbitkan.

REAP — memangkas pakar yang tiada sesiapa halakan

REAP ialah Router-weighted Expert Activation Pruning, daripada Cerebras Research (arXiv 2510.13999, diterima ke ICLR 2026). Dalam MoE dengan 256 pakar setiap lapisan, penghala tidak mengagihkan kerja secara sekata: sesetengah pakar dilanggar berterusan, yang lain jarang menyala dan menyumbang sedikit apabila ia menyala. REAP menskorkan setiap pakar pada kedua-dua nilai get penghala dan norma pengaktifan pakar itu — pakar yang kerap dipilih tetapi menyumbang kemas kini bermagnitud kecil kurang penting daripada apa yang kiraan pemilihannya cadangkan — dan menggugurkan yang berkeutamaan rendah dalam satu tembakan, sebelum kuantuman.

Sebab kami menggunakan pemangkasan dan bukan penggabungan pakar yang lebih bergaya ialah kerana kedua-duanya bercapah mengikut jenis tugas. Penggabungan kelihatan bersaing pada penanda aras diskriminatif dan runtuh pada yang generatif. Penulis REAP melaporkan bahawa pemangkasan mengekalkan kualiti dengan lebih baik pada beban kerja yang tepat orang beli API untuknya — sintesis kod, panggilan alat, penaakulan berbilang pusingan — pada nisbah pemampatan melepasi 50%, merentasi model daripada 20B hingga 1T parameter. Penggabungan memusnahkan pengkhususan penghala; pemangkasan membiarkan pakar yang terselamat dan penghalaan antaranya utuh.

AutoRound — mempelajari di mana hendak membundarkan

AutoRound ialah kaedah kuantuman pasca latihan daripada Intel (arXiv 2309.05516, diterbitkan sebagai SignRound). Kuantuman naif membundarkan setiap pemberat kepada nilai 4-bit terdekat yang boleh diwakili — lalai yang munasabah dan yang buruk pada skala, kerana ralat pembundaran tidak bebas dan bertokok merentasi tindanan 66 lapisan. AutoRound melayan keputusan pembundaran sebagai sesuatu yang perlu dioptimumkan: turunan kecerunan bertanda menala arah pembundaran dan julat pengapitan pemberat secara bersama sepanjang beberapa ratus langkah, meminjam ketepatan latihan sedar-kuantuman tanpa melatih semula. Intel melaporkan keuntungan terbesar pada tetapan bit-rendah yang melampau dan kelebihan yang bersaing pada INT4.

W4A16 — ke mana bit itu pergi

W4A16 ialah format berangkanya: pemberat 4-bit, pengaktifan 16-bit. Pemberat — yang menguasai memori dalam model 975B — mengecut kepada kira-kira satu perempat jejak BF16, sementara aritmetiknya kekal pada 16 bit. Pembahagian itu penting khusus untuk model visi: skema yang mengkuantum pengaktifan merosakkan tepat kerja berangka halus yang pemahaman imej bergantung padanya — membaca label paksi yang kecil, meleraikan garisan nipis dalam rajah, memisahkan dua warna yang serupa. Mengekalkan pengaktifan pada 16 bit menelan lebar jalur dan membeli semula ketepatan di tempat beban kerja visi perasan.

Ditindankan, ketiga-tiganya memberi model yang muat dan kekal pantas tanpa tebing kualiti tingkat 3BIT-REAP yang agresif yang kami gunakan pada asas yang paling besar sekali. Itulah pertukaran yang harganya cerminkan.

03Visi: API analisis imej tanpa penolakan

Inkling ialah satu daripada empat model berkemampuan visi dalam katalog kami, bersama Kimi-K3, Kimi-K2.6, dan MiniMax-M3. Keputusan visi model asas yang diterbitkan, daripada keluaran Thinking Machines, ialah 73.3% pada MMMU Pro (Standard 10) dan 78.1% pada soalan penaakulan CharXiv — naik kepada 82.0% apabila model dibenarkan menjalankan Python terhadap carta itu. Itu angka makmal itu sendiri bagi pusat semak tanpa kuantuman; layanilah sebagai siling keluarga, bukan pengukuran binaan kami.

CharXiv ialah yang berbaloi difikirkan panjang, kerana ia memetakan kepada sebab orang membeli API visi dan bukan perkhidmatan OCR. Ia menguji penaakulan ke atas carta saintifik — membaca nilai daripada paksi, membandingkan dua siri, perasan aliran yang berbalik. Bukan "apa teks dalam imej ini" tetapi "apa yang rajah ini dakwa, dan adakah dakwaan itu bertahan". Itulah yang menjustifikasikan menghantar gambar kepada model penaakulan 975B dan bukan pengkapsyen yang kecil.

Menghantar imej ialah kerja serasi OpenAI yang biasa — bahagian kandungan image_url pada /v1/chat/completions, blok image bergaya Anthropic pada /v1/messages, atau setara padanya pada /v1/responses. Ketiga-tiga dialek menuju pemberat yang sama dan ketiga-tiganya menstrim; pilih mana yang SDK sedia ada anda sudah tuturkan. Contoh yang dikerjakan ada dalam seksyen 09.

Bahagian tanpa tapisan itu lebih penting untuk visi berbanding untuk teks. Lapisan penolakan pada titik akhir visi luar biasa tumpul, kerana ia lazimnya mengelaskan imej itu sebelum model sempat menaakul tentang permintaannya. Kerja yang sah tersangkut berterusan: gambar luka dalam saluran paip nota klinikal, tangkap layar forensik dalam laporan insiden, satu bingkai daripada filem yang sedang dianalisis untuk karya kritikan, imbasan perubatan, imej dokumen yang kebetulan mengandungi nama. Inkling pada get laluan kami tiada pengelas sebegitu di hadapannya. Ia melihat apa yang anda hantar dan menjawab soalan yang anda tanya. Itulah produknya.

04Output berstruktur: response_format ya, json_schema tidak

Inilah satu tempat Inkling kurang berkemampuan berbanding kebanyakan katalog, dan lebih baik dirancang daripada ditemui dalam pengeluaran.

Keupayaan	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Visi (input imej)	Ya	Ya	Ya	Tidak
response_format	Ya	Ya	Ya	Tidak
json_schema	Tidak	Ya	Ya	Tidak
Panggilan alat	Ya	Ya	Ya	Ya
Usaha penaakulan	Ya	Ya	Ya	Ya

response_format: {"type": "json_object"} berfungsi — anda mendapat JSON yang sah dari segi sintaks. Apa yang anda tidak dapat ialah penyahkodan terkekang tatabahasa terhadap skema yang anda bekalkan, di mana pensampel dihalang secara fizikal daripada mengeluarkan token yang melanggar struktur anda. Nama medan, keahlian enum, dan kehadiran kunci yang diwajibkan ialah pilihan model, bukan jaminan.

Tiga cara untuk hidup dengan itu, mengikut susunan kebolehpercayaan menaik:

1. Gesa skemanya dan sahkan. Letakkan skema dalam gesaan sistem sebagai JSON literal, tetapkan response_format kepada json_object, dan sahkan responsnya di pihak anda. Cuba semula apabila pengesahan gagal dengan mesej ralat pengesah dilampirkan. Murah, berkesan, perlukan belanjawan cubaan semula.
2. Gunakan takrifan alat sebagai skema. Panggilan alat memang disokong, dan takrifan parameter sesuatu fungsi ialah Skema JSON. Isytiharkan satu alat yang dinamakan mengikut pengekstrakan yang anda mahu, paksakannya, dan bacalah argumennya. Ini biasanya pilihan terkuat pada Inkling dan ia tidak menelan kos tambahan.
3. Bahagikan kerja itu antara dua model. Biarkan Inkling melakukan visi dan penaakulan dalam prosa, kemudian serahkan prosa itu kepada MiMo-V2.5-W8A16 pada $0.50 / $2.00 dengan json_schema yang sebenar untuk laluan penstrukturan. Dua panggilan, tetapi yang kedua itu murah, berbentuk ketara, dan model yang perlu bijak ialah model yang melihat imej itu.

Pilihan 3 ialah corak yang kami akan syorkan untuk mana-mana saluran paip pengekstrakan bervolum tinggi. Bayar premium hanya untuk langkah yang memerlukannya.

05Apa yang premium harga itu beli?

Pada $1.42 masuk / $6.07 keluar setiap juta token, Inkling duduk dengan sengaja di tengah katalog kami. Enam daripada dua belas model berada pada lantai $0.50 / $2.00. Kimi-K3 — model utama, juga berkemampuan visi — ialah $3.83 / $19.12. Inkling lebih kurang tiga kali lantai pada output dan lebih kurang satu pertiga daripada model utama.

Harga output, USD setiap 1J token, kadar senarai Get Laluan Shannon AI, September 2026. Lebar bar berkadar dengan harga; lebih panjang lebih mahal.

Inilah bacaan jujur tentang di mana premium itu berbaloi — dan di mana ia tidak.

Beban kerja	Guna Inkling?	Sebabnya
Penaakulan carta / rajah	Ya	Angka CharXiv dan MMMU Pro yang diterbitkan ialah kekuatan terbesar asas ini.
Ejen dipacu tangkap layar	Ya	Visi berserta panggilan alat berserta sejarah 262K dalam satu model, tiada serahan.
Dokumen panjang dengan rajah	Ya	Teks dan imej berkongsi satu penyahkod dan satu tetingkap konteks.
Penjanaan teks biasa	Tidak	Enam model pada $0.50 / $2.00 melakukan ini. Anda membayar untuk laluan visi yang tidak pernah anda panggil.
Pengekstrakan skema pukal	Tidak	Tiada json_schema. MiMo-V2.5 lebih murah dan terkekang.
Siling terdepan mutlak	Tidak	Kimi-K3 ialah model utama. Bayar 3.1× itu jika siling ialah kekangannya.
Visi semurah mungkin	Tidak	MiniMax-M3 ada visi pada $0.50 / $2.00. Mulakan di situ, naikkan jika kualiti memaksa.

Bacalah itu sebagai peraturan penghalaan, bukan kedudukan. Inkling betul untuk jalur kerja yang lebih sempit daripada apa yang halaman pemasaran akan dakwa, dan di dalam jalur itu ia sukar dikalahkan pada harga. Di luarnya, kami lebih rela menjual anda model yang lebih murah dan mengekalkan anda.

06Tetingkap konteks 262K, dan apa yang sebenarnya muat

Kesemua dua belas model pada get laluan disajikan dengan konteks input 262,144 token dan output maksimum 16,384 token setiap permintaan. Seragam dengan sengaja: pengendalian konteks tidak sepatutnya menjadi cabang setiap model dalam kod anda, dan menukar inkling dengan MiniMax-M3 dalam fail konfigurasi tidak sepatutnya senyap-senyap mengubah apa yang muat.

Perhatikan jurangnya berbanding asas yang diterbitkan: Thinking Machines mendokumenkan Inkling pada 1,048,576 token, dan kami menyajikan keratan 262K daripadanya. Jika anda ada beban kerja satu permintaan sejuta token yang tulen, kami bukan titik akhir untuknya, dan lebih baik anda tahu sebelum anda membina.

Untuk skala pada 262K: PDF teknikal 400 halaman berserta rajahnya, pangkalan kod bersaiz sederhana, beberapa jam transkrip, atau sesi agentik panjang yang membawa berpuluh hasil alat dan segelintir tangkap layar — setiap satu muat dalam satu permintaan. Pada model visi, ingat imej juga menggunakan konteks; tangkap layar yang padat bukan percuma, dan sesi yang menstrim bingkai mengisi tetingkap lebih pantas daripada sesi teks sahaja. Seni binanya sesuai untuk ini: corak tetingkap-gelongsor-kepada-global 5:1 bermakna kebanyakan lapisan menumpu dalam kejiranan 512 token, dengan lapisan global berkala menarik semula struktur jarak jauh ke dalam.

07Usaha penaakulan: membayar untuk pemikiran hanya bila anda perlukannya

Inkling mendedahkan usaha penaakulan yang boleh dikawal — salah satu tombol yang lebih berguna dalam katalog. Model huluan menerima tahap daripada none dan minimal melalui low, medium, high, xhigh, sehingga max, dipaparkan pada ketiga-tiga dialek melalui parameter reasoning_effort yang standard.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

Ini tuas kos yang bertaring, kerana token penaakulan dibilkan sebagai token output pada $6.07 setiap juta. Thinking Machines melaporkan bahawa pada Terminal Bench 2.1 Inkling mencapai skor setanding Nemotron 3 Ultra pada lebih kurang satu pertiga daripada tokennya — kecekapan token ialah matlamat reka bentuk yang dinyatakan bagi sistem usaha itu, bukan kebetulan.

Dalam amalan: jalankan low atau minimal untuk kapsyen, pengelasan, dan pengekstrakan yang mudah, di mana jawapannya ada dalam imej dan tiada rantaian inferens diperlukan. Khaskan high dan ke atas untuk penaakulan carta, perbandingan visual berbilang langkah, dan giliran agentik yang langkah pertengahan yang salah itu mahal. Kebanyakan pasukan tidak pernah menetapkan parameter itu langsung, dan meninggalkan beza kos output berganda-ganda di atas meja.

08Apa maksud "tanpa tapisan" di sini — dan apa yang bukan

Secara konkrit: kami menjalankan model ini tanpa lapisan penolakan dan tanpa penapisan pada output. Tiada pengelas membaca gesaan anda dan memutuskan sama ada model boleh menjawab, dan tiada satu pun membaca respons sebelum ia distrim. Apabila model tidak pasti atau kekurangan pengetahuan, ia berkata begitu — itu model, bukan dasar. Apa yang anda tidak akan dapat ialah penolakan refleks pada topik yang produk pengguna am anggap sebagai terlarang.

Untuk visi inilah keseluruhan cadangan nilainya. Pengelas imej di hadapan API visi tidak jitu, dan kadar positif palsunya mendarat paling teruk pada kerja profesional yang paling memerlukan keupayaan itu: penyelidikan keselamatan, konteks klinikal, kewartawanan dan forensik, kritikan filem dan seni, perkakas penyederhanaan yang terpaksa melihat benda yang disederhanakannya. Titik akhir yang menolak berdasarkan kategori tidak boleh melayan mana-mana daripadanya dengan boleh dipercayai.

Dua amaran jujur. Pertama, Thinking Machines menerbitkan penilaian keselamatan bagi penggunaan rujukan mereka — 78.0% pada FORTRESS bermusuhan, 95.9% pada FORTRESS benigna, 98.6% pada StrongREJECT. Angka itu menerangkan tindanan mereka dengan pengadang mereka di tempatnya. Ia tidak menerangkan tindanan kami, dan kami tidak akan memetiknya seolah-olah ia begitu. Kami membuang lapisan yang sebahagiannya diukur angka itu; itulah produknya, dan tanggungjawabnya.

Kedua, "tiada lapisan penolakan" bukan "tiada peraturan". Shannon Lab LLC beroperasi di bawah Dasar Penggunaan Bertanggungjawab dan undang-undang AS yang terpakai. Membuang pengelas memindahkan pertimbangan kepada anda, ia tidak memadamnya. Jika anda sedang membina atas ini, bacalah dasar itu sebelum anda menskalakan.

09Bermula

URL asas yang sama, kunci yang sama, tiga dialek. Jika kod anda sudah memanggil OpenAI, Anthropic, atau API Responses, menukar rentetan model biasanya keseluruhan migrasinya.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Rujukan parameter penuh, bentuk /v1/messages dan /v1/responses, format peristiwa penstriman, dan taman permainan langsung ada dalam dokumentasi API. Kad model bagi sebelas model yang lain ada dalam Shannon Research.

Angka asas ialah angka terbitan Thinking Machines Lab bagi pusat semak Inkling tanpa kuantuman dan menerangkan siling keluarga, bukan binaan terkuantum kami. Harga dan bendera keupayaan ialah nilai senarai Get Laluan Shannon AI setakat September 2026.

10Soalan lazim

---

Sumber: Thinking Machines Lab — Memperkenalkan Inkling · Hugging Face — Selamat Datang Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — nota seni bina dan penanda aras Inkling. Penanda aras asas dilaporkan makmal bagi pusat semak tanpa kuantuman.