Nieocenzurowane API modelu Inkling

Większość z dwunastu modeli w naszej bramie działa wyłącznie na tekście. Cztery nie, a wśród tej czwórki Inkling zajmuje konkretne miejsce: to model wizyjny, po który sięgasz, gdy obraz jest trudną częścią problemu, ale budżet nie rozciąga się do modelu flagowego. Ta karta opisuje, skąd wziął się fundament, co zrobił z nim przyrostek W4A16-AUTOROUND-REAP, co model zrobi i czego nie zrobi na powierzchni API oraz — szczerze — kiedy tańszy model z tego samego katalogu jest lepszym wyborem.

01Czym jest Inkling i kto go zbudował?

Inkling to pierwszy model o otwartych wagach od Thinking Machines Lab, opublikowany 15 lipca 2026. W odróżnieniu od większości wydań pozycjonowanych jako „otwarte”, ukazał się z pełnymi wagami do pobrania na Hugging Face i wsparciem od pierwszego dnia w transformers, SGLang, vLLM i llama.cpp — i to dlatego w ogóle da się go uruchomić na infrastrukturze takiej jak nasza. Kluczowe liczby, z materiałów wydawniczych Thinking Machines:

To układ rzadkiej mieszanki ekspertów: 66 warstw dekodera o wymiarze ukrytym 6144, z czego pierwsze dwie gęste, a pozostałe 64 niosą 256 routowanych ekspertów plus 2 współdzielonych, przy 6 routowanych ekspertach aktywnych na token. Na dowolnym tokenie odpala się mniej więcej 4% parametrów — i właśnie to sprawia, że model o niemal bilionie parametrów daje się w ogóle serwować.

Dwa wybory architektoniczne są na tyle nietypowe, że warto je nazwać. Uwaga jest przeplatana — 55 warstw uwagi z oknem przesuwnym o szerokości 512 tokenów wobec 11 warstw globalnych, w powtarzającym się wzorcu 5:1. Inkling nie używa też RoPE: stosuje wyuczone, zależne od wejścia względne obciążenie pozycyjne, obok krótkich splotów przyczynowych na rzutowaniach klucz/wartość i na gałęziach rezydualnych. Notatki architektoniczne Sebastiana Raschki wskazują oba te elementy jako realne odejścia od standardowej receptury roku 2026. Trening używał Muona do dużych parametrów macierzowych i Adama do reszty, a potem ponad 30 milionów asynchronicznych rolloutów RL w potreningu.

Dla odbiorcy API nie liczą się jednak ciekawostki. Liczy się to, że jest to fundament klasy frontier, natywnie multimodalny, trenowany na 45 bilionach tokenów obejmujących tekst, obrazy, dźwięk i wideo — a nie model tekstowy z doklejonym później adapterem wizyjnym. Obrazy są kodowane jako łatki 40×40 pikseli przez czterowarstwowy hierarchiczny patchifier MLP i przetwarzane wspólnie z tekstem w tym samym dekoderze. Rozumienie wizualne było częścią celu pretreningu.

02Co oznacza W4A16-AUTOROUND-REAP?

W tym przyrostku spiętrzone są trzy odrębne techniki, każda z inną robotą do wykonania. Warto je rozumieć, bo to przyrostek jest największą pojedynczą różnicą między modelem, który wywołujesz w naszym API, a punktem kontrolnym opublikowanym przez Thinking Machines.

REAP — przycinanie ekspertów, do których nikt nie routuje

REAP to Router-weighted Expert Activation Pruning z Cerebras Research (arXiv 2510.13999, przyjęte na ICLR 2026). W MoE z 256 ekspertami na warstwę router nie rozdziela pracy równomiernie: w niektórych ekspertów uderza bez przerwy, inni odpalają się rzadko i niewiele wnoszą, gdy już się odpalą. REAP ocenia każdego eksperta po obu sygnałach — wartościach bramki routera i normach aktywacji eksperta — bo ekspert wybierany często, ale wnoszący aktualizacje o małej magnitudzie, znaczy mniej, niż sugeruje liczba jego wyborów — i jednorazowo usuwa tych o niskiej istotności, jeszcze przed kwantyzacją.

Powodem, dla którego stosujemy przycinanie zamiast modniejszego scalania ekspertów, jest to, że obie metody rozchodzą się w zależności od typu zadania. Scalanie wygląda konkurencyjnie na benchmarkach dyskryminacyjnych i rozpada się na generatywnych. Autorzy REAP raportują, że przycinanie lepiej zachowuje jakość dokładnie w tych obciążeniach, dla których ludzie kupują API — synteza kodu, wywoływanie narzędzi, rozumowanie wieloturowe — przy współczynnikach kompresji powyżej 50%, w modelach od 20B do 1T parametrów. Scalanie niszczy specjalizację routera; przycinanie pozostawia nietkniętych ocalałych ekspertów i routing między nimi.

AutoRound — uczenie się, gdzie zaokrąglać

AutoRound to metoda kwantyzacji potreningowej od Intela (arXiv 2309.05516, opublikowana jako SignRound). Naiwna kwantyzacja zaokrągla każdą wagę do najbliższej reprezentowalnej wartości 4-bitowej — rozsądna wartość domyślna i zła w skali, bo błędy zaokrągleń nie są niezależne i kumulują się przez stos 66 warstw. AutoRound traktuje decyzję o zaokrągleniu jako coś do optymalizacji: znakowy spadek gradientu przez kilkaset kroków wspólnie stroi kierunek zaokrąglania i zakresy przycinania wag, pożyczając dokładność treningu świadomego kwantyzacji bez ponownego trenowania. Intel raportuje największe zyski przy skrajnie niskiej liczbie bitów i konkurencyjną przewagę przy INT4.

W4A16 — gdzie trafiają bity

W4A16 to format numeryczny: wagi 4-bitowe, aktywacje 16-bitowe. Wagi — które w modelu 975B dominują w pamięci — kurczą się do mniej więcej ćwiartki rozmiaru w BF16, a arytmetyka zostaje na 16 bitach. Ten podział ma szczególne znaczenie w modelu wizyjnym: schematy kwantyzujące aktywacje uderzają dokładnie w drobnoziarnistą pracę numeryczną, na której opiera się rozumienie obrazu — odczytanie małej etykiety osi, rozróżnienie cienkiej linii na diagramie, oddzielenie dwóch podobnych odcieni. Utrzymanie aktywacji na 16 bitach kosztuje przepustowość i odkupuje precyzję tam, gdzie obciążenie wizyjne to zauważa.

Razem te trzy elementy dają model, który się mieści i pozostaje szybki, bez zapaści jakości charakterystycznej dla agresywnego poziomu 3BIT-REAP, którego używamy przy największych fundamentach. To właśnie ten kompromis odzwierciedla cena.

03Wizja: API analizy obrazów bez odmów

Inkling jest jednym z czterech modeli z obsługą wizji w naszym katalogu, obok Kimi-K3, Kimi-K2.6 i MiniMax-M3. Opublikowane wyniki wizyjne modelu bazowego, z wydania Thinking Machines, to 73,3% na MMMU Pro (Standard 10) i 78,1% na pytaniach rozumowania CharXiv — rosnące do 82,0%, gdy model może uruchomić Pythona na wykresie. To własne liczby laboratorium dla nieskwantyzowanego punktu kontrolnego; traktuj je jako sufit rodziny, nie jako pomiar naszej kompilacji.

Warto zatrzymać się przy CharXiv, bo dobrze oddaje to, po co ludzie kupują API wizyjne, a nie usługę OCR. Test sprawdza rozumowanie nad wykresami naukowymi — odczytanie wartości z osi, porównanie dwóch serii, zauważenie odwrócenia trendu. Nie „jaki tekst jest na tym obrazie”, tylko „co ten rysunek twierdzi i czy to twierdzenie się broni”. To jest uzasadnienie wysyłania obrazu do modelu rozumującego o 975 miliardach parametrów zamiast do małego opisywacza.

Wysłanie obrazu to zwykła praca zgodna z OpenAI — część treści image_url na /v1/chat/completions, blok image w stylu Anthropic na /v1/messages albo odpowiednik na /v1/responses. Wszystkie trzy dialekty trafiają w te same wagi i wszystkie trzy streamują; wybierz ten, którym twoje SDK już mówi. Rozpisany przykład jest w sekcji 09.

Brak cenzury ma dla wizji większe znaczenie niż dla tekstu. Warstwa odmów na endpoincie wizyjnym jest nadzwyczaj tępa, bo zwykle klasyfikuje obraz, zanim model w ogóle przemyśli żądanie. Uzasadniona praca wpada w nią bez przerwy: zdjęcie rany w potoku dokumentacji klinicznej, zrzut ekranu w opisie incydentu, kadr z filmu analizowany na potrzeby tekstu krytycznego, badanie obrazowe, zdjęcie dokumentu, na którym przypadkiem widnieje nazwisko. Inkling w naszej bramie nie ma przed sobą takiego klasyfikatora. Patrzy na to, co wysłałeś, i odpowiada na zadane pytanie. To jest właśnie produkt.

04Wyjście strukturalne: response_format tak, json_schema nie

To jedyne miejsce, w którym Inkling jest słabszy niż większość katalogu, i lepiej to zaplanować, niż odkryć na produkcji.

Możliwość	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
Wizja (wejście obrazowe)	Tak	Tak	Tak	Nie
response_format	Tak	Tak	Tak	Nie
json_schema	Nie	Tak	Tak	Nie
Wywoływanie narzędzi	Tak	Tak	Tak	Tak
Wysiłek rozumowania	Tak	Tak	Tak	Tak

response_format: {"type": "json_object"} działa — dostajesz składniowo poprawny JSON. Czego nie dostajesz, to dekodowania ograniczonego gramatyką według podanego przez ciebie schematu, w którym sampler jest fizycznie powstrzymywany przed wyemitowaniem tokenu łamiącego twoją strukturę. Nazwy pól, przynależność do enuma i obecność wymaganych kluczy są wyborem modelu, a nie gwarancją.

Trzy sposoby, by z tym żyć, w rosnącej kolejności niezawodności:

1. Podaj schemat w promptcie i waliduj. Wstaw schemat do promptu systemowego jako dosłowny JSON, ustaw response_format na json_object i waliduj odpowiedź po swojej stronie. Przy niepowodzeniu walidacji ponów próbę z dołączonym komunikatem błędu walidatora. Tanie, działa, wymaga budżetu na ponowienia.
2. Użyj definicji narzędzia jako schematu. Wywoływanie narzędzi jest obsługiwane, a definicja parametrów funkcji to schemat JSON. Zadeklaruj jedno narzędzie nazwane od ekstrakcji, której chcesz, wymuś je i odczytaj argumenty. To zwykle najmocniejsza opcja w Inkling i nic dodatkowo nie kosztuje.
3. Rozdziel zadanie na dwa modele. Niech Inkling wykona wizję i rozumowanie prozą, a potem podaj tę prozę do MiMo-V2.5-W8A16 za $0.50 / $2.00 z prawdziwym json_schema na przejście strukturyzujące. Dwa wywołania, ale drugie jest tanie i deterministyczne w kształcie, a model, który musi być mądry, to ten, który widział obraz.

Opcję 3 poleciliśmy w każdym potoku ekstrakcji o dużym wolumenie. Płać premię tylko za ten krok, który jej potrzebuje.

05Co kupuje premia cenowa?

Przy $1.42 wejście / $6.07 wyjście za milion tokenów Inkling stoi celowo pośrodku naszego katalogu. Sześć z dwunastu modeli siedzi na progu $0.50 / $2.00. Kimi-K3 — model flagowy, także z wizją — kosztuje $3.83 / $19.12. Inkling to mniej więcej trzykrotność progu na wyjściu i mniej więcej jedna trzecia flagowca.

Cena wyjścia, USD za 1M tokenów, stawki katalogowe bramy Shannon AI, wrzesień 2026. Szerokość paska jest proporcjonalna do ceny; dłuższy oznacza droższy.

Oto uczciwa ocena tego, gdzie ta premia zarabia na siebie — i gdzie nie.

Obciążenie	Użyć Inkling?	Dlaczego
Rozumowanie nad wykresami / diagramami	Tak	Opublikowane wyniki CharXiv i MMMU Pro to najmocniejsza strona tego fundamentu.
Agenci sterowani zrzutami ekranu	Tak	Wizja plus wywoływanie narzędzi plus 262K historii w jednym modelu, bez przekazywania.
Długie dokumenty z rysunkami	Tak	Tekst i obrazy dzielą jeden dekoder i jedno okno kontekstu.
Generowanie zwykłego tekstu	Nie	Robi to sześć modeli po $0.50 / $2.00. Płacisz za ścieżkę wizyjną, której nigdy nie wywołujesz.
Masowa ekstrakcja do schematu	Nie	Brak json_schema. MiMo-V2.5 jest tańszy i ograniczony schematem.
Absolutny sufit możliwości	Nie	Kimi-K3 to flagowiec. Zapłać 3,1×, jeśli ograniczeniem jest sufit.
Najtańsza możliwa wizja	Nie	MiniMax-M3 ma wizję za $0.50 / $2.00. Zacznij tam i eskaluj, jeśli jakość cię do tego zmusi.

Czytaj to jako regułę routingu, nie ranking. Inkling jest właściwy dla węższego pasma pracy, niż twierdziłaby strona marketingowa, a w obrębie tego pasma trudno go pobić ceną. Poza nim wolimy sprzedać ci tańszy model i cię zatrzymać.

06Okno kontekstu 262K i co się w nim naprawdę mieści

Wszystkie dwanaście modeli w bramie serwujemy z kontekstem wejściowym 262,144 tokenów i maksymalnym wyjściem 16,384 tokenów na żądanie. Jednolicie i celowo: obsługa kontekstu nigdy nie powinna stawać się rozgałęzieniem per model w twoim kodzie, a podmiana inkling na MiniMax-M3 w pliku konfiguracyjnym nie powinna po cichu zmieniać tego, co się mieści.

Zwróć uwagę na różnicę wobec opublikowanego fundamentu: Thinking Machines dokumentuje Inkling przy 1,048,576 tokenach, a my serwujemy wycinek 262K. Jeśli masz prawdziwe obciążenie z milionem tokenów w jednym żądaniu, nie jesteśmy dla niego właściwym endpointem — i lepiej, żebyś wiedział o tym przed budową.

Dla skali przy 262K: 400-stronicowy techniczny PDF wraz z rysunkami, średniej wielkości baza kodu, kilka godzin transkryptu albo długa sesja agentowa niosąca dziesiątki wyników narzędzi i garść zrzutów ekranu — każde z tych mieści się w jednym żądaniu. W modelu wizyjnym pamiętaj, że obrazy też zjadają kontekst; gęsty zrzut ekranu nie jest darmowy, a sesja strumieniująca klatki zapełnia okno szybciej niż czysto tekstowa. Architektura dobrze się do tego nadaje: wzorzec 5:1 okna przesuwnego do warstw globalnych oznacza, że większość warstw patrzy w sąsiedztwie 512 tokenów, a warstwy globalne okresowo wciągają z powrotem strukturę dalekiego zasięgu.

07Wysiłek rozumowania: płacisz za myślenie tylko wtedy, gdy go potrzebujesz

Inkling wystawia sterowalny wysiłek rozumowania — jedno z użyteczniejszych pokręteł w katalogu. Model źródłowy przyjmuje poziomy od none i minimal przez low, medium, high, xhigh, aż po max, wystawione we wszystkich trzech dialektach przez standardowy parametr reasoning_effort.

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

To dźwignia kosztowa z prawdziwym zębem, bo tokeny rozumowania są rozliczane jak tokeny wyjściowe po $6.07 za milion. Thinking Machines raportuje, że na Terminal Bench 2.1 Inkling osiąga wyniki porównywalne z Nemotron 3 Ultra przy mniej więcej jednej trzeciej tokenów — efektywność tokenowa jest zadeklarowanym celem projektowym systemu wysiłku, a nie przypadkiem.

W praktyce: uruchamiaj low albo minimal do opisywania, klasyfikacji i prostej ekstrakcji, gdzie odpowiedź jest w obrazie i nie potrzeba łańcucha wnioskowania. Zachowaj high i wyżej na rozumowanie nad wykresami, wieloetapowe porównania wizualne i tury agentowe, w których błędny krok pośredni jest kosztowny. Większość zespołów w ogóle nie ustawia tego parametru i zostawia na stole kilkukrotną różnicę w koszcie wyjścia.

08Co znaczy tutaj „bez cenzury” — a czego nie znaczy

Konkretnie: uruchamiamy ten model bez warstwy odmów i bez filtrowania wyjścia. Żaden klasyfikator nie czyta twojego promptu, decydując, czy model może odpowiedzieć, i żaden nie czyta odpowiedzi, zanim zacznie się strumień. Gdy model jest niepewny albo brakuje mu wiedzy, mówi o tym — to model, nie polityka. Czego nie dostaniesz, to odruchowej odmowy przy temacie, który produkt dla ogółu konsumentów traktuje jako zakazany.

W wizji to cała propozycja wartości. Klasyfikatory obrazów przed API wizyjnymi są nieprecyzyjne, a wskaźnik fałszywych alarmów uderza najmocniej w tę profesjonalną pracę, która najbardziej tej możliwości potrzebuje: badania bezpieczeństwa, konteksty kliniczne, dziennikarstwo i kryminalistykę, krytykę filmową i artystyczną, narzędzia moderacyjne, które muszą patrzeć na to, co moderują. Endpoint odmawiający ze względu na kategorię nie obsłuży niezawodnie żadnego z tych zastosowań.

Dwa uczciwe zastrzeżenia. Po pierwsze, Thinking Machines publikuje ewaluacje bezpieczeństwa dla swojego referencyjnego wdrożenia — 78,0% na FORTRESS adversarial, 95,9% na FORTRESS benign, 98,6% na StrongREJECT. Te liczby opisują ich stos z ich zabezpieczeniami na miejscu. Nie opisują naszego i nie będziemy ich cytować, jakby opisywały. Usunęliśmy warstwę, którą te liczby częściowo mierzą; na tym polega produkt i na tym polega odpowiedzialność.

Po drugie, „bez warstwy odmów” to nie „bez zasad”. Shannon Lab LLC działa w ramach polityki odpowiedzialnego użycia i obowiązującego prawa USA. Usunięcie klasyfikatora przenosi osąd na ciebie, a nie go kasuje. Jeśli na tym budujesz, przeczytaj politykę, zanim zaczniesz skalować.

09Pierwsze kroki

Ten sam bazowy URL, ten sam klucz, trzy dialekty. Jeśli twój kod już woła OpenAI, Anthropic albo Responses API, zmiana napisu z modelem to zwykle cała migracja.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

Pełny opis parametrów, kształty /v1/messages i /v1/responses, formaty zdarzeń streamingu oraz działający playground są w dokumentacji API. Karty pozostałych jedenastu modeli znajdziesz w Shannon Research.

Liczby dotyczące fundamentu to opublikowane dane Thinking Machines Lab dla nieskwantyzowanego punktu kontrolnego Inkling i opisują sufit rodziny, a nie naszą skwantyzowaną kompilację. Ceny i flagi możliwości to wartości katalogowe bramy Shannon AI na wrzesień 2026.

10Najczęściej zadawane pytania

---

Źródła: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — notatki o architekturze i benchmarkach Inkling. Benchmarki fundamentu są raportowane przez laboratorium dla nieskwantyzowanego punktu kontrolnego.