ਬਿਨਾਂ ਸੈਂਸਰ Inkling ਮਾਡਲ API

ਸਾਡੇ ਗੇਟਵੇ ਦੇ ਬਾਰਾਂ ਵਿੱਚੋਂ ਬਹੁਤੇ ਮਾਡਲ ਸਿਰਫ਼ ਲਿਖਤ ਵਾਲੇ ਹਨ। ਚਾਰ ਨਹੀਂ ਹਨ, ਅਤੇ ਇਨ੍ਹਾਂ ਚਾਰਾਂ ਵਿੱਚ Inkling ਦੀ ਥਾਂ ਖ਼ਾਸ ਹੈ: ਇਹ ਉਹ ਵਿਜ਼ਨ ਮਾਡਲ ਹੈ ਜਿਸ ਵੱਲ ਤੁਸੀਂ ਉਦੋਂ ਹੱਥ ਵਧਾਉਂਦੇ ਹੋ ਜਦੋਂ ਸਮੱਸਿਆ ਦਾ ਔਖਾ ਹਿੱਸਾ ਤਸਵੀਰ ਹੈ ਪਰ ਬਜਟ ਮੋਹਰੀ ਮਾਡਲ ਤੱਕ ਨਹੀਂ ਪਹੁੰਚਦਾ। ਇਹ ਕਾਰਡ ਦੱਸਦਾ ਹੈ ਕਿ ਬੁਨਿਆਦ ਕਿੱਥੋਂ ਆਉਂਦੀ ਹੈ, W4A16-AUTOROUND-REAP ਪਿਛੇਤਰ ਨੇ ਉਸ ਨਾਲ ਕੀ ਕੀਤਾ, API ਦੀ ਸਤਹ ਉੱਤੇ ਇਹ ਕੀ ਕਰੇਗਾ ਤੇ ਕੀ ਨਹੀਂ, ਅਤੇ — ਈਮਾਨਦਾਰੀ ਨਾਲ — ਕਦੋਂ ਇਸੇ ਸੂਚੀ ਦਾ ਕੋਈ ਸਸਤਾ ਮਾਡਲ ਬਿਹਤਰ ਚੋਣ ਹੈ।

01Inkling ਕੀ ਹੈ, ਅਤੇ ਇਸਨੂੰ ਕਿਸਨੇ ਬਣਾਇਆ?

Inkling, Thinking Machines Lab ਦਾ ਪਹਿਲਾ ਖੁੱਲ੍ਹੇ-ਵਜ਼ਨ ਵਾਲਾ ਮਾਡਲ ਹੈ, ਜੋ 15 ਜੁਲਾਈ 2026 ਨੂੰ ਛਪਿਆ। "ਖੁੱਲ੍ਹਾ" ਕਹਿ ਕੇ ਪੇਸ਼ ਹੋਣ ਵਾਲੀਆਂ ਬਹੁਤੀਆਂ ਰਿਲੀਜ਼ਾਂ ਤੋਂ ਉਲਟ, ਇਹ Hugging Face ਉੱਤੇ ਪੂਰੇ ਡਾਊਨਲੋਡ ਕਰਨ ਯੋਗ ਵਜ਼ਨਾਂ ਨਾਲ ਆਇਆ ਅਤੇ ਪਹਿਲੇ ਦਿਨ ਹੀ transformers, SGLang, vLLM ਅਤੇ llama.cpp ਵਿੱਚ ਸਮਰਥਨ ਨਾਲ — ਇਸੇ ਕਰਕੇ ਇਹ ਸਾਡੇ ਵਰਗੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਉੱਤੇ ਚੱਲਣ ਯੋਗ ਬਣਿਆ। Thinking Machines ਦੀ ਆਪਣੀ ਰਿਲੀਜ਼ ਸਮੱਗਰੀ ਤੋਂ ਮੁੱਖ ਅੰਕੜੇ:

ਇਹ ਇੱਕ ਵਿਰਲਾ ਮਾਹਰਾਂ-ਦਾ-ਮਿਸ਼ਰਣ ਖਾਕਾ ਹੈ: 6,144 ਲੁਕਵੇਂ ਆਕਾਰ ਉੱਤੇ 66 ਡੀਕੋਡਰ ਪਰਤਾਂ, ਪਹਿਲੀਆਂ ਦੋ ਸੰਘਣੀਆਂ, ਅਤੇ ਬਾਕੀ 64 ਵਿੱਚ 256 ਰਾਊਟ ਕੀਤੇ ਮਾਹਰ ਨਾਲ 2 ਸਾਂਝੇ ਮਾਹਰ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਪ੍ਰਤੀ ਟੋਕਨ 6 ਰਾਊਟ ਕੀਤੇ ਮਾਹਰ ਸਰਗਰਮ ਹੁੰਦੇ ਹਨ। ਕਿਸੇ ਵੀ ਟੋਕਨ ਉੱਤੇ ਲਗਭਗ 4% ਪੈਰਾਮੀਟਰ ਹੀ ਚੱਲਦੇ ਹਨ — ਅਤੇ ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ ਲਗਭਗ ਖਰਬ-ਪੈਰਾਮੀਟਰ ਮਾਡਲ ਪਰੋਸਣਯੋਗ ਬਣਦਾ ਹੈ।

ਦੋ ਢਾਂਚਾਗਤ ਚੋਣਾਂ ਏਨੀਆਂ ਅਲੋਕਾਰ ਹਨ ਕਿ ਇਨ੍ਹਾਂ ਦਾ ਨਾਂ ਲੈਣਾ ਬਣਦਾ ਹੈ। ਧਿਆਨ ਵਾਰੀ-ਵਾਰੀ ਹੈ — 512-ਟੋਕਨ ਵਿੰਡੋ ਉੱਤੇ ਸਲਾਈਡਿੰਗ-ਵਿੰਡੋ ਵਾਲੀਆਂ 55 ਪਰਤਾਂ ਅਤੇ 11 ਗਲੋਬਲ ਪਰਤਾਂ, 5:1 ਦੇ ਦੁਹਰਾਊ ਨਮੂਨੇ ਵਿੱਚ। ਅਤੇ Inkling RoPE ਨਹੀਂ ਵਰਤਦਾ: ਇਹ ਇੱਕ ਸਿੱਖਿਆ ਹੋਇਆ, ਇਨਪੁੱਟ-ਅਧਾਰਿਤ ਸਾਪੇਖ-ਥਾਂ ਪੱਖਪਾਤ ਵਰਤਦਾ ਹੈ, ਨਾਲ ਕੁੰਜੀ/ਮੁੱਲ ਪ੍ਰੋਜੈਕਸ਼ਨਾਂ ਅਤੇ ਰਹਿੰਦ ਸ਼ਾਖਾਵਾਂ ਉੱਤੇ ਛੋਟੇ ਕਾਰਣ-ਅਧਾਰਿਤ ਕਨਵੋਲਿਊਸ਼ਨ। Sebastian Raschka ਦੇ ਢਾਂਚੇ ਬਾਰੇ ਨੋਟ ਦੋਵਾਂ ਨੂੰ 2026 ਦੀ ਮਿਆਰੀ ਵਿਧੀ ਤੋਂ ਅਸਲੀ ਹਟਵਾਂ ਦੱਸਦੇ ਹਨ। ਸਿਖਲਾਈ ਵਿੱਚ ਵੱਡੇ ਮੈਟ੍ਰਿਕਸ ਪੈਰਾਮੀਟਰਾਂ ਲਈ Muon ਅਤੇ ਬਾਕੀ ਲਈ Adam ਵਰਤਿਆ ਗਿਆ, ਫਿਰ ਸਿਖਲਾਈ ਤੋਂ ਬਾਅਦ 3 ਕਰੋੜ ਤੋਂ ਵੱਧ ਅਸਿੰਕ੍ਰੋਨਸ RL ਰੋਲਆਊਟ ਹੋਏ।

API ਵਰਤਣ ਵਾਲੇ ਲਈ ਗੱਲ ਇਹ ਵੇਰਵੇ ਨਹੀਂ। ਗੱਲ ਇਹ ਹੈ ਕਿ ਇਹ ਮੋਹਰਲੀ ਕਤਾਰ ਦੇ ਪੈਮਾਨੇ ਵਾਲੀ, ਮੂਲ ਰੂਪ ਵਿੱਚ ਬਹੁ-ਮਾਧਿਅਮੀ ਬੁਨਿਆਦ ਹੈ ਜਿਸਨੂੰ ਲਿਖਤ, ਚਿੱਤਰ, ਆਵਾਜ਼ ਅਤੇ ਵੀਡੀਓ ਉੱਤੇ ਫੈਲੇ 45 ਖਰਬ ਟੋਕਨਾਂ ਉੱਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ — ਇਹ ਕੋਈ ਲਿਖਤ ਮਾਡਲ ਨਹੀਂ ਜਿਸ ਉੱਤੇ ਬਾਅਦ ਵਿੱਚ ਵਿਜ਼ਨ ਅਡੈਪਟਰ ਜੜ ਦਿੱਤਾ ਗਿਆ ਹੋਵੇ। ਚਿੱਤਰ ਚਾਰ-ਪਰਤੀ ਪੌੜੀਦਾਰ MLP ਪੈਚੀਫ਼ਾਇਰ ਰਾਹੀਂ 40×40 ਪਿਕਸਲ ਪੈਚਾਂ ਵਜੋਂ ਏਨਕੋਡ ਹੁੰਦੇ ਹਨ ਅਤੇ ਉਸੇ ਡੀਕੋਡਰ ਵਿੱਚ ਲਿਖਤ ਨਾਲ ਰਲ ਕੇ ਪਰੋਸੇ ਜਾਂਦੇ ਹਨ। ਦ੍ਰਿਸ਼ਟੀ ਦੀ ਸਮਝ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਦੇ ਮਕਸਦ ਵਿੱਚ ਹੀ ਸੀ।

02W4A16-AUTOROUND-REAP ਦਾ ਕੀ ਮਤਲਬ ਹੈ?

ਉਸ ਪਿਛੇਤਰ ਵਿੱਚ ਤਿੰਨ ਵੱਖਰੇ ਤਰੀਕੇ ਲੜੀਵਾਰ ਲੱਗੇ ਹੋਏ ਹਨ, ਅਤੇ ਉਹ ਵੱਖੋ-ਵੱਖਰੇ ਕੰਮ ਕਰਦੇ ਹਨ। ਸਮਝਣ ਲਾਇਕ ਹੈ, ਕਿਉਂਕਿ ਜੋ ਮਾਡਲ ਤੁਸੀਂ ਸਾਡੀ API ਉੱਤੇ ਸੱਦਦੇ ਹੋ ਅਤੇ ਜੋ ਚੈੱਕਪੁਆਇੰਟ Thinking Machines ਨੇ ਛਾਪਿਆ, ਉਨ੍ਹਾਂ ਵਿਚਲਾ ਸਭ ਤੋਂ ਵੱਡਾ ਫ਼ਰਕ ਇਹੀ ਪਿਛੇਤਰ ਹੈ।

REAP — ਉਹ ਮਾਹਰ ਛਾਂਗਣੇ ਜਿਨ੍ਹਾਂ ਵੱਲ ਕੋਈ ਰਾਊਟ ਨਹੀਂ ਕਰਦਾ

REAP ਯਾਨੀ Router-weighted Expert Activation Pruning, Cerebras Research ਵੱਲੋਂ (arXiv 2510.13999, ICLR 2026 ਵਿੱਚ ਸਵੀਕਾਰਿਆ ਗਿਆ)। ਪ੍ਰਤੀ ਪਰਤ 256 ਮਾਹਰਾਂ ਵਾਲੇ MoE ਵਿੱਚ ਰਾਊਟਰ ਕੰਮ ਬਰਾਬਰ ਨਹੀਂ ਵੰਡਦਾ: ਕਈ ਮਾਹਰਾਂ ਵੱਲ ਲਗਾਤਾਰ ਕੰਮ ਜਾਂਦਾ ਹੈ, ਕਈ ਵਿਰਲੇ ਹੀ ਚੱਲਦੇ ਹਨ ਅਤੇ ਚੱਲਣ ਵੇਲੇ ਵੀ ਥੋੜ੍ਹਾ ਹੀ ਪਾਉਂਦੇ ਹਨ। REAP ਹਰ ਮਾਹਰ ਨੂੰ ਦੋਵਾਂ ਗੱਲਾਂ ਉੱਤੇ ਅੰਕ ਦਿੰਦਾ ਹੈ — ਰਾਊਟਰ ਦੇ ਗੇਟ ਮੁੱਲ ਅਤੇ ਮਾਹਰ ਦੇ ਐਕਟੀਵੇਸ਼ਨ ਨੌਰਮ — ਕਿਉਂਕਿ ਜੋ ਮਾਹਰ ਅਕਸਰ ਚੁਣਿਆ ਜਾਂਦਾ ਹੈ ਪਰ ਛੋਟੇ ਪਰਿਮਾਣ ਦੇ ਬਦਲਾਅ ਪਾਉਂਦਾ ਹੈ, ਉਹ ਆਪਣੀ ਚੋਣ ਦੀ ਗਿਣਤੀ ਦੇ ਸੁਝਾਅ ਨਾਲੋਂ ਘੱਟ ਮਾਅਨੇ ਰੱਖਦਾ ਹੈ — ਅਤੇ ਫਿਰ ਘੱਟ ਅਹਿਮੀਅਤ ਵਾਲੇ ਮਾਹਰ, ਕੁਆਂਟਾਈਜ਼ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਇੱਕੋ ਵਾਰੀ ਵਿੱਚ ਸੁੱਟ ਦਿੰਦਾ ਹੈ।

ਅਸੀਂ ਵੱਧ ਚਰਚਿਤ ਮਾਹਰ-ਰਲਾਉਣ ਦੀ ਥਾਂ ਛਾਂਗਣਾ ਇਸ ਲਈ ਵਰਤਦੇ ਹਾਂ ਕਿ ਦੋਵੇਂ ਕੰਮ ਦੀ ਕਿਸਮ ਮੁਤਾਬਕ ਵੱਖ ਹੋ ਜਾਂਦੇ ਹਨ। ਰਲਾਉਣਾ ਵਿਤਕਰਾ ਕਰਨ ਵਾਲੇ ਬੈਂਚਮਾਰਕਾਂ ਉੱਤੇ ਮੁਕਾਬਲੇ ਦਾ ਲੱਗਦਾ ਹੈ ਅਤੇ ਪੈਦਾਵਾਰੀ ਬੈਂਚਮਾਰਕਾਂ ਉੱਤੇ ਬਿਖਰ ਜਾਂਦਾ ਹੈ। REAP ਦੇ ਲੇਖਕ ਦੱਸਦੇ ਹਨ ਕਿ ਛਾਂਗਣਾ ਬਿਲਕੁਲ ਉਨ੍ਹਾਂ ਕੰਮਾਂ ਉੱਤੇ ਗੁਣਵੱਤਾ ਬਿਹਤਰ ਬਚਾਉਂਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਲਈ ਲੋਕ API ਖ਼ਰੀਦਦੇ ਹਨ — ਕੋਡ ਬਣਾਉਣਾ, ਟੂਲ ਕਾਲਿੰਗ, ਬਹੁ-ਵਾਰੀ ਤਰਕ — ਅਤੇ ਇਹ 20B ਤੋਂ 1T ਪੈਰਾਮੀਟਰਾਂ ਤੱਕ ਦੇ ਮਾਡਲਾਂ ਉੱਤੇ 50% ਤੋਂ ਵੱਧ ਸੰਕੁਚਨ ਅਨੁਪਾਤਾਂ ਉੱਤੇ ਵੀ ਸੱਚ ਹੈ। ਰਲਾਉਣਾ ਰਾਊਟਰ ਦੀ ਵਿਸ਼ੇਸ਼ਤਾ ਤਬਾਹ ਕਰ ਦਿੰਦਾ ਹੈ; ਛਾਂਗਣਾ ਬਚੇ ਹੋਏ ਮਾਹਰ ਅਤੇ ਉਨ੍ਹਾਂ ਵਿਚਕਾਰ ਰਾਊਟਿੰਗ, ਦੋਵੇਂ ਸਲਾਮਤ ਛੱਡਦਾ ਹੈ।

AutoRound — ਇਹ ਸਿੱਖਣਾ ਕਿ ਕਿੱਥੇ ਗੋਲ ਕਰਨਾ ਹੈ

AutoRound, Intel ਦਾ ਸਿਖਲਾਈ-ਤੋਂ-ਬਾਅਦ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਤਰੀਕਾ ਹੈ (arXiv 2309.05516, SignRound ਵਜੋਂ ਛਪਿਆ)। ਸਾਦੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਹਰ ਵਜ਼ਨ ਨੂੰ ਨੇੜਲੇ ਦਰਸਾਉਣਯੋਗ 4-ਬਿੱਟ ਮੁੱਲ ਉੱਤੇ ਗੋਲ ਕਰ ਦਿੰਦੀ ਹੈ — ਜੋ ਵਾਜਬ ਮੂਲ ਚੋਣ ਹੈ ਅਤੇ ਵੱਡੇ ਪੈਮਾਨੇ ਉੱਤੇ ਮਾੜੀ, ਕਿਉਂਕਿ ਰਾਊਂਡਿੰਗ ਦੀਆਂ ਗ਼ਲਤੀਆਂ ਸੁਤੰਤਰ ਨਹੀਂ ਹੁੰਦੀਆਂ ਅਤੇ 66 ਪਰਤਾਂ ਵਿੱਚੋਂ ਲੰਘਦਿਆਂ ਜੁੜਦੀਆਂ ਜਾਂਦੀਆਂ ਹਨ। AutoRound ਰਾਊਂਡਿੰਗ ਦੇ ਫ਼ੈਸਲੇ ਨੂੰ ਹੀ ਅਨੁਕੂਲ ਬਣਾਉਣ ਵਾਲੀ ਚੀਜ਼ ਮੰਨਦਾ ਹੈ: ਸਾਈਨਡ ਗਰੇਡੀਐਂਟ ਡਿਸੈਂਟ ਕੁਝ ਸੌ ਕਦਮਾਂ ਵਿੱਚ ਰਾਊਂਡਿੰਗ ਦੀ ਦਿਸ਼ਾ ਅਤੇ ਵਜ਼ਨ ਦੀਆਂ ਕਲਿੱਪਿੰਗ ਹੱਦਾਂ ਇਕੱਠੀਆਂ ਟਿਊਨ ਕਰਦਾ ਹੈ, ਅਤੇ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ-ਜਾਣੂ ਸਿਖਲਾਈ ਵਾਲੀ ਸ਼ੁੱਧਤਾ ਬਿਨਾਂ ਮੁੜ-ਸਿਖਲਾਈ ਦੇ ਲੈ ਆਉਂਦਾ ਹੈ। Intel ਦੱਸਦਾ ਹੈ ਕਿ ਸਭ ਤੋਂ ਵੱਡਾ ਲਾਭ ਬਹੁਤ ਘੱਟ-ਬਿੱਟ ਸੈਟਿੰਗਾਂ ਉੱਤੇ ਮਿਲਦਾ ਹੈ ਅਤੇ INT4 ਉੱਤੇ ਇਹ ਮੁਕਾਬਲੇ ਵਿੱਚ ਅੱਗੇ ਰਹਿੰਦਾ ਹੈ।

W4A16 — ਬਿੱਟ ਕਿੱਥੇ ਜਾਂਦੇ ਹਨ

W4A16 ਗਿਣਤੀ ਦਾ ਰੂਪ ਹੈ: 4-ਬਿੱਟ ਵਜ਼ਨ, 16-ਬਿੱਟ ਐਕਟੀਵੇਸ਼ਨ। ਵਜ਼ਨ — ਜੋ 975B ਮਾਡਲ ਵਿੱਚ ਮੈਮੋਰੀ ਉੱਤੇ ਹਾਵੀ ਹਨ — ਸੁੰਗੜ ਕੇ BF16 ਪੈਰ-ਨਿਸ਼ਾਨ ਦੇ ਲਗਭਗ ਚੌਥੇ ਹਿੱਸੇ ਉੱਤੇ ਆ ਜਾਂਦੇ ਹਨ, ਜਦਕਿ ਗਣਿਤ 16 ਬਿੱਟ ਉੱਤੇ ਰਹਿੰਦਾ ਹੈ। ਵਿਜ਼ਨ ਮਾਡਲ ਲਈ ਇਹ ਵੰਡ ਖ਼ਾਸ ਤੌਰ ਉੱਤੇ ਮਾਅਨੇ ਰੱਖਦੀ ਹੈ: ਐਕਟੀਵੇਸ਼ਨ ਵੀ ਕੁਆਂਟਾਈਜ਼ ਕਰਨ ਵਾਲੀਆਂ ਸਕੀਮਾਂ ਬਿਲਕੁਲ ਉਸੇ ਬਰੀਕ ਗਿਣਤੀ ਵਾਲੇ ਕੰਮ ਨੂੰ ਨੁਕਸਾਨ ਦਿੰਦੀਆਂ ਹਨ ਜਿਸ ਉੱਤੇ ਚਿੱਤਰ ਸਮਝ ਟਿਕੀ ਹੈ — ਕਿਸੇ ਛੋਟੇ ਧੁਰੇ ਦਾ ਲੇਬਲ ਪੜ੍ਹਨਾ, ਖ਼ਾਕੇ ਵਿੱਚ ਪਤਲੀ ਲਕੀਰ ਪਛਾਣਨੀ, ਦੋ ਮਿਲਦੇ-ਜੁਲਦੇ ਰੰਗਾਂ ਨੂੰ ਵੱਖ ਕਰਨਾ। ਐਕਟੀਵੇਸ਼ਨ 16 ਬਿੱਟ ਉੱਤੇ ਰੱਖਣ ਦੀ ਕੀਮਤ ਬੈਂਡਵਿਡਥ ਹੈ ਅਤੇ ਇਹ ਉਹ ਸ਼ੁੱਧਤਾ ਵਾਪਸ ਦਿੰਦੀ ਹੈ ਜਿਸਦਾ ਵਿਜ਼ਨ ਵਾਲੇ ਕੰਮ ਨੂੰ ਪਤਾ ਲੱਗਦਾ ਹੈ।

ਤਿੰਨੇ ਮਿਲ ਕੇ ਅਜਿਹਾ ਮਾਡਲ ਦਿੰਦੇ ਹਨ ਜੋ ਸਮਾ ਵੀ ਜਾਂਦਾ ਹੈ ਤੇ ਤੇਜ਼ ਵੀ ਰਹਿੰਦਾ ਹੈ, ਬਿਨਾਂ ਉਸ ਗੁਣਵੱਤਾ ਦੇ ਖੱਡੇ ਦੇ ਜੋ ਸਖ਼ਤ 3BIT-REAP ਦਰਜਾ ਪੈਦਾ ਕਰਦਾ ਹੈ, ਜੋ ਅਸੀਂ ਸਿਰਫ਼ ਸਭ ਤੋਂ ਵੱਡੀਆਂ ਬੁਨਿਆਦਾਂ ਉੱਤੇ ਵਰਤਦੇ ਹਾਂ। ਕੀਮਤ ਇਹੀ ਸੌਦਾ ਦਰਸਾਉਂਦੀ ਹੈ।

03ਵਿਜ਼ਨ: ਬਿਨਾਂ ਇਨਕਾਰ ਵਾਲੀ ਚਿੱਤਰ ਵਿਸ਼ਲੇਸ਼ਣ API

Inkling ਸਾਡੀ ਸੂਚੀ ਦੇ ਚਾਰ ਵਿਜ਼ਨ ਵਾਲੇ ਮਾਡਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ, Kimi-K3, Kimi-K2.6 ਅਤੇ MiniMax-M3 ਦੇ ਨਾਲ। Thinking Machines ਦੀ ਰਿਲੀਜ਼ ਵਿੱਚ ਬੁਨਿਆਦੀ ਮਾਡਲ ਦੇ ਛਾਪੇ ਵਿਜ਼ਨ ਨਤੀਜੇ ਹਨ MMMU Pro (Standard 10) ਉੱਤੇ 73.3% ਅਤੇ CharXiv ਦੇ ਤਰਕ ਵਾਲੇ ਸਵਾਲਾਂ ਉੱਤੇ 78.1% — ਜੋ ਮਾਡਲ ਨੂੰ ਚਾਰਟ ਉੱਤੇ Python ਚਲਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦੇਣ ਉੱਤੇ 82.0% ਹੋ ਜਾਂਦਾ ਹੈ। ਇਹ ਬਿਨਾਂ ਕੁਆਂਟਾਈਜ਼ ਕੀਤੇ ਚੈੱਕਪੁਆਇੰਟ ਲਈ ਲੈਬ ਦੇ ਆਪਣੇ ਅੰਕੜੇ ਹਨ; ਇਨ੍ਹਾਂ ਨੂੰ ਪਰਿਵਾਰ ਦੀ ਛੱਤ ਮੰਨੋ, ਸਾਡੇ ਬਿਲਡ ਦੀ ਮਿਣਤੀ ਨਹੀਂ।

ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ CharXiv ਉੱਤੇ ਰੁਕਣਾ ਬਣਦਾ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਉਸ ਗੱਲ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ ਕਿ ਲੋਕ OCR ਸੇਵਾ ਦੀ ਥਾਂ ਵਿਜ਼ਨ API ਕਿਉਂ ਖ਼ਰੀਦਦੇ ਹਨ। ਇਹ ਵਿਗਿਆਨਕ ਚਾਰਟਾਂ ਉੱਤੇ ਤਰਕ ਪਰਖਦਾ ਹੈ — ਧੁਰੇ ਤੋਂ ਮੁੱਲ ਪੜ੍ਹਨਾ, ਦੋ ਲੜੀਆਂ ਦੀ ਤੁਲਨਾ ਕਰਨੀ, ਕਿਸੇ ਰੁਝਾਨ ਦਾ ਪਲਟਣਾ ਵੇਖਣਾ। "ਇਸ ਚਿੱਤਰ ਵਿੱਚ ਕਿਹੜੀ ਲਿਖਤ ਹੈ" ਨਹੀਂ, ਸਗੋਂ "ਇਹ ਖ਼ਾਕਾ ਕੀ ਦਾਅਵਾ ਕਰਦਾ ਹੈ, ਅਤੇ ਕੀ ਦਾਅਵਾ ਟਿਕਦਾ ਹੈ।" ਇਹੀ ਗੱਲ ਕਿਸੇ ਛੋਟੇ ਕੈਪਸ਼ਨਰ ਦੀ ਥਾਂ 975B ਤਰਕ ਵਾਲੇ ਮਾਡਲ ਨੂੰ ਤਸਵੀਰ ਭੇਜਣੀ ਜਾਇਜ਼ ਠਹਿਰਾਉਂਦੀ ਹੈ।

ਚਿੱਤਰ ਭੇਜਣਾ ਆਮ OpenAI-ਅਨੁਕੂਲ ਕੰਮ ਹੈ — /v1/chat/completions ਉੱਤੇ image_url ਸਮੱਗਰੀ ਹਿੱਸਾ, /v1/messages ਉੱਤੇ Anthropic ਸ਼ੈਲੀ ਦਾ image ਬਲਾਕ, ਜਾਂ /v1/responses ਉੱਤੇ ਉਸਦੇ ਬਰਾਬਰ ਦਾ। ਤਿੰਨੇ ਬੋਲੀਆਂ ਇੱਕੋ ਵਜ਼ਨਾਂ ਤੱਕ ਪਹੁੰਚਦੀਆਂ ਹਨ ਅਤੇ ਤਿੰਨੇ ਸਟ੍ਰੀਮ ਕਰਦੀਆਂ ਹਨ; ਜੋ ਤੁਹਾਡਾ ਮੌਜੂਦਾ SDK ਪਹਿਲਾਂ ਹੀ ਬੋਲਦਾ ਹੈ, ਉਹੀ ਚੁਣੋ। ਕੰਮ ਕਰਦੀ ਮਿਸਾਲ ਭਾਗ 09 ਵਿੱਚ ਹੈ।

ਬਿਨਾਂ ਸੈਂਸਰ ਵਾਲਾ ਹਿੱਸਾ ਵਿਜ਼ਨ ਲਈ ਲਿਖਤ ਨਾਲੋਂ ਵੀ ਵੱਧ ਮਾਅਨੇ ਰੱਖਦਾ ਹੈ। ਵਿਜ਼ਨ ਐਂਡਪੁਆਇੰਟ ਉੱਤੇ ਇਨਕਾਰ ਪਰਤ ਅਸਾਧਾਰਨ ਤੌਰ ਉੱਤੇ ਭੁੱਦੀ ਹੁੰਦੀ ਹੈ, ਕਿਉਂਕਿ ਉਹ ਆਮ ਤੌਰ ਉੱਤੇ ਮਾਡਲ ਦੇ ਬੇਨਤੀ ਬਾਰੇ ਸੋਚਣ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਚਿੱਤਰ ਦਾ ਵਰਗੀਕਰਨ ਕਰ ਦਿੰਦੀ ਹੈ। ਜਾਇਜ਼ ਕੰਮ ਲਗਾਤਾਰ ਫਸਦਾ ਹੈ: ਕਲੀਨਿਕਲ ਨੋਟਾਂ ਦੀ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਜ਼ਖ਼ਮ ਦੀ ਫ਼ੋਟੋ, ਕਿਸੇ ਘਟਨਾ ਦੀ ਲਿਖਤ ਵਿੱਚ ਫ਼ੌਰੈਂਸਿਕ ਸਕਰੀਨਸ਼ਾਟ, ਆਲੋਚਨਾ ਦੇ ਲੇਖ ਲਈ ਪਰਖੀ ਜਾ ਰਹੀ ਫ਼ਿਲਮ ਦਾ ਫ਼ਰੇਮ, ਮੈਡੀਕਲ ਸਕੈਨ, ਜਾਂ ਕਿਸੇ ਦਸਤਾਵੇਜ਼ ਦਾ ਚਿੱਤਰ ਜਿਸ ਵਿੱਚ ਕਿਸੇ ਦਾ ਨਾਂ ਆ ਗਿਆ ਹੋਵੇ। ਸਾਡੇ ਗੇਟਵੇ ਉੱਤੇ Inkling ਦੇ ਅੱਗੇ ਅਜਿਹਾ ਕੋਈ ਵਰਗੀਕਾਰ ਨਹੀਂ ਹੈ। ਇਹ ਵੇਖਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਕੀ ਭੇਜਿਆ ਹੈ ਅਤੇ ਉਸੇ ਸਵਾਲ ਦਾ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜੋ ਤੁਸੀਂ ਪੁੱਛਿਆ। ਉਤਪਾਦ ਇਹੀ ਹੈ।

04ਢਾਂਚਾਗਤ ਆਊਟਪੁੱਟ: response_format ਹਾਂ, json_schema ਨਹੀਂ

ਇਹੀ ਇੱਕ ਥਾਂ ਹੈ ਜਿੱਥੇ Inkling ਬਹੁਤੀ ਸੂਚੀ ਨਾਲੋਂ ਘੱਟ ਸਮਰੱਥ ਹੈ, ਅਤੇ ਇਸਦੀ ਯੋਜਨਾ ਪਹਿਲਾਂ ਬਣਾ ਲੈਣੀ ਬਿਹਤਰ ਹੈ, ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ ਪਤਾ ਲੱਗਣ ਨਾਲੋਂ।

ਸਮਰੱਥਾ	inkling	Kimi-K2.6	MiMo-V2.5	Laguna-S-2.1
ਵਿਜ਼ਨ (ਚਿੱਤਰ ਇਨਪੁੱਟ)	ਹਾਂ	ਹਾਂ	ਹਾਂ	ਨਹੀਂ
response_format	ਹਾਂ	ਹਾਂ	ਹਾਂ	ਨਹੀਂ
json_schema	ਨਹੀਂ	ਹਾਂ	ਹਾਂ	ਨਹੀਂ
ਟੂਲ ਕਾਲਿੰਗ	ਹਾਂ	ਹਾਂ	ਹਾਂ	ਹਾਂ
ਤਰਕ ਦੀ ਮਿਹਨਤ	ਹਾਂ	ਹਾਂ	ਹਾਂ	ਹਾਂ

response_format: {"type": "json_object"} ਚੱਲਦਾ ਹੈ — ਤੁਹਾਨੂੰ ਵਿਆਕਰਨ ਪੱਖੋਂ ਸਹੀ JSON ਮਿਲਦਾ ਹੈ। ਜੋ ਨਹੀਂ ਮਿਲਦਾ ਉਹ ਹੈ ਤੁਹਾਡੇ ਦਿੱਤੇ ਸਕੀਮੇ ਦੇ ਖ਼ਿਲਾਫ਼ ਵਿਆਕਰਨ-ਬੱਧ ਡੀਕੋਡਿੰਗ, ਜਿੱਥੇ ਸੈਂਪਲਰ ਨੂੰ ਤੁਹਾਡੀ ਬਣਤਰ ਤੋੜਨ ਵਾਲਾ ਟੋਕਨ ਕੱਢਣ ਤੋਂ ਭੌਤਿਕ ਤੌਰ ਉੱਤੇ ਰੋਕ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ। ਖਾਨਿਆਂ ਦੇ ਨਾਂ, enum ਦੀ ਮੈਂਬਰੀ, ਅਤੇ ਲਾਜ਼ਮੀ ਕੁੰਜੀਆਂ ਦੀ ਹਾਜ਼ਰੀ ਮਾਡਲ ਦੀ ਚੋਣ ਹੈ, ਗਾਰੰਟੀ ਨਹੀਂ।

ਇਸ ਨਾਲ ਨਿਭਣ ਦੇ ਤਿੰਨ ਢੰਗ, ਵਧਦੀ ਭਰੋਸੇਯੋਗਤਾ ਦੇ ਕ੍ਰਮ ਵਿੱਚ:

1. ਸਕੀਮਾ ਪ੍ਰੌਂਪਟ ਵਿੱਚ ਦਿਓ ਅਤੇ ਪੁਸ਼ਟੀ ਕਰੋ। ਸਕੀਮਾ ਸਿਸਟਮ ਪ੍ਰੌਂਪਟ ਵਿੱਚ ਸਿੱਧਾ JSON ਵਜੋਂ ਪਾਓ, response_format ਨੂੰ json_object ਕਰੋ, ਅਤੇ ਜਵਾਬ ਦੀ ਪੁਸ਼ਟੀ ਆਪਣੇ ਪਾਸੇ ਕਰੋ। ਪੁਸ਼ਟੀ ਫ਼ੇਲ੍ਹ ਹੋਣ ਉੱਤੇ ਵੈਲੀਡੇਟਰ ਦੇ ਗ਼ਲਤੀ ਸੁਨੇਹੇ ਸਮੇਤ ਦੁਬਾਰਾ ਕੋਸ਼ਿਸ਼ ਕਰੋ। ਸਸਤਾ, ਚੱਲਦਾ ਹੈ, ਬੱਸ ਮੁੜ-ਕੋਸ਼ਿਸ਼ ਦਾ ਬਜਟ ਚਾਹੀਦਾ ਹੈ।
2. ਟੂਲ ਪਰਿਭਾਸ਼ਾ ਨੂੰ ਹੀ ਸਕੀਮਾ ਬਣਾਓ। ਟੂਲ ਕਾਲਿੰਗ ਸਮਰਥਿਤ ਹੈ, ਅਤੇ ਕਿਸੇ ਫੰਕਸ਼ਨ ਦੀ ਪੈਰਾਮੀਟਰ ਪਰਿਭਾਸ਼ਾ ਖ਼ੁਦ ਇੱਕ JSON ਸਕੀਮਾ ਹੈ। ਜੋ ਕੱਢਣਾ ਹੈ ਉਸਦੇ ਨਾਂ ਉੱਤੇ ਇੱਕੋ ਟੂਲ ਐਲਾਨੋ, ਉਸਨੂੰ ਲਾਜ਼ਮੀ ਕਰੋ, ਅਤੇ ਦਲੀਲਾਂ ਪੜ੍ਹ ਲਵੋ। Inkling ਉੱਤੇ ਆਮ ਤੌਰ ਉੱਤੇ ਇਹੀ ਸਭ ਤੋਂ ਪੱਕਾ ਰਾਹ ਹੈ ਅਤੇ ਇਸਦਾ ਵਾਧੂ ਕੋਈ ਖ਼ਰਚਾ ਨਹੀਂ ਪੈਂਦਾ।
3. ਕੰਮ ਦੋ ਮਾਡਲਾਂ ਵਿੱਚ ਵੰਡੋ। Inkling ਤੋਂ ਵਿਜ਼ਨ ਅਤੇ ਤਰਕ ਵਾਰਤਕ ਵਿੱਚ ਕਰਵਾਓ, ਫਿਰ ਉਹ ਵਾਰਤਕ ਢਾਂਚੇ ਵਾਲੇ ਗੇੜੇ ਲਈ ਅਸਲੀ json_schema ਨਾਲ $0.50 / $2.00 ਉੱਤੇ MiMo-V2.5-W8A16 ਨੂੰ ਫੜਾ ਦਿਓ। ਦੋ ਕਾਲਾਂ, ਪਰ ਦੂਜੀ ਸਸਤੀ ਹੈ, ਉਸਦੀ ਸ਼ਕਲ ਪੱਕੀ ਹੈ, ਅਤੇ ਜਿਸ ਮਾਡਲ ਨੂੰ ਸਿਆਣਾ ਹੋਣ ਦੀ ਲੋੜ ਸੀ ਉਸੇ ਨੇ ਚਿੱਤਰ ਵੇਖਿਆ।

ਵੱਡੀ ਮਾਤਰਾ ਵਾਲੀ ਕਿਸੇ ਵੀ ਕੱਢਣ ਵਾਲੀ ਪਾਈਪਲਾਈਨ ਲਈ ਅਸੀਂ ਢੰਗ 3 ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਾਂਗੇ। ਵਾਧੂ ਪੈਸਾ ਸਿਰਫ਼ ਉਸ ਕਦਮ ਉੱਤੇ ਖ਼ਰਚੋ ਜਿਸਨੂੰ ਉਸਦੀ ਲੋੜ ਹੈ।

05ਵਾਧੂ ਕੀਮਤ ਕੀ ਖ਼ਰੀਦਦੀ ਹੈ?

ਪ੍ਰਤੀ ਦਸ ਲੱਖ ਟੋਕਨ $1.42 ਅੰਦਰ / $6.07 ਬਾਹਰ ਉੱਤੇ, Inkling ਸੋਚ-ਸਮਝ ਕੇ ਸਾਡੀ ਸੂਚੀ ਦੇ ਵਿਚਕਾਰ ਬੈਠਦਾ ਹੈ। ਬਾਰਾਂ ਵਿੱਚੋਂ ਛੇ ਮਾਡਲ $0.50 / $2.00 ਵਾਲੇ ਫ਼ਰਸ਼ ਉੱਤੇ ਹਨ। Kimi-K3 — ਮੋਹਰੀ ਮਾਡਲ, ਜੋ ਵਿਜ਼ਨ ਵਾਲਾ ਵੀ ਹੈ — $3.83 / $19.12 ਹੈ। Inkling ਆਊਟਪੁੱਟ ਉੱਤੇ ਫ਼ਰਸ਼ ਤੋਂ ਲਗਭਗ ਤਿੰਨ ਗੁਣਾ ਹੈ ਅਤੇ ਮੋਹਰੀ ਮਾਡਲ ਦਾ ਲਗਭਗ ਤੀਜਾ ਹਿੱਸਾ।

ਆਊਟਪੁੱਟ ਕੀਮਤ, ਪ੍ਰਤੀ 1M ਟੋਕਨ USD ਵਿੱਚ, Shannon AI Gateway ਦੀਆਂ ਸੂਚੀ ਦਰਾਂ, ਸਤੰਬਰ 2026। ਪੱਟੀ ਦੀ ਚੌੜਾਈ ਕੀਮਤ ਦੇ ਅਨੁਪਾਤ ਵਿੱਚ ਹੈ; ਲੰਮੀ ਦਾ ਮਤਲਬ ਮਹਿੰਗਾ।

ਇਹ ਰਿਹਾ ਈਮਾਨਦਾਰ ਪਾਠ ਕਿ ਉਹ ਵਾਧੂ ਕੀਮਤ ਕਿੱਥੇ ਵਸੂਲ ਹੁੰਦੀ ਹੈ — ਅਤੇ ਕਿੱਥੇ ਨਹੀਂ।

ਕੰਮ ਦਾ ਬੋਝ	Inkling ਵਰਤੀਏ?	ਕਿਉਂ
ਚਾਰਟ / ਖ਼ਾਕੇ ਉੱਤੇ ਤਰਕ	ਹਾਂ	ਛਾਪੇ ਹੋਏ CharXiv ਅਤੇ MMMU Pro ਅੰਕੜੇ ਇਸ ਬੁਨਿਆਦ ਦੀ ਸਭ ਤੋਂ ਵੱਡੀ ਤਾਕਤ ਹਨ।
ਸਕਰੀਨਸ਼ਾਟ ਨਾਲ ਚੱਲਣ ਵਾਲੇ ਏਜੰਟ	ਹਾਂ	ਇੱਕੋ ਮਾਡਲ ਵਿੱਚ ਵਿਜ਼ਨ, ਟੂਲ ਕਾਲਿੰਗ ਅਤੇ 262K ਇਤਿਹਾਸ, ਕੋਈ ਹੱਥ-ਬਦਲੀ ਨਹੀਂ।
ਚਿੱਤਰਾਂ ਵਾਲੇ ਲੰਮੇ ਦਸਤਾਵੇਜ਼	ਹਾਂ	ਲਿਖਤ ਅਤੇ ਚਿੱਤਰ ਇੱਕੋ ਡੀਕੋਡਰ ਅਤੇ ਇੱਕੋ ਸੰਦਰਭ ਵਿੰਡੋ ਸਾਂਝੀ ਕਰਦੇ ਹਨ।
ਸਾਦੀ ਲਿਖਤ ਦੀ ਪੈਦਾਵਾਰ	ਨਹੀਂ	$0.50 / $2.00 ਉੱਤੇ ਛੇ ਮਾਡਲ ਇਹ ਕਰਦੇ ਹਨ। ਤੁਸੀਂ ਉਸ ਵਿਜ਼ਨ ਰਾਹ ਦੇ ਪੈਸੇ ਦੇ ਰਹੇ ਹੋ ਜੋ ਕਦੇ ਵਰਤਦੇ ਹੀ ਨਹੀਂ।
ਥੋਕ ਸਕੀਮਾ ਕੱਢਣਾ	ਨਹੀਂ	ਕੋਈ json_schema ਨਹੀਂ। MiMo-V2.5 ਸਸਤਾ ਵੀ ਹੈ ਅਤੇ ਬੱਝਵਾਂ ਵੀ।
ਬਿਲਕੁਲ ਮੋਹਰਲੀ ਕਤਾਰ ਵਾਲੀ ਛੱਤ	ਨਹੀਂ	Kimi-K3 ਮੋਹਰੀ ਮਾਡਲ ਹੈ। ਜੇ ਰੁਕਾਵਟ ਛੱਤ ਹੀ ਹੈ ਤਾਂ 3.1× ਦਿਓ।
ਸਭ ਤੋਂ ਸਸਤਾ ਸੰਭਵ ਵਿਜ਼ਨ	ਨਹੀਂ	MiniMax-M3 ਕੋਲ $0.50 / $2.00 ਉੱਤੇ ਵਿਜ਼ਨ ਹੈ। ਉੱਥੋਂ ਸ਼ੁਰੂ ਕਰੋ, ਗੁਣਵੱਤਾ ਮਜਬੂਰ ਕਰੇ ਤਾਂ ਉੱਪਰ ਜਾਓ।

ਇਸਨੂੰ ਰੂਟਿੰਗ ਦਾ ਨਿਯਮ ਸਮਝੋ, ਦਰਜਾਬੰਦੀ ਨਹੀਂ। ਕਿਸੇ ਇਸ਼ਤਿਹਾਰੀ ਸਫ਼ੇ ਦੇ ਦਾਅਵੇ ਨਾਲੋਂ Inkling ਕੰਮ ਦੀ ਤੰਗ ਪੱਟੀ ਲਈ ਸਹੀ ਹੈ, ਅਤੇ ਉਸ ਪੱਟੀ ਦੇ ਅੰਦਰ ਕੀਮਤ ਪੱਖੋਂ ਇਸਨੂੰ ਹਰਾਉਣਾ ਔਖਾ ਹੈ। ਉਸ ਤੋਂ ਬਾਹਰ, ਸਾਨੂੰ ਵੱਧ ਚੰਗਾ ਲੱਗੇਗਾ ਕਿ ਅਸੀਂ ਤੁਹਾਨੂੰ ਸਸਤਾ ਮਾਡਲ ਵੇਚੀਏ ਤੇ ਤੁਹਾਨੂੰ ਟਿਕਾ ਕੇ ਰੱਖੀਏ।

06262K ਸੰਦਰਭ ਵਿੰਡੋ, ਅਤੇ ਅਸਲ ਵਿੱਚ ਕੀ ਸਮਾਉਂਦਾ ਹੈ

ਗੇਟਵੇ ਦੇ ਸਾਰੇ ਬਾਰਾਂ ਮਾਡਲ 262,144-ਟੋਕਨ ਇਨਪੁੱਟ ਸੰਦਰਭ ਅਤੇ ਪ੍ਰਤੀ ਬੇਨਤੀ ਵੱਧ ਤੋਂ ਵੱਧ 16,384-ਟੋਕਨ ਆਊਟਪੁੱਟ ਨਾਲ ਪਰੋਸੇ ਜਾਂਦੇ ਹਨ। ਇਹ ਜਾਣ-ਬੁੱਝ ਕੇ ਇੱਕੋ ਜਿਹਾ ਹੈ: ਸੰਦਰਭ ਸੰਭਾਲਣਾ ਤੁਹਾਡੇ ਕੋਡ ਵਿੱਚ ਕਦੇ ਵੀ ਹਰ ਮਾਡਲ ਲਈ ਵੱਖਰੀ ਸ਼ਾਖਾ ਨਹੀਂ ਬਣਨਾ ਚਾਹੀਦਾ, ਅਤੇ ਕਿਸੇ ਕੌਨਫ਼ਿਗ ਫ਼ਾਈਲ ਵਿੱਚ inkling ਦੀ ਥਾਂ MiniMax-M3 ਪਾਉਣ ਨਾਲ ਚੁੱਪ-ਚਾਪ ਇਹ ਨਹੀਂ ਬਦਲਣਾ ਚਾਹੀਦਾ ਕਿ ਕੀ ਸਮਾਉਂਦਾ ਹੈ।

ਛਾਪੀ ਹੋਈ ਬੁਨਿਆਦ ਦੇ ਮੁਕਾਬਲੇ ਪਾੜਾ ਵੇਖੋ: Thinking Machines, Inkling ਨੂੰ 1,048,576 ਟੋਕਨਾਂ ਉੱਤੇ ਦਰਜ ਕਰਦਾ ਹੈ, ਅਤੇ ਅਸੀਂ ਉਸਦਾ 262K ਵਾਲਾ ਹਿੱਸਾ ਪਰੋਸਦੇ ਹਾਂ। ਜੇ ਤੁਹਾਡੇ ਕੋਲ ਸੱਚਮੁੱਚ ਇੱਕੋ ਬੇਨਤੀ ਵਿੱਚ ਦਸ ਲੱਖ ਟੋਕਨਾਂ ਵਾਲਾ ਕੰਮ ਹੈ, ਤਾਂ ਅਸੀਂ ਉਸ ਲਈ ਸਹੀ ਐਂਡਪੁਆਇੰਟ ਨਹੀਂ, ਅਤੇ ਬਿਹਤਰ ਹੈ ਕਿ ਤੁਹਾਨੂੰ ਬਣਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਪਤਾ ਹੋਵੇ।

262K ਦਾ ਪੈਮਾਨਾ ਸਮਝਣ ਲਈ: 400 ਸਫ਼ਿਆਂ ਦੀ ਤਕਨੀਕੀ PDF ਆਪਣੇ ਚਿੱਤਰਾਂ ਸਮੇਤ, ਇੱਕ ਦਰਮਿਆਨਾ ਕੋਡਬੇਸ, ਕਈ ਘੰਟਿਆਂ ਦਾ ਲਿਖਤੀ ਰਿਕਾਰਡ, ਜਾਂ ਦਰਜਨਾਂ ਟੂਲ ਨਤੀਜੇ ਤੇ ਕੁਝ ਸਕਰੀਨਸ਼ਾਟ ਚੁੱਕੀ ਲੰਮੀ ਏਜੰਟ ਬੈਠਕ — ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ, ਇੱਕੋ ਬੇਨਤੀ ਵਿੱਚ ਸਮਾ ਜਾਂਦੀ ਹੈ। ਵਿਜ਼ਨ ਮਾਡਲ ਉੱਤੇ ਯਾਦ ਰੱਖੋ ਕਿ ਚਿੱਤਰ ਵੀ ਸੰਦਰਭ ਖਾਂਦੇ ਹਨ; ਸੰਘਣਾ ਸਕਰੀਨਸ਼ਾਟ ਮੁਫ਼ਤ ਨਹੀਂ, ਅਤੇ ਜੋ ਬੈਠਕ ਫ਼ਰੇਮ ਸਟ੍ਰੀਮ ਕਰਦੀ ਹੈ ਉਹ ਸਿਰਫ਼ ਲਿਖਤ ਵਾਲੀ ਨਾਲੋਂ ਵਿੰਡੋ ਤੇਜ਼ੀ ਨਾਲ ਭਰਦੀ ਹੈ। ਢਾਂਚਾ ਇਸ ਲਈ ਢੁੱਕਵਾਂ ਹੈ: 5:1 ਵਾਲੇ ਸਲਾਈਡਿੰਗ-ਵਿੰਡੋ ਤੋਂ ਗਲੋਬਲ ਨਮੂਨੇ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਬਹੁਤੀਆਂ ਪਰਤਾਂ 512-ਟੋਕਨ ਗੁਆਂਢ ਦੇ ਅੰਦਰ ਧਿਆਨ ਦਿੰਦੀਆਂ ਹਨ, ਜਦਕਿ ਗਲੋਬਲ ਪਰਤਾਂ ਵਾਰ-ਵਾਰ ਲੰਮੀ ਦੂਰੀ ਵਾਲੀ ਬਣਤਰ ਵਾਪਸ ਖਿੱਚ ਲਿਆਉਂਦੀਆਂ ਹਨ।

07ਤਰਕ ਦੀ ਮਿਹਨਤ: ਸੋਚ ਦੇ ਪੈਸੇ ਸਿਰਫ਼ ਲੋੜ ਵੇਲੇ ਦੇਣੇ

Inkling ਕੰਟਰੋਲ ਕਰਨ ਯੋਗ ਤਰਕ ਦੀ ਮਿਹਨਤ ਦਿੰਦਾ ਹੈ — ਸੂਚੀ ਦੇ ਵੱਧ ਕੰਮ ਦੇ ਹੱਥਿਆਂ ਵਿੱਚੋਂ ਇੱਕ। ਉੱਪਰਲਾ ਮਾਡਲ none ਅਤੇ minimal ਤੋਂ ਲੈ ਕੇ low, medium, high, xhigh ਅਤੇ max ਤੱਕ ਦੇ ਪੱਧਰ ਲੈਂਦਾ ਹੈ, ਜੋ ਤਿੰਨਾਂ ਬੋਲੀਆਂ ਉੱਤੇ ਮਿਆਰੀ reasoning_effort ਪੈਰਾਮੀਟਰ ਰਾਹੀਂ ਸਾਹਮਣੇ ਆਉਂਦੇ ਹਨ।

{
  "model": "inkling-W4A16-AUTOROUND-REAP",
  "reasoning_effort": "low",
  "messages": [ ... ]
}

ਇਹ ਦੰਦਾਂ ਵਾਲਾ ਲਾਗਤ ਲੀਵਰ ਹੈ, ਕਿਉਂਕਿ ਤਰਕ ਦੇ ਟੋਕਨ ਵੀ $6.07 ਪ੍ਰਤੀ ਦਸ ਲੱਖ ਦੀ ਦਰ ਉੱਤੇ ਆਊਟਪੁੱਟ ਟੋਕਨ ਵਜੋਂ ਹੀ ਵਸੂਲੇ ਜਾਂਦੇ ਹਨ। Thinking Machines ਦੱਸਦਾ ਹੈ ਕਿ Terminal Bench 2.1 ਉੱਤੇ Inkling, Nemotron 3 Ultra ਦੇ ਬਰਾਬਰ ਅੰਕ ਲਗਭਗ ਤੀਜੇ ਹਿੱਸੇ ਟੋਕਨਾਂ ਵਿੱਚ ਲੈ ਲੈਂਦਾ ਹੈ — ਟੋਕਨ ਦੀ ਕਿਫ਼ਾਇਤ ਮਿਹਨਤ ਵਾਲੀ ਪ੍ਰਣਾਲੀ ਦਾ ਐਲਾਨਿਆ ਡਿਜ਼ਾਈਨ ਮਕਸਦ ਹੈ, ਕੋਈ ਇਤਫ਼ਾਕ ਨਹੀਂ।

ਅਮਲ ਵਿੱਚ: ਕੈਪਸ਼ਨ, ਵਰਗੀਕਰਨ ਅਤੇ ਸਿੱਧੇ-ਸਾਦੇ ਕੱਢਣ ਲਈ low ਜਾਂ minimal ਚਲਾਓ, ਜਿੱਥੇ ਜਵਾਬ ਚਿੱਤਰ ਵਿੱਚ ਹੀ ਹੈ ਅਤੇ ਕਿਸੇ ਨਤੀਜਾ-ਲੜੀ ਦੀ ਲੋੜ ਨਹੀਂ। high ਅਤੇ ਉਸ ਤੋਂ ਉੱਪਰ ਚਾਰਟ ਉੱਤੇ ਤਰਕ, ਬਹੁ-ਕਦਮੀ ਦ੍ਰਿਸ਼ ਤੁਲਨਾ, ਅਤੇ ਉਨ੍ਹਾਂ ਏਜੰਟ ਵਾਰੀਆਂ ਲਈ ਰੱਖੋ ਜਿੱਥੇ ਵਿਚਕਾਰਲਾ ਗ਼ਲਤ ਕਦਮ ਮਹਿੰਗਾ ਪੈਂਦਾ ਹੈ। ਬਹੁਤੀਆਂ ਟੀਮਾਂ ਇਹ ਪੈਰਾਮੀਟਰ ਸੈੱਟ ਹੀ ਨਹੀਂ ਕਰਦੀਆਂ, ਅਤੇ ਆਊਟਪੁੱਟ ਲਾਗਤ ਵਿੱਚ ਕਈ ਗੁਣਾ ਫ਼ਰਕ ਮੇਜ਼ ਉੱਤੇ ਹੀ ਛੱਡ ਦਿੰਦੀਆਂ ਹਨ।

08ਇੱਥੇ "ਬਿਨਾਂ ਸੈਂਸਰ" ਦਾ ਕੀ ਮਤਲਬ ਹੈ — ਅਤੇ ਕੀ ਨਹੀਂ

ਠੋਸ ਰੂਪ ਵਿੱਚ: ਅਸੀਂ ਇਹ ਮਾਡਲ ਕਿਸੇ ਇਨਕਾਰ ਪਰਤ ਅਤੇ ਆਊਟਪੁੱਟ ਉੱਤੇ ਕਿਸੇ ਫਿਲਟਰਿੰਗ ਤੋਂ ਬਿਨਾਂ ਚਲਾਉਂਦੇ ਹਾਂ। ਕੋਈ ਵਰਗੀਕਾਰ ਤੁਹਾਡਾ ਪ੍ਰੌਂਪਟ ਪੜ੍ਹ ਕੇ ਇਹ ਤੈਅ ਨਹੀਂ ਕਰਦਾ ਕਿ ਮਾਡਲ ਜਵਾਬ ਦੇ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ, ਅਤੇ ਸਟ੍ਰੀਮ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਕੋਈ ਜਵਾਬ ਨਹੀਂ ਪੜ੍ਹਦਾ। ਜਦੋਂ ਮਾਡਲ ਨੂੰ ਸ਼ੱਕ ਹੋਵੇ ਜਾਂ ਗਿਆਨ ਨਾ ਹੋਵੇ, ਉਹ ਇਹ ਦੱਸ ਦਿੰਦਾ ਹੈ — ਉਹ ਮਾਡਲ ਹੈ, ਕੋਈ ਨੀਤੀ ਨਹੀਂ। ਜੋ ਤੁਹਾਨੂੰ ਨਹੀਂ ਮਿਲੇਗਾ ਉਹ ਹੈ ਕਿਸੇ ਅਜਿਹੇ ਵਿਸ਼ੇ ਉੱਤੇ ਆਦਤਨ ਇਨਕਾਰ ਜਿਸਨੂੰ ਆਮ ਖ਼ਪਤਕਾਰ ਉਤਪਾਦ ਵਰਜਿਤ ਮੰਨਦਾ ਹੈ।

ਵਿਜ਼ਨ ਲਈ ਸਾਰਾ ਮੁੱਲ ਪ੍ਰਸਤਾਵ ਇਹੀ ਹੈ। ਵਿਜ਼ਨ API ਦੇ ਅੱਗੇ ਲੱਗੇ ਚਿੱਤਰ ਵਰਗੀਕਾਰ ਗ਼ੈਰ-ਸਹੀ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਝੂਠੇ ਸਕਾਰਾਤਮਕ ਦੀ ਸਭ ਤੋਂ ਭਾਰੀ ਮਾਰ ਉਸੇ ਪੇਸ਼ੇਵਰ ਕੰਮ ਉੱਤੇ ਪੈਂਦੀ ਹੈ ਜਿਸਨੂੰ ਇਸ ਸਮਰੱਥਾ ਦੀ ਸਭ ਤੋਂ ਵੱਧ ਲੋੜ ਹੈ: ਸੁਰੱਖਿਆ ਖੋਜ, ਕਲੀਨਿਕਲ ਸੰਦਰਭ, ਪੱਤਰਕਾਰੀ ਅਤੇ ਫ਼ੌਰੈਂਸਿਕ, ਫ਼ਿਲਮ ਤੇ ਕਲਾ ਦੀ ਆਲੋਚਨਾ, ਅਤੇ ਅਜਿਹੇ ਸੰਚਾਲਨ ਸੰਦ ਜਿਨ੍ਹਾਂ ਨੂੰ ਉਸੇ ਚੀਜ਼ ਵੱਲ ਵੇਖਣਾ ਪੈਂਦਾ ਹੈ ਜਿਸਦਾ ਉਹ ਸੰਚਾਲਨ ਕਰਦੇ ਹਨ। ਜੋ ਐਂਡਪੁਆਇੰਟ ਵੰਨਗੀ ਵੇਖ ਕੇ ਇਨਕਾਰ ਕਰਦਾ ਹੈ ਉਹ ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਦੀ ਵੀ ਭਰੋਸੇਯੋਗ ਸੇਵਾ ਨਹੀਂ ਕਰ ਸਕਦਾ।

ਦੋ ਈਮਾਨਦਾਰ ਸ਼ਰਤਾਂ। ਪਹਿਲੀ, Thinking Machines ਆਪਣੀ ਹਵਾਲਾ ਤਾਇਨਾਤੀ ਲਈ ਸੁਰੱਖਿਆ ਦੀਆਂ ਪਰਖਾਂ ਛਾਪਦਾ ਹੈ — FORTRESS adversarial ਉੱਤੇ 78.0%, FORTRESS benign ਉੱਤੇ 95.9%, StrongREJECT ਉੱਤੇ 98.6%। ਇਹ ਅੰਕੜੇ ਉਨ੍ਹਾਂ ਦੇ ਸਟੈਕ ਦਾ ਵਰਣਨ ਕਰਦੇ ਹਨ ਜਿਸ ਵਿੱਚ ਉਨ੍ਹਾਂ ਦੀਆਂ ਰੋਕਾਂ ਲੱਗੀਆਂ ਹੋਈਆਂ ਹਨ। ਉਹ ਸਾਡੇ ਸਟੈਕ ਦਾ ਵਰਣਨ ਨਹੀਂ ਕਰਦੇ, ਅਤੇ ਅਸੀਂ ਇਨ੍ਹਾਂ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਪੇਸ਼ ਨਹੀਂ ਕਰਾਂਗੇ ਜਿਵੇਂ ਕਰਦੇ ਹੋਣ। ਜਿਸ ਪਰਤ ਨੂੰ ਇਹ ਅੰਕੜੇ ਅੰਸ਼ਕ ਤੌਰ ਉੱਤੇ ਮਾਪਦੇ ਹਨ, ਉਹ ਅਸੀਂ ਹਟਾ ਦਿੱਤੀ ਹੈ; ਉਤਪਾਦ ਵੀ ਇਹੀ ਹੈ ਅਤੇ ਜ਼ਿੰਮੇਵਾਰੀ ਵੀ।

ਦੂਜੀ, "ਕੋਈ ਇਨਕਾਰ ਪਰਤ ਨਹੀਂ" ਦਾ ਮਤਲਬ "ਕੋਈ ਨਿਯਮ ਨਹੀਂ" ਨਹੀਂ। Shannon Lab LLC, ਜ਼ਿੰਮੇਵਾਰ ਵਰਤੋਂ ਨੀਤੀ ਅਤੇ ਲਾਗੂ ਅਮਰੀਕੀ ਕਾਨੂੰਨ ਅਧੀਨ ਕੰਮ ਕਰਦੀ ਹੈ। ਵਰਗੀਕਾਰ ਹਟਾਉਣ ਨਾਲ ਸਮਝਦਾਰੀ ਤੁਹਾਡੇ ਵੱਲ ਖਿਸਕਦੀ ਹੈ, ਮਿਟਦੀ ਨਹੀਂ। ਜੇ ਤੁਸੀਂ ਇਸ ਉੱਤੇ ਕੁਝ ਬਣਾ ਰਹੇ ਹੋ, ਤਾਂ ਪੈਮਾਨਾ ਵਧਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਨੀਤੀ ਪੜ੍ਹੋ।

09ਸ਼ੁਰੂਆਤ ਕਿਵੇਂ ਕਰੀਏ

ਉਹੀ ਬੇਸ URL, ਉਹੀ ਕੁੰਜੀ, ਤਿੰਨ ਬੋਲੀਆਂ। ਜੇ ਤੁਹਾਡਾ ਕੋਡ ਪਹਿਲਾਂ ਹੀ OpenAI, Anthropic ਜਾਂ Responses API ਸੱਦਦਾ ਹੈ, ਤਾਂ ਮਾਡਲ ਦੀ ਸਤਰ ਬਦਲਣਾ ਹੀ ਆਮ ਤੌਰ ਉੱਤੇ ਪੂਰਾ ਪਰਵਾਸ ਹੁੰਦਾ ਹੈ।

from openai import OpenAI

client = OpenAI(
    base_url="https://api.shannon-ai.com/v1",
    api_key=SHANNON_API_KEY,
)

stream = client.chat.completions.create(
    model="inkling-W4A16-AUTOROUND-REAP",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "What does this figure actually show?"},
        {"type": "image_url", "image_url": {"url": image_data_url}},
    ]}],
    reasoning_effort="high",
    max_tokens=4000,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="")

ਪੂਰਾ ਪੈਰਾਮੀਟਰ ਹਵਾਲਾ, /v1/messages ਅਤੇ /v1/responses ਦੀਆਂ ਸ਼ਕਲਾਂ, ਸਟ੍ਰੀਮਿੰਗ ਘਟਨਾਵਾਂ ਦੇ ਰੂਪ, ਅਤੇ ਇੱਕ ਚੱਲਦਾ ਪਲੇਅਗਰਾਊਂਡ API ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਹਨ। ਬਾਕੀ ਗਿਆਰਾਂ ਮਾਡਲਾਂ ਦੇ ਮਾਡਲ ਕਾਰਡ Shannon Research ਵਿੱਚ ਹਨ।

ਬੁਨਿਆਦ ਦੇ ਅੰਕੜੇ ਬਿਨਾਂ ਕੁਆਂਟਾਈਜ਼ ਕੀਤੇ Inkling ਚੈੱਕਪੁਆਇੰਟ ਲਈ Thinking Machines Lab ਦੇ ਛਾਪੇ ਅੰਕ ਹਨ ਅਤੇ ਪਰਿਵਾਰ ਦੀ ਛੱਤ ਦੱਸਦੇ ਹਨ, ਸਾਡੇ ਕੁਆਂਟਾਈਜ਼ ਕੀਤੇ ਬਿਲਡ ਦੀ ਨਹੀਂ। ਕੀਮਤਾਂ ਅਤੇ ਸਮਰੱਥਾ ਦੇ ਝੰਡੇ ਸਤੰਬਰ 2026 ਤੱਕ ਦੇ Shannon AI Gateway ਸੂਚੀ ਮੁੱਲ ਹਨ।

10ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

---

ਸਰੋਤ: Thinking Machines Lab — Introducing Inkling · Hugging Face — Welcome Inkling · REAP the Experts (arXiv 2510.13999) · Optimize Weight Rounding via Signed Gradient Descent (arXiv 2309.05516) · Sebastian Raschka — Inkling ਦੇ ਢਾਂਚੇ ਅਤੇ ਬੈਂਚਮਾਰਕ ਬਾਰੇ ਨੋਟ। ਬੁਨਿਆਦ ਦੇ ਬੈਂਚਮਾਰਕ ਬਿਨਾਂ ਕੁਆਂਟਾਈਜ਼ ਕੀਤੇ ਚੈੱਕਪੁਆਇੰਟ ਲਈ ਲੈਬ ਵੱਲੋਂ ਦੱਸੇ ਗਏ ਹਨ।