Shannon 3.1
সেই একই যুক্তি লুপ, সরানো হয়েছে আমাদের নিজস্ব GPU ক্লাস্টারে: 32% বেশি বুদ্ধিমান, 10-15x দ্রুত, এবং 196,608-টোকেন প্রসঙ্গ উইন্ডো।
সংক্ষেপে
Shannon 3.1 সেইসব কিছু ধরে রেখেছে যা Shannon 3-কে ব্যবহারযোগ্য করে তুলেছিল — পুনরাবৃত্তিমূলক যুক্তি লুপ, কোনো প্রত্যাখ্যান স্তর নেই, আউটপুটে কোনো ফিল্টারিং নেই — আর বদলেছে কোথায় ও কীভাবে তা চলে। মডেলটি এখন কোনো তৃতীয় পক্ষের ইনফারেন্স হোস্টের বদলে আমাদের নিজস্ব GPU ক্লাস্টার থেকে পরিবেশিত হয়। Shannon Lab-এর মূল্যায়নে Shannon 3.0-এর তুলনায় বুদ্ধিমত্তায় 32% উন্নতি এবং 10-15x দ্রুত উত্তর মাপা হয়েছে। প্রসঙ্গ উইন্ডো 32,768 থেকে 196,608 টোকেনে পৌঁছেছে। যে পেসিং স্তর ইচ্ছাকৃতভাবে 3.0-এর আউটপুট ধীর করত তা আর নেই: 3.1 ইঞ্জিনের পূর্ণ গতিতে স্ট্রিম করে। মডেল আইডি shannon-3.1 এবং shannon-3.1-pro, চ্যাটে এবং তিনটি API ডায়ালেক্টেই।
বেশিরভাগ মডেল রিলিজ আপনাকে বিশ্বাসের ভিত্তিতে একটি সক্ষমতার দাবি মেনে নিতে বলে, আর তর্ক মেটানোর জন্য একটি বেঞ্চমার্ক টেবিলের অপেক্ষা করতে বলে। এটি যাচাই করা সহজতর: দুটি ট্যাব খুলুন, একই প্রম্পট shannon-3 এবং shannon-3.1-এ দিন, আর দেখুন। উত্তর কত দ্রুত আসে তার পার্থক্য সূক্ষ্ম কিছু নয়, আর এটি কোনো রেন্ডারিং কৌশলও নয়। Shannon 3.0 ইচ্ছাকৃতভাবেই থ্রটল করা ছিল। Shannon 3.1 নয়।
01Shannon 3.1-এ আসলে কী বদলেছে
Shannon 3.0 সেই জিনিসটি এনেছিল যা এই পরিবারকে সংজ্ঞায়িত করে: একটি পুনরাবৃত্তিমূলক যুক্তি লুপ। মডেলটি প্রথম চিন্তাতেই উত্তর দেয় না। এটি ভাবে, খসড়া করে, প্রশ্নের বিপরীতে নিজের খসড়া পর্যালোচনা করে, এবং তা উন্নত করে। Lite সেই লুপের একটি পাস চালায়; Pro পূর্ণ লুপ চালায়, খসড়া করার আগে একটি জ্ঞান-সংগ্রহ ধাপসহ। সেই নকশা বিস্তারিতভাবে বর্ণিত আছে Shannon 3 গবেষণা নিবন্ধে, এবং 3.1-এ তার কোনো কিছুই বদলায়নি।
যা বদলেছে তা হল নিচের যন্ত্রপাতি। Shannon 3.0 একটি তৃতীয় পক্ষের ইনফারেন্স হোস্টের মাধ্যমে পরিবেশিত হত — একটি মডেল চালু করার জন্য বুদ্ধিমান উপায়, আর তা চালানোর জন্য সীমাবদ্ধ উপায়। আপনি উত্তরাধিকারসূত্রে পান অন্য কারও সার্ভিং কনফিগারেশন, অন্য কারও সারি, অন্য কারও প্রসঙ্গ সীমা, এবং প্রতি সেকেন্ডে আপনার কত টোকেন পাওয়ার অনুমতি সে সম্পর্কে অন্য কারও ধারণা। Shannon 3.1 চলে আমাদের নিজস্ব GPU ক্লাস্টারে, এমন একটি সার্ভিং স্ট্যাকে যা আমরা কনফিগার করি, আর এই নিবন্ধের প্রতিটি শিরোনাম সংখ্যা সেই একটি সিদ্ধান্তেরই ফল।
| Shannon 3.0 | Shannon 3.1 | |
|---|---|---|
| কোথায় চলে | তৃতীয় পক্ষের হোস্ট | আমাদের নিজস্ব GPU ক্লাস্টার |
| প্রসঙ্গ উইন্ডো | 32,768 | 196,608 |
| আউটপুট স্ট্রিমিং | পেসড / হার-সীমিত | ইঞ্জিনের পূর্ণ গতি |
| ওজন | হোস্ট ডিফল্ট | 4-বিট NVFP4 |
| ডিকোডিং | স্ট্যান্ডার্ড | স্পেকুলেটিভ |
| যুক্তি লুপ | ভাবা → খসড়া → পর্যালোচনা → উন্নতি | অপরিবর্তিত |
| প্রত্যাখ্যান স্তর | নেই | নেই |
| মডেল আইডি | shannon-3, shannon-3-pro | shannon-3.1, shannon-3.1-pro |
02কেন Shannon 3.1 10-15x দ্রুত মনে হয়
গতির সংখ্যাটি নিয়েই মানুষ প্রথমে প্রশ্ন করে, তাই এটি কোথা থেকে আসে সে বিষয়ে নির্দিষ্ট হওয়া দরকার। দুটি স্বতন্ত্র অবদান আছে, আর বড়টি দুটির মধ্যে কম চটকদার।
আমরা গতির বাধা সরিয়ে দিয়েছি
Shannon 3.0-এর আউটপুট একটি পেসিং স্তরের মধ্য দিয়ে যেত। টোকেন ইঞ্জিন ছাড়ত, ধরে রাখা হত, আর একটি সময়সূচি অনুযায়ী আপনার সংযোগে ছাড়া হত। এটি দুর্ঘটনা বা বাগ ছিল না। যখন একটি ভাগ করা ইনফারেন্স হোস্টই বাধা, তখন আউটপুট পেস করলে লোড মসৃণ হয়, একটি দীর্ঘ জেনারেশন একটি স্লট দখল করে রাখতে পারে না, আর স্ট্রিম ঝাঁকিতে না এসে একটি অনুমানযোগ্য, পাঠযোগ্য ছন্দে পৌঁছায়। এটি একটি যুক্তিসঙ্গত প্রকৌশল সিদ্ধান্ত, আর এতে প্রতিটি ব্যবহারকারীর প্রতিটি উত্তরে প্রকৃত সময় খরচ হত।
Shannon 3.1-এ কোনো গতির বাধা নেই এবং কোনো প্রকাশের পেসিং নেই। ইঞ্জিন যেমন টোকেন তৈরি করে তেমনই তা আপনার স্ট্রিমে লেখা হয়। ইঞ্জিন যদি দ্রুত জেনারেট করে, আপনি তা দ্রুত জেনারেট হতে দেখবেন। মডেল আর আপনার টার্মিনাল, আপনার চ্যাট উইন্ডো বা আপনার SSE রিডারের মাঝে কোনো স্মুদিং বাফার নেই। একটি দীর্ঘ উত্তরের জন্য — 2,000-টোকেনের বিশ্লেষণ, জেনারেট করা কোডের একটি ফাইল — আপনি যে উন্নতি লক্ষ্য করবেন তার সিংহভাগ শুধু এটিই ব্যাখ্যা করে।
একটি সৎ পরিণতি: স্ট্রিম এখন ঝাঁকিপূর্ণ। স্পেকুলেটিভ ডিকোডিং (নিচে) গৃহীত টোকেনগুলি ছোট সারিতে পাঠায়, তাই মেট্রোনোমের মতো একটি-শব্দ-একবারে ছন্দের বদলে লেখা দৃশ্যমান খণ্ডে আসতে পারে। আপনি যদি 3.0-এর মসৃণ ছন্দ ঘিরে UI বানিয়ে থাকেন, তা এখনও কাজ করবে — টোকেনের ক্রম ও বিষয়বস্তু অপরিবর্তিত — তবে টাইপরাইটারের চেহারা পছন্দ হলে আপনি নিজের ক্লায়েন্ট-সাইড ইজিং ফিরিয়ে আনতে চাইতে পারেন। আমাদের ধারণা, বেশিরভাগ মানুষ বরং সেকেন্ডগুলি ফেরত পেতে চাইবেন।
ইঞ্জিন নিজেই দ্রুততর হয়েছে
বাধা সরানো তখনই কাজে লাগে যখন বাধার পিছনে যা আছে তা দ্রুত। দ্বিতীয় অবদানটি হল 03 নম্বর অংশে বর্ণিত সার্ভিং স্ট্যাক: আমাদের নিজস্ব ক্লাস্টারের বর্তমান-প্রজন্মের, FP4-নেটিভ অ্যাক্সিলারেটরে 4-বিট NVFP4 ওজন এবং স্পেকুলেটিভ ডিকোডিং। একসঙ্গে এগুলি সেই সীমা উঁচু করে যা বাধা সরানোর ফলে উন্মোচিত হয়।
আপেক্ষিক প্রান্ত-থেকে-প্রান্ত উত্তরের লেটেন্সি, Shannon Lab-এর অভ্যন্তরীণ মূল্যায়ন, সেপ্টেম্বর 2026। পরিসরটি প্রম্পটের দৈর্ঘ্য ও স্তরকে প্রতিফলিত করে: Lite-এ ছোট প্রম্পট নিচের প্রান্তের কাছে, Pro-তে দীর্ঘ জেনারেশন উপরের প্রান্তের কাছে।
03স্পেকুলেটিভ ডিকোডিং আসলে কী করে
"স্পেকুলেটিভ ডিকোডিং ইনফারেন্স" কথাটি বিপণনের শব্দ হিসেবে ব্যবহৃত হয়, তাই এখানে যন্ত্রকৌশলটি সরাসরি বলা হল।
একটি ভাষা মডেল স্বাভাবিকভাবে প্রতি ফরওয়ার্ড পাসে একটি টোকেন তৈরি করে। সেই পাসে প্রধান খরচ গণিত নয়, বরং মেমরি ব্যান্ডউইথ — কিছু গণনা করতে হলে ওজনগুলি পড়তে হয়, আর সেগুলি পড়তে গণিতের চেয়ে অনেক বেশি সময় লাগে। GPU তার বেশিরভাগ সময় মেমরির অপেক্ষায় কাটায় আর তার কম্পিউট ইউনিট বসে থাকে। 500 টোকেন তৈরি করার মানে সেই লেটেন্সি 500 বার, ক্রমান্বয়ে দেওয়া।
স্পেকুলেটিভ ডিকোডিং ক্রমিক অংশটিকে আক্রমণ করে। একটি ছোট, সস্তা খসড়া মডেল সম্ভাব্য পরবর্তী টোকেনের একটি ছোট সারি প্রস্তাব করে — ধরুন চার বা আট। মূল মডেল তারপর সেই পুরো সারিটি একটি ব্যাচড ফরওয়ার্ড পাসে মূল্যায়ন করে, যার খরচ একটি টোকেন মূল্যায়নের চেয়ে সামান্যই বেশি, কারণ ব্যয়বহুল অংশটি (ওজন পড়া) যেভাবেই হোক একবারই ঘটে। মূল মডেল প্রস্তাবিত যে টোকেনগুলির সঙ্গে একমত হয় সেগুলি গৃহীত হয় ও সঙ্গে সঙ্গে পাঠানো হয়। প্রথম অমিলেই সারিটি কেটে দেওয়া হয় আর সেখান থেকে স্বাভাবিক ডিকোডিং আবার শুরু হয়।
যে বৈশিষ্ট্যটি গুরুত্বপূর্ণ
স্পেকুলেটিভ ডিকোডিং আউটপুট-সংরক্ষণকারী। যাচাই ধাপটি এমনভাবে গঠিত যে গৃহীত অনুক্রমের বণ্টন হুবহু সেটাই যা মূল মডেলের নিজস্ব স্যাম্পলিংয়ে হত। আপনি খসড়া মডেলের উত্তর পাচ্ছেন না, আর বড় মডেলের উত্তরের কোনো আনুমানিক রূপও পাচ্ছেন না। আপনি মূল মডেলেরই আউটপুট পাচ্ছেন, কেবল কম ক্রমিক ধাপে পৌঁছানো। খসড়া মডেল কেবল গতিতে প্রভাব ফেলতে পারে, বিষয়বস্তুতে কখনও নয়।
গ্রহণের হারই আসল কাজ করে। অনুমানযোগ্য লেখায় — বয়লারপ্লেট, কোডের কাঠামো, একটি যুক্তির সংযোগকারী অংশ — খসড়া মডেল ভালো অনুমান করে আর দীর্ঘ সারি একবারেই ঢুকে যায়। সত্যিকারের কঠিন টোকেনে গ্রহণের হার কমে আর ব্যবস্থাটি সুন্দরভাবে সাধারণ একটি-একটি-টোকেন ডিকোডিংয়ে ফিরে যায়। এই অসমতাই কাম্য: এটি সহজ অংশগুলিকে ত্বরান্বিত করে আর কঠিন অংশগুলিতে হাত দেয় না।
কেন 4-বিট ওজন একই অনুচ্ছেদে থাকে
যেহেতু বাধাটি মেমরি ব্যান্ডউইথ, ওজন ছোট করা কেবল মেমরির জায়গা নয়, সরাসরি গতিরও একটি লিভার। NVFP4 হল একটি 4-বিট ফ্লোটিং-পয়েন্ট ফরম্যাট যাতে সূক্ষ্ম প্রতি-ব্লক স্কেলিং আছে, আর সেটিই তাকে সেই নির্ভুলতা ধরে রাখতে দেয় যা পুরোনো 4-বিট ইন্টিজার কোয়ান্টাইজেশন হারিয়ে ফেলত। প্রতি ফরওয়ার্ড পাসে মোটামুটি এক-চতুর্থাংশ বাইট পড়া মানে মেমরির জন্য আনুপাতিকভাবে কম অপেক্ষা, আর 196K উইন্ডোর জন্য প্রয়োজনীয় দীর্ঘ-প্রসঙ্গ KV ক্যাশের জন্য অনেক বেশি জায়গা থাকে।
দুটি কেবল যোগ হয় না, গুণিত হয়: প্রতি পাসে কম বাইট, আর প্রতি প্রেরিত টোকেনে কম পাস। এটিই বাধাহীন, পূর্ণ-গতির স্ট্রিমিংকে পরিবেশন করার মতো সাশ্রয়ী করে তোলে, এমন খরচ নয় যা পেসিং দিয়ে পুষিয়ে নিতে হবে — আর 3.0-তে পেসিং স্তর ঠিক সেটাই করছিল।
04196,608 টোকেন: 6 গুণ উইন্ডো কী খুলে দেয়
Shannon 3.0-এর ছিল 32,768-টোকেনের উইন্ডো: একটি কাজের সেশন, কোনো নথি নয়। মোটামুটি 70-80 পৃষ্ঠা গদ্য, তা থেকে বাদ যায় যুক্তি লুপ নিজের চিন্তার জন্য যা খরচ করে, বাদ যায় আপনার সিস্টেম প্রম্পট, বাদ যায় এ পর্যন্তের কথোপকথন। প্রকৃত কাজ প্রতিনিয়ত সেই দেয়ালে ধাক্কা খেত, আর সমাধানগুলি — চাংকিং, সারসংক্ষেপ, নিজের উপাদানের উপর রিট্রিভাল — সবই সেই জিনিসটিকে ক্ষয় করে যা আপনি রক্ষা করতে চাইছিলেন। 196,608 টোকেন সম্পূর্ণ ভিন্ন শ্রেণির সমস্যা।
বাস্তবে এটি মোটামুটি 400-500 পৃষ্ঠা ইংরেজি লেখা, বা একটি মাঝারি আকারের কোডবেস তার টেস্ট ও README সহ, বা একটি প্রকল্পের এক বছরের সভার নোট, বা সমস্ত সংযুক্তিসহ একটি পূর্ণ চুক্তিসেট — একটি কথোপকথনে ধরে রাখা, একটি প্রশ্নে সম্বোধনযোগ্য, আপনার আর উপাদানের মাঝে কোনো চাংকিং স্তর ছাড়াই।
- পুরো রিপোজিটরি নিয়ে প্রশ্ন। কোড লোড করুন আর জিজ্ঞাসা করুন কেন একটি বাগ প্রোডাকশনে পৌঁছায়, আপনি যে তিনটি ফাইল সন্দেহ করেছিলেন কেবল সেগুলি পেস্ট করার বদলে। মডেলটি সেই ফাইলটিও খুঁজে পেতে পারে যা আপনি অন্তর্ভুক্ত করার কথা ভাবেননি।
- রিট্রিভাল ছাড়াই দীর্ঘ নথি বিশ্লেষণ। রিট্রিভাল একটি ক্ষতিকর পূর্ব-ফিল্টার যা ঠিক করে দেয় মডেল কী দেখার অনুমতি পাবে। 196K-তে আপনি প্রায়ই তা এড়িয়ে মডেলকে সবকিছু পড়তে দিতে পারেন, যা সেই পুরো শ্রেণির ব্যর্থতা দূর করে যেখানে সঠিক অংশটি কখনও রিট্রিভই হয়নি।
- কথোপকথন যা সুসংগত থাকে। একটি দীর্ঘ কাজের সেশন আর নীরবে নিজের শুরুটা ফেলে দেয় না। তিন নম্বর বার্তায় আপনি যে শর্ত দিয়েছিলেন তা আশি নম্বর বার্তাতেও প্রযোজ্য থাকে।
- যুক্তি লুপের জন্য জায়গা। লুপের নিজের চিন্তা, খসড়া ও পর্যালোচনা প্রসঙ্গ খরচ করে। 3.0-তে সেই ধাপগুলি একটি দুষ্প্রাপ্য বাজেটের জন্য আপনার উপাদানের সঙ্গে প্রতিযোগিতা করত। 3.1-এ সেগুলি স্বচ্ছন্দে আঁটে, আর এ কারণেই গুণগত উন্নতি ও উইন্ডো বৃদ্ধি একসঙ্গে এসেছে।
- বড় মিশ্র ইনপুট। একটি টার্নে ছবি, নথি থেকে নেওয়া লেখা এবং কোড, কোনটি অন্তর্ভুক্ত করার সামর্থ্য আছে তা আগেভাগে বাছাই না করেই।
একটি সৎ সতর্কবার্তা যা প্রতিটি দীর্ঘ-প্রসঙ্গ মডেলের ক্ষেত্রে খাটে, আমাদেরটিসহ: বড় উইন্ডো একটি ধারণক্ষমতা, তার সর্বত্র সমান মনোযোগের নিশ্চয়তা নয়। কাঠামো এখনও সাহায্য করে। প্রশ্নটি শেষের দিকে রাখা, নথিগুলিতে লেবেল দেওয়া, আর মডেলকে কী খুঁজতে হবে তা বলা — এসব 150K টোকেনে মাপযোগ্যভাবে ফল উন্নত করে, যা 5K-তে করে না।
05Lite এবং Pro: shannon-3.1 ও shannon-3.1-pro
দুটি স্তর যুক্তি লুপের কতটা চালায় তাতেই আলাদা, আর দুটির মধ্যে বেছে নেওয়ার জন্য কেবল সেই পার্থক্যটিই গুরুত্বপূর্ণ।
| shannon-3.1 (Lite) | shannon-3.1-pro (Pro) | |
|---|---|---|
| যুক্তি | একক পাস | পূর্ণ লুপ + জ্ঞান-সংগ্রহ |
| স্ব-পর্যালোচনা | না | হ্যাঁ |
| প্রসঙ্গ উইন্ডো | 196,608 | 196,608 |
| স্ট্রিমিং | পূর্ণ গতি, বাধাহীন | পূর্ণ গতি, বাধাহীন |
| ভিশন ও নথি | হ্যাঁ | হ্যাঁ |
| ছবি তৈরির টুল | হ্যাঁ | হ্যাঁ |
| কীসের জন্য সেরা | বেশিরভাগ কাজ, উচ্চ পরিমাণ | কঠিন প্রশ্ন, প্রথম খসড়া যথেষ্ট নয় |
ডিফল্ট হিসেবে Lite ব্যবহার করুন। একটি ভালো যুক্তি মডেলের একটি পাসই প্রকৃত অনুরোধের বিপুল সংখ্যাগরিষ্ঠ অংশ সামলায়, আর 3.1-এ তা যথেষ্ট দ্রুত যে লুপের জন্য অপেক্ষা আর টের পাওয়া যায় না। Pro-এর দিকে হাত বাড়ান যখন প্রশ্নটি এমন যেখানে প্রথম উত্তর সাধারণত শিক্ষণীয়ভাবে ভুল হয়: স্থাপত্যগত সমঝোতা, প্রতিপক্ষমূলক বিশ্লেষণ, এমন যেকোনো কিছু যেখানে আপনি চাইতেন একজন দক্ষ সহকর্মী এক রাত ভেবে দেখুন। Pro-এর স্ব-পর্যালোচনা ধাপ কোনো অলঙ্করণ নয় — আপনাকে করতে হওয়ার আগেই মডেল নিজের ভুল খুঁজে বের করে।
0632% বুদ্ধিমত্তা বৃদ্ধি, এবং তা কীভাবে পড়বেন
Shannon Lab-এর নিজস্ব মূল্যায়ন Shannon 3.1-কে Shannon 3.0-এর তুলনায় বুদ্ধিমত্তায় 32% উন্নতিতে রাখে। সেটি কী এবং কী নয় সে বিষয়ে আমরা স্পষ্ট থাকতে চাই।
এটি আমাদের সংখ্যা, আমাদের অভ্যন্তরীণ মূল্যায়ন স্যুট থেকে, এমন কাজে মাপা যেগুলিকে আমরা মনে করি মানুষ আসলে এই মডেলগুলিতে যা নিয়ে আসে তার প্রতিনিধিত্বমূলক। এটি কোনো তৃতীয় পক্ষের বেঞ্চমার্ক নয়, আর আমরা একটি একক অভ্যন্তরীণ সমষ্টিকে ঘিরে লিডারবোর্ড টেবিল বানাচ্ছি না বা প্রতি-বেঞ্চমার্ক বিভাজন প্রকাশ করছি না — একটি বিভাজন এমন বাহ্যিক তুলনাযোগ্যতার ইঙ্গিত দেয় যা একটি অভ্যন্তরীণ স্যুটের নেই।
আমরা যা বলব তা হল বৃদ্ধিটি কোথা থেকে আসে, কারণ সেই অংশটি রহস্যময় নয়। বড় প্রসঙ্গ উইন্ডো মানে মডেল যুক্তি করার আগে কম উপাদান ফেলে দিতে হয়, আর দীর্ঘ সেশনে আপাত অবুদ্ধিমত্তার অনেকটাই আসলে স্মৃতিভ্রংশ। আমাদের নিয়ন্ত্রণে থাকা একটি সার্ভিং স্ট্যাক মানে মডেলটি হোস্টের ডিফল্টের বদলে আমাদের অভিপ্রেত কনফিগারেশনে চলে। আর যুক্তি লুপ — নকশায় অপরিবর্তিত — এখন উইন্ডোর ভিতরে সত্যিই চলার জায়গা পায়, আপনার ইনপুটের সঙ্গে ভাগ করা 32K সীমার বিপরীতে চাপা পড়ার বদলে।
আপনার জন্য সবচেয়ে কাজের বেঞ্চমার্ক আপনার নিজেরটিই। আপনার প্রকৃত কাজ থেকে একটি প্রম্পট নিন — কোনো ধাঁধা নয়, সত্যিকারের একটি — আর তা shannon-3-এ, তারপর shannon-3.1-এ চালান। উত্তরগুলি তুলনা করুন, আর সময় মাপুন। আমাদের সংখ্যা একটি স্যুট জুড়ে গড় বর্ণনা করে; আপনার প্রম্পটটিই সেটি যাকে ভালো হতে হবে।
07ভিশন, নথি এবং ছবি তৈরি
Shannon 3.1 ছবি ও নথি পড়ে। স্ক্রিনশট, ডায়াগ্রাম, ছবি, স্ক্যান করা পৃষ্ঠা, PDF ও টেক্সট নথি কথোপকথনে দেওয়া যায় এবং বাকি সবকিছুর পাশাপাশি সেগুলি নিয়ে যুক্তি করা যায়। 196K উইন্ডোর সঙ্গে মিলিয়ে এটিই পুরো-নথি কর্মপ্রবাহকে ব্যবহারযোগ্য করে: একটি দীর্ঘ প্রতিবেদন ও তার চার্ট এক টার্নে, মডেল কোন পৃষ্ঠাগুলি দেখার অনুমতি পাবে তা আগেভাগে ঠিক না করেই।
চ্যাটে টুল হিসেবে ছবি তৈরি ও সম্পাদনা পাওয়া যায়। একটি ছবি চান, আর মডেল সেই একই কথোপকথনে, এ পর্যন্ত আলোচিত সবকিছুর প্রসঙ্গসহ, ইনলাইনে টুলটি কল করে। সম্পাদনাও একইভাবে কাজ করে — একটি ছবি দিন, পরিবর্তনটি বর্ণনা করুন। এর জন্য আলাদা কোনো মোডে যেতে হয় না, আলাদা কোনো ইন্টারফেসও শিখতে হয় না।
08API থেকে Shannon 3.1 কল করা
Shannon 3.1 তিনটি API ডায়ালেক্টেই পাওয়া যায়, প্রতিটিতেই স্ট্রিমিংসহ। একই মডেল, তিনটি রিকোয়েস্ট আকৃতি — আপনার কাছে ইতিমধ্যে যে SDK আছে তার সঙ্গে যেটি মেলে সেটি বাছুন।
| এন্ডপয়েন্ট | আকৃতি | স্ট্রিমিং |
|---|---|---|
| /v1/chat/completions | OpenAI-সামঞ্জস্যপূর্ণ | হ্যাঁ |
| /v1/messages | Anthropic-সামঞ্জস্যপূর্ণ | হ্যাঁ |
| /v1/responses | Responses | হ্যাঁ |
{
"model": "shannon-3.1",
"stream": true,
"messages": [
{ "role": "user", "content": "Summarize this contract set and flag anything unusual." }
]
}পূর্ণ যুক্তি লুপ চালাতে "shannon-3.1"-এর জায়গায় "shannon-3.1-pro" বসান। আপনি যদি ইতিমধ্যে shannon-3 কল করে থাকেন, মাইগ্রেশন মানে কেবল মডেল আইডি, আর কিছুই নয়: রিকোয়েস্ট ও রেসপন্সের আকৃতি অপরিবর্তিত, আর বিদ্যমান স্ট্রিমিং ক্লায়েন্ট কাজ করতেই থাকে। আচরণে একটিই পার্থক্য আশা করবেন, তা হল 02 নম্বর অংশে বর্ণিত ঝাঁকিপূর্ণ স্ট্রিম — একই টোকেন, একই ক্রম, তবে আগে ও কম সমান খণ্ডে আসছে।
পূর্ণ প্যারামিটার রেফারেন্স, প্রমাণীকরণ, ত্রুটির অর্থ এবং একটি ইন্টারেক্টিভ প্লেগ্রাউন্ড আছে API ডকুমেন্টেশনে। অন্যান্য মডেল কার্ড ও কারিগরি লেখা আছে Shannon research-এ।
09এখনও আনসেন্সরড, এবং সেদিক থেকে অপরিবর্তিত
Shannon 3.1-এ কোনো প্রত্যাখ্যান স্তর নেই এবং আউটপুটে কোনো কনটেন্ট ফিল্টারিং নেই। এটি Shannon লাইনের বাকি অংশের মতোই একই অবস্থান আর আমাদের নিজস্ব ক্লাস্টারে সরে আসাতেও তা বদলায়নি — বরং সার্ভিং স্ট্যাক নিয়ন্ত্রণ করা এটির নিশ্চয়তা দেওয়া সহজ করে, কারণ মডেল ও আপনার মাঝে নিজস্ব নীতিসহ কোনো মধ্যবর্তী হোস্ট বসে নেই।
স্পষ্ট করে বলা দরকার, কারণ পুরো আউটপুট পথ বদলে দেওয়া একটি রিলিজ সম্পর্কে এটাই সবচেয়ে স্বাভাবিক প্রশ্ন: পেসিং স্তর সরানোর মানে তার জায়গায় একটি মডারেশন স্তর বসানো নয়। কিছুই স্ট্রিম পরিদর্শন, পুনর্লিখন বা নিয়ন্ত্রণ করে না। মডেল যা তৈরি করে তাই পৌঁছায়। আমাদের জানামতে, এই আকারের প্রসঙ্গ উইন্ডোসহ Shannon 3.1-ই সবচেয়ে দ্রুত আনসেন্সরড AI মডেল — আর দুটি বৈশিষ্ট্য সম্পর্কিত, কারণ দুটিই আসে অন্য কারও কাছ থেকে কমপ্লায়েন্স-আকৃতির সক্ষমতা ভাড়া নেওয়ার বদলে নিজেদের অবকাঠামো চালানো থেকে।
আনসেন্সরড মানে জবাবদিহিহীন নয়। ব্যবহার পরিচালিত হয় আমাদের দায়িত্বশীল ব্যবহার নীতি দ্বারা, আর যে মডেল কঠিন বিষয়েও কাজ করবে তার সঙ্গে যে দায়িত্ব আসে তা হল আপনি তার সঙ্গে দায়িত্বশীলভাবে কাজ করবেন।
10তুলনাটি নিজেই চালিয়ে দেখুন
এখানকার প্রতিটি দাবি প্রায় দুই মিনিটে যাচাইযোগ্য, আর আমাদের বিশ্বাস করার চেয়ে আপনি যাচাই করলেই আমরা বেশি খুশি।
- আপনি সত্যিই যে কাজ করেন সেখান থেকে একটি প্রম্পট বাছুন। দীর্ঘ হলে ভালো — তাতে উইন্ডো ও স্ট্রিমিং দুটিই পরীক্ষা হয়।
- সেটি
shannon-3-এ চালান। প্রথম টোকেন আসতে কত সময় লাগে, আর উত্তর শেষ হতে কত সময় লাগে তা লিখে রাখুন। - একই প্রম্পট
shannon-3.1-এ চালান। একই দুটি সংখ্যা লিখে রাখুন। - তারপর ঘড়ি ভুলে দুটি উত্তরই পড়ুন, আর ঠিক করুন কোনটি আপনি চাইতেন।
গতির পার্থক্য সঙ্গে সঙ্গেই স্পষ্ট হবে। গুণের পার্থক্যটিই নিয়ে ভাবার মতো — তা সবচেয়ে পরিষ্কারভাবে দেখা যায় দীর্ঘ ইনপুটে, যেখানে 3.0 নীরবে আপনার উপাদানের আপনি যা ভেবেছিলেন তার চেয়ে কম অংশ নিয়ে কাজ করছিল।
11সচরাচর জিজ্ঞাস্য প্রশ্ন
Shannon 3.1 কী?
Shannon 3.1 হল Shannon 3 পরিবারের বর্তমান রিলিজ। এটি সেই একই পুনরাবৃত্তিমূলক যুক্তি লুপ ধরে রাখে — ভাবা, খসড়া করা, নিজের কাজ পর্যালোচনা করা, উন্নত করা — কিন্তু তা কোনো তৃতীয় পক্ষের ইনফারেন্স হোস্টের বদলে নেটিভভাবে আমাদের নিজস্ব GPU ক্লাস্টারে চালায়। Shannon Lab-এর নিজস্ব মূল্যায়নে Shannon 3.0-এর তুলনায় বুদ্ধিমত্তায় 32% উন্নতি এবং 10-15x দ্রুত উত্তর মাপা হয়েছে, আর প্রসঙ্গ উইন্ডো 32,768 থেকে বেড়ে হয়েছে 196,608 টোকেন।
Shannon 3.1 কতটা দ্রুত Shannon 3.0-এর চেয়ে?
Shannon Lab-এর নিজস্ব মূল্যায়ন অনুযায়ী প্রান্ত-থেকে-প্রান্ত উত্তরে 10x থেকে 15x দ্রুত। এর পিছনে দুটি কারণ। Shannon 3.0-এর আউটপুট এমন একটি পেসিং স্তরের মধ্য দিয়ে যেত যা ইচ্ছাকৃতভাবে স্ট্রিমের হার সীমিত করত; Shannon 3.1-এ কোনো গতির বাধা বা প্রকাশের পেসিং নেই, তাই ইঞ্জিন যত দ্রুত টোকেন তৈরি করে ততই দ্রুত তা আপনার কাছে পৌঁছায়। ইঞ্জিন নিজেও দ্রুততর: আমাদের নিজস্ব GPU ক্লাস্টারে 4-বিট NVFP4 ওজন এবং স্পেকুলেটিভ ডিকোডিং।
Shannon 3.1-এর প্রসঙ্গ উইন্ডো কত বড়?
196,608 টোকেন, Shannon 3.0-এ থাকা 32,768 টোকেনের তুলনায় 6 গুণ বৃদ্ধি। এটি মোটামুটি 400-500 পৃষ্ঠা লেখা, বা একটি মাঝারি আকারের কোডবেস, যা কোনো চাংকিং বা রিট্রিভাল ছাড়াই একটি একক কথোপকথনে ধরে রাখা যায়।
স্পেকুলেটিভ ডিকোডিং কী এবং এখানে তা কেন গুরুত্বপূর্ণ?
একটি ছোট, দ্রুত খসড়া মডেল সম্ভাব্য পরবর্তী টোকেনের একটি সারি প্রস্তাব করে এবং মূল মডেল সেগুলি একটি একক ব্যাচড পাসে যাচাই করে। গৃহীত টোকেনগুলি সঙ্গে সঙ্গে পাঠানো হয়; প্রত্যাখ্যাত হলে স্বাভাবিক ডিকোডিংয়ে ফিরে যায়। আউটপুট ঠিক তা-ই যা মূল মডেল নিজে থেকেই তৈরি করত, কিন্তু প্রতি যাচাই ধাপে একটির বদলে কয়েকটি টোকেন আসতে পারে। এটিই পূর্ণ গতিতে স্ট্রিমিংকে খরচের সমস্যা না বানিয়ে সাশ্রয়ী করে তোলে।
Shannon 3.1 কি আনসেন্সরড?
হ্যাঁ। Shannon 3.1-এ কোনো প্রত্যাখ্যান স্তর নেই এবং আউটপুটে কোনো কনটেন্ট ফিল্টারিং প্রয়োগ করা হয় না, ঠিক Shannon লাইনের বাকি অংশের মতোই। পেসিং স্তর সরিয়ে দেওয়ার মানে তার জায়গায় কোনো মডারেশন স্তর যোগ করা হয়নি — আপনি যে স্ট্রিম পান তা মডেলেরই আউটপুট।
মডেল আইডি কী কী এবং আমি কোথায় Shannon 3.1 ব্যবহার করতে পারি?
shannon-3.1 হল Lite স্তর এবং shannon-3.1-pro হল Pro স্তর। দুটিই চ্যাটে এবং তিনটি API ডায়ালেক্টেই পাওয়া যায়: /v1/chat/completions (OpenAI-আকৃতির), /v1/messages (Anthropic-আকৃতির), এবং /v1/responses। তিনটিতেই স্ট্রিমিং কাজ করে।
shannon-3.1 এবং shannon-3.1-pro-এর মধ্যে পার্থক্য কী?
Lite যুক্তি লুপের একটি মাত্র পাস চালায়: এটি ভাবে, তারপর উত্তর দেয়। Pro পূর্ণ লুপ চালায় — ভাবা, খসড়া করা, নিজের কাজ পর্যালোচনা করা, উন্নত করা — খসড়া করার আগে একটি জ্ঞান-সংগ্রহ ধাপসহ। বেশিরভাগ কাজের জন্য Lite-ই সঠিক ডিফল্ট; Pro সেইসব প্রশ্নের জন্য যেখানে প্রথম উত্তরটি সাধারণত সেরা উত্তর নয়।
Shannon 3.1 ব্যবহার করে দেখুন
একই যুক্তি লুপ। ছয় গুণ উইন্ডো। কোনো গতির বাধা নেই।
চ্যাট শুরু করুন API ডকুমেন্টেশন পড়ুনshannon-3.1 · shannon-3.1-pro · তিনটি ডায়ালেক্টেই স্ট্রিমিং
এই নিবন্ধের কর্মক্ষমতা ও বুদ্ধিমত্তার সংখ্যাগুলি Shannon Lab-এর নিজস্ব অভ্যন্তরীণ মূল্যায়নের পরিমাপ, সেপ্টেম্বর 2026, এবং তৃতীয় পক্ষের বেঞ্চমার্ক ফলাফল নয়, পণ্যের সংখ্যা হিসেবেই উল্লিখিত। প্রসঙ্গ উইন্ডো, মডেল আইডি ও API প্রাপ্যতা পণ্যের স্পেসিফিকেশন। Shannon AI পরিচালিত হয় Shannon Lab LLC, নিউ মেক্সিকো, USA দ্বারা। সম্পর্কিত পাঠ: Shannon 3 · Shannon research সূচি · API ডকুমেন্টেশন।