Shannon 3.1

Ихэнх загварын танилцуулга танаас чадварын мэдэгдлийг итгэлээр хүлээж авахыг, дараа нь маргааныг таслах жишиг тестийн хүснэгтийг хүлээхийг шаарддаг. Энэ удаагийнхыг шалгахад амархан: хоёр таб нээж, ижил өгүүлбэрийг shannon-3 болон shannon-3.1 руу оруулаад ажигла. Хариулт хэр хурдан ирж байгаа ялгаа нь бага зэргийн биш бөгөөд дүрслэлийн заль ч биш. Shannon 3.0 зориудаар хязгаарлагдсан байсан. Shannon 3.1 тийм биш.

01Shannon 3.1-д яг юу өөрчлөгдсөн бэ

Shannon 3.0 нь энэ гэр бүлийг тодорхойлдог зүйлийг буюу давтан үндэслэх давталт-ыг нэвтрүүлсэн. Загвар анхны бодлоороо хариулдаггүй. Тэр сэтгэж, ноорог бичиж, өөрийн ноорогоо асуултын эсрэг хянаж, дараа нь сайжруулдаг. Lite тэр давталтыг нэг удаа гүйцэтгэдэг; Pro нь ноорог бичихийн өмнөх мэдлэг хураах алхмыг оруулаад бүтэн давталтыг гүйцэтгэнэ. Энэ бүтцийг Shannon 3-ын судалгааны нийтлэл-д дэлгэрэнгүй тайлбарласан бөгөөд 3.1-д түүнээс юу ч өөрчлөгдөөгүй.

Өөрчлөгдсөн зүйл бол доор нь байгаа механизм. Shannon 3.0 нь гуравдагч талын инференс хостоор дамжин үйлчилдэг байсан — загвар гаргахад ухаалаг арга, харин түүнийг ажиллуулахад хязгаарлагдмал арга. Та өөр хүний үйлчилгээний тохиргоо, өөр хүний дараалал, өөр хүний контекстийн дээд хязгаар, секундэд хэдэн токен авахыг зөвшөөрөх талаарх өөр хүний бодлыг өвлөнө. Shannon 3.1 нь бидний өөрсдийн GPU кластер дээр, бидний өөрсдөө тохируулсан үйлчилгээний стек дээр ажиллах бөгөөд энэ нийтлэл дэх бүх гол тоо тэр ганц шийдвэрээс урган гардаг.

	Shannon 3.0	Shannon 3.1
Хаана ажилладаг	Гуравдагч талын хост	Бидний өөрсдийн GPU кластер
Контекст цонх	32,768	196,608
Гаралтын стриминг	Хэмнэлтэй / хязгаарлагдсан	Хөдөлгүүрийн бүрэн хурд
Жингүүд	Хостын анхдагч	4 битийн NVFP4
Декодчилол	Стандарт	Спекулятив
Үндэслэх давталт	Сэтгэх → ноорог → хяналт → сайжруулалт	Өөрчлөгдөөгүй
Татгалзах давхарга	Байхгүй	Байхгүй
Загварын id-ууд	shannon-3, shannon-3-pro	shannon-3.1, shannon-3.1-pro

02Shannon 3.1 яагаад 10-15 дахин хурдан мэдрэгддэг вэ

Хурдны тоо бол хүмүүсийн хамгийн түрүүнд асуудаг зүйл тул энэ нь хаанаас гарч байгааг нарийн хэлэх нь зүйтэй. Бие даасан хоёр хувь нэмэр байгаа бөгөөд томоохон нь нь тэдгээрийн дундаас илүү энгийн нь юм.

Бид хурдны хаалтыг авсан

Shannon 3.0-ын гаралт хурд тохируулах давхарга-аар дамждаг байсан. Токенууд хөдөлгүүрээс гараад, барьцаалагдаж, дараа нь тодорхой хуваарийн дагуу таны холболт руу гаргагддаг байв. Энэ нь санамсаргүй зүйл ч биш, алдаа ч биш. Хуваалцсан инференс хост нь саад бол гаралтыг хэмнэлтэй болгох нь ачааллыг тэгшитгэж, урт үүсгэлтийг нэг байрыг эзэгнэхээс сэргийлж, урсгалыг тэсрэлтээр биш, урьдчилан таамаглах, уншихад тохиромжтой хэмнэлээр ирүүлдэг. Энэ бол хамгаалж болохуйц инженерийн сонголт байсан бөгөөд хариулт бүр дээр хэрэглэгч бүрийн бодит цагийг зарцуулж байлаа.

Shannon 3.1-д хурдны хаалт ч, харуулах хэмнэл ч байхгүй. Токенууд хөдөлгүүрийн үйлдвэрлэсэн даруйд таны урсгал руу бичигдэнэ. Хэрэв хөдөлгүүр хурдан үүсгэж байвал та түүнийг хурдан үүсгэж байгааг харна. Загвар болон таны терминал, чатын цонх, эсвэл SSE уншигчийн хооронд ямар ч тэгшитгэх буфер байхгүй. Урт хариулт — 2,000 токены шинжилгээ, эсвэл үүсгэсэн кодын файл — дээр ганцаараа энэ нь таны анзаарах сайжруулалтын дийлэнхийг эзэлнэ.

Шударга хэлэхэд үүний үр дагавар нь: урсгал одоо тэсрэлттэй. Спекулятив декодчилол (доор үзнэ үү) хүлээн авсан токенуудыг богино цувралаар гаргадаг тул текст нь метрономын нэг үг тутмын хэмнэлээр биш, харагдахуйц бөөнөөр ирж болно. Хэрэв та 3.0-ын жигд хэмнэлийг тойруулан UI бүтээсэн бол тэр нь ажилласаар байх болно — токенуудын дараалал ба агуулга өөрчлөгдөөгүй — гэхдээ бичгийн машины дүр төрхийг илүүд үзсэн бол клиент талдаа өөрийн зөөлрүүлэлтээ буцааж оруулж болно. Ихэнх хүн секундүүдээ буцааж авахыг илүүд үзнэ гэж бид боддог.

Хөдөлгүүр өөрөө ч хурдан болсон

Хаалтыг авах нь хаалтны цаана байгаа зүйл хурдан байж байж тустай. Хоёр дахь хувь нэмэр бол 03-р хэсэгт тайлбарласан үйлчилгээний стек: бидний өөрсдийн кластер дахь одоогийн үеийн, FP4-ийг уугуулаар дэмждэг хурдасгуур дээрх 4 битийн NVFP4 жин ба спекулятив декодчилол. Эдгээр хамтдаа хаалтыг авснаар ил гарсан таазыг өргөнө.

Хариултын бүрэн хугацааны харьцангуй үзүүлэлт, Shannon Lab-ын дотоод үнэлгээ, 2026 оны 9 сар. Хүрээ нь өгүүлбэрийн урт ба түвшнээс хамаарна: Lite дээрх богино өгүүлбэрүүд доод хязгаарт, Pro дээрх урт үүсгэлтүүд дээд хязгаарт ойр байна.

03Спекулятив декодчилол яг юу хийдэг вэ

"Спекулятив декодчилолтой инференс" гэдгийг маркетингийн үг болгон хэрэглэдэг тул энд түүний механизмыг энгийнээр тайлбарлая.

Хэлний загвар ердийн үед урагш дамжуулалт тутамд нэг токен үйлдвэрлэдэг. Тэр дамжуулалтыг арифметик биш, харин санах ойн зурвасын өргөн захирдаг — юу ч тооцоолохын тулд жингүүдийг унших ёстой бөгөөд тэдгээрийг унших нь математикаас хамаагүй удаан. GPU цагийнхаа ихэнхийг тооцоолох нэгжүүдээ сул орхин санах ойг хүлээж өнгөрөөдөг. 500 токен үүсгэнэ гэдэг тэр хүлээлтийг 500 удаа, дараалан төлнө гэсэн үг.

Спекулятив декодчилол нь тэр дараалсан хэсэгт довтолдог. Жижиг, хямд ноорог загвар нь дараагийн байх магадлалтай богино цуврал токеныг — жишээ нь дөрөв, найман ширхэгийг — санал болгоно. Дараа нь үндсэн загвар тэр бүхэл цувралыг нэг багц урагш дамжуулалтаар үнэлэх бөгөөд энэ нь нэг токен үнэлэхээс арай илүү зардалтай, учир нь үнэтэй хэсэг нь (жингүүдийг унших) аль ч тохиолдолд нэг л удаа болдог. Үндсэн загвар зөвшөөрсөн санал болгосон токен бүрийг хүлээн аваад тэр даруйд гаргана. Эхний зөрчилдөөн дээр цуврал таслагдаж, тэндээс энгийн декодчилол үргэлжилнэ.

Хүлээн авалтын хувь бүх ажлыг хийдэг. Урьдчилан таамаглахуйц текст дээр — загварчилсан хэсэг, кодын бүтэц, аргументыг холбогч холбоос — ноорог загвар сайн таамаглаж, урт цувралууд нэг дор буудаг. Үнэхээр хэцүү токенууд дээр хүлээн авалт буурч, систем эвтэйхэн доройтож энгийн нэг токен тутмын декодчилол руу буцна. Энэ тэгш бус байдал бол таны хүсдэг зүйл: амархан хэсгүүдийг хурдасгаж, хэцүү хэсгүүдэд хүрдэггүй.

Яагаад 4 битийн жингүүд яг энэ догол мөрөнд багтдаг вэ

Саад нь санах ойн зурвасын өргөн байдаг тул жингүүдийг багасгах нь зөвхөн санах ойн зайг хэмнэх бус, шууд хурдны хөшүүрэг болдог. NVFP4 бол блок тус бүрээр нарийвчлан масштаблагдах 4 битийн хөвөгч цэгийн формат бөгөөд өмнөх 4 битийн бүхэл тоон квантчилалын аргууд алддаг байсан нарийвчлалыг хадгалж чаддагийн учир нь энэ юм. Урагш дамжуулалт тутамд уншиж байгаа байтын дөрөвний нэг орчим болно гэдэг нь санах ойг хүлээх хугацаа мөн тэр хэрээр багасна гэсэн үг бөгөөд 196K цонхонд шаардлагатай урт контекстийн KV кэшэд хамаагүй илүү зай үлдээнэ.

Эдгээр хоёр нь зүгээр нэмэгдэхээс илүү үржиж нэгддэг: дамжуулалт тутамд цөөн байт, гарсан токен тутамд цөөн дамжуулалт. Яг энэ л хаалтгүй, бүрэн хурдны стримингийг хэмнэлээр буцааж нөхөх ёстой зардал биш, харин үйлчлэхэд боломжтой зүйл болгодог — тэр хурд тохируулах давхарга 3.0 дээр яг үүнийг л хийж байсан юм.

04196,608 токен: 6 дахин том цонх юуг нээж өгөх вэ

Shannon 3.0-д 32,768 токены цонх байсан: баримт бичиг биш, ажлын нэг суулт. Ойролцоогоор 70-80 хуудас зохиол, түүнээс үндэслэх давталт өөрийн сэтгэлгээндээ хэрэглэсэн хэсгийг хасаад, таны системийн заавар хасагдаад, өнөөг хүртэлх яриа хасагдана. Бодит ажил тэр ханад байнга мөргөж байсан бөгөөд тойрч гарах аргууд — хэсэгчлэх, хураангуйлах, өөрийнхөө материалаас хайж татах — бүгд яг таны хамгаалахыг оролдож байсан зүйлийг доройтуулдаг. 196,608 токен бол огт өөр ангиллын асуудал.

Тодорхой хэлбэл энэ нь ойролцоогоор 400-500 хуудас англи текст, эсвэл тестүүд ба README-тэйгээ дунд оврын кодын сан, эсвэл нэг төслийн нэг жилийн уулзалтын тэмдэглэл, эсвэл бүх хавсралттайгаа бүтэн гэрээний багц — нэг ярианд багтаж, нэг асуултаар хандаж, та болон материалын хооронд ямар ч хэсэгчлэх давхаргагүйгээр.

• Бүтэн репозитортой холбоотой асуултууд. Аль хэдийн сэжиглэсэн гурван файлаа буулгахын оронд кодоо ачаалаад алдаа яагаад продакшн хүртэл ирснийг асуу. Загвар таны оруулах гэж бодоогүй файлыг олж чадна.
• Хайж татахгүйгээр урт баримт бичгийн шинжилгээ. Хайж татах гэдэг бол загварт юуг харахыг зөвшөөрөхийг шийддэг, алдагдалтай урьдчилсан шүүлт юм. 196K дээр та үүнийг ихэвчлэн алгасаад загварыг бүгдийг унших боломжтой болгож чадна, ингэснээр зөв хэсэг нь хэзээ ч татагдаагүйгээс болсон бүхэл ангийн доголдол арилна.
• Уялдаагаа хадгалдаг яриа. Урт ажлын суулт цаашид өөрийнхөө эхлэлийг чимээгүйхэн хаядаггүй боллоо. Гурав дахь мессежид тавьсан хязгаарлалт наян дахь мессежид ч хүчинтэй хэвээр.
• Үндэслэх давталтад зориулсан зай. Давталтын өөрийн сэтгэлгээ, ноорог, хяналт нь контекст зарцуулдаг. 3.0 дээр эдгээр алхмууд таны материалтай хомс төсвийн төлөө өрсөлддөг байв. 3.1 дээр тэд тухтай багтдаг бөгөөд чанарын өсөлт ба цонхны томролт хамт ирсний нэг шалтгаан нь энэ юм.
• Том, холимог оролт. Зураг, задалсан баримт бичгийн текст, код бүгд нэг ээлжид — тэдгээрийн алийг нь оруулах боломжтойг эрэмбэлэх шаардлагагүйгээр.

Бидний загварыг оруулаад урт контексттэй бүх загварт хамаарах нэг шударга сануулга: том цонх бол багтаамж болохоос түүний туршид анхаарал жигд байхын баталгаа биш. Бүтэц нь одоо ч тусална. Асуултаа төгсгөлд нь ойрхон тавих, баримт бичгүүдээ тэмдэглэх, загварт юу хайхыг хэлж өгөх нь 150K токен дээр үр дүнг хэмжигдэхүйц сайжруулдаг бол 5K дээр огт тийм биш.

05Lite ба Pro: shannon-3.1 ба shannon-3.1-pro

Хоёр түвшин үндэслэх давталтын хэдийг гүйцэтгэдгээрээ ялгаатай бөгөөд хооронд нь сонгоход чухал цорын ганц ялгаа нь тэр юм.

	shannon-3.1 (Lite)	shannon-3.1-pro (Pro)
Үндэслэл	Нэг удаагийн гүйцэтгэл	Бүтэн давталт + мэдлэг хураалт
Өөрийгөө хянах	Үгүй	Тийм
Контекст цонх	196,608	196,608
Стриминг	Бүрэн хурд, хаалтгүй	Бүрэн хурд, хаалтгүй
Зураг ба баримт бичиг	Тийм	Тийм
Зураг үүсгэх хэрэгсэл	Тийм	Тийм
Хамгийн тохиромжтой нь	Ихэнх ажил, их хэмжээ	Хэцүү асуулт, эхний ноорог хангалтгүй үед

Анхдагчаар Lite ашигла. Сайн үндэслэдэг загварын нэг гүйцэтгэл бодит хүсэлтүүдийн дийлэнх олонхыг зохицуулдаг бөгөөд 3.1 дээр тэр нь хангалттай хурдан тул давталтыг хүлээж байгаагаа мэдрэхээ больно. Pro руу хандах хэрэгтэй үе бол эхний хариулт нь ихэвчлэн сургамжтай байдлаар буруу байдаг асуултууд: архитектурын буулт, дайсагнасан шинжилгээ, чадварлаг хамт олонтойгоо нэг шөнө бодуулмаар санагдах бүхэн. Pro-гийн өөрийгөө хянах алхам бол чимэглэл биш — тэр бол загвар өөрийн алдааг та олохоос өмнө өөрөө олж байгаа хэрэг.

0632%-ийн оюуны өсөлт ба түүнийг хэрхэн ойлгох вэ

Shannon Lab-ын өөрийн үнэлгээ Shannon 3.1-ийг Shannon 3.0-аас оюун ухаанаараа 32% сайжирсан гэж тогтоосон. Энэ нь юу болох, юу биш болохыг бид тодорхой хэлэхийг хүсэж байна.

Энэ бол бидний тоо, бидний дотоод үнэлгээний багцаас гарсан, хүмүүс эдгээр загварт бодитоор авчирдаг зүйлийг төлөөлнө гэж бидний үздэг даалгавруудаар хэмжигдсэн. Энэ нь гуравдагч талын жишиг тест биш бөгөөд бид ганц дотоод нэгтгэсэн үзүүлэлтийн эргэн тойронд чансааны хүснэгт барих ч, тест тус бүрийн задаргаа нийтлэх ч үгүй — задаргаа гэдэг нь дотоод багцад байдаггүй хэмжээний гадаад харьцуулах чадварыг илэрхийлдэг.

Харин бид тэр өсөлт хаанаас гарч байгааг хэлье, учир нь тэр хэсэг нь нууцлаг зүйл биш. Илүү том контекст цонх гэдэг нь загвар үндэслэхээсээ өмнө материалын багыг хаях ёстой гэсэн үг бөгөөд урт суултуудад ажиглагддаг ухаангүй мэт байдлын ихэнх нь үнэндээ зүгээр л мартамхай байдал юм. Бидний хянадаг үйлчилгээний стек гэдэг нь загвар хостын анхдагч тохиргоогоор биш, бидний зорьсон тохиргоогоор ажиллана гэсэн үг. Мөн үндэслэх давталт — бүтцээрээ өөрчлөгдөөгүй — одоо таны оролттой хуваалцдаг 32K-ийн тааз руу шахагдахын оронд цонх дотроо жинхэнэ ажиллах зайтай боллоо.

07Зураг, баримт бичиг, зураг үүсгэлт

Shannon 3.1 нь зураг ба баримт бичгийг уншина. Дэлгэцийн зураг, диаграм, гэрэл зураг, сканнердсан хуудас, PDF болон текст баримт бичгийг яриа руу оруулж, бусад бүхний хамт үндэслүүлж болно. 196K цонхтой хослуулбал энэ нь бүтэн баримт бичгийн ажлын урсгалыг практик болгодог: урт тайлан ба түүний график нэг ээлжид, аль хуудсыг харахыг загварт зөвшөөрөхийг урьдчилан шийдэх шаардлагагүйгээр.

Зураг үүсгэх ба засварлах нь чат дотор хэрэгсэл байдлаар боломжтой. Зураг гуй, тэгвэл загвар хүртэл ярилцсан бүхний контексттэйгээр, яг тэр ярианд, хэрэгслээ шууд дуудна. Засварлалт ч мөн адил ажиллана — зургаа өгөөд өөрчлөлтөө тайлбарла. Шилжиж ордог тусдаа горим ч байхгүй, сурах тусдаа интерфейс ч байхгүй.

08Shannon 3.1-ийг API-аас дуудах нь

Shannon 3.1 нь гурван API аялгуу дээр боломжтой, тус бүр дээр нь стримингтэй. Ижил загварууд, гурван хүсэлтийн хэлбэр — аль хэдийн ашиглаж байгаа SDK-д тохирохыг нь сонго.

Төгсгөлийн цэг	Хэлбэр	Стриминг
/v1/chat/completions	OpenAI-той нийцтэй	Тийм
/v1/messages	Anthropic-той нийцтэй	Тийм
/v1/responses	Responses	Тийм

{
  "model": "shannon-3.1",
  "stream": true,
  "messages": [
    { "role": "user", "content": "Summarize this contract set and flag anything unusual." }
  ]
}

Бүтэн үндэслэх давталтыг ажиллуулахын тулд "shannon-3.1"-ийг "shannon-3.1-pro"-оор солино. Хэрэв та аль хэдийн shannon-3 дуудаж байгаа бол шилжилт бол зөвхөн загварын id, өөр юу ч биш: хүсэлт ба хариултын хэлбэр өөрчлөгдөөгүй бөгөөд одоо байгаа стриминг клиентүүд ажилласаар байна. Хүлээх ёстой ганц зан төлөвийн ялгаа бол 02-р хэсэгт тайлбарласан илүү тэсрэлттэй урсгал — ижил токенууд, ижил дараалал, зүгээр л эрт бөгөөд жигд бус бөөнөөр ирнэ.

Параметрийн бүрэн лавлагаа, баталгаажуулалт, алдааны семантик болон интерактив тоглоомын талбар API баримт бичиг-т байна. Бусад загварын карт ба техникийн нийтлэлүүд Shannon research-д байна.

09Цензургүй хэвээр, энэ талаараа өөрчлөгдөөгүй

Shannon 3.1-д татгалзах давхарга байхгүй бөгөөд гаралт дээр контент шүүлт байхгүй. Энэ бол Shannon шугамын бусад загваруудтай ижил байр суурь бөгөөд бидний өөрсдийн кластер руу шилжсэнээр өөрчлөгдөөгүй — харин ч үйлчилгээний стекийг хянадаг болсноор баталгаажуулахад амархан болсон, учир нь загвар болон таны хооронд өөрийн бодлоготой завсрын хост байхгүй.

Бүх гаралтын замыг өөрчилсөн хувилбарын талаар хамгийн түрүүнд эргэлзэх зүйл нь энэ учраас үүнийг тодорхой хэлэх нь зүйтэй: хурд тохируулах давхаргыг авсан нь түүний оронд модерацийн давхарга оруулсан гэсэн үг биш. Юу ч урсгалыг шалгах, дахин бичих, хаах зүйл байхгүй. Загварын үйлдвэрлэсэн зүйл л ирнэ. Бидний мэдэж байгаагаар Shannon 3.1 бол ийм хэмжээний контекст цонхтой хамгийн хурдан цензургүй AI загвар юм — эдгээр хоёр шинж чанар нь хоорондоо холбоотой, учир нь хоёулаа өөр хэн нэгнээс дүрэм баримтлахаар хэлбэржүүлсэн хүчин чадал түрээслэхийн оронд өөрсдийн дэд бүтцээ ажиллуулснаас гарч ирдэг.

Цензургүй гэдэг нь хариуцлагагүй гэсэн үг биш. Хэрэглээг бидний Хариуцлагатай Хэрэглээний Бодлого зохицуулдаг бөгөөд хүнд материалтай харьцахаас татгалздаггүй загвартай хамт ирдэг үүрэг бол түүнтэй хариуцлагатай харьцах явдал юм.

10Харьцуулалтыг өөрөө хий

Энд байгаа бүх мэдэгдлийг хоёр орчим минутад шалгаж болно, бид та биднийг итгэхээс илүү шалгаасай гэж хүсэж байна.

1. Бодитоор хийдэг ажлаасаа нэг өгүүлбэр сонго. Урт нь дээр — тэр нь цонх ба стриминг хоёуланг нь сорино.
2. Түүнийг shannon-3 дээр ажиллуул. Эхний токен хүртэл хэр удсаныг, хариулт дуусах хүртэл хэр удсаныг тэмдэглэ.
3. Яг ижил өгүүлбэрийг shannon-3.1 дээр ажиллуул. Мөн тэр хоёр тоог тэмдэглэ.
4. Дараа нь цагийг үл тоон хоёр хариултыг уншиж, аль нь танд хэрэгтэй байсныг шийд.

Хурдны ялгаа шууд бөгөөд илэрхий байх болно. Харин чанарын ялгаа нь дээр удаан сууж бодох нь зүйтэй зүйл — тэр нь урт оролт дээр хамгийн тодорхой харагддаг бөгөөд яг тэнд 3.0 таны бодож байснаас бага материалтай чимээгүйхэн ажиллаж байсан.

11Түгээмэл асуултууд

---

Энэ нийтлэл дэх гүйцэтгэл ба оюун ухааны үзүүлэлтүүд нь Shannon Lab-ын дотоод үнэлгээнээс гарсан өөрсдийн хэмжилт (2026 оны 9 сар) бөгөөд гуравдагч талын жишиг тестийн үр дүн биш, бүтээгдэхүүний үзүүлэлт болгон танилцуулагдаж байна. Контекст цонх, загварын id-ууд ба API-ийн боломж нь бүтээгдэхүүний үзүүлэлтүүд юм. Shannon AI-г АНУ-ын Нью-Мексико мужид бүртгэлтэй Shannon Lab LLC ажиллуулдаг. Холбоотой унших материал: Shannon 3 · Shannon research индекс · API баримт бичиг.