Shannon 3.1

Повеќето изданија на модели бараат да поверуваш на збор во тврдењето за способноста и да чекаш табела со бенчмаркови да го разреши спорот. Ова е полесно за проверка: отвори два таба, стави го истиот промпт во shannon-3 и во shannon-3.1 и гледај. Разликата во тоа колку брзо пристигнува одговорот не е суптилна и не е трик во прикажувањето. Shannon 3.0 беше намерно забавен. Shannon 3.1 не е.

01Што всушност се смени во Shannon 3.1

Shannon 3.0 го воведе она што го дефинира ова семејство: итеративна јамка на расудување. Моделот не одговара на својата прва помисла. Тој размислува, скицира, ја прегледува сопствената скица наспроти прашањето и ја подобрува. Lite извршува едно поминување низ таа јамка; Pro ја извршува целата јамка, вклучувајќи чекор на собирање знаење пред да скицира. Тој дизајн е детално опишан во истражувачката статија за Shannon 3, и ништо од него не е сменето во 3.1.

Она што се смени е механиката под површината. Shannon 3.0 се послужуваше преку трето лице што хостира инференца — разумен начин да се лансира модел и ограничувачки начин да се води. Наследуваш туѓа конфигурација за послужување, туѓа редица, туѓ таван на контекстот и туѓа претстава за тоа колку токени во секунда ти се дозволени. Shannon 3.1 работи на сопствен GPU кластер, на стек за послужување што го конфигурираме ние, и секоја главна бројка во оваа статија произлегува од таа единствена одлука.

	Shannon 3.0	Shannon 3.1
Каде работи	Хост од трето лице	Сопствен GPU кластер
Контекстен прозорец	32,768	196,608
Стриминг на излезот	Темпиран / ограничен	Полна брзина на моторот
Тежини	Стандардни на хостот	4-битни NVFP4
Декодирање	Стандардно	Спекулативно
Јамка на расудување	Размисли → скицирај → прегледај → подобри	Непроменета
Слој за одбивање	Нема	Нема
Идентификатори на моделите	shannon-3, shannon-3-pro	shannon-3.1, shannon-3.1-pro

02Зошто Shannon 3.1 се чувствува 10-15x побрз

Бројката за брзината е првата што луѓето ја бараат, па вреди да бидеме прецизни за тоа од каде доаѓа. Постојат два независни придонеса, а поголемиот е помалку атрактивниот од двата.

Го отстранивме ограничувачот на брзина

Излезот на Shannon 3.0 минуваше низ слој за темпирање. Токените го напуштаа моторот, се задржуваа и се пуштаа кон твојата врска според распоред. Ова не беше случајност ниту грешка. Кога споделен хост за инференца е тесното грло, темпирањето на излезот го измазнува оптоварувањето, спречува едно долго генерирање да монополизира слот и прави потокот да пристигнува во предвидлив, читлив ритам наместо во налети. Тоа е инженерски одбранлив избор и на секој корисник му чинеше вистинско време на часовникот при секој одговор.

Shannon 3.1 нема ограничувач на брзина ниту темпирање на прикажувањето. Токените се запишуваат во твојот поток онака како што ги произведува моторот. Ако моторот генерира брзо, ти го гледаш како генерира брзо. Нема бафер за измазнување помеѓу моделот и твојот терминал, твојот прозорец за чет или твојот SSE читач. За долг одговор — анализа од 2,000 токени, датотека со генериран код — само ова го објаснува најголемиот дел од подобрувањето што ќе го забележиш.

Една искрена последица: потокот сега е во налети. Спекулативното декодирање (подолу) ги емитува прифатените токени во кратки низи, па текстот може да пристигне во видливи блокови наместо со метрономска каденца збор по збор. Ако си градел кориснички интерфејс околу мазната каденца на 3.0, тој сè уште ќе работи — редоследот и содржината на токените се непроменети — но можеби ќе сакаш повторно да воведеш сопствено измазнување на страна на клиентот ако повеќе ти се допаѓал изгледот на пишувачка машина. Мислиме дека повеќето луѓе повеќе би ги сакале секундите назад.

И самиот мотор стана побрз

Отстранувањето на ограничувачот помага само ако она што е зад него е брзо. Вториот придонес е стекот за послужување опишан во делот 03: 4-битни NVFP4 тежини и спекулативно декодирање на акцелератори од тековната генерација со родна FP4 поддршка во сопствениот кластер. Заедно тие го подигаат таванот што го открива отстранувањето на ограничувачот.

Релативна латентност на одговор од крај до крај, интерна евалуација на Shannon Lab, септември 2026 година. Опсегот ја одразува должината на промптот и нивото: кратките промпти на Lite се близу до долниот крај, долгите генерирања на Pro близу до горниот.

03Што всушност прави спекулативното декодирање

„Инференца со спекулативно декодирање“ се користи како маркетиншки збор, па еве го механизмот, едноставно кажано.

Јазичниот модел вообичаено произведува еден токен по едно поминување нанапред. Тоа поминување не го доминира аритметиката туку пропусноста на меморијата — тежините мора да се прочитаат за да се пресмета било што, а нивното читање трае далеку подолго од самата математика. GPU-то поголемиот дел од времето го поминува чекајќи ја меморијата со неактивни пресметковни единици. Генерирањето на 500 токени значи да се плати таа латентност 500 пати, секвенцијално.

Спекулативното декодирање го напаѓа секвенцијалниот дел. Мал, ефтин модел-скица предлага кратка низа од веројатни следни токени — да речеме четири или осум. Главниот модел потоа ја оценува целата таа низа во едно единствено групно поминување нанапред, што чини едвај повеќе отколку оценување на еден токен, бидејќи скапиот дел (читањето на тежините) се случува еднаш во двата случаја. Секој предложен токен со кој главниот модел се согласува се прифаќа и се емитува веднаш. При првото несогласување, низата се отсекува и оттаму продолжува нормалното декодирање.

Стапката на прифаќање ја врши работата. На предвидлив текст — шаблонски делови, структура на кодот, сврзното ткиво на еден аргумент — моделот-скица погодува добро и долги низи пристигнуваат одеднаш. На навистина тешки токени, прифаќањето паѓа и системот грациозно се враќа на обично декодирање токен по токен. Таа асиметрија е онаа што ја сакаш: ги забрзува лесните делови и не ги допира тешките.

Зошто 4-битните тежини спаѓаат во истиот пасус

Бидејќи тесното грло е пропусноста на меморијата, намалувањето на тежините е директна лост-рачка за брзина, а не само за меморискиот отпечаток. NVFP4 е 4-битен формат со подвижна запирка со фино скалирање по блок, што му овозможува да ја задржи точноста таму каде што постарите шеми за 4-битна целобројна квантизација ја губеа. Приближно четвртина од бајтите за читање по поминување нанапред значи пропорционално помалку време чекање на меморијата, а остава и далеку повеќе простор за KV кешот со долг контекст што го бара прозорец од 196K.

Двете се множат наместо само да се собираат: помалку бајти по поминување и помалку поминувања по емитуван токен. Тоа е она што прави неограничениот стриминг со полна брзина да биде исплатлив за послужување наместо трошок што би морале да го вратиме преку темпирање — што е токму она што го правеше слојот за темпирање на 3.0.

04196,608 токени: што отклучува прозорец 6x поголем

Shannon 3.0 имаше прозорец од 32,768 токени: работна сесија, не документ. Приближно 70-80 страници проза, минус тоа што јамката на расудување го троши за сопственото размислување, минус твојот системски промпт, минус разговорот досега. Вистинската работа постојано удираше во тој ѕид, а заобиколувањата — делење на парчиња, сумирање, пребарување низ сопствениот материјал — сите го деградираат токму она што сакаше да го зачуваш. 196,608 токени е поинаква категорија на проблем.

Конкретно, тоа е од редот на 400-500 страници текст на англиски, или средно голема база на код со нејзините тестови и README, или една година белешки од состаноци на еден проект, или целосен сет договори со сите прилози — држени во еден разговор, адресабилни со едно прашање, без слој за делење на парчиња помеѓу тебе и материјалот.

• Прашања за целото складиште. Вчитај го кодот и прашај зошто една грешка стигнува до продукција, наместо да ги лепиш трите датотеки што веќе ги сомничеше. Моделот може да ја најде датотеката за која не помисли да ја вклучиш.
• Анализа на долги документи без пребарување. Пребарувањето е предфилтер со загуби што одлучува што му е дозволено на моделот да види. На 196K често можеш да го прескокнеш и да му дозволиш на моделот да прочита сè, што отстранува цела класа откажувања каде што вистинскиот пасус никогаш не бил пронајден.
• Разговори што остануваат кохерентни. Долга работна сесија повеќе не го отфрла тивко сопствениот почеток. Ограничувањата што ги постави во третата порака сè уште важат во осумдесеттата.
• Простор за јамката на расудување. Сопственото размислување, скицирање и преглед на јамката трошат контекст. На 3.0 тие чекори се натпреваруваа со твојот материјал за оскуден буџет. На 3.1 се сместуваат удобно, што е дел од причината зошто добивката во квалитет и зголемувањето на прозорецот пристигнаа заедно.
• Големи мешани влезови. Слики, извлечен текст од документи и код во еден потег, без да одлучуваш кој од нив можеш да си дозволиш да го вклучиш.

Една искрена забелешка што важи за секој модел со долг контекст, вклучително и нашиот: голем прозорец е капацитет, а не гаранција за рамномерно внимание низ него. Структурата сè уште помага. Ставањето на прашањето близу до крајот, обележувањето на документите и кажувањето на моделот што да бара, сите мерливо ги подобруваат резултатите на 150K токени на начин на кој едноставно не го прават на 5K.

05Lite и Pro: shannon-3.1 и shannon-3.1-pro

Двете нивоа се разликуваат по тоа колку од јамката на расудување ја извршуваат, и тоа е единствената разлика што е важна при изборот помеѓу нив.

	shannon-3.1 (Lite)	shannon-3.1-pro (Pro)
Расудување	Едно поминување	Целосна јамка + собирање знаење
Самопреглед	Не	Да
Контекстен прозорец	196,608	196,608
Стриминг	Полна брзина, без ограничувач	Полна брзина, без ограничувач
Вид & документи	Да	Да
Алатка за генерирање слики	Да	Да
Најдобро за	Најголем дел од работата, голем обем	Тешки прашања, првата скица е недоволна

Користи Lite стандардно. Едно поминување низ добар модел за расудување го покрива големото мнозинство вистински барања, а на 3.1 е доволно брзо за јамката веќе да не биде нешто што го чувствуваш како чекање. Посегни по Pro кога прашањето е такво што првиот одговор обично е погрешен на поучен начин: архитектонски компромиси, адверсарна анализа, сè каде што би сакал компетентен колега да преспие врз тоа. Чекорот на самопреглед кај Pro не е декорација — тоа е моделот што ги наоѓа сопствените грешки пред тоа да мораш да го сториш ти.

06Добивката од 32% во интелигенцијата и како да се чита

Сопствената евалуација на Shannon Lab го става Shannon 3.1 на 32% подобрување во интелигенцијата во однос на Shannon 3.0. Сакаме да бидеме јасни што е тоа, а што не е.

Тоа е наша бројка, од нашиот интерен сет за евалуација, измерена на задачи што ги сметаме за репрезентативни за она што луѓето навистина им го носат на овие модели. Не е бенчмарк од трето лице и не градиме табела со ранг-листа околу една интерна збирна вредност ниту објавуваме разложување по бенчмарк — разложувањето подразбира ниво на надворешна споредливост што интерен сет го нема.

Она што ќе го кажеме е од каде доаѓа добивката, бидејќи тој дел не е мистерија. Поголем контекстен прозорец значи дека помалку материјал мора да се отфрли пред моделот да расудува врз него, а голем дел од привидната неинтелигенција во долги сесии всушност е само амнезија. Стек за послужување што го контролираме значи дека моделот работи со конфигурацијата што ние ја наменивме, а не со стандардната на хостот. А јамката на расудување — непроменета во дизајнот — сега има простор навистина да се одвива внатре во прозорецот наместо да се стиска наспроти таван од 32K што го делеше со твојот влез.

07Вид, документи и генерирање слики

Shannon 3.1 чита слики и документи. Слики од екран, дијаграми, фотографии, скенирани страници, PDF-ови и текстуални документи можат да влезат во разговорот и да се обработуваат заедно со сè останато. Во комбинација со прозорецот од 196K, тоа е она што ги прави практични работните текови со цели документи: долг извештај и неговите графикони во еден потег, без однапред да одлучуваш кои страници смее да ги види моделот.

Генерирањето и уредувањето слики се достапни во четот како алатка. Побарај слика и моделот ја повикува алатката во тек, во истиот разговор, со контекстот на сè што е разговарано досега. Уредувањето функционира на ист начин — дај ѝ слика, опиши ја промената. Нема посебен режим во кој треба да се префрлиш ниту посебен интерфејс што треба да се учи.

08Повикување на Shannon 3.1 од API

Shannon 3.1 е достапен на сите три API дијалекти, со стриминг на секој. Исти модели, три форми на барање — избери која и да одговара на SDK што веќе го имаш.

Крајна точка	Форма	Стриминг
/v1/chat/completions	Компатибилна со OpenAI	Да
/v1/messages	Компатибилна со Anthropic	Да
/v1/responses	Responses	Да

{
  "model": "shannon-3.1",
  "stream": true,
  "messages": [
    { "role": "user", "content": "Summarize this contract set and flag anything unusual." }
  ]
}

Замени го "shannon-3.1" со "shannon-3.1-pro" за да ја извршиш целосната јамка на расудување. Ако веќе го повикуваш shannon-3, миграцијата е идентификаторот на моделот и ништо друго: формите на барањето и на одговорот се непроменети, а постојните стриминг клиенти продолжуваат да работат. Единствената разлика во однесувањето што треба да ја очекуваш е потокот во налети опишан во делот 02 — исти токени, ист редослед, пристигнуваат порано и во помалку рамномерни блокови.

Целосната референца за параметрите, автентикацијата, семантиката на грешките и интерактивно игралиште има во документацијата за API. Други картички на модели и технички написи се во истражувањата на Shannon.

09И понатаму нецензуриран, и непроменет во тој поглед

Shannon 3.1 нема слој за одбивање ниту филтрирање на содржината на излезот. Ова е истиот став како и кај остатокот од линијата Shannon и не се смени со преминот на сопствен кластер — ако веќе, контролирањето на стекот за послужување го олеснува гарантирањето, бидејќи нема посреден хост со сопствена политика помеѓу моделот и тебе.

Вреди да се каже јасно бидејќи е очигледното нешто што човек би се запрашал за издание што ја смени целата патека на излезот: отстранувањето на слојот за темпирање не значеше вметнување на слој за модерација на негово место. Ништо не го проверува, преработува ниту ограничува потокот. Она што го произведува моделот е она што пристигнува. Shannon 3.1 е, колку што ни е познато, најбрзиот нецензуриран AI модел достапен со контекстен прозорец со оваа големина — а двете својства се поврзани, бидејќи обете произлегуваат од водењето сопствена инфраструктура наместо изнајмување капацитет обликуван според туѓа усогласеност.

Нецензуриран не е исто што и неодговорен. Користењето е уредено со нашата Политика за одговорна употреба, а обврската што доаѓа со модел кој ќе се фати во костец со тежок материјал е тој материјал да го третираш одговорно.

10Направи ја споредбата сам

Секое тврдење овде може да се провери за околу две минути и повеќе би сакале да провериш отколку да ни веруваш.

1. Избери промпт од работа што навистина ја вршиш. Подолг е подобро — го оптоварува и прозорецот и стримингот.
2. Пушти го на shannon-3. Забележи колку време поминува до првиот токен и колку до завршување на одговорот.
3. Пушти го идентичниот промпт на shannon-3.1. Забележи ги истите две бројки.
4. Потоа прочитај ги двата одговора, игнорирајќи го часовникот, и одлучи кој од нив би го посакал.

Разликата во брзината ќе биде непосредна и очигледна. Разликата во квалитетот е онаа со која вреди да се задржиш — таа најјасно се покажува на долги влезови, каде што 3.0 тивко работеше со помал дел од твојот материјал отколку што мислеше.

11Често поставувани прашања

---

Бројките за перформансите и интелигенцијата во оваа статија се сопствени мерења на Shannon Lab од интерна евалуација, септември 2026 година, и се наведени како продуктни бројки, а не како резултати од бенчмарк на трето лице. Контекстниот прозорец, идентификаторите на моделите и достапноста преку API се спецификации на производот. Shannon AI е управуван од Shannon Lab LLC, Ново Мексико, САД. Поврзано читање: Shannon 3 · Индекс на истражувања на Shannon · API документација.