Shannon 3.1
Същият цикъл на разсъждение, преместен върху собствен GPU клъстер: 32% по-интелигентен, 10-15x по-бърз и с контекстен прозорец от 196,608 токена.
Накратко
Shannon 3.1 запазва всичко, което правеше Shannon 3 полезен — итеративния цикъл на разсъждение, липсата на слой за откази, липсата на филтриране на изхода — и променя къде и как работи. Моделът вече се обслужва от собствен GPU клъстер вместо от външен доставчик на инференс. Оценката на Shannon Lab измерва 32% подобрение в интелигентността и 10-15x по-бързи отговори спрямо Shannon 3.0. Контекстният прозорец нараства от 32,768 на 196,608 токена. Слоят за темпиране, който умишлено забавяше изхода на 3.0, е премахнат: 3.1 стриймва с пълната скорост на енджина. Идентификаторите на моделите са shannon-3.1 и shannon-3.1-pro, в чата и на трите API диалекта.
Повечето издания на модели ви молят да приемете твърдение за възможности на доверие и да чакате таблица с бенчмаркове да реши спора. Това е по-лесно за проверка: отворете два таба, подайте един и същ промпт на shannon-3 и на shannon-3.1 и гледайте. Разликата в скоростта, с която пристига отговорът, не е фина и не е трик на визуализацията. Shannon 3.0 беше умишлено ограничен. Shannon 3.1 не е.
01Какво всъщност се промени в Shannon 3.1
Shannon 3.0 въведе онова, което определя това семейство: итеративен цикъл на разсъждение. Моделът не отговаря на първата си мисъл. Той мисли, пише чернова, преглежда собствената си чернова спрямо въпроса и я подобрява. Lite изпълнява едно преминаване през този цикъл; Pro изпълнява пълния цикъл, включително стъпка за събиране на знания преди черновата. Този дизайн е описан подробно в изследователската статия за Shannon 3 и нищо от него не е променено в 3.1.
Промени се машинарията отдолу. Shannon 3.0 се обслужваше през външен доставчик на инференс — разумен начин да пуснеш модел и ограничаващ начин да го експлоатираш. Наследяваш чужда сървърна конфигурация, чужда опашка, чужд таван за контекста и чужда представа за това колко токена в секунда имаш право да получаваш. Shannon 3.1 работи върху собствен GPU клъстер, върху сървърен стек, който конфигурираме ние, и всяко водещо число в тази статия произтича от това единствено решение.
| Shannon 3.0 | Shannon 3.1 | |
|---|---|---|
| Къде работи | Външен доставчик | Собствен GPU клъстер |
| Контекстен прозорец | 32,768 | 196,608 |
| Стрийминг на изхода | Темпиран / ограничен | Пълна скорост на енджина |
| Тегла | По подразбиране на доставчика | 4-битови NVFP4 |
| Декодиране | Стандартно | Спекулативно |
| Цикъл на разсъждение | Мисли → чернова → преглед → подобрение | Без промяна |
| Слой за откази | Няма | Няма |
| Идентификатори на моделите | shannon-3, shannon-3-pro | shannon-3.1, shannon-3.1-pro |
02Защо Shannon 3.1 усеща се 10-15x по-бърз
Числото за скоростта е първото, което хората проверяват, така че си струва да бъдем точни откъде идва то. Приносите са два и са независими, а по-големият от тях е и по-малко ефектният.
Премахнахме ограничителя на скоростта
Изходът на Shannon 3.0 минаваше през слой за темпиране. Токените напускаха енджина, задържаха се и се пускаха към вашата връзка по график. Това не беше случайност или бъг. Когато споделен доставчик на инференс е тясното място, темпирането на изхода изглажда натоварването, пречи на едно дълго генериране да монополизира слот и кара потока да пристига в предвидим, четим ритъм вместо на пристъпи. Това е защитим инженерен избор, който струваше на всеки потребител реално време при всеки отделен отговор.
Shannon 3.1 няма ограничител на скоростта и няма темпиране на разкриването. Токените се записват във вашия поток веднага щом енджинът ги произведе. Ако енджинът генерира бързо, вие го виждате да генерира бързо. Няма изглаждащ буфер между модела и вашия терминал, вашия чат прозорец или вашия SSE четец. За дълъг отговор — анализ от 2,000 токена, файл с генериран код — само това обяснява по-голямата част от подобрението, което ще забележите.
Едно честно следствие: потокът вече е на пристъпи. Спекулативното декодиране (по-долу) излъчва приетите токени на кратки поредици, така че текстът може да пристига на видими блокове, вместо с метрономично темпо дума по дума. Ако сте изградили интерфейс около плавното темпо на 3.0, той пак ще работи — редът и съдържанието на токените не са засегнати — но може да поискате да върнете собствено изглаждане от страна на клиента, ако сте предпочитали ефекта на пишеща машина. Смятаме, че повечето хора по-скоро биха си върнали секундите.
Самият енджин стана по-бърз
Премахването на ограничителя помага само ако това зад него е бързо. Вторият принос е сървърният стек, описан в раздел 03: 4-битови NVFP4 тегла и спекулативно декодиране върху ускорители от текущото поколение с нативна поддръжка на FP4 в нашия собствен клъстер. Заедно те повишават тавана, който премахването на ограничителя разкрива.
Относително време за отговор от край до край, вътрешна оценка на Shannon Lab, септември 2026 г. Диапазонът отразява дължината на промпта и нивото: кратките промптове на Lite са близо до долната граница, дългите генерации на Pro — до горната.
03Какво всъщност прави спекулативното декодиране
„Спекулативно декодиране“ се използва като маркетингова дума, затова ето механизма, просто казано.
Един езиков модел обикновено произвежда по един токен на преминаване напред. Това преминаване се доминира не от аритметиката, а от пропускателната способност на паметта — теглата трябва да бъдат прочетени, за да се изчисли каквото и да е, а прочитането им отнема далеч повече време от самата математика. Графичният процесор прекарва по-голямата част от времето си в чакане на паметта, докато изчислителните му единици бездействат. Генерирането на 500 токена означава да платиш тази латентност 500 пъти, последователно.
Спекулативното декодиране атакува последователната част. Малък, евтин чернови модел предлага кратка поредица от вероятни следващи токени — да речем четири или осем. След това основният модел оценява цялата поредица в едно-единствено пакетно преминаване напред, което струва едва малко повече от оценяването на един токен, защото скъпата част (прочитането на теглата) се случва веднъж и в двата случая. Всеки предложен токен, с който основният модел се съгласи, се приема и се излъчва веднага. При първото несъгласие поредицата се отрязва и оттам продължава обичайното декодиране.
Свойството, което има значение
Спекулативното декодиране запазва изхода. Стъпката на проверка е устроена така, че приетата последователност да е разпределена точно както би било собственото семплиране на основния модел. Не получавате отговора на черновия модел и не получавате приближение на отговора на големия модел. Получавате изхода на основния модел, достигнат за по-малко последователни стъпки. Черновият модел може да повлияе само на скоростта, никога на съдържанието.
Работата се върши от процента на приемане. При предсказуем текст — шаблонни части, структура на код, свързващата тъкан на едно разсъждение — черновият модел познава добре и дълги поредици пристигат наведнъж. При наистина трудни токени приемането спада и системата плавно се връща към обикновено декодиране токен по токен. Точно тази асиметрия е желателна: ускорява лесните части и не пипа трудните.
Защо 4-битовите тегла са в същия параграф
Тъй като тясното място е пропускателната способност на паметта, свиването на теглата е пряк лост за скорост, а не просто за заеманата памет. NVFP4 е 4-битов формат с плаваща запетая с фино мащабиране по блокове, което му позволява да задържи точността там, където по-старите 4-битови целочислени схеми за квантизация я губеха. Приблизително една четвърт от байтовете за прочитане при всяко преминаване напред означава пропорционално по-малко време в чакане на паметта и оставя далеч повече свобода за KV кеша с дълъг контекст, който 196K прозорец изисква.
Двете се умножават, а не просто се сумират: по-малко байтове на преминаване и по-малко преминавания на излъчен токен. Точно това прави неограничения стрийминг с пълна скорост достъпен за обслужване, вместо разход, който трябва да си върнем чрез темпиране — което е точно това, което правеше слоят за темпиране при 3.0.
04196,608 токена: какво отключва 6 пъти по-големият прозорец
Shannon 3.0 имаше прозорец от 32,768 токена: работна сесия, не документ. Приблизително 70-80 страници проза, минус това, което цикълът на разсъждение изразходва за собственото си мислене, минус вашия системен промпт, минус разговора дотук. Реалната работа се удряше в тази стена постоянно, а заобиколните решения — разделяне на части, обобщаване, извличане върху собствения ви материал — всички влошават точно това, което сте се опитвали да запазите. 196,608 токена е задача от друга категория.
Конкретно това е от порядъка на 400-500 страници текст, или кодова база със среден размер заедно с тестовете и README файла ѝ, или година бележки от срещи по един проект, или пълен комплект договори с всичките им приложения — задържани в един разговор, адресируеми с един въпрос, без слой за разделяне между вас и материала.
- Въпроси върху цяло хранилище. Заредете кода и попитайте защо един бъг стига до продукцията, вместо да поставяте трите файла, които вече подозирате. Моделът може да намери файла, който не сте се сетили да включите.
- Анализ на дълги документи без извличане. Извличането е предварителен филтър със загуби, който решава какво моделът има право да види. При 196K често можете да го пропуснете и да оставите модела да прочете всичко, което премахва цял клас откази, при които правилният пасаж изобщо не е бил извлечен.
- Разговори, които остават свързани. Дългата работна сесия вече не изпуска мълчаливо собственото си начало. Ограниченията, които сте задали в трето съобщение, важат и в осемдесето.
- Място за цикъла на разсъждение. Собственото мислене, чернова и преглед на цикъла консумират контекст. При 3.0 тези стъпки се конкурираха с вашия материал за оскъден бюджет. При 3.1 се побират удобно, което е част от причината ръстът в качеството и увеличението на прозореца да дойдат заедно.
- Големи смесени входове. Изображения, извлечен текст от документи и код в един ход, без да триажирате кое от тях можете да си позволите да включите.
Едно честно уточнение, което важи за всеки модел с дълъг контекст, включително нашия: големият прозорец е капацитет, а не гаранция за равномерно внимание в целия му обхват. Структурата все още помага. Поставянето на въпроса към края, обозначаването на документите и указването на модела какво да търси измеримо подобряват резултатите при 150K токена по начин, по който просто не го правят при 5K.
05Lite и Pro: shannon-3.1 и shannon-3.1-pro
Двете нива се различават по това каква част от цикъла на разсъждение изпълняват и това е единствената разлика, която има значение при избора между тях.
| shannon-3.1 (Lite) | shannon-3.1-pro (Pro) | |
|---|---|---|
| Разсъждение | Едно преминаване | Пълен цикъл + събиране на знания |
| Самопроверка | Не | Да |
| Контекстен прозорец | 196,608 | 196,608 |
| Стрийминг | Пълна скорост, без ограничител | Пълна скорост, без ограничител |
| Зрение и документи | Да | Да |
| Инструмент за генериране на изображения | Да | Да |
| Най-подходящ за | Повечето работа, голям обем | Трудни въпроси, първата чернова не стига |
Използвайте Lite по подразбиране. Едно преминаване на добър разсъждаващ модел се справя с голямото мнозинство реални заявки, а при 3.1 то е достатъчно бързо, за да не усещате цикъла като чакане. Посегнете към Pro, когато въпросът е от онези, при които първият отговор обикновено греши по поучителен начин: архитектурни компромиси, състезателен анализ, всичко, при което бихте искали компетентен колега да преспи с проблема. Стъпката на самопроверка при Pro не е декорация — тя е моделът, който намира собствените си грешки, преди да се наложи вие да го правите.
0632-те процента ръст в интелигентността и как да ги четете
Собствената оценка на Shannon Lab поставя Shannon 3.1 на 32% подобрение в интелигентността спрямо Shannon 3.0. Искаме да сме ясни какво е това и какво не е.
Това е наше число, от нашия вътрешен набор за оценка, измерено върху задачи, които смятаме за представителни за онова, което хората реално носят на тези модели. Не е бенчмарк от трета страна и не изграждаме таблица с класация около единствен вътрешен агрегат, нито публикуваме разбивка по отделни бенчмаркове — разбивката би подсказала степен на външна съпоставимост, каквато вътрешният набор няма.
Това, което ще кажем, е откъде идва ръстът, защото тази част не е мистерия. По-големият контекстен прозорец означава, че по-малко материал трябва да бъде изхвърлен, преди моделът да разсъждава върху него, а голяма част от видимата неинтелигентност в дългите сесии е всъщност просто амнезия. Сървърен стек, който контролираме, означава, че моделът работи с конфигурацията, която сме предвидили, а не с настройките по подразбиране на доставчика. А цикълът на разсъждение — непроменен по дизайн — вече има място наистина да се изпълни вътре в прозореца, вместо да бъде притискан към таван от 32K, който споделяше с вашия вход.
Най-полезният бенчмарк за вас е вашият собствен. Вземете промпт от реалното си натоварване — не пъзел, а истински — и го изпълнете на shannon-3, а след това на shannon-3.1. Сравнете отговорите и ги засечете по време. Нашите числа описват средна стойност върху цял набор; вашият промпт е този, който трябва да стане по-добър.
07Зрение, документи и генериране на изображения
Shannon 3.1 чете изображения и документи. Екранни снимки, диаграми, снимки, сканирани страници, PDF файлове и текстови документи могат да влязат в разговора и да бъдат осмислени наред с всичко останало. В комбинация с прозореца от 196K, точно това прави работните потоци върху цели документи практични: дълъг доклад и графиките към него в един ход, без предварително да решавате кои страници моделът има право да види.
Генерирането и редактирането на изображения са налични в чата като инструмент. Поискайте изображение и моделът извиква инструмента вградено, в същия разговор, с контекста на всичко обсъдено дотук. Редактирането работи по същия начин — подайте му изображение и опишете промяната. Няма отделен режим, в който да превключвате, и няма отделен интерфейс за учене.
08Извикване на Shannon 3.1 през API
Shannon 3.1 е наличен и на трите API диалекта, със стрийминг при всеки. Едни и същи модели, три форми на заявка — изберете тази, която съответства на SDK-то, което вече имате.
| Крайна точка | Форма | Стрийминг |
|---|---|---|
| /v1/chat/completions | Съвместим с OpenAI | Да |
| /v1/messages | Съвместим с Anthropic | Да |
| /v1/responses | Responses | Да |
{
"model": "shannon-3.1",
"stream": true,
"messages": [
{ "role": "user", "content": "Summarize this contract set and flag anything unusual." }
]
}Заменете "shannon-3.1" с "shannon-3.1-pro", за да изпълните пълния цикъл на разсъждение. Ако вече извиквате shannon-3, миграцията е само идентификаторът на модела и нищо друго: формите на заявката и отговора са непроменени, а съществуващите стрийминг клиенти продължават да работят. Единствената разлика в поведението, която да очаквате, е потокът на пристъпи, описан в раздел 02 — същите токени, същия ред, пристигащи по-рано и на по-неравномерни блокове.
Пълната справка за параметрите, автентикацията, семантиката на грешките и интерактивна площадка има в документацията на API. Другите карти на модели и технически материали са в изследванията на Shannon.
09Все така нецензуриран и непроменен в това отношение
Shannon 3.1 няма слой за откази и няма филтриране на съдържанието на изхода. Това е същата позиция, както при останалата част от линията Shannon, и тя не се промени с преместването върху собствения ни клъстер — ако изобщо нещо, контролът върху сървърния стек прави гаранцията по-лесна, защото няма междинен доставчик със собствена политика между модела и вас.
Струва си да се каже направо, защото това е очевидното нещо, за което човек би се запитал при издание, променило целия път на изхода: премахването на слоя за темпиране не означаваше вмъкване на слой за модерация на негово място. Нищо не проверява, не пренаписва и не спира потока. Това, което моделът произвежда, е това, което пристига. Доколкото ни е известно, Shannon 3.1 е най-бързият наличен нецензуриран AI модел с контекстен прозорец от този размер — и двете свойства са свързани, тъй като и двете идват от това, че управляваме собствена инфраструктура, вместо да наемаме капацитет, скроен по чужди правила за съответствие.
Нецензуриран не е същото като безотговорен. Използването се урежда от нашата Политика за отговорно използване, а задължението, което идва с модел, който ще се захване с труден материал, е вие да се захванете с него отговорно.
10Направете сравнението сами
Всяко твърдение тук може да се провери за около две минути и предпочитаме да го проверите, вместо да ни вярвате.
- Изберете промпт от работа, която реално вършите. Дългият е по-добър — той натоварва и прозореца, и стрийминга.
- Изпълнете го на
shannon-3. Отбележете колко време минава до първия токен и колко до завършването на отговора. - Изпълнете идентичния промпт на
shannon-3.1. Отбележете същите две числа. - След това прочетете и двата отговора, без да гледате часовника, и решете кой бихте искали да получите.
Разликата в скоростта ще е незабавна и очевидна. Разликата в качеството е тази, с която си струва да поседите — тя личи най-ясно при дълги входове, където 3.0 тихомълком работеше с по-малка част от вашия материал, отколкото сте предполагали.
11Често задавани въпроси
Какво е Shannon 3.1?
Shannon 3.1 е текущото издание от семейството Shannon 3. То запазва същия итеративен цикъл на разсъждение — мисли, чернова, самопроверка, подобрение — но го изпълнява нативно върху собствен GPU клъстер вместо върху външен доставчик на инференс. Собствената оценка на Shannon Lab измерва 32% подобрение в интелигентността и 10-15x по-бързи отговори спрямо Shannon 3.0, като контекстният прозорец нараства от 32,768 на 196,608 токена.
Колко по-бърз е Shannon 3.1 от Shannon 3.0?
Между 10x и 15x по-бърз при отговорите от край до край, според собствената оценка на Shannon Lab. Две неща обясняват това. Изходът на Shannon 3.0 минаваше през слой за темпиране, който умишлено ограничаваше скоростта на потока; Shannon 3.1 няма ограничител на скоростта и няма темпиране на разкриването, така че токените стигат до вас толкова бързо, колкото енджинът ги произвежда. Самият енджин също е по-бърз: 4-битови NVFP4 тегла плюс спекулативно декодиране върху собствен GPU клъстер.
Колко голям е контекстният прозорец на Shannon 3.1?
196,608 токена — 6 пъти повече от 32,768-те токена, налични при Shannon 3.0. Това е приблизително 400-500 страници текст или кодова база със среден размер, задържани в един разговор без разделяне на части и без извличане.
Какво представлява спекулативното декодиране и защо е важно тук?
Малък и бърз чернови модел предлага поредица от вероятни следващи токени, а основният модел ги проверява в едно-единствено пакетно преминаване. Приетите токени се излъчват веднага; отхвърлените се връщат към обичайното декодиране. Изходът е този, който основният модел би произвел сам, но на всяка стъпка на проверка могат да се получат няколко токена вместо един. Точно това прави стрийминга с пълна скорост достъпен, вместо проблем за разходите.
Нецензуриран ли е Shannon 3.1?
Да. Shannon 3.1 няма слой за откази и няма филтриране на съдържанието, приложено върху изхода му, както и останалата част от линията Shannon. Премахването на слоя за темпиране не добави на негово място слой за модерация — потокът, който получавате, е изходът на модела.
Какви са идентификаторите на моделите и къде мога да използвам Shannon 3.1?
shannon-3.1 е нивото Lite, а shannon-3.1-pro е нивото Pro. И двете са налични в чата и на трите API диалекта: /v1/chat/completions (във формата на OpenAI), /v1/messages (във формата на Anthropic) и /v1/responses. Стриймингът работи и на трите.
Каква е разликата между shannon-3.1 и shannon-3.1-pro?
Lite изпълнява едно преминаване през цикъла на разсъждение: мисли, след което отговаря. Pro изпълнява пълния цикъл — мисли, чернова, самопроверка, подобрение — със стъпка за събиране на знания преди черновата. Lite е правилният избор по подразбиране за повечето работа; Pro е за въпроси, при които първият отговор обикновено не е най-добрият.
Опитайте Shannon 3.1
Същият цикъл на разсъждение. Шест пъти по-голям прозорец. Без ограничител на скоростта.
Започнете разговор Прочетете API документациятаshannon-3.1 · shannon-3.1-pro · стрийминг и на трите диалекта
Числата за производителност и интелигентност в тази статия са собствени измервания на Shannon Lab от вътрешна оценка, септември 2026 г., и са посочени като продуктови стойности, а не като резултати от бенчмаркове на трета страна. Контекстният прозорец, идентификаторите на моделите и наличността през API са продуктови спецификации. Shannon AI се управлява от Shannon Lab LLC, Ню Мексико, САЩ. Свързано четиво: Shannon 3 · Индекс на изследванията на Shannon · Документация на API.