Shannon 3.1

Lielākā daļa modeļu laidienu lūdz noticēt apgalvojumam par spējām un gaidīt, kamēr strīdu izšķirs kāda etalonu tabula. Šo pārbaudīt ir vienkāršāk: atveriet divas cilnes, ielieciet vienu un to pašu uzvedni shannon-3 un shannon-3.1 un vērojiet. Atšķirība ātrumā, ar kādu pienāk atbilde, nav smalka, un tas nav renderēšanas triks. Shannon 3.0 tika bremzēts ar nolūku. Shannon 3.1 netiek.

01Kas Shannon 3.1 patiesībā ir mainījies

Shannon 3.0 ieviesa to, kas šo saimi definē: iteratīvu spriešanas cilpu. Modelis neatbild ar pirmo domu. Tas domā, uzmet melnrakstu, pārskata savu melnrakstu pret jautājumu un uzlabo to. Lite izpilda vienu šīs cilpas gājienu; Pro izpilda pilnu cilpu, ieskaitot zināšanu ievākšanas soli pirms melnraksta. Šis dizains ir sīki aprakstīts Shannon 3 pētniecības rakstā, un 3.1 versijā nekas no tā nav mainījies.

Mainījusies ir mehānika zem pārsega. Shannon 3.0 tika apkalpots caur trešās puses inferences pakalpojumu — saprātīgs veids, kā modeli palaist, un ierobežojošs veids, kā to uzturēt. Jūs mantojat kāda cita apkalpošanas konfigurāciju, kāda cita rindu, kāda cita konteksta griestus un kāda cita priekšstatu par to, cik tokenu sekundē jums ir atļauts. Shannon 3.1 darbojas mūsu paša GPU klasterī, uz apkalpošanas steka, ko konfigurējam mēs, un katrs virsraksta skaitlis šajā rakstā izriet no šī viena lēmuma.

	Shannon 3.0	Shannon 3.1
Kur tas darbojas	Trešās puses pakalpojums	Mūsu paša GPU klasteris
Konteksta logs	32,768	196,608
Izvades straumēšana	Bremzēta / ierobežota	Pilns dzinēja ātrums
Svari	Pakalpojuma noklusējums	4 bitu NVFP4
Dekodēšana	Standarta	Spekulatīva
Spriešanas cilpa	Domāt → melnraksts → pārskats → uzlabot	Nemainīga
Atteikuma slānis	Nav	Nav
Modeļu identifikatori	shannon-3, shannon-3-pro	shannon-3.1, shannon-3.1-pro

02Kāpēc Shannon 3.1 šķiet 10-15 reižu ātrāks

Par ātrumu jautā pirmo, tāpēc ir vērts precīzi pateikt, no kurienes tas nāk. Ir divi neatkarīgi ieguldījumi, un lielākais no tiem ir nepievilcīgākais.

Mēs noņēmām ātruma ierobežotāju

Shannon 3.0 izvade gāja caur tempa slāni. Tokeni pameta dzinēju, tika aizturēti un pēc grafika atbrīvoti uz jūsu savienojumu. Tā nebija ne nejaušība, ne kļūda. Kad šuvi veido koplietots inferences pakalpojums, izvades bremzēšana izlīdzina slodzi, neļauj vienai garai ģenerēšanai monopolizēt vietu un liek straumei pienākt paredzamā, lasāmā ritmā, nevis rāvienos. Tā ir aizstāvama inženiertehniska izvēle, un tā katram lietotājam katrā atbildē maksāja reālu laiku pēc pulksteņa.

Shannon 3.1 nav ne ātruma ierobežotāja, ne atklāšanas tempa. Tokeni tiek rakstīti jūsu straumē tad, kad dzinējs tos rada. Ja dzinējs ģenerē ātri, jūs redzat, ka tas ģenerē ātri. Starp modeli un jūsu termināli, čata logu vai SSE lasītāju nav izlīdzinošā bufera. Garai atbildei — 2,000 tokenu analīzei, ģenerēta koda failam — jau tas vien veido lielāko daļu no uzlabojuma, ko pamanīsiet.

Godīgas sekas: straume tagad ir rāvienveidīga. Spekulatīvā dekodēšana (skat. zemāk) izsniedz pieņemtos tokenus īsās virknēs, tāpēc teksts var pienākt redzamos gabalos, nevis metronoma ritmā pa vienam vārdam. Ja veidojāt saskarni ap 3.0 gludo ritmu, tā joprojām strādās — tokenu secība un saturs nav skarti —, taču varbūt vēlēsieties atgriezt savu klienta puses izlīdzināšanu, ja jums patika rakstāmmašīnas efekts. Mēs domājam, ka lielākā daļa cilvēku labprātāk saņemtu atpakaļ sekundes.

Ātrāks kļuva arī pats dzinējs

Ierobežotāja noņemšana palīdz tikai tad, ja aiz tā ir kaut kas ātrs. Otrais ieguldījums ir 03. sadaļā aprakstītais apkalpošanas steks: 4 bitu NVFP4 svari un spekulatīvā dekodēšana uz mūsdienu paaudzes, natīvi FP4 atbalstošiem paātrinātājiem mūsu paša klasterī. Kopā tie paceļ griestus, ko ierobežotāja noņemšana atsedz.

Relatīvā atbildes latentums pilnā ciklā, Shannon Lab iekšējais vērtējums, 2026. gada septembris. Diapazons atspoguļo uzvednes garumu un līmeni: īsas uzvednes uz Lite atrodas pie zemākās robežas, garas ģenerēšanas uz Pro — pie augstākās.

03Ko spekulatīvā dekodēšana patiesībā dara

„Spekulatīvo dekodēšanu” mēdz lietot kā mārketinga vārdu, tāpēc lūk mehānisms — vienkārši.

Valodas modelis parasti rada vienu tokenu vienā priekšgājienā. Šo gājienu nosaka nevis aritmētika, bet atmiņas joslas platums — lai kaut ko aprēķinātu, svari ir jānolasa, un nolasīšana aizņem daudz ilgāk nekā pati matemātika. GPU lielāko daļu laika gaida uz atmiņu ar dīkstāvē esošām skaitļošanas vienībām. 500 tokenu ģenerēšana nozīmē samaksāt šo latentumu 500 reižu — secīgi.

Spekulatīvā dekodēšana uzbrūk tieši secīgajai daļai. Neliels, lēts melnraksta modelis piedāvā īsu virkni ticamu nākamo tokenu — teiksim, četrus vai astoņus. Galvenais modelis pēc tam novērtē visu šo virkni vienā paketes priekšgājienā, kas maksā tikko manāmi vairāk nekā viena tokena novērtēšana, jo dārgā daļa (svaru nolasīšana) abos gadījumos notiek vienreiz. Katrs piedāvātais tokens, kam galvenais modelis piekrīt, tiek pieņemts un uzreiz izsniegts. Pirmajās nesakritībās virkne tiek nogriezta un no turienes atsākas parastā dekodēšana.

Darbu izdara pieņemšanas īpatsvars. Uz paredzamiem tekstiem — sagatavēm, koda struktūras, argumenta saistaudiem — melnraksta modelis min labi, un garas virknes nostrādā uzreiz. Uz patiesi grūtiem tokeniem pieņemšana krīt, un sistēma graciozi noslīd atpakaļ parastajā dekodēšanā pa vienam tokenam. Tieši šī asimetrija ir vēlamā: tā paātrina vieglās daļas un neaiztiek grūtās.

Kāpēc 4 bitu svari pieder tai pašai rindkopai

Tā kā šuve ir atmiņas joslas platums, svaru saspiešana ir tiešs ātruma svirs, nevis tikai atmiņas apjoma jautājums. NVFP4 ir 4 bitu peldošā komata formāts ar smalku, pa blokiem sadalītu mērogošanu, un tieši tas ļauj tam saglabāt precizitāti tur, kur vecākās 4 bitu veselo skaitļu kvantizācijas shēmas to zaudēja. Aptuveni ceturtdaļa nolasāmo baitu vienā priekšgājienā nozīmē proporcionāli mazāk gaidīšanas uz atmiņu, un tas atstāj daudz vairāk vietas garā konteksta KV kešatmiņai, ko 196K logs pieprasa.

Abi drīzāk reizinās nekā vienkārši saskaitās: mazāk baitu vienā gājienā un mazāk gājienu uz vienu izsniegto tokenu. Tieši tas padara neierobežotu, pilna ātruma straumēšanu apkalpojami izdevīgu, nevis izmaksām, ko nāktos atgūt ar bremzēšanu — kas tieši to arī darīja tempa slānis 3.0 versijā.

04196,608 tokeni: ko atver 6 reizes lielāks logs

Shannon 3.0 bija 32,768 tokenu logs: darba sesija, nevis dokuments. Aptuveni 70-80 lappuses prozas, mīnus tas, ko spriešanas cilpa patērē pati savai domāšanai, mīnus jūsu sistēmas uzvedne, mīnus līdzšinējā saruna. Reāls darbs pastāvīgi atdūrās pret šo sienu, un apiešanas paņēmieni — sadalīšana gabalos, apkopošana, izguve pa jūsu pašu materiālu — visi degradē tieši to, ko jūs mēģinājāt saglabāt. 196,608 tokeni ir cita kategorija.

Konkrēti tās ir aptuveni 400-500 lappuses teksta vai vidēja izmēra koda bāze ar testiem un README, vai gads viena projekta sanāksmju piezīmju, vai pilns līgumu komplekts ar visiem pielikumiem — turēts vienā sarunā, uzrunājams vienā jautājumā, bez izguves slāņa starp jums un materiālu.

• Jautājumi par visu repozitoriju. Ielādējiet kodu un jautājiet, kāpēc kļūda nonāk ražošanā, tā vietā, lai ielīmētu trīs failus, uz kuriem jau bijāt aizdomās. Modelis var atrast to failu, ko jums nebija prātā iekļaut.
• Garu dokumentu analīze bez izguves. Izguve ir zudumains priekšfiltrs, kas izlemj, ko modelim ir atļauts redzēt. Pie 196K to bieži var izlaist un ļaut modelim izlasīt visu, kas novērš veselu kļūmju klasi, kurā pareizā rindkopa nekad netika izgūta.
• Sarunas, kas paliek saskanīgas. Gara darba sesija vairs klusi nenomet pati savu sākumu. Ierobežojumi, ko uzstādījāt trešajā ziņā, joprojām ir spēkā astoņdesmitajā.
• Vieta spriešanas cilpai. Cilpas pašas domāšana, melnraksta rakstīšana un pārskatīšana patērē kontekstu. Uz 3.0 šie soļi konkurēja ar jūsu materiālu par knapu budžetu. Uz 3.1 tie ērti ietilpst, un tas ir daļa no iemesla, kāpēc kvalitātes pieaugums un loga palielinājums pienāca kopā.
• Lieli jaukti ievaddati. Attēli, no dokumentiem izvilkts teksts un kods vienā gājienā, bez šķirošanas, kuru no tiem varat atļauties iekļaut.

Viens godīgs iebildums, kas attiecas uz katru garā konteksta modeli, arī mūsējo: liels logs ir kapacitāte, nevis garantija vienmērīgai uzmanībai visā tā garumā. Struktūra joprojām palīdz. Jautājuma novietošana beigu daļā, dokumentu marķēšana un skaidra norāde modelim, ko meklēt, pie 150K tokeniem izmērāmi uzlabo rezultātu tā, kā pie 5K vienkārši nenotiek.

05Lite un Pro: shannon-3.1 un shannon-3.1-pro

Abi līmeņi atšķiras ar to, cik daudz no spriešanas cilpas tie izpilda, un izvēlē starp tiem tā ir vienīgā nozīmīgā atšķirība.

	shannon-3.1 (Lite)	shannon-3.1-pro (Pro)
Spriešana	Viens gājiens	Pilna cilpa + zināšanu ievākšana
Pašpārskats	Nē	Jā
Konteksta logs	196,608	196,608
Straumēšana	Pilns ātrums, bez ierobežojuma	Pilns ātrums, bez ierobežojuma
Attēli un dokumenti	Jā	Jā
Attēlu ģenerēšanas rīks	Jā	Jā
Vislabāk piemērots	Lielākajai daļai darba, lieliem apjomiem	Grūtiem jautājumiem, kur pirmais melnraksts nepietiek

Pēc noklusējuma lietojiet Lite. Viens laba spriešanas modeļa gājiens tiek galā ar lielāko daļu reālu pieprasījumu, un uz 3.1 tas ir pietiekami ātrs, lai cilpa vairs nebūtu kaut kas, kuru jūtat izgaidāmies. Ķerieties pie Pro tad, kad jautājums ir tāds, kurā pirmā atbilde parasti ir pamācoši nepareiza: arhitektūras kompromisi, pretinieciska analīze, viss, kur gribētos, lai kompetents kolēģis pārgulētu ar to nakti. Pro pašpārskata solis nav dekorācija — tas ir modelis, kas atrod savas kļūdas, pirms tas jādara jums.

0632% intelekta pieaugums un kā to lasīt

Shannon Lab pašu vērtējums Shannon 3.1 nostāda par 32% augstāk intelekta ziņā nekā Shannon 3.0. Vēlamies skaidri pateikt, kas tas ir un kas nav.

Tas ir mūsu skaitlis, no mūsu iekšējā vērtēšanas komplekta, mērīts uzdevumos, ko uzskatām par reprezentatīviem tam, ko cilvēki šiem modeļiem patiesībā nes. Tas nav trešās puses etalons, un mēs neveidojam rangu tabulu ap vienu iekšēju kopvērtējumu un nepublicējam sadalījumu pa atsevišķiem etaloniem — sadalījums netieši solītu ārējas salīdzināmības līmeni, kāda iekšējam komplektam nav.

Ko mēs pateiksim, ir tas, no kurienes pieaugums nāk, jo šī daļa nav noslēpumaina. Lielāks konteksta logs nozīmē, ka mazāk materiāla jāatmet, pirms modelis pār to spriež, un liela daļa šķietamā neinteliģences garās sesijās patiesībā ir vienkārši amnēzija. Mūsu pašu kontrolēts apkalpošanas steks nozīmē, ka modelis darbojas ar konfigurāciju, kādu bijām paredzējuši, nevis ar pakalpojuma noklusējumu. Un spriešanas cilpai — dizainā nemainītai — tagad ir vieta patiešām nostrādāt logā, nevis tikt saspiestai pret 32K griestiem, ko tā dalīja ar jūsu ievadi.

07Attēli, dokumenti un attēlu ģenerēšana

Shannon 3.1 lasa attēlus un dokumentus. Ekrānuzņēmumi, diagrammas, fotogrāfijas, skenētas lappuses, PDF un teksta dokumenti var nonākt sarunā, un par tiem var spriest līdzās visam pārējam. Kopā ar 196K logu tas padara praktiskas veselu dokumentu darbplūsmas: garš ziņojums un tā grafiki vienā gājienā, iepriekš nelemjot, kuras lappuses modelim ir atļauts redzēt.

Attēlu ģenerēšana un rediģēšana čatā ir pieejama kā rīks. Palūdziet attēlu, un modelis izsauc rīku turpat, tajā pašā sarunā, ar visu līdz šim apspriesto kontekstu. Rediģēšana strādā tāpat — iedodiet attēlu, aprakstiet izmaiņu. Nav atsevišķa režīma, uz kuru pārslēgties, un nav atsevišķas saskarnes, kas jāapgūst.

08Shannon 3.1 izsaukšana no API

Shannon 3.1 ir pieejams visos trīs API dialektos, katrā ar straumēšanu. Tie paši modeļi, trīs pieprasījuma formas — izvēlieties to, kas atbilst jūsu jau esošajam SDK.

Galapunkts	Forma	Straumēšana
/v1/chat/completions	OpenAI saderīga	Jā
/v1/messages	Anthropic saderīga	Jā
/v1/responses	Responses	Jā

{
  "model": "shannon-3.1",
  "stream": true,
  "messages": [
    { "role": "user", "content": "Summarize this contract set and flag anything unusual." }
  ]
}

Nomainiet "shannon-3.1" pret "shannon-3.1-pro", lai palaistu pilnu spriešanas cilpu. Ja jau izsaucat shannon-3, migrācija ir modeļa identifikators un nekas cits: pieprasījuma un atbildes formas ir nemainīgas, un esošie straumēšanas klienti turpina strādāt. Vienīgā gaidāmā uzvedības atšķirība ir 02. sadaļā aprakstītā rāvienveidīgākā straume — tie paši tokeni, tā pati secība, tikai ātrāk un mazāk vienmērīgos gabalos.

Pilna parametru atsauce, autentifikācija, kļūdu semantika un interaktīvs izmēģinājuma laukums ir API dokumentācijā. Citas modeļu kartes un tehniskie apraksti ir Shannon pētniecībā.

09Joprojām necenzēts — un šajā ziņā nemainīgs

Shannon 3.1 nav atteikuma slāņa, un izvadei nav satura filtrēšanas. Tā ir tā pati nostāja kā pārējai Shannon līnijai, un tā nemainījās, pārejot uz mūsu pašu klasteri — drīzāk otrādi: apkalpošanas steka kontrole to ļauj vieglāk garantēt, jo starp modeli un jums vairs nesēž starpnieks ar savu politiku.

Vērts pateikt tieši, jo tā ir acīmredzamā šaubu vieta laidienā, kas nomainīja visu izvades ceļu: tempa slāņa noņemšana nenozīmēja moderācijas slāņa ievietošanu tā vietā. Nekas straumi neinspicē, nepārraksta un neierobežo. Ko modelis rada, tas arī pienāk. Shannon 3.1 ir, cik mums zināms, ātrākais pieejamais necenzētais AI modelis ar šāda izmēra konteksta logu — un abas šīs īpašības ir saistītas, jo abas nāk no tā, ka darbinām savu infrastruktūru, nevis īrējam atbilstības prasībām pielāgotu jaudu no kāda cita.

Necenzēts nav tas pats, kas neatbildīgs. Lietošanu regulē mūsu Atbildīgas lietošanas politika, un pienākums, kas nāk līdzi modelim, kurš iesaistīsies sarežģītā materiālā, ir iesaistīties tajā atbildīgi.

10Veiciet salīdzinājumu paši

Katrs šeit izteiktais apgalvojums ir pārbaudāms aptuveni divās minūtēs, un mums labāk patīk, ka jūs pārbaudāt, nevis mums ticat.

1. Izvēlieties uzvedni no darba, ko patiešām darāt. Garāka ir labāk — tā noslogo gan logu, gan straumēšanu.
2. Palaidiet to uz shannon-3. Pierakstiet, cik ilgi līdz pirmajam tokenam un cik ilgi līdz atbildes beigām.
3. Palaidiet identisku uzvedni uz shannon-3.1. Pierakstiet tos pašus divus skaitļus.
4. Pēc tam izlasiet abas atbildes, ignorējot pulksteni, un izlemiet, kuru būtu gribējuši.

Ātruma atšķirība būs tūlītēja un acīmredzama. Kvalitātes atšķirība ir tā, ar kuru ir vērts pasēdēt — tā visskaidrāk parādās uz gariem ievaddatiem, kur 3.0 klusi strādāja ar mazāku daļu jūsu materiāla, nekā jums šķita.

11Biežāk uzdotie jautājumi

---

Šajā rakstā minētie veiktspējas un intelekta rādītāji ir Shannon Lab pašu mērījumi no iekšējā vērtējuma, 2026. gada septembris, un ir norādīti kā produkta rādītāji, nevis trešās puses etalonu rezultāti. Konteksta logs, modeļu identifikatori un API pieejamība ir produkta specifikācijas. Shannon AI darbina Shannon Lab LLC, Ņūmeksika, ASV. Saistītā lasāmviela: Shannon 3 · Shannon pētniecības rādītājs · API dokumentācija.