Shannon 3.1

Enamik mudeliväljalaskeid palub sul võimekusväidet uskuda ja oodata, kuni võrdlustestide tabel vaidluse ära otsustab. Seda siin on lihtsam kontrollida: ava kaks vahekaarti, pane sama päring mudelitesse shannon-3 ja shannon-3.1 ning vaata. Vahe selles, kui kiiresti vastus saabub, ei ole peen ja see ei ole renderdustrikk. Shannon 3.0 oli meelega piiratud. Shannon 3.1 ei ole.

01Mis Shannon 3.1-s tegelikult muutus

Shannon 3.0 tõi sisse selle, mis seda perekonda määratleb: iteratiivse arutlustsükli. Mudel ei vasta oma esimese mõtte pealt. Ta mõtleb, koostab mustandi, vaatab oma mustandi küsimuse valguses üle ja parandab seda. Lite teeb sellest tsüklist ühe läbimise; Pro käib läbi kogu tsükli, sealhulgas teadmiste kogumise sammu enne mustandi koostamist. Seda ülesehitust kirjeldab üksikasjalikult Shannon 3 uurimisartikkel ja 3.1-s ei ole sellest midagi muutunud.

Muutus masinavärk selle all. Shannon 3.0 teenindati kolmanda osapoole järeldusteenuse kaudu — mõistlik viis mudelit turule tuua ja piirav viis seda käitada. Sa pärid kellegi teise teenindusseadistuse, kellegi teise järjekorra, kellegi teise kontekstilae ja kellegi teise arusaama sellest, mitu tokenit sekundis sul tohib olla. Shannon 3.1 töötab meie enda GPU-klastris, teenindusvirnal, mille seadistame ise, ja iga selle artikli peamine number tuleneb sellest ühest otsusest.

	Shannon 3.0	Shannon 3.1
Kus see töötab	Kolmanda osapoole teenus	Meie enda GPU-klaster
Kontekstiaken	32,768	196,608
Väljundi voogedastus	Tempoga / piiratud	Mootori täiskiirus
Kaalud	Teenuse vaikeseade	4-bitine NVFP4
Dekodeerimine	Tavaline	Spekulatiivne
Arutlustsükkel	Mõtle → mustand → ülevaatus → paranda	Muutumatu
Keeldumiskiht	Puudub	Puudub
Mudelite id-d	shannon-3, shannon-3-pro	shannon-3.1, shannon-3.1-pro

02Miks Shannon 3.1 tundub 10-15x kiirem

Kiiruse number on see, mille kohta inimesed esimesena küsivad, seega tasub täpselt öelda, kust see tuleb. Panuseid on kaks ja neist suurem on vähem efektne.

Eemaldasime kiirusepiirangu

Shannon 3.0 väljund läbis tempokihi. Tokenid lahkusid mootorist, neid hoiti kinni ja lasti sinu ühendusele ajakava järgi. See ei olnud õnnetus ega viga. Kui pudelikaelaks on jagatud järeldusteenus, siis väljundi tempostamine silub koormust, hoiab ära ühe pika genereerimise poolt kogu pesa hõivamise ja paneb voo saabuma etteaimatavas, loetavas rütmis, mitte pursetena. See on kaitstav insenerivalik ja see maksis igale kasutajale iga üksiku vastuse juures päris seinakellaaega.

Shannon 3.1-l ei ole kiirusepiirangut ega ilmutamise tempot. Tokenid kirjutatakse sinu voogu siis, kui mootor need toodab. Kui mootor genereerib kiiresti, siis sa näed, et ta genereerib kiiresti. Mudeli ja su terminali, vestlusakna või SSE-lugeja vahel ei ole siluvat puhvrit. Pika vastuse puhul — 2000-tokenilise analüüsi või genereeritud koodifaili puhul — annab juba see üksi suurema osa paranemisest, mida sa märkad.

Aus tagajärg: voog on nüüd pursetega. Spekulatiivne dekodeerimine (vt allpool) väljastab vastuvõetud tokeneid lühikeste jadadena, nii et tekst võib saabuda nähtavate tükkidena, mitte metronoomse sõna-sõna haaval rütmiga. Kui ehitasid oma kasutajaliidese 3.0 sujuva rütmi ümber, siis see töötab endiselt — tokenite järjekord ja sisu on puutumata —, aga kui eelistasid kirjutusmasina välimust, võid tahta oma kliendipoolse sujuvustamise tagasi tuua. Meie arvates võtaks enamik inimesi pigem sekundid tagasi.

Ka mootor ise läks kiiremaks

Piirangu eemaldamine aitab ainult siis, kui see, mis piirangu taga on, on kiire. Teine panus on teenindusvirn, mida kirjeldab jaotis 03: 4-bitised NVFP4 kaalud ja spekulatiivne dekodeerimine praeguse põlvkonna FP4-tuge omavatel kiirenditel meie enda klastris. Koos tõstavad need lae, mille piirangu eemaldamine nähtavaks teeb.

Suhteline täispika vastuse latentsus, Shannon Labi sisemine hindamine, september 2026. Vahemik peegeldab päringu pikkust ja taset: lühikesed päringud Lite'il jäävad madalama otsa lähedale, pikad genereerimised Pro'l kõrgema otsa lähedale.

03Mida spekulatiivne dekodeerimine tegelikult teeb

"Spekulatiivset dekodeerimist" kasutatakse turundussõnana, seega siin on mehhanism lihtsalt lahti seletatud.

Keelemudel toodab tavaliselt ühe tokeni ühe edasisammu kohta. Selles sammus ei domineeri mitte aritmeetika, vaid mälu ribalaius — millegi arvutamiseks tuleb kaalud läbi lugeda ja nende lugemine võtab palju kauem aega kui matemaatika ise. GPU veedab suurema osa ajast mälu oodates, arvutusüksused jõude. 500 tokeni genereerimine tähendab selle latentsuse maksmist 500 korda, järjestikku.

Spekulatiivne dekodeerimine ründab just järjestikkust osa. Väike ja odav mustandimudel pakub välja lühikese rea tõenäolisi järgmisi tokeneid — näiteks neli või kaheksa. Põhimudel hindab siis kogu selle rea ühe partiisammuga, mis maksab vaevu rohkem kui ühe tokeni hindamine oleks maksnud, sest kallis osa (kaalude lugemine) toimub nagunii ainult üks kord. Iga välja pakutud token, millega põhimudel nõustub, võetakse vastu ja väljastatakse kohe. Esimese lahkarvamuse kohas rida kärbitakse ja sealt jätkub tavaline dekodeerimine.

Töö teeb ära vastuvõtumäär. Etteaimataval tekstil — malliteksti, koodistruktuuri, argumendi siduva koe puhul — arvab mustandimudel hästi ja pikad read maanduvad korraga. Tõeliselt keerulistel tokenitel vastuvõtumäär langeb ja süsteem taandub sujuvalt tavalisele token-korraga dekodeerimisele. See asümmeetria on täpselt see, mida sa tahad: ta kiirendab lihtsaid osi ega puutu raskeid.

Miks 4-bitised kaalud kuuluvad samasse lõiku

Kuna pudelikaelaks on mälu ribalaius, on kaalude kahandamine otsene kiiruse hoob, mitte pelgalt mälukulu oma. NVFP4 on 4-bitine ujukomavorming peeneteralise plokipõhise skaleerimisega, mis lubabki tal säilitada täpsuse seal, kus vanemad 4-bitised täisarvulised kvantimisskeemid selle kaotasid. Umbes veerand baite loetuna ühe edasisammu kohta tähendab proportsionaalselt vähem mälu ootamist ja jätab palju rohkem varu pika konteksti KV-vahemälule, mida 196K aken nõuab.

Need kaks korrutuvad, mitte lihtsalt ei liitu: vähem baite sammu kohta ja vähem samme väljastatud tokeni kohta. Just see teeb piiranguteta täiskiirusega voogedastuse taskukohaseks teenindada, mitte kuluks, mille peaksime tempostamise kaudu tagasi kraapima — mida tempokiht 3.0 peal täpselt tegigi.

04196,608 tokenit: mida 6x aken avab

Shannon 3.0-l oli 32,768-tokeniline aken: tööseanss, mitte dokument. Umbes 70-80 lehekülge proosat, miinus see, mida arutlustsükkel oma mõtlemiseks kulutab, miinus sinu süsteemipäring, miinus senine vestlus. Päris töö põrkas selle seina vastu pidevalt ja ümbernurgalahendused — tükeldamine, kokkuvõtmine, otsingupõhine hankimine oma materjalist — kõik halvendavad just seda, mida sa säilitada püüdsid. 196,608 tokenit on hoopis teist liiki probleem.

Konkreetselt on see suurusjärgus 400-500 lehekülge ingliskeelset teksti või keskmise suurusega koodibaas koos testide ja README-ga, või ühe projekti aastane koosolekumärkmete hulk, või täielik lepingukomplekt koos kõigi lisadega — hoituna ühes vestluses, adresseeritav ühe küsimusega, ilma tükeldamiskihita sinu ja materjali vahel.

• Terve repositooriumi küsimused. Laadi kood sisse ja küsi, miks viga toodangusse jõuab, selle asemel et kleepida kolm faili, mida sa niigi kahtlustasid. Mudel oskab leida faili, mida sa ei osanud kaasa panna.
• Pikkade dokumentide analüüs ilma hankimiseta. Otsingupõhine hankimine on kaoline eelfilter, mis otsustab, mida mudel üldse näha tohib. 196K juures saad selle sageli vahele jätta ja lasta mudelil kõike lugeda, mis kaotab terve klassi vigu, kus õiget lõiku ei hangitudki.
• Vestlused, mis jäävad sidusaks. Pikk tööseanss ei kaota enam vaikselt oma algust. Piirangud, mille seadsid kolmandas sõnumis, kehtivad ka kaheksakümnendas.
• Ruumi arutlustsüklile. Tsükli enda mõtlemine, mustandi koostamine ja ülevaatus tarbivad konteksti. 3.0 peal võistlesid need sammud sinu materjaliga napi eelarve pärast. 3.1 peal mahuvad nad mugavalt ära, mis on osa põhjusest, miks kvaliteedivõit ja akna kasv saabusid koos.
• Suured segasisendid. Pildid, dokumendist eraldatud tekst ja kood ühes käigus, ilma et peaksid sorteerima, mida neist endale lubada saad.

Üks aus hoiatus, mis kehtib iga pika kontekstiga mudeli, ka meie oma kohta: suur aken on mahutavus, mitte garantii ühtlasest tähelepanust kogu selle ulatuses. Struktuur aitab endiselt. Küsimuse panemine lõpu lähedale, dokumentide märgistamine ja mudelile ütlemine, mida otsida, parandavad 150K tokeni juures tulemusi mõõdetavalt viisil, mida nad 5K juures lihtsalt ei tee.

05Lite ja Pro: shannon-3.1 ja shannon-3.1-pro

Kaks taset erinevad selle poolest, kui suure osa arutlustsüklist nad läbi teevad, ja nende vahel valimisel loebki ainult see erinevus.

	shannon-3.1 (Lite)	shannon-3.1-pro (Pro)
Arutlemine	Üks läbimine	Kogu tsükkel + teadmiste kogumine
Enda ülevaatus	Ei	Jah
Kontekstiaken	196,608	196,608
Voogedastus	Täiskiirus, piiranguteta	Täiskiirus, piiranguteta
Pildid & dokumendid	Jah	Jah
Pildigenereerimise tööriist	Jah	Jah
Parim jaoks	Enamik tööd, suur maht	Rasked küsimused, esimesest mustandist ei piisa

Kasuta vaikimisi Lite'i. Hea arutlusmudeli üks läbimine tuleb suure enamiku päris päringutega toime ja 3.1 peal on see piisavalt kiire, et tsükkel ei ole enam midagi, mille ootamist sa tunned. Võta Pro siis, kui küsimus on selline, mille esimene vastus on tavaliselt õpetlikult vale: arhitektuurilised kompromissid, ründaja vaates analüüs, kõik see, mille puhul tahaksid, et pädev kolleeg sellega ühe öö magaks. Pro enesekontrolli samm ei ole kaunistus — see on mudel, kes leiab oma vead enne, kui sina pead.

0632% intelligentsuse kasv ja kuidas seda lugeda

Shannon Labi enda hindamine annab Shannon 3.1-le Shannon 3.0 ees 32% intelligentsuse paranemise. Tahame olla selged selles, mis see on ja mis mitte.

See on meie arv, meie sisemisest hindamiskomplektist, mõõdetuna ülesannetel, mida peame esinduslikuks selle suhtes, mida inimesed nendele mudelitele tegelikult toovad. See ei ole kolmanda osapoole võrdlustest ja me ei ehita ühe sisemise koondnumbri ümber edetabelit ega avalda testide kaupa jaotust — jaotus vihjaks välisele võrreldavusele tasemel, mida sisemisel komplektil ei ole.

Mida me küll ütleme, on see, kust kasv tuleb, sest see osa ei ole müstiline. Suurem kontekstiaken tähendab, et enne arutlemist tuleb vähem materjali ära visata, ja suur osa näilisest rumalusest pikkades seanssides on tegelikult lihtsalt mälukaotus. Meie kontrolli all olev teenindusvirn tähendab, et mudel töötab seadistusega, mille me kavandasime, mitte teenuse vaikeseadetega. Ja arutlustsüklil — mille disain ei muutunud — on nüüd akna sees ruumi tegelikult joosta, selle asemel et olla surutud vastu 32K lage, mida ta sinu sisendiga jagas.

07Piltide lugemine, dokumendid ja pildigenereerimine

Shannon 3.1 loeb pilte ja dokumente. Ekraanipildid, diagrammid, fotod, skaneeritud leheküljed, PDF-id ja tekstidokumendid võivad vestlusse minna ja neid saab arutleda koos kõige muuga. Koos 196K aknaga teeb see terve dokumendi töövood praktiliseks: pikk aruanne ja selle graafikud ühes käigus, ilma et peaksid ette otsustama, milliseid lehekülgi mudel näha tohib.

Pildigenereerimine ja pilditöötlus on vestluses saadaval tööriistana. Palu pilti ja mudel kutsub tööriista kohapeal, samas vestluses, kogu senise jutu kontekstis. Töötlemine käib samamoodi — anna talle pilt ja kirjelda muudatust. Eraldi režiimi, kuhu lülituda, ega eraldi liidest, mida õppida, ei ole.

08Shannon 3.1 kutsumine API kaudu

Shannon 3.1 on saadaval kõigis kolmes API-murrakus, igas voogedastusega. Samad mudelid, kolm päringukuju — vali see, mis sobib SDK-ga, mis sul juba on.

Lõpp-punkt	Kuju	Voogedastus
/v1/chat/completions	OpenAI-ühilduv	Jah
/v1/messages	Anthropic-ühilduv	Jah
/v1/responses	Responses	Jah

{
  "model": "shannon-3.1",
  "stream": true,
  "messages": [
    { "role": "user", "content": "Summarize this contract set and flag anything unusual." }
  ]
}

Vaheta "shannon-3.1" vastu "shannon-3.1-pro", et käivitada kogu arutlustsükkel. Kui kutsud juba mudelit shannon-3, on migratsioon ainult mudeli id ja mitte midagi muud: päringu ja vastuse kujud on muutumatud ning olemasolevad voogedastuskliendid töötavad edasi. Ainus käitumuslik erinevus, mida oodata, on jaotises 02 kirjeldatud pursetega voog — samad tokenid, sama järjekord, saabuvad varem ja ebaühtlasemate tükkidena.

Täielik parameetriviide, autentimine, vigade semantika ja interaktiivne mänguväljak on API dokumentatsioonis. Teised mudelikaardid ja tehnilised kirjutised on rubriigis Shannon research.

09Endiselt tsenseerimata ja selles osas muutumatu

Shannon 3.1-l ei ole keeldumiskihti ega väljundi sisufiltrit. See on sama hoiak nagu ülejäänud Shannoni mudelitel ja see ei muutunud ka meie enda klastrisse kolimisega — pigem vastupidi, teenindusvirna kontrollimine muudab selle lubamise lihtsamaks, sest mudeli ja sinu vahel ei istu vahepealset teenusepakkujat oma reeglitega.

Tasub selgelt välja öelda, sest see on ilmne asi, mille üle kogu väljundteed muutnud väljalaske puhul juurelda: tempokihi eemaldamine ei tähendanud modereerimiskihi paigutamist selle asemele. Miski ei uuri, kirjuta ümber ega piira voogu. See, mida mudel toodab, on see, mis kohale jõuab. Shannon 3.1 on meile teadaolevalt kiireim saadaolev tsenseerimata AI mudel sellise kontekstiakna suurusega — ja need kaks omadust on seotud, sest mõlemad tulenevad oma taristu käitamisest, mitte vastavusse vormitud arvutusvõimsuse rentimisest kelleltki teiselt.

Tsenseerimata ei ole sama mis vastutuseta. Kasutamist reguleerib meie vastutustundliku kasutamise poliitika ja kohustus, mis tuleb mudeliga, mis raske materjaliga suhtlema hakkab, on see, et sina suhtled sellega vastutustundlikult.

10Tee võrdlus ise läbi

Iga siin esitatud väidet saab kontrollida umbes kahe minutiga ja me eelistame, et sa kontrolliksid, mitte ei usuks meid.

1. Vali päring tööst, mida sa tegelikult teed. Pikem on parem — see paneb proovile nii akna kui ka voogedastuse.
2. Käivita see mudelil shannon-3. Pane tähele, kui kaua läheb esimese tokenini ja kui kaua vastuse lõpuni.
3. Käivita identne päring mudelil shannon-3.1. Pane tähele samu kahte numbrit.
4. Seejärel loe mõlemad vastused läbi, kella eirates, ja otsusta, kumba sa oleksid tahtnud.

Kiiruse erinevus on kohene ja ilmne. Kvaliteedierinevus on see, mille juures tasub istuda — see tuleb kõige selgemalt välja pikkade sisendite peal, kus 3.0 töötas vaikselt väiksema osa sinu materjaliga, kui sa arvasid.

11Korduma kippuvad küsimused

---

Selle artikli jõudlus- ja intelligentsusnäitajad on Shannon Labi enda mõõtmised sisemisest hindamisest, september 2026, ja esitatakse tootenäitajatena, mitte kolmanda osapoole võrdlustestide tulemustena. Kontekstiaken, mudelite id-d ja API kättesaadavus on toote spetsifikatsioonid. Shannon AI-d käitab Shannon Lab LLC, New Mexico, USA. Seotud lugemist: Shannon 3 · Shannon research index · API dokumentatsioon.