Shannon 3.1
Yr un ddolen resymu, wedi'i symud ar ein clwstwr GPU ein hunain: 32% yn fwy deallus, 10-15x cyflymach, a ffenestr cyd-destun 196,608 tocyn.
TL;DR
Mae Shannon 3.1 yn cadw popeth a wnaeth Shannon 3 yn werth ei ddefnyddio — y ddolen resymu iteraidd, dim haen wrthod, dim hidlo allbwn — ac yn newid ble a sut mae'n rhedeg. Mae'r model bellach yn gwasanaethu o ein clwstwr GPU ein hunain yn lle gwesteiwr inference trydydd parti. Mae gwerthusiad Shannon Lab yn mesur gwelliant o 32% mewn deallusrwydd ac atebion 10-15x cyflymach yn erbyn Shannon 3.0. Mae'r ffenestr cyd-destun yn mynd o 32,768 i 196,608 tocyn. Mae'r haen reoli cyflymder a arafai allbwn 3.0 yn fwriadol wedi mynd: mae 3.1 yn ffrydio ar gyflymder llawn yr injan. Yr ids model yw shannon-3.1 a shannon-3.1-pro, mewn sgwrs ac ar bob un o'r tair tafodiaith API.
Mae'r rhan fwyaf o ryddhadau model yn gofyn ichi dderbyn honiad gallu ar ffydd ac aros i dabl meincnodau setlo'r ddadl. Mae'r un yma'n haws i'w wirio: agorwch ddwy dab, rhowch yr un anogaeth i shannon-3 ac i shannon-3.1, a gwyliwch. Nid yw'r gwahaniaeth yn y cyflymder y mae'r ateb yn cyrraedd yn gynnil, ac nid tric rendro mohono. Cafodd Shannon 3.0 ei arafu'n fwriadol. Nid felly Shannon 3.1.
01Beth newidiodd mewn gwirionedd yn Shannon 3.1
Cyflwynodd Shannon 3.0 y peth sy'n diffinio'r teulu hwn: dolen resymu iteraidd. Nid yw'r model yn ateb ar ei feddwl cyntaf. Mae'n meddwl, yn drafftio, yn adolygu ei ddrafft ei hun yn erbyn y cwestiwn, ac yn ei wella. Mae Lite yn rhedeg un pas o'r ddolen honno; mae Pro yn rhedeg y ddolen lawn, gan gynnwys cam cynaeafu gwybodaeth cyn iddo ddrafftio. Disgrifir y cynllun hwnnw'n fanwl yn erthygl ymchwil Shannon 3, ac nid oes dim ohono wedi newid yn 3.1.
Yr hyn a newidiodd yw'r peirianwaith oddi tano. Cafodd Shannon 3.0 ei wasanaethu drwy westeiwr inference trydydd parti — ffordd synhwyrol o lansio model, a ffordd gyfyngol o'i redeg. Rydych chi'n etifeddu ffurfweddiad gwasanaethu rhywun arall, ciw rhywun arall, nenfwd cyd-destun rhywun arall, a syniad rhywun arall o faint o docynnau yr eiliad y cewch chi eu cael. Mae Shannon 3.1 yn rhedeg ar ein clwstwr GPU ein hunain, ar bentwr gwasanaethu rydym ni'n ei ffurfweddu, ac mae pob rhif pennawd yn yr erthygl hon yn deillio o'r un penderfyniad hwnnw.
| Shannon 3.0 | Shannon 3.1 | |
|---|---|---|
| Ble mae'n rhedeg | Gwesteiwr trydydd parti | Ein clwstwr GPU ein hunain |
| Ffenestr cyd-destun | 32,768 | 196,608 |
| Ffrydio allbwn | Wedi'i arafu / cyfyngedig | Cyflymder llawn yr injan |
| Pwysau | Rhagosodiad y gwesteiwr | NVFP4 4-did |
| Dadgodio | Safonol | Rhagfynegol |
| Dolen resymu | Meddwl → drafftio → adolygu → gwella | Heb newid |
| Haen wrthod | Dim | Dim |
| Ids model | shannon-3, shannon-3-pro | shannon-3.1, shannon-3.1-pro |
02Pam mae Shannon 3.1 yn teimlo 10-15x yn gyflymach
Y rhif cyflymder yw'r un y mae pobl yn holi amdano gyntaf, felly mae'n werth bod yn fanwl ynghylch o ble mae'n dod. Mae dau gyfraniad annibynnol, a'r mwyaf ohonynt yw'r lleiaf glamorous o'r ddau.
Fe wnaethom dynnu'r giât gyflymder
Roedd allbwn Shannon 3.0 yn mynd drwy haen reoli cyflymder. Roedd tocynnau'n gadael yr injan, yn cael eu dal, ac yn cael eu rhyddhau i'ch cysylltiad ar amserlen. Nid damwain na nam oedd hyn. Pan mai gwesteiwr inference a rennir yw'r tagfa, mae rheoli cyflymder yr allbwn yn llyfnhau'r llwyth, yn atal cynhyrchiad hir rhag monopoleiddio slot, ac yn gwneud i'r ffrwd gyrraedd ar rythm rhagweladwy, darllenadwy yn hytrach nag mewn pyliau. Mae'n ddewis peirianneg y gellir ei amddiffyn, ac roedd yn costio amser cloc go iawn i bob defnyddiwr ar bob un ateb.
Nid oes gan Shannon 3.1 unrhyw giât gyflymder nac unrhyw reoli datgeliad. Ysgrifennir tocynnau i'ch ffrwd wrth i'r injan eu cynhyrchu. Os yw'r injan yn cynhyrchu'n gyflym, fe welwch chi hi'n cynhyrchu'n gyflym. Nid oes byffer llyfnhau rhwng y model a'ch terfynell, eich ffenestr sgwrsio, na'ch darllenydd SSE. Ar gyfer ateb hir — dadansoddiad 2,000 tocyn, ffeil o god wedi'i gynhyrchu — mae hyn yn unig yn cyfrif am y rhan fwyaf o'r gwelliant y byddwch chi'n sylwi arno.
Canlyniad gonest: mae'r ffrwd bellach yn ysbeidiol. Mae dadgodio rhagfynegol (isod) yn allyrru tocynnau a dderbynnir mewn rhediadau byr, felly gall testun gyrraedd mewn talpiau gweladwy yn hytrach nag ar gadens metronomig un gair ar y tro. Os adeiladoch chi UI o gwmpas cadens llyfn 3.0, bydd yn dal i weithio — nid yw trefn na chynnwys y tocynnau'n cael eu heffeithio — ond efallai y byddwch am ailgyflwyno eich esmwytho eich hun ar ochr y cleient os oedd yn well gennych yr olwg teipiadur. Rydym yn credu y byddai'n well gan y rhan fwyaf o bobl gael yr eiliadau'n ôl.
Aeth yr injan ei hun yn gyflymach
Nid yw tynnu'r giât ond o gymorth os yw'r hyn sydd y tu ôl iddi'n gyflym. Yr ail gyfraniad yw'r pentwr gwasanaethu a ddisgrifir yn adran 03: pwysau NVFP4 4-did a dadgodio rhagfynegol ar gyflymyddion cenhedlaeth gyfredol, brodorol o ran FP4, yn ein clwstwr ni ein hunain. Gyda'i gilydd mae'r rhain yn codi'r nenfwd y mae tynnu'r giât yn ei ddatgelu.
Hwyrni ateb cymharol o'r dechrau i'r diwedd, gwerthusiad mewnol Shannon Lab, Medi 2026. Mae'r ystod yn adlewyrchu hyd yr anogaeth a'r haen: mae anogaethau byr ar Lite yn agos at y pen isel, a chynhyrchiadau hir ar Pro yn agos at y pen uchel.
03Beth mae dadgodio rhagfynegol yn ei wneud mewn gwirionedd
Defnyddir ‘speculative decoding inference’ fel gair marchnata, felly dyma'r mecanwaith, yn blaen.
Fel arfer mae model iaith yn cynhyrchu un tocyn fesul pas ymlaen. Nid rhifyddeg sy'n dominyddu'r pas hwnnw ond lled band cof — rhaid darllen y pwysau i gyfrifo unrhyw beth, ac mae eu darllen yn cymryd llawer mwy o amser na'r fathemateg. Mae'r GPU yn treulio'r rhan fwyaf o'i amser yn aros am gof gyda'i unedau cyfrifiadura'n segur. Mae cynhyrchu 500 tocyn yn golygu talu'r hwyrni hwnnw 500 gwaith, yn ddilyniannol.
Mae dadgodio rhagfynegol yn ymosod ar y rhan ddilyniannol. Mae model drafft bach, rhad yn cynnig rhediad byr o docynnau nesaf tebygol — dyweder pedwar neu wyth. Yna mae'r prif fodel yn gwerthuso'r rhediad cyfan hwnnw mewn un pas ymlaen swp, sy'n costio prin fwy nag y byddai gwerthuso un tocyn wedi'i wneud, oherwydd mae'r rhan ddrud (darllen y pwysau) yn digwydd unwaith y naill ffordd neu'r llall. Caiff pob tocyn arfaethedig y mae'r prif fodel yn cytuno ag ef ei dderbyn a'i allyrru ar unwaith. Ar yr anghytundeb cyntaf, caiff y rhediad ei dorri a bydd dadgodio arferol yn ailddechrau o'r fan honno.
Yr eiddo sy'n bwysig
Mae dadgodio rhagfynegol yn cadw'r allbwn. Mae'r cam dilysu wedi'i lunio fel bod y dilyniant a dderbynnir wedi'i ddosbarthu yn union fel y byddai samplu'r prif fodel ei hun wedi bod. Nid ydych yn cael ateb y model drafft, ac nid ydych yn cael brasamcan o ateb y model mawr. Rydych yn cael allbwn y prif fodel, wedi'i gyrraedd mewn llai o gamau dilyniannol. Ni all y model drafft effeithio ond ar gyflymder, byth ar gynnwys.
Y gyfradd dderbyn sy'n gwneud y gwaith. Ar destun rhagweladwy — boilerplate, strwythur cod, meinwe gyswllt dadl — mae'r model drafft yn dyfalu'n dda ac mae rhediadau hir yn glanio ar unwaith. Ar docynnau gwirioneddol anodd, mae'r derbyn yn gostwng ac mae'r system yn dirywio'n raddol yn ôl i ddadgodio arferol un tocyn ar y tro. Dyna'r anghymesuredd rydych chi ei eisiau: mae'n cyflymu'r rhannau hawdd ac nid yw'n cyffwrdd â'r rhai anodd.
Pam mae pwysau 4-did yn perthyn i'r un paragraff
Gan mai lled band cof yw'r tagfa, mae crebachu'r pwysau'n lifer cyflymder uniongyrchol, nid dim ond un ôl troed cof. Mae NVFP4 yn fformat pwynt symudol 4-did gyda graddio manwl fesul bloc, sef yr hyn sy'n caniatáu iddo ddal cywirdeb lle roedd cynlluniau cwanteiddio cyfanrif 4-did hŷn yn ei golli. Mae tua chwarter y beitiau i'w darllen fesul pas ymlaen yn golygu llai o amser yn cyfrannol yn aros am gof, ac mae'n gadael llawer mwy o le uwchben ar gyfer y storfa KV cyd-destun hir y mae ffenestr 196K yn ei mynnu.
Mae'r ddau yn cyfansymio yn hytrach na dim ond adio: llai o feitiau fesul pas, a llai o basiau fesul tocyn a allyrrir. Dyna sy'n gwneud ffrydio digiât, ar gyflymder llawn, yn fforddiadwy i'w wasanaethu yn hytrach nag yn gost y byddai'n rhaid inni ei chrafu'n ôl drwy reoli cyflymder — sef yn union yr hyn yr oedd yr haen reoli cyflymder yn ei wneud ar 3.0.
04196,608 tocyn: beth mae ffenestr 6x yn ei ddatgloi
Roedd gan Shannon 3.0 ffenestr 32,768 tocyn: sesiwn waith, nid dogfen. Tua 70-80 tudalen o ryddiaith, llai beth bynnag y mae'r ddolen resymu'n ei ddefnyddio ar gyfer ei meddwl ei hun, llai eich anogaeth system, llai'r sgwrs hyd yma. Roedd gwaith go iawn yn taro'r wal honno'n gyson, ac mae'r ffyrdd o'i osgoi — darnio, crynhoi, adalw dros eich deunydd eich hun — i gyd yn diraddio'r union beth roeddech chi'n ceisio'i gadw. Mae 196,608 tocyn yn gategori gwahanol o broblem.
Yn benodol, mae hynny tua 400-500 tudalen o destun Saesneg, neu sylfaen cod canolig ei maint gyda'i phrofion a'i README, neu flwyddyn o nodiadau cyfarfod un prosiect, neu set gontractau lawn gyda'i holl atodiadau — wedi'u dal mewn un sgwrs, yn gyfeiriadwy mewn un cwestiwn, heb haen ddarnio rhyngoch chi a'r deunydd.
- Cwestiynau ar draws ystorfa gyfan. Llwythwch y cod a gofynnwch pam mae byg yn cyrraedd cynhyrchu, yn hytrach na gludo'r tair ffeil roeddech chi eisoes yn eu hamau. Gall y model ddod o hyd i'r ffeil na feddylioch chi am ei chynnwys.
- Dadansoddi dogfennau hir heb adalw. Mae adalw'n hidlydd rhagarweiniol colledus sy'n penderfynu beth y caiff y model ei weld. Ar 196K gallwch yn aml ei hepgor a gadael i'r model ddarllen popeth, sy'n dileu dosbarth cyfan o fethiant lle na chafodd y darn cywir ei adalw byth.
- Sgyrsiau sy'n aros yn gydlynol. Nid yw sesiwn waith hir bellach yn gollwng ei dechrau ei hun yn dawel. Mae cyfyngiadau a osodwyd gennych yn neges tri'n dal i fod mewn grym yn neges wyth deg.
- Lle i'r ddolen resymu. Mae meddwl, drafftio ac adolygu'r ddolen ei hun yn defnyddio cyd-destun. Ar 3.0 roedd y camau hynny'n cystadlu â'ch deunydd am gyllideb brin. Ar 3.1 maent yn ffitio'n gyfforddus, sy'n rhan o'r rheswm pam y cyrhaeddodd yr enillion ansawdd a'r cynnydd yn y ffenestr gyda'i gilydd.
- Mewnbynnau cymysg mawr. Delweddau, testun a echdynnwyd o ddogfennau, a chod mewn un tro, heb ddidoli pa rai ohonynt y gallwch fforddio eu cynnwys.
Un cafeat gonest sy'n berthnasol i bob model cyd-destun hir, gan gynnwys ein rhai ni: mae ffenestr fawr yn gapasiti, nid yn warant o sylw unffurf ar ei thraws. Mae strwythur yn dal i helpu. Mae rhoi'r cwestiwn tua'r diwedd, labelu eich dogfennau, a dweud wrth y model beth i chwilio amdano i gyd yn gwella canlyniadau'n fesuradwy ar 150K tocyn mewn ffordd nad ydynt yn ei wneud ar 5K.
05Lite a Pro: shannon-3.1 a shannon-3.1-pro
Mae'r ddwy haen yn gwahaniaethu yn faint o'r ddolen resymu maent yn ei rhedeg, a dyna'r unig wahaniaeth sy'n bwysig wrth ddewis rhyngddynt.
| shannon-3.1 (Lite) | shannon-3.1-pro (Pro) | |
|---|---|---|
| Rhesymu | Un pas | Dolen lawn + cynaeafu gwybodaeth |
| Hunanadolygu | Na | Ie |
| Ffenestr cyd-destun | 196,608 | 196,608 |
| Ffrydio | Cyflymder llawn, digiât | Cyflymder llawn, digiât |
| Gweledol a dogfennau | Ie | Ie |
| Offeryn cynhyrchu delweddau | Ie | Ie |
| Gorau ar gyfer | Y rhan fwyaf o waith, cyfaint uchel | Cwestiynau anodd, drafft cyntaf yn annigonol |
Defnyddiwch Lite yn ddiofyn. Mae un pas o fodel rhesymu da yn ymdrin â'r mwyafrif mawr o geisiadau go iawn, ac ar 3.1 mae'n ddigon cyflym fel nad yw'r ddolen bellach yn rhywbeth rydych chi'n teimlo eich bod yn aros drwyddo. Estynnwch am Pro pan fo'r cwestiwn yn un lle mae'r ateb cyntaf fel arfer yn anghywir mewn ffordd addysgiadol: cyfaddawdau pensaernïol, dadansoddi gwrthwynebus, unrhyw beth lle byddech chi eisiau i gydweithiwr cymwys gysgu arno. Nid addurn yw cam hunanadolygu Pro — dyna'r model yn dod o hyd i'w wallau ei hun cyn i chi orfod.
06Yr enillion deallusrwydd o 32%, a sut i'w darllen
Mae gwerthusiad mewnol Shannon Lab yn rhoi Shannon 3.1 ar welliant o 32% mewn deallusrwydd dros Shannon 3.0. Rydym am fod yn glir am beth yw hynny a beth nad ydyw.
Ein ffigur ni ydyw, o'n cyfres werthuso fewnol, wedi'i fesur ar dasgau rydym yn eu hystyried yn gynrychioliadol o'r hyn y mae pobl yn ei ddwyn i'r modelau hyn mewn gwirionedd. Nid meincnod trydydd parti mohono, ac nid ydym yn llunio tabl safleoedd o gwmpas un agreg fewnol nac yn cyhoeddi dadansoddiad fesul meincnod — mae dadansoddiad felly'n awgrymu lefel o gymharoldeb allanol nad oes gan gyfres fewnol.
Yr hyn y byddwn yn ei ddweud yw o ble mae'r enillion yn dod, oherwydd nid yw'r rhan honno'n ddirgel. Mae ffenestr cyd-destun fwy'n golygu bod llai o ddeunydd yn gorfod cael ei daflu cyn i'r model resymu drosto, ac mae llawer iawn o'r ymddangosiad o ddiffyg deallusrwydd mewn sesiynau hir yn amnesia mewn gwirionedd. Mae pentwr gwasanaethu rydym ni'n ei reoli'n golygu bod y model yn rhedeg gyda'r ffurfweddiad a fwriadwyd gennym yn hytrach na rhagosodiad gwesteiwr. Ac mae gan y ddolen resymu — heb newid o ran cynllun — le bellach i redeg go iawn y tu mewn i'r ffenestr yn lle cael ei gwasgu yn erbyn nenfwd 32K yr oedd yn ei rannu â'ch mewnbwn.
Y meincnod mwyaf defnyddiol i chi yw eich un chi. Cymerwch anogaeth o'ch llwyth gwaith go iawn — nid pos, un go iawn — a'i rhedeg ar shannon-3 ac yna ar shannon-3.1. Cymharwch yr atebion, ac amserwch nhw. Mae ein rhifau'n disgrifio cyfartaledd ar draws cyfres; eich anogaeth chi yw'r un sy'n gorfod gwella.
07Gweledol, dogfennau, a chynhyrchu delweddau
Mae Shannon 3.1 yn darllen delweddau a dogfennau. Gall sgrinluniau, diagramau, ffotograffau, tudalennau wedi'u sganio, ffeiliau PDF a dogfennau testun fynd i mewn i'r sgwrs a chael eu rhesymu drostynt ochr yn ochr â phopeth arall. Ynghyd â'r ffenestr 196K, dyma sy'n gwneud llifau gwaith dogfen gyfan yn ymarferol: adroddiad hir a'i siartiau mewn un tro, heb benderfynu ymlaen llaw pa dudalennau y caiff y model eu gweld.
Mae cynhyrchu a golygu delweddau ar gael mewn sgwrs fel offeryn. Gofynnwch am ddelwedd ac mae'r model yn galw'r offeryn yn fewnlin, yn yr un sgwrs, gyda chyd-destun popeth a drafodwyd hyd yma. Mae golygu'n gweithio yr un ffordd — rhowch ddelwedd iddo, disgrifiwch y newid. Nid oes modd ar wahân i newid iddo na rhyngwyneb ar wahân i'w ddysgu.
08Galw Shannon 3.1 o'r API
Mae Shannon 3.1 ar gael ar bob un o'r tair tafodiaith API, gyda ffrydio ar bob un. Yr un modelau, tri siâp cais — dewiswch ba bynnag un sy'n cyfateb i'r SDK sydd gennych eisoes.
| Pwynt terfyn | Siâp | Ffrydio |
|---|---|---|
| /v1/chat/completions | Cydnaws ag OpenAI | Ie |
| /v1/messages | Cydnaws ag Anthropic | Ie |
| /v1/responses | Responses | Ie |
{
"model": "shannon-3.1",
"stream": true,
"messages": [
{ "role": "user", "content": "Summarize this contract set and flag anything unusual." }
]
}Cyfnewidiwch "shannon-3.1" am "shannon-3.1-pro" i redeg y ddolen resymu lawn. Os ydych chi eisoes yn galw shannon-3, yr id model yw'r mudo a dim byd arall: nid yw siapiau'r cais na'r ymateb wedi newid, ac mae cleientiaid ffrydio presennol yn dal i weithio. Yr un gwahaniaeth ymddygiad i'w ddisgwyl yw'r ffrwd fwy ysbeidiol a ddisgrifiwyd yn adran 02 — yr un tocynnau, yr un drefn, yn cyrraedd yn gynt ac mewn talpiau llai gwastad.
Mae'r cyfeirnod paramedrau llawn, dilysu, semanteg gwallau a maes chwarae rhyngweithiol yn y ddogfennaeth API. Mae cardiau model eraill ac ysgrifau technegol yn ymchwil Shannon.
09Yn dal heb sensoriaeth, ac yn ddigyfnewid yn hynny o beth
Nid oes gan Shannon 3.1 haen wrthod nac unrhyw hidlo cynnwys ar yr allbwn. Dyma'r un safiad â gweddill llinell Shannon ac ni newidiodd gyda'r symudiad i'n clwstwr ein hunain — os rhywbeth, mae rheoli'r pentwr gwasanaethu'n ei gwneud yn haws i'w warantu, oherwydd nid oes gwesteiwr canolradd gyda'i bolisi ei hun yn eistedd rhwng y model a chi.
Yn werth ei ddweud yn blaen oherwydd dyna'r peth amlwg i feddwl amdano gyda rhyddhad a newidiodd y llwybr allbwn cyfan: nid oedd tynnu'r haen reoli cyflymder yn golygu gosod haen gymedroli yn ei lle. Nid oes dim yn archwilio, yn ailysgrifennu, nac yn gatio'r ffrwd. Yr hyn y mae'r model yn ei gynhyrchu yw'r hyn sy'n cyrraedd. Shannon 3.1 yw, hyd y gwyddom, y model AI cyflymaf heb sensoriaeth sydd ar gael gyda ffenestr cyd-destun o'r maint hwn — ac mae'r ddwy briodwedd yn gysylltiedig, gan fod y ddwy'n dod o redeg ein seilwaith ein hunain yn hytrach na rhentu capasiti wedi'i siapio gan gydymffurfiaeth gan rywun arall.
Nid yw heb sensoriaeth yr un peth â heb atebolrwydd. Llywodraethir defnydd gan ein Polisi Defnydd Cyfrifol, a'r rhwymedigaeth sy'n dod gyda model a fydd yn ymgysylltu â deunydd anodd yw eich bod chi'n ymgysylltu ag ef yn gyfrifol.
10Rhedwch y gymhariaeth eich hun
Mae pob honiad yma'n wiriadwy mewn tua dwy funud, a byddai'n well gennym ichi wirio na'n credu.
- Dewiswch anogaeth o waith rydych chi wir yn ei wneud. Mae hir yn well — mae'n ymarfer y ffenestr a'r ffrydio fel ei gilydd.
- Rhedwch hi ar
shannon-3. Nodwch pa mor hir hyd at y tocyn cyntaf, a pha mor hir hyd nes bod yr ateb yn cwblhau. - Rhedwch yr un anogaeth yn union ar
shannon-3.1. Nodwch yr un ddau rif. - Yna darllenwch y ddau ateb, gan anwybyddu'r cloc, a phenderfynwch pa un y byddech chi wedi'i eisiau.
Bydd y gwahaniaeth cyflymder yn syth ac yn amlwg. Y gwahaniaeth ansawdd yw'r un sy'n werth eistedd gydag ef — mae'n ymddangos gliriaf ar fewnbynnau hir, lle roedd 3.0 yn gweithio'n dawel gyda llai o'ch deunydd nag yr oeddech chi'n meddwl.
11Cwestiynau cyffredin
Beth yw Shannon 3.1?
Shannon 3.1 yw rhyddhad cyfredol teulu Shannon 3. Mae'n cadw'r un ddolen resymu iteraidd — meddwl, drafftio, hunanadolygu, gwella — ond yn ei rhedeg yn frodorol ar ein clwstwr GPU ein hunain yn lle gwesteiwr inference trydydd parti. Mae gwerthusiad mewnol Shannon Lab yn mesur gwelliant o 32% mewn deallusrwydd ac atebion 10-15x cyflymach o'i gymharu â Shannon 3.0, gyda'r ffenestr cyd-destun wedi codi o 32,768 i 196,608 tocyn.
Faint cyflymach yw Shannon 3.1 na Shannon 3.0?
Rhwng 10x a 15x cyflymach ar atebion o'r dechrau i'r diwedd, yn ôl gwerthusiad mewnol Shannon Lab. Mae dau beth yn cyfrif am hynny. Roedd allbwn Shannon 3.0 yn mynd drwy haen reoli cyflymder a oedd yn cyfyngu ar y ffrwd yn fwriadol; nid oes gan Shannon 3.1 unrhyw giât gyflymder na rheoli datgeliad, felly mae tocynnau'n eich cyrraedd mor gyflym ag y mae'r injan yn eu cynhyrchu. Mae'r injan ei hun hefyd yn gyflymach: pwysau NVFP4 4-did ynghyd â dadgodio rhagfynegol ar ein clwstwr GPU ein hunain.
Pa mor fawr yw ffenestr cyd-destun Shannon 3.1?
196,608 tocyn, cynnydd o 6x dros y 32,768 tocyn oedd ar gael ar Shannon 3.0. Mae hynny tua 400-500 tudalen o destun, neu sylfaen cod canolig ei maint, wedi'i chadw mewn un sgwrs heb ddarnio nac adalw.
Beth yw dadgodio rhagfynegol a pham mae'n bwysig yma?
Mae model drafft bach, cyflym yn cynnig rhediad o docynnau nesaf tebygol ac mae'r prif fodel yn eu dilysu mewn un pas swp. Caiff tocynnau a dderbynnir eu hallyrru ar unwaith; mae'r rhai a wrthodir yn syrthio yn ôl i ddadgodio arferol. Yr allbwn yw'r hyn y byddai'r prif fodel wedi'i gynhyrchu ar ei ben ei hun, ond gall sawl tocyn lanio fesul cam dilysu yn lle un. Dyna sy'n gwneud ffrydio ar gyflymder llawn yn fforddiadwy yn hytrach nag yn broblem gost.
A yw Shannon 3.1 heb sensoriaeth?
Ydy. Nid oes gan Shannon 3.1 haen wrthod nac unrhyw hidlo cynnwys ar ei allbwn, yr un fath â gweddill llinell Shannon. Ni ychwanegodd tynnu'r haen reoli cyflymder haen gymedroli yn ei lle — y ffrwd rydych chi'n ei derbyn yw allbwn y model.
Beth yw'r ids model a ble gallaf ddefnyddio Shannon 3.1?
shannon-3.1 yw'r haen Lite a shannon-3.1-pro yw'r haen Pro. Mae'r ddau ar gael mewn sgwrs ac ar bob un o'r tair tafodiaith API: /v1/chat/completions (siâp OpenAI), /v1/messages (siâp Anthropic), a /v1/responses. Mae ffrydio'n gweithio ar bob un o'r tri.
Beth yw'r gwahaniaeth rhwng shannon-3.1 a shannon-3.1-pro?
Mae Lite yn rhedeg un pas o'r ddolen resymu: mae'n meddwl, yna'n ateb. Mae Pro yn rhedeg y ddolen lawn — meddwl, drafftio, hunanadolygu, gwella — gyda cham cynaeafu gwybodaeth cyn drafftio. Lite yw'r rhagosodiad cywir ar gyfer y rhan fwyaf o waith; mae Pro ar gyfer cwestiynau lle nad yr ateb cyntaf yw'r gorau fel arfer.
Rhowch gynnig ar Shannon 3.1
Yr un ddolen resymu. Chwe gwaith y ffenestr. Dim giât gyflymder.
Dechrau Sgwrsio Darllen y Dogfennau APIshannon-3.1 · shannon-3.1-pro · ffrydio ar bob un o'r tair tafodiaith
Mesuriadau Shannon Lab ei hun o werthusiad mewnol, Medi 2026, yw'r ffigurau perfformiad a deallusrwydd yn yr erthygl hon, ac fe'u nodir fel ffigurau cynnyrch yn hytrach na chanlyniadau meincnod trydydd parti. Manylebau cynnyrch yw'r ffenestr cyd-destun, yr ids model, ac argaeledd yr API. Gweithredir Shannon AI gan Shannon Lab LLC, New Mexico, UDA. Darllen cysylltiedig: Shannon 3 · mynegai ymchwil Shannon · dogfennaeth API.