Shannon 3.1
Նույն պատճառաբանության ցիկլը՝ տեղափոխված մեր սեփական GPU կլաստեր. 32% ավելի խելացի, 10-15 անգամ ավելի արագ և 196,608-տոկեն համատեքստի պատուհան:
Համառոտ
Shannon 3.1-ը պահպանում է այն ամենը, ինչը Shannon 3-ը դարձնում էր օգտագործելու արժանի՝ կրկնողական պատճառաբանության ցիկլը, մերժման շերտի բացակայությունը, ելքի զտման բացակայությունը — և փոխում է այն, թե որտեղ ու ինչպես է այն աշխատում: Մոդելն այժմ սպասարկվում է մեր սեփական GPU կլաստերից՝ երրորդ կողմի ինֆերենս-հոսթի փոխարեն: Shannon Lab-ի գնահատումը չափում է ինտելեկտի 32% բարելավում և 10-15 անգամ ավելի արագ պատասխաններ՝ Shannon 3.0-ի համեմատ: Համատեքստի պատուհանն անցնում է 32,768-ից 196,608 տոկենի: Տեմպի շերտը, որը միտումնավոր դանդաղեցնում էր 3.0-ի ելքը, վերացված է. 3.1-ը հոսք է փոխանցում շարժիչի ողջ արագությամբ: Մոդելների id-ներն են shannon-3.1 և shannon-3.1-pro՝ չաթում և API-ի բոլոր երեք բարբառներով:
Մոդելների թողարկումների մեծ մասը ձեզնից պահանջում է հավատալ հնարավորությունների մասին հայտարարությանը և սպասել, մինչև բենչմարքների աղյուսակը լուծի վեճը: Այս մեկն ավելի հեշտ է ստուգել՝ բացեք երկու ներդիր, նույն հարցումը մուտքագրեք shannon-3 և shannon-3.1 մոդելներին և դիտեք: Պատասխանի ժամանման արագության տարբերությունը նուրբ չէ և ռենդերինգի հնարք չէ: Shannon 3.0-ը միտումնավոր զսպված էր: Shannon 3.1-ը՝ ոչ:
01Ի՞նչ է իրականում փոխվել Shannon 3.1-ում
Shannon 3.0-ը ներկայացրեց այն, ինչը սահմանում է այս ընտանիքը՝ կրկնողական պատճառաբանության ցիկլը: Մոդելը չի պատասխանում իր առաջին մտքով: Այն մտածում է, սևագրում, ստուգում իր սեփական սևագիրը հարցի դիմաց և բարելավում այն: Lite-ը կատարում է այդ ցիկլի մեկ անցում. Pro-ն կատարում է ամբողջ ցիկլը՝ ներառյալ գիտելիքի հավաքագրման քայլը սևագրելուց առաջ: Այդ նախագիծը մանրամասն նկարագրված է Shannon 3 հետազոտական հոդվածում, և դրանից ոչինչ չի փոխվել 3.1-ում:
Փոխվել է ներքևում գտնվող մեքենայությունը: Shannon 3.0-ը սպասարկվում էր երրորդ կողմի ինֆերենս-հոսթի միջոցով՝ մոդել գործարկելու ողջամիտ ձև և այն շահագործելու սահմանափակող ձև: Դուք ժառանգում եք ուրիշի սպասարկման կոնֆիգուրացիան, ուրիշի հերթը, ուրիշի համատեքստի առաստաղը և ուրիշի պատկերացումն այն մասին, թե վայրկյանում քանի տոկեն ունենալու իրավունք ունեք: Shannon 3.1-ն աշխատում է մեր սեփական GPU կլաստերի վրա՝ մեր կողմից կարգավորվող սպասարկման ստեկի վրա, և այս հոդվածի ամեն մի հիմնական թիվ բխում է հենց այդ մեկ որոշումից:
| Shannon 3.0 | Shannon 3.1 | |
|---|---|---|
| Որտեղ է աշխատում | Երրորդ կողմի հոսթ | Մեր սեփական GPU կլաստերը |
| Համատեքստի պատուհան | 32,768 | 196,608 |
| Ելքի հոսքային փոխանցում | Տեմպավորված / արագությամբ սահմանափակված | Շարժիչի ողջ արագությունը |
| Կշիռներ | Հոսթի լռելյայն | 4-բիթ NVFP4 |
| Ապակոդավորում | Ստանդարտ | Սպեկուլյատիվ |
| Պատճառաբանության ցիկլ | Մտածել → սևագրել → ստուգել → բարելավել | Անփոփոխ |
| Մերժման շերտ | Չկա | Չկա |
| Մոդելների id-ներ | shannon-3, shannon-3-pro | shannon-3.1, shannon-3.1-pro |
02Ինչո՞ւ է Shannon 3.1-ը զգացվում 10-15 անգամ ավելի արագ
Արագության թիվն այն է, ինչի մասին մարդիկ առաջինը հարցնում են, ուստի արժե ճշգրիտ լինել դրա ծագման վերաբերյալ: Կան երկու անկախ ներդրումներ, և ավելի մեծը դրանցից ավելի քիչ շքեղն է:
Մենք հանեցինք արագության սահմանափակիչը
Shannon 3.0-ի ելքն անցնում էր տեմպի շերտով: Տոկեններն դուրս էին գալիս շարժիչից, պահվում էին և ժամանակացույցով բաց թողնվում ձեր միացմանը: Սա պատահականություն կամ սխալ չէր: Երբ ընդհանուր ինֆերենս-հոսթը խցանման կետն է, ելքի տեմպավորումը հարթեցնում է բեռը, թույլ չի տալիս երկար գեներացիային մենաշնորհել մի սլոտ և ստիպում է հոսքին ժամանել կանխատեսելի, ընթեռնելի ռիթմով՝ պոռթկումների փոխարեն: Դա պաշտպանելի ինժեներական ընտրություն է, և այն ամեն մի պատասխանի վրա ամեն օգտատիրոջ արժեցել է իրական ժամանակ:
Shannon 3.1-ը չունի արագության սահմանափակիչ և բացահայտման տեմպավորում: Տոկեններն ուղարկվում են ձեր հոսքին այնպես, ինչպես շարժիչն արտադրում է դրանք: Եթե շարժիչն արագ է գեներացնում, դուք տեսնում եք, որ այն արագ է գեներացնում: Մոդելի և ձեր տերմինալի, ձեր չաթի պատուհանի կամ ձեր SSE ընթերցողի միջև հարթեցնող բուֆեր չկա: Երկար պատասխանի համար՝ 2,000-տոկեն վերլուծություն, գեներացված կոդի ֆայլ, միայն սա է կազմում այն բարելավման մեծ մասը, որը դուք կնկատեք:
Ազնիվ հետևանք. հոսքն այժմ պոռթկումային է: Սպեկուլյատիվ ապակոդավորումը (ստորև) ընդունված տոկեններն արձակում է կարճ շարքերով, ուստի տեքստը կարող է ժամանել տեսանելի կտորներով՝ մետրոնոմային մեկ-բառ-միանգամից ռիթմի փոխարեն: Եթե ձեր ինտերֆեյսը կառուցել եք 3.0-ի հարթ ռիթմի շուրջ, այն դեռ կաշխատի — տոկենների հերթականությունն ու բովանդակությունը չեն փոխվել — բայց գուցե ցանկանաք վերականգնել ձեր սեփական հաճախորդային կողմի հարթեցումը, եթե նախընտրում էիք գրամեքենայի տեսքը: Կարծում ենք՝ մարդկանց մեծ մասը կնախընտրի հետ ստանալ վայրկյանները:
Ինքը՝ շարժիչը, դարձավ ավելի արագ
Սահմանափակիչի հեռացումն օգնում է միայն այն դեպքում, եթե դրա հետևում եղածն արագ է: Երկրորդ ներդրումը 03 բաժնում նկարագրված սպասարկման ստեկն է՝ 4-բիթ NVFP4 կշիռներ և սպեկուլյատիվ ապակոդավորում մեր սեփական կլաստերի ընթացիկ սերնդի, FP4-բնիկ արագացուցիչների վրա: Միասին դրանք բարձրացնում են այն առաստաղը, որը բացահայտվում է սահմանափակիչի հեռացումով:
Հարաբերական ծայրից ծայր պատասխանի հապաղում, Shannon Lab-ի ներքին գնահատում, 2026 թ. սեպտեմբեր: Միջակայքն արտացոլում է հարցման երկարությունը և մակարդակը՝ Lite-ի կարճ հարցումները մոտ են ցածր սահմանին, Pro-ի երկար գեներացիաները՝ բարձրին:
03Ի՞նչ է իրականում անում սպեկուլյատիվ ապակոդավորումը
«Սպեկուլյատիվ ապակոդավորմամբ ինֆերենս» արտահայտությունը գործածվում է որպես մարքեթինգային բառ, ուստի ահա մեխանիզմը՝ պարզ լեզվով:
Լեզվական մոդելը սովորաբար արտադրում է մեկ տոկեն յուրաքանչյուր ուղիղ անցման համար: Այդ անցումը որոշվում է ոչ թե թվաբանությամբ, այլ հիշողության թողունակությամբ — կշիռները պետք է կարդացվեն որևէ բան հաշվարկելու համար, և դրանք կարդալը շատ ավելի երկար է տևում, քան մաթեմատիկան: GPU-ն իր ժամանակի մեծ մասն անցկացնում է հիշողությանը սպասելով՝ պարապ հաշվողական միավորներով: 500 տոկեն գեներացնելը նշանակում է այդ հապաղումը վճարել 500 անգամ՝ հաջորդաբար:
Սպեկուլյատիվ ապակոդավորումը հարվածում է հենց հաջորդական մասին: Փոքր, էժան սևագրող մոդելն առաջարկում է հավանական հաջորդ տոկենների կարճ շարք՝ ասենք չորս կամ ութ: Հիմնական մոդելն այնուհետև գնահատում է այդ ամբողջ շարքը մեկ խմբաքանակային ուղիղ անցումով, ինչն արժենում է հազիվ ավելին, քան մեկ տոկեն գնահատելը, քանի որ թանկ մասը (կշիռների ընթերցումը) երկու դեպքում էլ տեղի է ունենում մեկ անգամ: Յուրաքանչյուր առաջարկված տոկեն, որի հետ հիմնական մոդելը համաձայն է, ընդունվում և անմիջապես թողարկվում է: Առաջին անհամաձայնության պահին շարքը կրճատվում է, և այնտեղից վերսկսվում է սովորական ապակոդավորումը:
Հատկությունը, որը կարևոր է
Սպեկուլյատիվ ապակոդավորումը պահպանում է ելքը: Ստուգման քայլը կառուցված է այնպես, որ ընդունված հաջորդականությունը բաշխված լինի ճիշտ այնպես, ինչպես կլիներ հիմնական մոդելի սեփական ընտրանքը: Դուք չեք ստանում սևագրող մոդելի պատասխանը և չեք ստանում մեծ մոդելի պատասխանի մոտարկումը: Դուք ստանում եք հիմնական մոդելի ելքը՝ ստացված ավելի քիչ հաջորդական քայլերով: Սևագրող մոդելը կարող է ազդել միայն արագության վրա, երբեք՝ բովանդակության:
Աշխատանքը կատարում է ընդունման տոկոսը: Կանխատեսելի տեքստի վրա՝ շաբլոնային մասեր, կոդի կառուցվածք, փաստարկի կապակցող հյուսվածք, սևագրող մոդելը լավ է գուշակում, և երկար շարքերը միանգամից տեղավորվում են: Իսկապես դժվար տոկենների վրա ընդունումն ընկնում է, և համակարգը սահուն կերպով վերադառնում է սովորական՝ մեկ-տոկեն-միանգամից ապակոդավորմանը: Այդ անհամաչափությունը հենց այն է, ինչ պետք է. այն արագացնում է հեշտ մասերը և չի դիպչում դժվարներին:
Ինչո՞ւ են 4-բիթ կշիռները նույն պարբերության մեջ
Քանի որ խցանման կետը հիշողության թողունակությունն է, կշիռների փոքրացումն ուղղակի արագության լծակ է, ոչ միայն հիշողության ծավալի: NVFP4-ը 4-բիթ լողացող կետով ձևաչափ է՝ մանրահատիկ, բլոկային մասշտաբավորմամբ, ինչը թույլ է տալիս պահել ճշգրտությունն այնտեղ, որտեղ 4-բիթ ամբողջաթիվ քվանտավորման հին սխեմաները կորցնում էին այն: Յուրաքանչյուր ուղիղ անցման համար մոտավորապես քառորդ չափի բայթեր կարդալը նշանակում է համամասնորեն ավելի քիչ ժամանակ՝ հիշողությանը սպասելով, և շատ ավելի մեծ պաշար է թողնում երկար համատեքստի KV քեշի համար, որը պահանջում է 196K պատուհանը:
Երկուսը ոչ թե պարզապես գումարվում են, այլ բազմապատկվում. ավելի քիչ բայթ մեկ անցման համար և ավելի քիչ անցում մեկ թողարկված տոկենի համար: Հենց դա է չսահմանափակված, ողջ արագությամբ հոսքային փոխանցումը դարձնում մատչելի սպասարկելու համար՝ ոչ թե ծախս, որը ստիպված կլինեինք հետ շահել տեմպավորմամբ — ինչը հենց այն է, ինչ անում էր տեմպի շերտը 3.0-ում:
04196,608 տոկեն. ի՞նչ է բացում 6 անգամ մեծ պատուհանը
Shannon 3.0-ն ուներ 32,768-տոկեն պատուհան՝ աշխատանքային սեսիա, ոչ թե փաստաթուղթ: Մոտավորապես 70-80 էջ արձակ՝ հանած այն, ինչ պատճառաբանության ցիկլը սպառում է սեփական մտածողության համար, հանած ձեր համակարգային հրահանգը, հանած մինչ այժմ ընթացող զրույցը: Իրական աշխատանքն անընդհատ բախվում էր այդ պատին, իսկ շրջանցումները՝ մասնատում, ամփոփում, ձեր սեփական նյութի վրայով որոնում-դուրսբերում, բոլորն էլ վատթարացնում են հենց այն, ինչ փորձում էիք պահպանել: 196,608 տոկենը խնդրի այլ կատեգորիա է:
Կոնկրետ՝ դա մոտավորապես 400-500 էջ անգլերեն տեքստ է, կամ միջին չափի կոդային բազա՝ իր թեստերով և README-ով, կամ մեկ նախագծի մեկ տարվա հանդիպումների գրառումները, կամ պայմանագրերի ամբողջական փաթեթ՝ բոլոր հավելվածներով, պահվող մեկ զրույցում, հասցեագրելի մեկ հարցով, առանց ձեր և նյութի միջև մասնատող շերտի:
- Ամբողջ պահոցի վերաբերյալ հարցեր: Բեռնեք կոդը և հարցրեք, թե ինչու է սխալը հասնում արտադրություն՝ ձեր արդեն կասկածած երեք ֆայլերը փակցնելու փոխարեն: Մոդելը կարող է գտնել այն ֆայլը, որը դուք չմտածեցիք ներառել:
- Երկար փաստաթղթի վերլուծություն առանց որոնում-դուրսբերման: Դուրսբերումը կորստային նախնական զտիչ է, որը որոշում է, թե ինչ է մոդելին թույլատրվում տեսնել: 196K-ի դեպքում հաճախ կարող եք բաց թողնել այն և թողնել, որ մոդելը կարդա ամեն ինչ, ինչը վերացնում է ձախողումների մի ամբողջ դաս, երբ ճիշտ հատվածը երբեք չի դուրս բերվել:
- Զրույցներ, որոնք մնում են համահունչ: Երկար աշխատանքային սեսիան այլևս լուռ չի կորցնում իր սեփական սկիզբը: Երրորդ հաղորդագրության մեջ սահմանված սահմանափակումները դեռ գործում են ութսուներորդում:
- Տեղ պատճառաբանության ցիկլի համար: Ցիկլի սեփական մտածողությունը, սևագրելն ու ստուգելը սպառում են համատեքստ: 3.0-ում այդ քայլերը մրցում էին ձեր նյութի հետ սակավ բյուջեի համար: 3.1-ում դրանք հարմարավետ տեղավորվում են, ինչը մասամբ բացատրում է, թե ինչու որակի աճը և պատուհանի մեծացումը հասան միասին:
- Մեծ, խառը մուտքեր: Պատկերներ, փաստաթղթից դուրս բերված տեքստ և կոդ մեկ քայլում՝ առանց տեսակավորելու, թե դրանցից որն եք կարող թույլ տալ ներառել:
Մեկ ազնիվ վերապահում, որը վերաբերում է երկար համատեքստի ամեն մոդելի, ներառյալ մերը. մեծ պատուհանը տարողություն է, ոչ թե ողջ դրա վրա միատեսակ ուշադրության երաշխիք: Կառուցվածքը դեռ օգնում է: Հարցը վերջում տեղադրելը, ձեր փաստաթղթերը պիտակավորելը և մոդելին ասելը, թե ինչ փնտրի, բոլորն էլ չափելիորեն բարելավում են արդյունքները 150K տոկենի վրա այնպես, ինչպես պարզապես չեն անում 5K-ի վրա:
05Lite և Pro. shannon-3.1 և shannon-3.1-pro
Երկու մակարդակները տարբերվում են նրանով, թե պատճառաբանության ցիկլի որքան մասն են կատարում, և դա միակ տարբերությունն է, որը կարևոր է դրանց միջև ընտրելիս:
| shannon-3.1 (Lite) | shannon-3.1-pro (Pro) | |
|---|---|---|
| Պատճառաբանություն | Մեկ անցում | Ամբողջ ցիկլը + գիտելիքի հավաքագրում |
| Ինքնաստուգում | Ոչ | Այո |
| Համատեքստի պատուհան | 196,608 | 196,608 |
| Հոսքային փոխանցում | Ողջ արագությամբ, առանց սահմանափակիչի | Ողջ արագությամբ, առանց սահմանափակիչի |
| Տեսողություն և փաստաթղթեր | Այո | Այո |
| Պատկերի գեներացիայի գործիք | Այո | Այո |
| Լավագույնն է | Աշխատանքի մեծ մասի, մեծ ծավալի համար | Դժվար հարցերի, երբ առաջին սևագիրը բավարար չէ |
Լռելյայն օգտագործեք Lite-ը: Լավ պատճառաբանող մոդելի մեկ անցումը հաղթահարում է իրական հարցումների ճնշող մեծամասնությունը, և 3.1-ում այն այնքան արագ է, որ ցիկլն այլևս սպասելու զգացողություն չի առաջացնում: Դիմեք Pro-ին, երբ հարցն այնպիսին է, որ առաջին պատասխանը սովորաբար ուսուցողական կերպով սխալ է. ճարտարապետական զիջումներ, հակառակորդային վերլուծություն, ամեն ինչ, ինչի շուրջ կցանկանայիք, որ գրագետ գործընկերը մեկ գիշեր մտածեր: Pro-ի ինքնաստուգման քայլը դեկորացիա չէ — դա մոդելն է, որը գտնում է իր սեփական սխալները, նախքան դուք ստիպված կլինեք:
0632% ինտելեկտի աճը և ինչպես կարդալ այն
Shannon Lab-ի սեփական գնահատումը Shannon 3.1-ին տալիս է ինտելեկտի 32% բարելավում Shannon 3.0-ի նկատմամբ: Ուզում ենք հստակ լինել այն մասին, թե դա ինչ է և ինչ չէ:
Դա մեր թիվն է՝ մեր ներքին գնահատման փաթեթից, չափված այն առաջադրանքների վրա, որոնք համարում ենք ներկայացուցչական այն ամենի համար, ինչ մարդիկ իրականում բերում են այս մոդելներին: Դա երրորդ կողմի բենչմարք չէ, և մենք չենք կառուցում առաջատարների աղյուսակ մեկ ներքին ագրեգատի շուրջ և չենք հրապարակում ըստ առանձին բենչմարքի բաշխում — բաշխումը ենթադրում է արտաքին համադրելիության մի մակարդակ, որը ներքին փաթեթը չունի:
Ինչ կասենք, դա այն է, թե որտեղից է գալիս աճը, քանի որ այդ մասը խորհրդավոր չէ: Ավելի մեծ համատեքստի պատուհանը նշանակում է, որ ավելի քիչ նյութ պետք է դեն նետվի, նախքան մոդելը կպատճառաբանի դրա շուրջ, և երկար սեսիաներում ակնհայտ անխելքության մեծ մասն իրականում պարզապես ամնեզիա է: Մեր վերահսկողության տակ գտնվող սպասարկման ստեկը նշանակում է, որ մոդելն աշխատում է մեր նախատեսած կոնֆիգուրացիայով, ոչ թե հոսթի լռելյայն կարգավորումով: Իսկ պատճառաբանության ցիկլը՝ նախագծով անփոփոխ, այժմ պատուհանի ներսում իրական տեղ ունի աշխատելու՝ 32K առաստաղին սեղմված լինելու փոխարեն, որը կիսում էր ձեր մուտքի հետ:
Ձեզ համար ամենաօգտակար բենչմարքը ձերն է: Վերցրեք հարցում ձեր իրական աշխատանքից՝ ոչ թե գլուխկոտրուկ, այլ իրական, և կատարեք այն shannon-3-ի, ապա shannon-3.1-ի վրա: Համեմատեք պատասխանները և չափեք ժամանակը: Մեր թվերը նկարագրում են միջինը մի փաթեթի վրայով. ձեր հարցումն այն է, որը պետք է ավելի լավանա:
07Տեսողություն, փաստաթղթեր և պատկերի գեներացիա
Shannon 3.1-ը կարդում է պատկերներ և փաստաթղթեր: Էկրանի պատկերները, դիագրամները, լուսանկարները, սկանավորված էջերը, PDF-ները և տեքստային փաստաթղթերը կարող են մտնել զրույց և վերլուծվել մնացած ամեն ինչի հետ միասին: 196K պատուհանի հետ համակցված՝ հենց սա է ամբողջ փաստաթղթի հետ աշխատանքը դարձնում գործնական. երկար հաշվետվություն և իր գծապատկերները մեկ քայլում՝ առանց նախապես որոշելու, թե որ էջերը մոդելին թույլատրվում է տեսնել:
Պատկերի գեներացիան և խմբագրումը հասանելի են չաթում որպես գործիք: Խնդրեք պատկեր, և մոդելը կանչում է գործիքը տեղում՝ նույն զրույցի մեջ, մինչ այժմ քննարկվածի ողջ համատեքստով: Խմբագրումն աշխատում է նույն կերպ՝ տվեք պատկեր, նկարագրեք փոփոխությունը: Չկա առանձին ռեժիմ, որին պետք է անցնել, և չկա առանձին ինտերֆեյս, որը պետք է սովորել:
08Shannon 3.1-ի կանչը API-ից
Shannon 3.1-ը հասանելի է API-ի բոլոր երեք բարբառներով՝ հոսքային փոխանցմամբ յուրաքանչյուրում: Նույն մոդելները, հարցման երեք ձևաչափ՝ ընտրեք այն, որը համապատասխանում է ձեր արդեն ունեցած SDK-ին:
| Վերջնակետ | Ձևաչափ | Հոսքային փոխանցում |
|---|---|---|
| /v1/chat/completions | OpenAI-համատեղելի | Այո |
| /v1/messages | Anthropic-համատեղելի | Այո |
| /v1/responses | Responses | Այո |
{
"model": "shannon-3.1",
"stream": true,
"messages": [
{ "role": "user", "content": "Summarize this contract set and flag anything unusual." }
]
}
Փոխարինեք "shannon-3.1"-ը "shannon-3.1-pro"-ով՝ ամբողջ պատճառաբանության ցիկլը կատարելու համար: Եթե արդեն կանչում եք shannon-3, միգրացիան մոդելի id-ն է և ուրիշ ոչինչ. հարցման և պատասխանի ձևաչափերն անփոփոխ են, և գործող հոսքային հաճախորդները շարունակում են աշխատել: Միակ վարքային տարբերությունը, որին պետք է սպասել, 02 բաժնում նկարագրված ավելի պոռթկումային հոսքն է՝ նույն տոկեններն ու նույն հերթականությունը, ժամանող ավելի շուտ և ավելի անհավասար կտորներով:
Պարամետրերի ամբողջական տեղեկատուն, նույնականացումը, սխալների իմաստաբանությունը և ինտերակտիվ խաղահրապարակը գտնվում են API փաստաթղթերում: Այլ մոդելային քարտեր և տեխնիկական հրապարակումներ կան Shannon research բաժնում:
09Դեռևս առանց ցենզուրայի և այդ առումով անփոփոխ
Shannon 3.1-ը չունի մերժման շերտ և ելքի բովանդակության զտում: Սա նույն դիրքորոշումն է, ինչ Shannon գծի մնացած մասը, և այն չփոխվեց մեր սեփական կլաստեր տեղափոխվելով — եթե ինչ-որ բան, ապա սպասարկման ստեկը վերահսկելն ավելի հեշտ է դարձնում դա երաշխավորելը, քանի որ մոդելի և ձեր միջև չկա միջանկյալ հոսթ՝ իր սեփական քաղաքականությամբ:
Արժե պարզ ասել, քանի որ դա ակնհայտ հարցն է թողարկման վերաբերյալ, որը փոխեց ելքի ամբողջ ուղին. տեմպի շերտի հեռացումը չի նշանակել դրա տեղում մոդերացիայի շերտ տեղադրել: Ոչինչ չի ստուգում, վերաշարադրում կամ սահմանափակում հոսքը: Այն, ինչ մոդելն արտադրում է, հենց այն էլ ժամանում է: Shannon 3.1-ը, որքան մեզ հայտնի է, այս չափի համատեքստի պատուհանով հասանելի ամենաարագ չցենզուրված AI մոդելն է, և այս երկու հատկությունները կապված են, քանի որ երկուսն էլ բխում են սեփական ենթակառուցվածք շահագործելուց՝ ուրիշից համապատասխանության ձև ունեցող հզորություն վարձելու փոխարեն:
Առանց ցենզուրայի չի նշանակում առանց պատասխանատվության: Օգտագործումը կարգավորվում է մեր Պատասխանատու օգտագործման քաղաքականությամբ, և պարտավորությունը, որ գալիս է դժվար նյութի հետ աշխատող մոդելի հետ, այն է, որ դուք դրա հետ աշխատեք պատասխանատվությամբ:
10Կատարեք համեմատությունն ինքներդ
Այստեղ բերված ամեն մի պնդում ստուգելի է մոտ երկու րոպեում, և մենք կնախընտրեինք, որ ստուգեիք, ոչ թե հավատայիք մեզ:
- Ընտրեք հարցում այն աշխատանքից, որն իրականում կատարում եք: Երկարն ավելի լավ է — այն ծանրաբեռնում է և՛ պատուհանը, և՛ հոսքային փոխանցումը:
- Կատարեք այն
shannon-3-ի վրա: Նշեք, թե որքան ժամանակ անցավ մինչև առաջին տոկենը և որքան՝ մինչև պատասխանի ավարտը: - Կատարեք նույնական հարցումը
shannon-3.1-ի վրա: Նշեք նույն երկու թվերը: - Այնուհետև կարդացեք երկու պատասխանն էլ՝ անտեսելով ժամացույցը, և որոշեք, թե որն էիք ուզենալու:
Արագության տարբերությունը կլինի ակնթարթային և ակնհայտ: Որակի տարբերությունն այն է, ինչի շուրջ արժե կանգ առնել — այն ամենից պարզ երևում է երկար մուտքերի վրա, որտեղ 3.0-ը լուռ աշխատում էր ձեր նյութի ավելի փոքր մասով, քան դուք կարծում էիք:
11Հաճախ տրվող հարցեր
Ի՞նչ է Shannon 3.1-ը:
Shannon 3.1-ը Shannon 3 ընտանիքի ընթացիկ թողարկումն է: Այն պահպանում է նույն կրկնողական պատճառաբանության ցիկլը — մտածել, սևագրել, ինքնաստուգել, բարելավել — բայց աշխատեցնում է այն բնիկ կերպով մեր սեփական GPU կլաստերի վրա՝ երրորդ կողմի ինֆերենս-հոսթի փոխարեն: Shannon Lab-ի սեփական գնահատումը չափում է ինտելեկտի 32% բարելավում և 10-15 անգամ ավելի արագ պատասխաններ՝ Shannon 3.0-ի համեմատ, իսկ համատեքստի պատուհանը 32,768-ից բարձրացվել է մինչև 196,608 տոկեն:
Որքանո՞վ է Shannon 3.1-ն ավելի արագ, քան Shannon 3.0-ը:
10-ից 15 անգամ ավելի արագ՝ ծայրից ծայր պատասխանների վրա, ըստ Shannon Lab-ի սեփական գնահատման: Դրա պատճառը երկու բան է: Shannon 3.0-ի ելքն անցնում էր տեմպի շերտով, որը միտումնավոր սահմանափակում էր հոսքի արագությունը. Shannon 3.1-ը չունի ոչ արագության սահմանափակիչ, ոչ բացահայտման տեմպավորում, ուստի տոկենները հասնում են ձեզ այնքան արագ, որքան շարժիչն արտադրում է դրանք: Ինքը՝ շարժիչը, նույնպես ավելի արագ է՝ 4-բիթ NVFP4 կշիռներ գումարած սպեկուլյատիվ ապակոդավորում մեր սեփական GPU կլաստերի վրա:
Որքա՞ն մեծ է Shannon 3.1-ի համատեքստի պատուհանը:
196,608 տոկեն՝ 6 անգամ ավելի, քան Shannon 3.0-ում հասանելի 32,768 տոկենը: Դա մոտավորապես 400-500 էջ տեքստ է, կամ միջին չափի կոդային բազա, պահվող մեկ զրույցի մեջ՝ առանց մասնատման կամ որոնում-դուրսբերման:
Ի՞նչ է սպեկուլյատիվ ապակոդավորումը և ինչո՞ւ է այն կարևոր այստեղ:
Փոքր, արագ սևագրող մոդելն առաջարկում է հավանական հաջորդ տոկենների շարք, իսկ հիմնական մոդելը ստուգում է դրանք մեկ խմբաքանակային անցումով: Ընդունված տոկեններն անմիջապես թողարկվում են. մերժվածները վերադառնում են սովորական ապակոդավորմանը: Ելքն այն է, ինչ հիմնական մոդելն ինքնուրույն կարտադրեր, բայց ստուգման մեկ քայլում կարող են հասնել մի քանի տոկեն՝ մեկի փոխարեն: Հենց դա է ողջ արագությամբ հոսքային փոխանցումը դարձնում մատչելի՝ ծախսային խնդրի փոխարեն:
Shannon 3.1-ը առանց ցենզուրայի՞ է:
Այո: Shannon 3.1-ը չունի մերժման շերտ և իր ելքի վրա կիրառվող բովանդակության զտում՝ ինչպես Shannon գծի մնացած մասը: Տեմպի շերտի հեռացումն իր տեղում մոդերացիայի շերտ չի ավելացրել — հոսքը, որ ստանում եք, մոդելի ելքն է:
Որո՞նք են մոդելների id-ները և որտե՞ղ կարող եմ օգտագործել Shannon 3.1-ը:
shannon-3.1-ը Lite մակարդակն է, իսկ shannon-3.1-pro-ն՝ Pro մակարդակը: Երկուսն էլ հասանելի են չաթում և API-ի բոլոր երեք բարբառներով՝ /v1/chat/completions (OpenAI-ի ձևաչափով), /v1/messages (Anthropic-ի ձևաչափով) և /v1/responses: Հոսքային փոխանցումն աշխատում է բոլոր երեքում:
Ո՞րն է տարբերությունը shannon-3.1-ի և shannon-3.1-pro-ի միջև:
Lite-ը կատարում է պատճառաբանության ցիկլի մեկ անցում. այն մտածում է, ապա պատասխանում: Pro-ն կատարում է ամբողջ ցիկլը — մտածել, սևագրել, ինքնաստուգել, բարելավել — սևագրելուց առաջ ավելացնելով գիտելիքի հավաքագրման քայլ: Lite-ը ճիշտ լռելյայն ընտրությունն է աշխատանքի մեծ մասի համար. Pro-ն այն հարցերի համար է, որտեղ առաջին պատասխանը սովորաբար լավագույնը չէ:
Փորձեք Shannon 3.1-ը
Նույն պատճառաբանության ցիկլը: Վեց անգամ մեծ պատուհան: Առանց արագության սահմանափակիչի:
Սկսել զրույցը Կարդալ API փաստաթղթերըshannon-3.1 · shannon-3.1-pro · հոսքային փոխանցում բոլոր երեք բարբառներով
Այս հոդվածում բերված արտադրողականության և ինտելեկտի ցուցանիշները Shannon Lab-ի սեփական չափումներն են ներքին գնահատումից, 2026 թ. սեպտեմբեր, և ներկայացված են որպես արտադրանքի ցուցանիշներ, ոչ թե երրորդ կողմի բենչմարքի արդյունքներ: Համատեքստի պատուհանը, մոդելների id-ները և API-ի հասանելիությունն արտադրանքի բնութագրեր են: Shannon AI-ն շահագործվում է Shannon Lab LLC-ի կողմից, Նյու Մեքսիկո, ԱՄՆ: Առնչվող ընթերցանություն՝ Shannon 3 · Shannon research ինդեքս · API փաստաթղթեր: