Shannon 3.1
એ જ તર્ક-લૂપ, હવે અમારા પોતાના GPU ક્લસ્ટર પર: 32% વધુ બુદ્ધિમાન, 10-15 ગણું ઝડપી, અને 196,608-ટોકનની સંદર્ભ વિન્ડો.
ટૂંકમાં
Shannon 3.1 એ બધું જ જાળવી રાખે છે જેના કારણે Shannon 3 વાપરવા જેવું હતું — પુનરાવર્તિત તર્ક-લૂપ, કોઈ ઇનકાર સ્તર નહીં, કોઈ આઉટપુટ ફિલ્ટરિંગ નહીં — અને બદલે છે માત્ર એ કે તે ક્યાં અને કઈ રીતે ચાલે છે. મોડેલ હવે ત્રીજા પક્ષના ઇન્ફરન્સ હોસ્ટને બદલે અમારા પોતાના GPU ક્લસ્ટર પરથી સર્વ થાય છે. Shannon Lab ના મૂલ્યાંકન પ્રમાણે Shannon 3.0 સામે બુદ્ધિમાં 32% સુધારો અને 10-15 ગણા ઝડપી જવાબ મળે છે. સંદર્ભ વિન્ડો 32,768 થી વધીને 196,608 ટોકન થાય છે. 3.0 નું આઉટપુટ જાણીજોઈને ધીમું પાડતું પેસિંગ સ્તર હટાવી દેવાયું છે: 3.1 એન્જિનની પૂરી ઝડપે સ્ટ્રીમ કરે છે. મોડેલ ids છે shannon-3.1 અને shannon-3.1-pro, ચેટમાં અને ત્રણેય API ડાયલેક્ટ પર.
મોટા ભાગનાં મોડેલ રિલીઝ તમને ક્ષમતાનો દાવો શ્રદ્ધાથી સ્વીકારવાનું અને દલીલનો નિવેડો લાવવા બેન્ચમાર્ક ટેબલની રાહ જોવાનું કહે છે. આ રિલીઝ તપાસવું સહેલું છે: બે ટેબ ખોલો, એક જ પ્રોમ્પ્ટ shannon-3 અને shannon-3.1 માં નાખો, અને જુઓ. જવાબ કેટલી ઝડપે આવે છે તેનો ફરક સૂક્ષ્મ નથી, અને એ કોઈ રેન્ડરિંગની ચાલાકી પણ નથી. Shannon 3.0 ને ઇરાદાપૂર્વક ધીમું કરાયું હતું. Shannon 3.1 નથી.
01Shannon 3.1 માં ખરેખર શું બદલાયું
Shannon 3.0 એ આ પરિવારને વ્યાખ્યાયિત કરતી વસ્તુ રજૂ કરી હતી: એક પુનરાવર્તિત તર્ક-લૂપ. મોડેલ પોતાના પહેલા વિચાર પર જવાબ આપતું નથી. તે વિચારે છે, ડ્રાફ્ટ કરે છે, પ્રશ્નની સામે પોતાના ડ્રાફ્ટની સમીક્ષા કરે છે, અને તેને સુધારે છે. Lite એ લૂપનો એક પાસ ચલાવે છે; Pro આખો લૂપ ચલાવે છે, જેમાં ડ્રાફ્ટ પહેલાં જ્ઞાન-સંગ્રહનું પગલું પણ આવે છે. એ ડિઝાઇન વિગતે Shannon 3 સંશોધન લેખ માં વર્ણવેલી છે, અને 3.1 માં તેમાંનું કશું બદલાયું નથી.
જે બદલાયું છે તે નીચેની મશીનરી છે. Shannon 3.0 ત્રીજા પક્ષના ઇન્ફરન્સ હોસ્ટ મારફતે સર્વ થતું — મોડેલ લોન્ચ કરવાની સમજદાર રીત, અને તેને ચલાવવાની બંધનકર્તા રીત. તમને બીજા કોઈનું સર્વિંગ કન્ફિગરેશન, બીજા કોઈની કતાર, બીજા કોઈની સંદર્ભ મર્યાદા, અને પ્રતિ સેકન્ડ કેટલા ટોકન તમને મળવા જોઈએ તે અંગેનો બીજા કોઈનો ખ્યાલ વારસામાં મળે છે. Shannon 3.1 અમારા પોતાના GPU ક્લસ્ટર પર, અમે જ ગોઠવેલા સર્વિંગ સ્ટેક પર ચાલે છે, અને આ લેખનો દરેક મુખ્ય આંકડો એ એક જ નિર્ણયનું પરિણામ છે.
| Shannon 3.0 | Shannon 3.1 | |
|---|---|---|
| ક્યાં ચાલે છે | ત્રીજા પક્ષનો હોસ્ટ | અમારું પોતાનું GPU ક્લસ્ટર |
| સંદર્ભ વિન્ડો | 32,768 | 196,608 |
| આઉટપુટ સ્ટ્રીમિંગ | પેસ કરેલું / દર-મર્યાદિત | એન્જિનની પૂરી ઝડપ |
| વેઇટ્સ | હોસ્ટ ડિફોલ્ટ | 4-બિટ NVFP4 |
| ડિકોડિંગ | પ્રમાણભૂત | Speculative |
| તર્ક-લૂપ | વિચાર → ડ્રાફ્ટ → સમીક્ષા → સુધારો | યથાવત્ |
| ઇનકાર સ્તર | કોઈ નહીં | કોઈ નહીં |
| મોડેલ ids | shannon-3, shannon-3-pro | shannon-3.1, shannon-3.1-pro |
02Shannon 3.1 કેમ 10-15 ગણું ઝડપી લાગે છે
ઝડપનો આંકડો લોકો સૌથી પહેલાં પૂછે છે, એટલે તે ક્યાંથી આવે છે તે અંગે ચોકસાઈ રાખવી યોગ્ય છે. તેમાં બે સ્વતંત્ર ફાળા છે, અને એમાંનો મોટો ફાળો બેમાંથી ઓછો ચમકદાર છે.
અમે સ્પીડ ગેટ હટાવી દીધો
Shannon 3.0 નું આઉટપુટ એક પેસિંગ સ્તર માંથી પસાર થતું. ટોકન એન્જિનમાંથી નીકળતા, રોકી રખાતા, અને એક નિર્ધારિત સમયપત્રક પ્રમાણે તમારા કનેક્શન પર છોડાતા. આ કોઈ અકસ્માત કે બગ નહોતો. જ્યારે વહેંચાયેલો ઇન્ફરન્સ હોસ્ટ જ અડચણ હોય, ત્યારે આઉટપુટ પેસ કરવાથી ભાર સરખો વહેંચાય છે, લાંબું જનરેશન એક સ્લોટ પર કબજો જમાવતું અટકે છે, અને સ્ટ્રીમ ધડાકાભેર આવવાને બદલે અંદાજી શકાય તેવી, વાંચી શકાય તેવી લયમાં આવે છે. એ બચાવ કરી શકાય તેવો ઇજનેરી નિર્ણય છે, અને તેણે દરેક વપરાશકર્તાને દરેક જવાબ પર સાચી ઘડિયાળનો સમય ચૂકવવો પડ્યો.
Shannon 3.1 માં કોઈ સ્પીડ ગેટ નથી અને કોઈ રિવીલ પેસિંગ નથી. એન્જિન જેમ ટોકન બનાવે તેમ તે તમારા સ્ટ્રીમમાં લખાય છે. જો એન્જિન ઝડપથી જનરેટ કરતું હોય, તો તમને એ ઝડપથી જનરેટ થતું દેખાય છે. મોડેલ અને તમારા ટર્મિનલ, તમારી ચેટ વિન્ડો કે તમારા SSE રીડર વચ્ચે કોઈ સ્મૂધિંગ બફર નથી. લાંબા જવાબ માટે — 2,000-ટોકનનું વિશ્લેષણ, જનરેટ કરેલા કોડની ફાઇલ — તમને દેખાનારા સુધારાનો મોટો ભાગ એકલા આના કારણે જ છે.
એક પ્રામાણિક પરિણામ: સ્ટ્રીમ હવે ધડાકાભેર આવે છે. Speculative decoding (નીચે) સ્વીકારાયેલા ટોકન ટૂંકી હારમાળામાં મોકલે છે, એટલે લખાણ એક-શબ્દ-એક-સમયે એવી લયબદ્ધ ગતિને બદલે દેખાય એવા ટુકડાઓમાં આવી શકે છે. જો તમે 3.0 ની સરળ ગતિની આસપાસ UI બનાવ્યું હોય, તો તે હજી પણ કામ કરશે — ટોકનનો ક્રમ અને સામગ્રી અકબંધ છે — પણ ટાઇપરાઇટર જેવો દેખાવ પસંદ હોય તો તમે તમારી પોતાની ક્લાયન્ટ-સાઇડ ઇઝિંગ પાછી ઉમેરી શકો છો. અમને લાગે છે કે મોટા ભાગના લોકો સેકન્ડો પાછી મેળવવાનું જ પસંદ કરશે.
એન્જિન પોતે ઝડપી બન્યું
ગેટ હટાવવાનો ફાયદો ત્યારે જ છે જ્યારે ગેટની પાછળ જે છે તે ઝડપી હોય. બીજો ફાળો વિભાગ 03 માં વર્ણવેલો સર્વિંગ સ્ટેક છે: અમારા પોતાના ક્લસ્ટરમાં વર્તમાન પેઢીના, FP4-નેટિવ એક્સેલરેટર પર 4-બિટ NVFP4 વેઇટ્સ અને speculative decoding. આ બંને મળીને એ ટોચમર્યાદા ઊંચી કરે છે જે ગેટ હટાવવાથી ખુલ્લી થાય છે.
સાપેક્ષ છેડાથી છેડા સુધીની જવાબ-લેટન્સી, Shannon Lab નું આંતરિક મૂલ્યાંકન, સપ્ટેમ્બર 2026. આ શ્રેણી પ્રોમ્પ્ટની લંબાઈ અને ટિયર દર્શાવે છે: Lite પરના ટૂંકા પ્રોમ્પ્ટ નીચલા છેડે અને Pro પરના લાંબા જનરેશન ઉપલા છેડે બેસે છે.
03Speculative decoding ખરેખર શું કરે છે
"Speculative decoding inference" એક માર્કેટિંગ શબ્દ તરીકે વપરાય છે, એટલે અહીં તેની પદ્ધતિ સાદી ભાષામાં.
ભાષા મોડેલ સામાન્ય રીતે દરેક ફોરવર્ડ પાસમાં એક ટોકન બનાવે છે. એ પાસમાં મુખ્ય ભાર ગણિતનો નહીં પણ મેમરી બેન્ડવિડ્થ નો હોય છે — કંઈ પણ ગણવા માટે વેઇટ્સ વાંચવા પડે છે, અને તે વાંચવામાં ગણતરી કરતાં ઘણો વધુ સમય જાય છે. GPU પોતાનો મોટા ભાગનો સમય મેમરીની રાહ જોવામાં કાઢે છે જ્યારે તેના કમ્પ્યુટ યુનિટ નવરા પડ્યા હોય છે. 500 ટોકન બનાવવાનો અર્થ છે એ લેટન્સી 500 વાર, ક્રમશઃ ચૂકવવી.
Speculative decoding આ ક્રમિક ભાગ પર હુમલો કરે છે. એક નાનું, સસ્તું ડ્રાફ્ટ મોડેલ સંભવિત આગામી ટોકનની ટૂંકી હારમાળા સૂચવે છે — ધારો કે ચાર કે આઠ. પછી મુખ્ય મોડેલ એ આખી હારમાળાનું મૂલ્યાંકન એક જ બેચ ફોરવર્ડ પાસમાં કરે છે, જેનો ખર્ચ એક ટોકનના મૂલ્યાંકન કરતાં ભાગ્યે જ વધારે હોય છે, કારણ કે મોંઘો ભાગ (વેઇટ્સ વાંચવા) બંને કિસ્સામાં એક જ વાર થાય છે. મુખ્ય મોડેલ જે-જે સૂચવેલા ટોકન સાથે સંમત થાય તે સ્વીકારાય છે અને તરત જ મોકલાય છે. પહેલા મતભેદ પર હારમાળા કાપી નાખવામાં આવે છે અને ત્યાંથી સામાન્ય ડિકોડિંગ ફરી શરૂ થાય છે.
જે ગુણધર્મ મહત્ત્વનો છે
Speculative decoding આઉટપુટ-સંરક્ષક છે. ચકાસણીનું પગલું એ રીતે રચાયું છે કે સ્વીકારાયેલો ક્રમ બરાબર એ જ વિતરણ ધરાવે જે મુખ્ય મોડેલના પોતાના સેમ્પલિંગમાં હોત. તમને ડ્રાફ્ટ મોડેલનો જવાબ મળતો નથી, અને મોટા મોડેલના જવાબનું અંદાજિત સ્વરૂપ પણ મળતું નથી. તમને મુખ્ય મોડેલનું જ આઉટપુટ મળે છે, ફક્ત ઓછા ક્રમિક પગલાંમાં પહોંચેલું. ડ્રાફ્ટ મોડેલ માત્ર ઝડપ પર અસર કરી શકે છે, સામગ્રી પર ક્યારેય નહીં.
સ્વીકૃતિ દર જ મુખ્ય કામ કરે છે. અંદાજી શકાય તેવા લખાણ પર — બોઇલરપ્લેટ, કોડનું માળખું, દલીલને જોડતું લખાણ — ડ્રાફ્ટ મોડેલ સારો અંદાજ લગાવે છે અને લાંબી હારમાળા એકસાથે ઊતરે છે. ખરેખર અઘરા ટોકન પર સ્વીકૃતિ ઘટે છે અને સિસ્ટમ સહજતાથી સામાન્ય એક-ટોકન-એક-સમયના ડિકોડિંગ પર પાછી આવી જાય છે. આ અસમાનતા જ તમને જોઈએ છે: તે સહેલા ભાગોને ઝડપી બનાવે છે અને અઘરા ભાગોને અડતી નથી.
4-બિટ વેઇટ્સ એ જ ફકરામાં કેમ આવે છે
અડચણ મેમરી બેન્ડવિડ્થ હોવાથી, વેઇટ્સ નાના કરવા એ સીધો ઝડપનો લિવર છે, માત્ર મેમરી-જગ્યાનો નહીં. NVFP4 એ 4-બિટ ફ્લોટિંગ-પોઇન્ટ ફોર્મેટ છે જેમાં ઝીણવટભર્યું પ્રતિ-બ્લોક સ્કેલિંગ હોય છે, અને એ જ તેને ત્યાં ચોકસાઈ જાળવવા દે છે જ્યાં જૂની 4-બિટ ઇન્ટિજર ક્વોન્ટાઇઝેશન યોજનાઓ તે ગુમાવતી હતી. દરેક ફોરવર્ડ પાસમાં આશરે ચોથા ભાગના જ બાઇટ વાંચવાનો અર્થ છે મેમરીની રાહ જોવામાં પ્રમાણસર ઓછો સમય, અને તેનાથી 196K વિન્ડો માટે જરૂરી લાંબા-સંદર્ભના KV કેશ માટે ઘણી વધારે જગ્યા બચે છે.
આ બંને માત્ર ઉમેરાતાં નથી, ગુણાકારમાં કામ કરે છે: પ્રતિ પાસ ઓછા બાઇટ, અને પ્રતિ ટોકન ઓછા પાસ. આના કારણે જ ગેટ વગરનું, પૂરી ઝડપનું સ્ટ્રીમિંગ એવો ખર્ચ બનતું નથી જે અમારે પેસિંગ મારફતે પાછો વસૂલવો પડે — અને 3.0 પર પેસિંગ સ્તર બરાબર એ જ કરતું હતું.
04196,608 ટોકન: 6 ગણી વિન્ડો શું ખોલી આપે છે
Shannon 3.0 પાસે 32,768-ટોકનની વિન્ડો હતી: એક કાર્ય-સત્ર, દસ્તાવેજ નહીં. આશરે 70-80 પાનાં ગદ્ય, તેમાંથી તર્ક-લૂપ પોતાના વિચાર માટે જે વાપરે તે બાદ, તમારો સિસ્ટમ પ્રોમ્પ્ટ બાદ, અને અત્યાર સુધીની વાતચીત બાદ. સાચું કામ સતત એ દીવાલ સાથે અથડાતું, અને તેના ઉપાયો — ચંકિંગ, સારાંશ, તમારી પોતાની સામગ્રી પર રિટ્રીવલ — બધા એ જ વસ્તુને બગાડે છે જેને તમે સાચવવા માગતા હતા. 196,608 ટોકન એ સાવ જુદી શ્રેણીની સમસ્યા છે.
નક્કર રીતે કહીએ તો એ આશરે 400-500 પાનાં અંગ્રેજી લખાણ, અથવા તેના ટેસ્ટ અને README સાથેનો મધ્યમ કદનો કોડબેઝ, અથવા એક પ્રોજેક્ટની આખા વર્ષની મીટિંગ નોંધ, અથવા બધા પરિશિષ્ટો સાથેનો આખો કરાર-સંગ્રહ છે — એક જ વાતચીતમાં, એક જ પ્રશ્નથી પહોંચી શકાય એ રીતે, તમારી અને સામગ્રી વચ્ચે કોઈ ચંકિંગ સ્તર વગર.
- આખા રિપોઝિટરી અંગેના પ્રશ્નો. તમને પહેલેથી શંકા હતી એ ત્રણ ફાઇલ પેસ્ટ કરવાને બદલે આખો કોડ લોડ કરો અને પૂછો કે બગ પ્રોડક્શન સુધી કેમ પહોંચે છે. મોડેલ એ ફાઇલ શોધી શકે છે જેને સામેલ કરવાનું તમને સૂઝ્યું જ નહોતું.
- રિટ્રીવલ વગર લાંબા દસ્તાવેજનું વિશ્લેષણ. રિટ્રીવલ એ નુકસાનકારક પૂર્વ-ફિલ્ટર છે જે નક્કી કરે છે કે મોડેલ શું જોઈ શકે. 196K પર તમે ઘણી વાર તેને છોડી શકો છો અને મોડેલને બધું જ વાંચવા દઈ શકો છો, જેનાથી નિષ્ફળતાનો આખો વર્ગ દૂર થાય છે — જ્યાં યોગ્ય ફકરો ક્યારેય રિટ્રીવ જ થયો નહોતો.
- સુસંગત રહેતી વાતચીત. લાંબું કાર્ય-સત્ર હવે ચૂપચાપ પોતાની જ શરૂઆત છોડી દેતું નથી. ત્રીજા સંદેશમાં તમે મૂકેલી શરતો એંસીમા સંદેશમાં પણ લાગુ રહે છે.
- તર્ક-લૂપ માટે જગ્યા. લૂપનું પોતાનું વિચારવું, ડ્રાફ્ટ કરવું અને સમીક્ષા કરવી સંદર્ભ વાપરે છે. 3.0 પર એ પગલાં તમારી સામગ્રી સાથે અછતવાળા બજેટ માટે સ્પર્ધા કરતાં. 3.1 પર તે આરામથી સમાય છે, અને એટલે જ ગુણવત્તાનો ફાયદો અને વિન્ડોનો વધારો સાથે આવ્યાં.
- મોટા મિશ્ર ઇનપુટ. એક જ ટર્નમાં છબીઓ, દસ્તાવેજમાંથી કાઢેલું લખાણ અને કોડ — તેમાંથી કયું સામેલ કરવું પોસાય તે નક્કી કર્યા વગર.
એક પ્રામાણિક ચેતવણી જે દરેક લાંબા-સંદર્ભ મોડેલને લાગુ પડે છે, અમારા સહિત: મોટી વિન્ડો એ ક્ષમતા છે, તેની આખી લંબાઈમાં એકસરખા ધ્યાનની ખાતરી નહીં. માળખું હજી પણ મદદ કરે છે. પ્રશ્નને અંતની નજીક મૂકવો, તમારા દસ્તાવેજોને લેબલ કરવા, અને મોડેલને શું શોધવાનું છે તે કહેવું — આ બધું 150K ટોકન પર માપી શકાય એટલાં પરિણામ સુધારે છે, જ્યારે 5K પર એવું થતું નથી.
05Lite અને Pro: shannon-3.1 અને shannon-3.1-pro
બંને ટિયર વચ્ચેનો ફરક એટલો જ છે કે તે તર્ક-લૂપનો કેટલો ભાગ ચલાવે છે, અને પસંદગી માટે એ એક જ ફરક મહત્ત્વનો છે.
| shannon-3.1 (Lite) | shannon-3.1-pro (Pro) | |
|---|---|---|
| તર્ક | એક જ પાસ | આખો લૂપ + જ્ઞાન-સંગ્રહ |
| સ્વ-સમીક્ષા | ના | હા |
| સંદર્ભ વિન્ડો | 196,608 | 196,608 |
| સ્ટ્રીમિંગ | પૂરી ઝડપ, ગેટ વગર | પૂરી ઝડપ, ગેટ વગર |
| વિઝન અને દસ્તાવેજ | હા | હા |
| ઇમેજ જનરેશન ટૂલ | હા | હા |
| કોના માટે શ્રેષ્ઠ | મોટા ભાગનું કામ, વધુ જથ્થો | અઘરા પ્રશ્નો, પહેલો ડ્રાફ્ટ અપૂરતો |
ડિફોલ્ટ તરીકે Lite વાપરો. સારા તર્ક મોડેલનો એક પાસ મોટા ભાગની વાસ્તવિક વિનંતીઓ સંભાળી લે છે, અને 3.1 પર તે એટલું ઝડપી છે કે લૂપની રાહ જોવાનું હવે અનુભવાતું નથી. Pro તરફ વળો ત્યારે જ્યારે પ્રશ્ન એવો હોય કે પહેલો જવાબ સામાન્ય રીતે બોધપ્રદ રીતે ખોટો હોય: આર્કિટેક્ચરની અદલાબદલી, વિરોધી વિશ્લેષણ, અથવા એવું કંઈ પણ જેના પર તમે સક્ષમ સહકર્મી પાસે એક રાત વિચારાવવા માગો. Pro નું સ્વ-સમીક્ષાનું પગલું શણગાર નથી — તમારે શોધવી પડે એ પહેલાં મોડેલ પોતાની ભૂલો પોતે શોધી લે છે.
0632% બુદ્ધિ-વધારો, અને તેને કઈ રીતે વાંચવો
Shannon Lab નું પોતાનું મૂલ્યાંકન Shannon 3.1 ને Shannon 3.0 સામે બુદ્ધિમાં 32% સુધારો આપે છે. એ શું છે અને શું નથી તે અંગે અમે સ્પષ્ટ રહેવા માગીએ છીએ.
એ અમારો આંકડો છે, અમારા આંતરિક મૂલ્યાંકન સ્યુટમાંથી, એવાં કાર્યો પર માપેલો જેને અમે લોકો ખરેખર આ મોડેલો પાસે લાવે છે તેનું પ્રતિનિધિ ગણીએ છીએ. એ ત્રીજા પક્ષનું બેન્ચમાર્ક નથી, અને અમે એક આંતરિક સરવાળાની આસપાસ લીડરબોર્ડ ટેબલ રચતા નથી કે પ્રતિ-બેન્ચમાર્ક વિભાજન પ્રકાશિત કરતા નથી — વિભાજન એવી બાહ્ય તુલનાત્મકતા સૂચવે છે જે આંતરિક સ્યુટ પાસે હોતી નથી.
અમે એટલું જરૂર કહીશું કે આ ફાયદો ક્યાંથી આવે છે, કારણ કે એ ભાગ રહસ્યમય નથી. મોટી સંદર્ભ વિન્ડોનો અર્થ છે કે મોડેલ તર્ક કરે તે પહેલાં ઓછી સામગ્રી ફેંકી દેવી પડે છે, અને લાંબાં સત્રોમાં દેખાતી ઘણી બધી નાસમજી ખરેખર તો માત્ર વિસ્મૃતિ જ હોય છે. અમારા નિયંત્રણ હેઠળના સર્વિંગ સ્ટેકનો અર્થ છે કે મોડેલ હોસ્ટના ડિફોલ્ટને બદલે અમે ધારેલા કન્ફિગરેશન સાથે ચાલે છે. અને તર્ક-લૂપ — જેની ડિઝાઇન બદલાઈ નથી — હવે વિન્ડોની અંદર ખરેખર ચાલવાની જગ્યા ધરાવે છે, તમારા ઇનપુટ સાથે વહેંચેલી 32K ટોચમર્યાદા સામે દબાયેલો રહેવાને બદલે.
તમારા માટે સૌથી ઉપયોગી બેન્ચમાર્ક તમારો પોતાનો છે. તમારા સાચા કામમાંથી એક પ્રોમ્પ્ટ લો — કોયડો નહીં, સાચો પ્રોમ્પ્ટ — અને તેને shannon-3 પર અને પછી shannon-3.1 પર ચલાવો. જવાબોની સરખામણી કરો, અને સમય માપો. અમારા આંકડા આખા સ્યુટની સરેરાશ વર્ણવે છે; સુધરવો જોઈએ એ તો તમારો પ્રોમ્પ્ટ છે.
07વિઝન, દસ્તાવેજ અને ઇમેજ જનરેશન
Shannon 3.1 છબીઓ અને દસ્તાવેજો વાંચે છે. સ્ક્રીનશોટ, આકૃતિઓ, ફોટોગ્રાફ, સ્કેન કરેલાં પાનાં, PDF અને લખાણ દસ્તાવેજો વાતચીતમાં મૂકી શકાય છે અને બાકીની બધી સામગ્રી સાથે તેમના પર તર્ક થઈ શકે છે. 196K વિન્ડો સાથે મળીને, આ જ આખા-દસ્તાવેજના વર્કફ્લોને વ્યવહારુ બનાવે છે: લાંબો અહેવાલ અને તેના ચાર્ટ એક જ ટર્નમાં, મોડેલ કયાં પાનાં જોઈ શકે તે અગાઉથી નક્કી કર્યા વગર.
ઇમેજ જનરેશન અને એડિટિંગ ચેટમાં એક ટૂલ તરીકે ઉપલબ્ધ છે. છબી માંગો અને મોડેલ એ જ વાતચીતમાં, અત્યાર સુધી ચર્ચાયેલા બધા સંદર્ભ સાથે, ટૂલને ઇનલાઇન બોલાવે છે. એડિટિંગ પણ એ જ રીતે કામ કરે છે — તેને છબી આપો, ફેરફારનું વર્ણન કરો. તેમાં જવા માટે કોઈ અલગ મોડ નથી અને શીખવા માટે કોઈ અલગ ઇન્ટરફેસ નથી.
08API માંથી Shannon 3.1 ને બોલાવવું
Shannon 3.1 ત્રણેય API ડાયલેક્ટ પર ઉપલબ્ધ છે, અને દરેક પર સ્ટ્રીમિંગ સાથે. એ જ મોડેલ, ત્રણ વિનંતી-આકાર — તમારી પાસે પહેલેથી જે SDK હોય તેને બંધબેસતું પસંદ કરો.
| એન્ડપોઇન્ટ | આકાર | સ્ટ્રીમિંગ |
|---|---|---|
| /v1/chat/completions | OpenAI-સુસંગત | હા |
| /v1/messages | Anthropic-સુસંગત | હા |
| /v1/responses | Responses | હા |
{
"model": "shannon-3.1",
"stream": true,
"messages": [
{ "role": "user", "content": "Summarize this contract set and flag anything unusual." }
]
}આખો તર્ક-લૂપ ચલાવવા "shannon-3.1" ની જગ્યાએ "shannon-3.1-pro" મૂકો. જો તમે પહેલેથી shannon-3 ને બોલાવતા હો, તો સ્થળાંતર એટલે માત્ર મોડેલ id બદલવો, બીજું કશું નહીં: વિનંતી અને પ્રતિસાદના આકાર બદલાયા નથી, અને હાલના સ્ટ્રીમિંગ ક્લાયન્ટ કામ કરતા રહે છે. વર્તનમાં એક જ ફરકની અપેક્ષા રાખવી: વિભાગ 02 માં વર્ણવેલો વધુ ધડાકાભેર સ્ટ્રીમ — એ જ ટોકન, એ જ ક્રમ, પણ વહેલા અને ઓછા સરખા ટુકડાઓમાં આવતા.
પૂરો પેરામીટર સંદર્ભ, ઓથેન્ટિકેશન, એરર સિમેન્ટિક્સ અને એક ઇન્ટરેક્ટિવ પ્લેગ્રાઉન્ડ API દસ્તાવેજીકરણ માં છે. બીજાં મોડેલ કાર્ડ અને ટેકનિકલ લેખો Shannon સંશોધન માં છે.
09હજી પણ અનસેન્સર્ડ, અને એ બાબતે યથાવત્
Shannon 3.1 માં કોઈ ઇનકાર સ્તર નથી અને આઉટપુટ પર કોઈ કન્ટેન્ટ ફિલ્ટરિંગ નથી. આ બાકીની Shannon શ્રેણી જેવું જ વલણ છે અને અમારા પોતાના ક્લસ્ટર પર ખસવાથી તે બદલાયું નથી — ઊલટું, સર્વિંગ સ્ટેક પર નિયંત્રણ હોવાથી તેની ખાતરી આપવી સહેલી બને છે, કારણ કે મોડેલ અને તમારી વચ્ચે પોતાની નીતિ ધરાવતો કોઈ વચગાળાનો હોસ્ટ બેઠો નથી.
આ સ્પષ્ટ કહેવું જરૂરી છે, કારણ કે આખો આઉટપુટ માર્ગ બદલનારા રિલીઝ વિશે એ જ સવાલ સ્વાભાવિક રીતે થાય: પેસિંગ સ્તર હટાવવાનો અર્થ તેની જગ્યાએ મોડરેશન સ્તર ઘુસાડવું નહોતો. કશું જ સ્ટ્રીમને તપાસતું, ફરીથી લખતું કે રોકતું નથી. મોડેલ જે બનાવે છે એ જ તમારા સુધી પહોંચે છે. અમારી જાણ મુજબ, આટલી મોટી સંદર્ભ વિન્ડો સાથે ઉપલબ્ધ સૌથી ઝડપી અનસેન્સર્ડ AI મોડેલ Shannon 3.1 છે — અને આ બે ગુણધર્મ સંકળાયેલા છે, કારણ કે બંને બીજા કોઈ પાસેથી અનુપાલન-આકારની ક્ષમતા ભાડે લેવાને બદલે અમારું પોતાનું ઇન્ફ્રાસ્ટ્રક્ચર ચલાવવાથી આવે છે.
અનસેન્સર્ડ હોવું એટલે જવાબદારીમાંથી છૂટ નહીં. ઉપયોગ અમારી જવાબદાર ઉપયોગ નીતિ હેઠળ સંચાલિત છે, અને અઘરી સામગ્રી સાથે કામ કરનારા મોડેલ સાથે આવતી ફરજ એ છે કે તમે તેની સાથે જવાબદારીપૂર્વક કામ કરો.
10સરખામણી જાતે કરી જુઓ
અહીંનો દરેક દાવો લગભગ બે મિનિટમાં ચકાસી શકાય છે, અને અમને ગમશે કે તમે અમારી વાત માનવાને બદલે તપાસો.
- તમે ખરેખર કરો છો એ કામમાંથી એક પ્રોમ્પ્ટ પસંદ કરો. લાંબો હોય તો સારું — તે વિન્ડો અને સ્ટ્રીમિંગ બંનેની કસોટી કરે છે.
- તેને
shannon-3પર ચલાવો. પહેલો ટોકન આવતાં કેટલી વાર લાગી અને જવાબ પૂરો થતાં કેટલી વાર લાગી તે નોંધો. - એ જ પ્રોમ્પ્ટ
shannon-3.1પર ચલાવો. એ જ બે આંકડા નોંધો. - પછી ઘડિયાળને અવગણીને બંને જવાબ વાંચો, અને નક્કી કરો કે તમને કયો જોઈતો હતો.
ઝડપનો ફરક તાત્કાલિક અને સ્પષ્ટ હશે. ગુણવત્તાનો ફરક એ છે જેની સાથે થોડો સમય બેસવા જેવું છે — તે લાંબા ઇનપુટ પર સૌથી સ્પષ્ટ દેખાય છે, જ્યાં 3.0 તમે માનતા હતા તેના કરતાં તમારી ઓછી સામગ્રી સાથે ચૂપચાપ કામ કરતું હતું.
11વારંવાર પૂછાતા પ્રશ્નો
Shannon 3.1 શું છે?
Shannon 3.1 એ Shannon 3 પરિવારનું વર્તમાન રિલીઝ છે. તે એ જ પુનરાવર્તિત તર્ક-લૂપ જાળવી રાખે છે — વિચારવું, ડ્રાફ્ટ કરવો, પોતાની સમીક્ષા કરવી, સુધારવું — પણ તેને ત્રીજા પક્ષના ઇન્ફરન્સ હોસ્ટને બદલે અમારા પોતાના GPU ક્લસ્ટર પર નેટિવ રીતે ચલાવે છે. Shannon Lab ના પોતાના મૂલ્યાંકન પ્રમાણે Shannon 3.0 ની સરખામણીએ બુદ્ધિમાં 32% સુધારો અને 10-15 ગણા ઝડપી જવાબ મળે છે, અને સંદર્ભ વિન્ડો 32,768 થી વધીને 196,608 ટોકન થઈ છે.
Shannon 3.1 એ Shannon 3.0 કરતાં કેટલું ઝડપી છે?
Shannon Lab ના પોતાના મૂલ્યાંકન પ્રમાણે, છેડાથી છેડા સુધીના જવાબમાં 10 થી 15 ગણું ઝડપી. તેનાં બે કારણ છે. Shannon 3.0 નું આઉટપુટ એક પેસિંગ સ્તરમાંથી પસાર થતું, જે જાણીજોઈને સ્ટ્રીમનો દર મર્યાદિત કરતું; Shannon 3.1 માં કોઈ સ્પીડ ગેટ કે રિવીલ પેસિંગ નથી, એટલે એન્જિન જેટલી ઝડપે ટોકન બનાવે તેટલી જ ઝડપે તે તમારા સુધી પહોંચે છે. એન્જિન પોતે પણ ઝડપી છે: અમારા પોતાના GPU ક્લસ્ટર પર 4-બિટ NVFP4 વેઇટ્સ સાથે speculative decoding.
Shannon 3.1 ની સંદર્ભ વિન્ડો કેટલી મોટી છે?
196,608 ટોકન, જે Shannon 3.0 પર ઉપલબ્ધ 32,768 ટોકન કરતાં 6 ગણું વધારે છે. એ આશરે 400-500 પાનાં લખાણ, અથવા મધ્યમ કદનો કોડબેઝ છે, જે ચંકિંગ કે રિટ્રીવલ વગર એક જ વાતચીતમાં સમાય છે.
Speculative decoding શું છે અને અહીં તેનું મહત્ત્વ શું છે?
એક નાનું, ઝડપી ડ્રાફ્ટ મોડેલ સંભવિત આગામી ટોકનની હારમાળા સૂચવે છે અને મુખ્ય મોડેલ તેમને એક જ બેચ પાસમાં ચકાસે છે. સ્વીકારાયેલા ટોકન તરત જ મોકલાય છે; નકારાયેલા માટે સામાન્ય ડિકોડિંગ ચાલુ થાય છે. આઉટપુટ એ જ રહે છે જે મુખ્ય મોડેલે જાતે બનાવ્યું હોત, પણ દરેક ચકાસણી પગલે એકને બદલે અનેક ટોકન મળી શકે છે. આના કારણે જ પૂરી ઝડપે સ્ટ્રીમિંગ ખર્ચની સમસ્યા બનવાને બદલે પરવડે તેવું બને છે.
શું Shannon 3.1 અનસેન્સર્ડ છે?
હા. Shannon 3.1 માં કોઈ ઇનકાર સ્તર નથી અને તેના આઉટપુટ પર કોઈ કન્ટેન્ટ ફિલ્ટરિંગ લાગુ પડતું નથી, બાકીની Shannon શ્રેણી જેવું જ. પેસિંગ સ્તર હટાવવાનો અર્થ તેની જગ્યાએ મોડરેશન સ્તર મૂકવું નહોતો — તમને જે સ્ટ્રીમ મળે છે તે મોડેલનું આઉટપુટ છે.
મોડેલ ids કયા છે અને હું Shannon 3.1 ક્યાં વાપરી શકું?
shannon-3.1 એ Lite ટિયર છે અને shannon-3.1-pro એ Pro ટિયર છે. બંને ચેટમાં અને ત્રણેય API ડાયલેક્ટ પર ઉપલબ્ધ છે: /v1/chat/completions (OpenAI-આકારનું), /v1/messages (Anthropic-આકારનું), અને /v1/responses. સ્ટ્રીમિંગ ત્રણેય પર કામ કરે છે.
shannon-3.1 અને shannon-3.1-pro વચ્ચે શું ફરક છે?
Lite તર્ક-લૂપનો એક જ પાસ ચલાવે છે: તે વિચારે છે, પછી જવાબ આપે છે. Pro આખો લૂપ ચલાવે છે — વિચારવું, ડ્રાફ્ટ કરવો, પોતાની સમીક્ષા કરવી, સુધારવું — અને ડ્રાફ્ટ પહેલાં જ્ઞાન-સંગ્રહનું પગલું પણ કરે છે. મોટા ભાગના કામ માટે Lite યોગ્ય ડિફોલ્ટ છે; Pro એવા પ્રશ્નો માટે છે જ્યાં પહેલો જવાબ સામાન્ય રીતે શ્રેષ્ઠ હોતો નથી.
Shannon 3.1 અજમાવો
એ જ તર્ક-લૂપ. છ ગણી વિન્ડો. કોઈ સ્પીડ ગેટ નહીં.
ચેટ શરૂ કરો API દસ્તાવેજો વાંચોshannon-3.1 · shannon-3.1-pro · ત્રણેય ડાયલેક્ટ પર સ્ટ્રીમિંગ
આ લેખમાંના પ્રદર્શન અને બુદ્ધિના આંકડા Shannon Lab ના પોતાના આંતરિક મૂલ્યાંકનનાં માપ છે, સપ્ટેમ્બર 2026, અને તે ત્રીજા પક્ષના બેન્ચમાર્ક પરિણામ તરીકે નહીં પણ ઉત્પાદનના આંકડા તરીકે રજૂ કરાયા છે. સંદર્ભ વિન્ડો, મોડેલ ids અને API ઉપલબ્ધતા એ ઉત્પાદન સ્પષ્ટીકરણો છે. Shannon AI નું સંચાલન Shannon Lab LLC, ન્યૂ મેક્સિકો, USA કરે છે. સંબંધિત વાચન: Shannon 3 · Shannon સંશોધન અનુક્રમણિકા · API દસ્તાવેજીકરણ.