Shannon 3.1

മിക്ക മോഡൽ റിലീസുകളും ഒരു ശേഷി അവകാശവാദം വിശ്വാസത്തിലെടുക്കാനും തർക്കം തീർക്കാൻ ഒരു ബെഞ്ച്മാർക്ക് പട്ടിക വരുന്നത് വരെ കാത്തിരിക്കാനും ആവശ്യപ്പെടുന്നു. ഇത് പരിശോധിക്കാൻ എളുപ്പമാണ്: രണ്ട് ടാബ് തുറക്കുക, ഒരേ പ്രോംപ്റ്റ് shannon-3 ലും shannon-3.1 ലും നൽകുക, നോക്കിയിരിക്കുക. ഉത്തരം എത്തുന്ന വേഗതയിലെ വ്യത്യാസം സൂക്ഷ്മമല്ല, അതൊരു റെൻഡറിംഗ് തന്ത്രവുമല്ല. Shannon 3.0 മനഃപൂർവ്വം നിയന്ത്രിക്കപ്പെട്ടിരുന്നു. Shannon 3.1 അല്ല.

01Shannon 3.1 ൽ യഥാർത്ഥത്തിൽ മാറിയത് എന്ത്

ഈ കുടുംബത്തെ നിർവചിക്കുന്ന കാര്യം Shannon 3.0 ആണ് അവതരിപ്പിച്ചത്: ഒരു ആവർത്തന യുക്തിചിന്താ ലൂപ്പ്. മോഡൽ ആദ്യ ചിന്തയിൽ ഉത്തരം നൽകുന്നില്ല. അത് ചിന്തിക്കുന്നു, കരട് എഴുതുന്നു, ചോദ്യത്തിനെതിരെ സ്വന്തം കരട് പുനഃപരിശോധിക്കുന്നു, അത് മെച്ചപ്പെടുത്തുന്നു. Lite ആ ലൂപ്പിന്റെ ഒരു പാസ് നടത്തുന്നു; Pro പൂർണ്ണ ലൂപ്പ് നടത്തുന്നു, കരട് എഴുതുന്നതിന് മുമ്പുള്ള വിജ്ഞാന ശേഖരണ ഘട്ടം ഉൾപ്പെടെ. ആ രൂപകൽപ്പന Shannon 3 ഗവേഷണ ലേഖനത്തിൽ വിശദമായി വിവരിച്ചിട്ടുണ്ട്, അതിലൊന്നും 3.1 ൽ മാറിയിട്ടില്ല.

മാറിയത് അടിയിലുള്ള യന്ത്രസംവിധാനമാണ്. Shannon 3.0 ഒരു മൂന്നാം-കക്ഷി ഇൻഫറൻസ് ഹോസ്റ്റിലൂടെയാണ് വിളമ്പിയിരുന്നത് — ഒരു മോഡൽ പുറത്തിറക്കാനുള്ള യുക്തിസഹമായ വഴി, പക്ഷേ അത് പ്രവർത്തിപ്പിക്കാനുള്ള പരിമിതമായ വഴി. മറ്റൊരാളുടെ സെർവിംഗ് കോൺഫിഗറേഷൻ, മറ്റൊരാളുടെ ക്യൂ, മറ്റൊരാളുടെ സന്ദർഭ പരിധി, സെക്കൻഡിൽ എത്ര ടോക്കൺ നിങ്ങൾക്ക് അനുവദനീയമാണ് എന്നതിനെക്കുറിച്ചുള്ള മറ്റൊരാളുടെ ധാരണ — ഇവയെല്ലാം നിങ്ങൾക്ക് പാരമ്പര്യമായി കിട്ടുന്നു. Shannon 3.1 പ്രവർത്തിക്കുന്നത് ഞങ്ങളുടെ സ്വന്തം GPU ക്ലസ്റ്ററിലാണ്, ഞങ്ങൾ തന്നെ ക്രമീകരിക്കുന്ന ഒരു സെർവിംഗ് സ്റ്റാക്കിൽ; ഈ ലേഖനത്തിലെ എല്ലാ പ്രധാന സംഖ്യയും ആ ഒരൊറ്റ തീരുമാനത്തിന്റെ ഫലമാണ്.

	Shannon 3.0	Shannon 3.1
എവിടെ പ്രവർത്തിക്കുന്നു	മൂന്നാം-കക്ഷി ഹോസ്റ്റ്	ഞങ്ങളുടെ സ്വന്തം GPU ക്ലസ്റ്റർ
സന്ദർഭ ജാലകം	32,768	196,608
ഔട്ട്പുട്ട് സ്ട്രീമിംഗ്	വേഗനിയന്ത്രിതം	പൂർണ്ണ എഞ്ചിൻ വേഗം
വെയ്റ്റുകൾ	ഹോസ്റ്റ് സ്ഥിരസ്ഥിതി	4-ബിറ്റ് NVFP4
ഡീകോഡിംഗ്	സാധാരണം	സ്പെക്യുലേറ്റീവ്
യുക്തിചിന്താ ലൂപ്പ്	ചിന്ത → കരട് → പുനഃപരിശോധന → മെച്ചപ്പെടുത്തൽ	മാറ്റമില്ല
നിരസന പാളി	ഇല്ല	ഇല്ല
മോഡൽ ഐഡികൾ	shannon-3, shannon-3-pro	shannon-3.1, shannon-3.1-pro

02Shannon 3.1 എന്തുകൊണ്ട് 10-15 മടങ്ങ് വേഗമേറിയതായി അനുഭവപ്പെടുന്നു

ആളുകൾ ആദ്യം ചോദിക്കുന്നത് വേഗതയുടെ സംഖ്യയാണ്, അതിനാൽ അത് എവിടെ നിന്ന് വരുന്നു എന്നതിൽ കൃത്യത പുലർത്തേണ്ടതുണ്ട്. രണ്ട് സ്വതന്ത്ര സംഭാവനകളുണ്ട്, അതിൽ വലുത് കൂടുതൽ ആകർഷകമല്ലാത്തതാണ്.

ഞങ്ങൾ വേഗ ഗേറ്റ് നീക്കി

Shannon 3.0 ന്റെ ഔട്ട്പുട്ട് ഒരു വേഗനിയന്ത്രണ പാളിയിലൂടെ കടന്നുപോയിരുന്നു. ടോക്കണുകൾ എഞ്ചിനിൽ നിന്ന് പുറത്തുവന്നു, പിടിച്ചുവയ്ക്കപ്പെട്ടു, ഒരു ഷെഡ്യൂൾ അനുസരിച്ച് നിങ്ങളുടെ കണക്ഷനിലേക്ക് വിട്ടു. ഇത് ഒരു അബദ്ധമോ ബഗ്ഗോ ആയിരുന്നില്ല. പങ്കിട്ട ഒരു ഇൻഫറൻസ് ഹോസ്റ്റാണ് തടസ്സമെങ്കിൽ, ഔട്ട്പുട്ട് വേഗനിയന്ത്രിക്കുന്നത് ലോഡ് സുഗമമാക്കുന്നു, ഒരു നീണ്ട ജനറേഷൻ ഒരു സ്ലോട്ട് കുത്തകയാക്കുന്നത് തടയുന്നു, സ്ട്രീം പൊട്ടിത്തെറികളായി വരാതെ പ്രവചനീയവും വായനായോഗ്യവുമായ താളത്തിൽ എത്തിക്കുന്നു. ന്യായീകരിക്കാവുന്ന ഒരു എൻജിനീയറിംഗ് തിരഞ്ഞെടുപ്പാണിത്, പക്ഷേ ഓരോ മറുപടിയിലും ഓരോ ഉപയോക്താവിനും അത് യഥാർത്ഥ സമയം നഷ്ടപ്പെടുത്തി.

Shannon 3.1 ൽ വേഗ ഗേറ്റോ വെളിപ്പെടുത്തൽ പേസിംഗോ ഇല്ല. എഞ്ചിൻ ഉത്പാദിപ്പിക്കുന്നതിനനുസരിച്ച് ടോക്കണുകൾ നിങ്ങളുടെ സ്ട്രീമിലേക്ക് എഴുതപ്പെടുന്നു. എഞ്ചിൻ വേഗത്തിൽ ഉത്പാദിപ്പിക്കുന്നുവെങ്കിൽ, അത് വേഗത്തിൽ ഉത്പാദിപ്പിക്കുന്നത് നിങ്ങൾ കാണും. മോഡലിനും നിങ്ങളുടെ ടെർമിനലിനും, ചാറ്റ് വിൻഡോയ്ക്കും, SSE റീഡറിനും ഇടയിൽ ഒരു സ്മൂത്തിംഗ് ബഫറും ഇല്ല. ഒരു നീണ്ട ഉത്തരത്തിന് — 2,000 ടോക്കൺ വിശകലനം, ജനറേറ്റ് ചെയ്ത കോഡിന്റെ ഒരു ഫയൽ — നിങ്ങൾ ശ്രദ്ധിക്കുന്ന മെച്ചപ്പെടലിന്റെ ഭൂരിഭാഗവും ഇത് മാത്രം കൊണ്ടുവരുന്നു.

സത്യസന്ധമായ ഒരു അനന്തരഫലം: സ്ട്രീം ഇപ്പോൾ പൊട്ടിത്തെറിക്കുന്നതാണ്. സ്പെക്യുലേറ്റീവ് ഡീകോഡിംഗ് (താഴെ) സ്വീകരിച്ച ടോക്കണുകൾ ചെറിയ ശ്രേണികളായി പുറത്തുവിടുന്നു, അതിനാൽ ഒരു വാക്ക് വീതം ഒരേ താളത്തിൽ വരുന്നതിന് പകരം വാചകം ദൃശ്യമായ കഷണങ്ങളായി എത്താം. 3.0 ന്റെ സുഗമമായ താളത്തെ ചുറ്റിപ്പറ്റി നിങ്ങൾ UI നിർമ്മിച്ചിട്ടുണ്ടെങ്കിൽ അത് ഇപ്പോഴും പ്രവർത്തിക്കും — ടോക്കൺ ക്രമവും ഉള്ളടക്കവും മാറിയിട്ടില്ല — പക്ഷേ ടൈപ്പ്റൈറ്റർ രൂപം ഇഷ്ടപ്പെട്ടിരുന്നെങ്കിൽ നിങ്ങളുടെ സ്വന്തം ക്ലയന്റ്-സൈഡ് ഈസിംഗ് വീണ്ടും ചേർക്കാം. മിക്കവർക്കും ആ സെക്കൻഡുകൾ തിരികെ കിട്ടുന്നതാവും ഇഷ്ടം എന്നാണ് ഞങ്ങളുടെ വിശ്വാസം.

എഞ്ചിനും വേഗമേറിയതായി

ഗേറ്റിന് പിന്നിലുള്ളത് വേഗമുള്ളതാണെങ്കിൽ മാത്രമേ ഗേറ്റ് നീക്കുന്നത് പ്രയോജനപ്പെടൂ. രണ്ടാമത്തെ സംഭാവന 03-ാം ഭാഗത്ത് വിവരിക്കുന്ന സെർവിംഗ് സ്റ്റാക്കാണ്: ഞങ്ങളുടെ സ്വന്തം ക്ലസ്റ്ററിലെ, FP4 സ്വദേശിയായ ഇന്നത്തെ തലമുറ ആക്സിലറേറ്ററുകളിൽ 4-ബിറ്റ് NVFP4 വെയ്റ്റുകളും സ്പെക്യുലേറ്റീവ് ഡീകോഡിംഗും. ഗേറ്റ് നീക്കുമ്പോൾ വെളിപ്പെടുന്ന പരിധി ഇവ ഒരുമിച്ച് ഉയർത്തുന്നു.

ആപേക്ഷിക ആദ്യന്ത മറുപടി കാലതാമസം, Shannon Lab ആന്തരിക മൂല്യനിർണ്ണയം, 2026 സെപ്റ്റംബർ. പ്രോംപ്റ്റിന്റെ നീളവും ടയറും അനുസരിച്ചാണ് ഈ പരിധി: Lite ലെ ചെറിയ പ്രോംപ്റ്റുകൾ താഴ്ന്ന അറ്റത്തും Pro യിലെ നീണ്ട ജനറേഷനുകൾ ഉയർന്ന അറ്റത്തും നിൽക്കുന്നു.

03സ്പെക്യുലേറ്റീവ് ഡീകോഡിംഗ് യഥാർത്ഥത്തിൽ ചെയ്യുന്നത്

"സ്പെക്യുലേറ്റീവ് ഡീകോഡിംഗ്" ഒരു മാർക്കറ്റിംഗ് വാക്കായി ഉപയോഗിക്കപ്പെടുന്നു, അതിനാൽ ഇതാ അതിന്റെ പ്രവർത്തനരീതി, ലളിതമായി.

ഒരു ഭാഷാ മോഡൽ സാധാരണയായി ഓരോ ഫോർവേഡ് പാസിലും ഒരു ടോക്കൺ ഉത്പാദിപ്പിക്കുന്നു. ആ പാസിനെ നിയന്ത്രിക്കുന്നത് ഗണിതമല്ല, മെമ്മറി ബാൻഡ്‌വിഡ്ത്താണ് — എന്തെങ്കിലും കണക്കാക്കാൻ വെയ്റ്റുകൾ വായിക്കണം, അവ വായിക്കാൻ ഗണിതത്തേക്കാൾ വളരെയധികം സമയമെടുക്കും. GPU അതിന്റെ ഭൂരിഭാഗം സമയവും കമ്പ്യൂട്ട് യൂണിറ്റുകൾ വെറുതെയിരിക്കെ മെമ്മറിക്കായി കാത്തിരിക്കുന്നു. 500 ടോക്കൺ ഉത്പാദിപ്പിക്കുക എന്നാൽ ആ കാലതാമസം 500 തവണ, ഒന്നിന് പിറകെ ഒന്നായി, അടയ്ക്കുക എന്നാണ്.

സ്പെക്യുലേറ്റീവ് ഡീകോഡിംഗ് ആക്രമിക്കുന്നത് ആ ക്രമാനുഗത ഭാഗത്തെയാണ്. ചെറുതും വിലകുറഞ്ഞതുമായ ഒരു കരട് മോഡൽ അടുത്തതായി വരാൻ സാധ്യതയുള്ള ടോക്കണുകളുടെ ഒരു ചെറിയ ശ്രേണി — നാലോ എട്ടോ എന്ന് പറയാം — നിർദ്ദേശിക്കുന്നു. പ്രധാന മോഡൽ ആ മുഴുവൻ ശ്രേണിയും ഒരൊറ്റ ബാച്ച്ഡ് ഫോർവേഡ് പാസിൽ വിലയിരുത്തുന്നു; ഒരു ടോക്കൺ വിലയിരുത്തുന്നതിനേക്കാൾ അല്പം മാത്രം ചെലവേറിയതാണിത്, കാരണം ചെലവേറിയ ഭാഗം (വെയ്റ്റുകൾ വായിക്കൽ) ഏതായാലും ഒരിക്കൽ മാത്രമേ നടക്കുന്നുള്ളൂ. പ്രധാന മോഡൽ അംഗീകരിക്കുന്ന ഓരോ നിർദ്ദിഷ്ട ടോക്കണും സ്വീകരിച്ച് ഉടൻ പുറത്തുവിടുന്നു. ആദ്യ വിയോജിപ്പിൽ ശ്രേണി മുറിക്കുകയും അവിടെ നിന്ന് സാധാരണ ഡീകോഡിംഗ് പുനരാരംഭിക്കുകയും ചെയ്യുന്നു.

സ്വീകാര്യതാ നിരക്കാണ് ജോലി ചെയ്യുന്നത്. പ്രവചനീയമായ വാചകത്തിൽ — ബോയിലർപ്ലേറ്റ്, കോഡ് ഘടന, ഒരു വാദത്തിന്റെ ബന്ധിപ്പിക്കുന്ന ഭാഗങ്ങൾ — കരട് മോഡൽ നന്നായി ഊഹിക്കുകയും നീണ്ട ശ്രേണികൾ ഒറ്റയടിക്ക് ഇറങ്ങുകയും ചെയ്യുന്നു. യഥാർത്ഥത്തിൽ കഠിനമായ ടോക്കണുകളിൽ സ്വീകാര്യത കുറയുകയും സിസ്റ്റം ഭംഗിയായി സാധാരണ ഒറ്റ-ടോക്കൺ ഡീകോഡിംഗിലേക്ക് താഴുകയും ചെയ്യുന്നു. ആ അസമമിതിയാണ് നിങ്ങൾക്ക് വേണ്ടത്: അത് എളുപ്പമുള്ള ഭാഗങ്ങളെ വേഗത്തിലാക്കുന്നു, കഠിനമായവയെ തൊടുന്നില്ല.

4-ബിറ്റ് വെയ്റ്റുകൾ എന്തുകൊണ്ട് അതേ ഖണ്ഡികയിൽ വരുന്നു

തടസ്സം മെമ്മറി ബാൻഡ്‌വിഡ്ത്ത് ആയതിനാൽ, വെയ്റ്റുകൾ ചെറുതാക്കുന്നത് വെറും മെമ്മറി-സ്ഥലം ലാഭിക്കൽ മാത്രമല്ല, നേരിട്ടുള്ള ഒരു വേഗ ഉപകരണമാണ്. NVFP4 എന്നത് സൂക്ഷ്മമായ പ്രതി-ബ്ലോക്ക് സ്കെയിലിംഗുള്ള ഒരു 4-ബിറ്റ് ഫ്ലോട്ടിംഗ്-പോയിന്റ് ഫോർമാറ്റാണ്; പഴയ 4-ബിറ്റ് ഇന്റിജർ ക്വാണ്ടൈസേഷൻ രീതികൾക്ക് നഷ്ടപ്പെട്ട കൃത്യത നിലനിർത്താൻ അതിനെ പ്രാപ്തമാക്കുന്നത് ഇതാണ്. ഓരോ ഫോർവേഡ് പാസിലും വായിക്കേണ്ട ബൈറ്റുകൾ ഏകദേശം നാലിലൊന്നായി കുറയുന്നു എന്നാൽ ആനുപാതികമായി മെമ്മറിക്കായി കാത്തിരിക്കുന്ന സമയവും കുറയുന്നു എന്നാണ്; 196K ജാലകം ആവശ്യപ്പെടുന്ന ദീർഘ-സന്ദർഭ KV കാഷിന് ഇത് കൂടുതൽ ഇടം നൽകുകയും ചെയ്യുന്നു.

ഇവ രണ്ടും കൂട്ടിച്ചേർക്കപ്പെടുക മാത്രമല്ല, പെരുകുകയാണ് ചെയ്യുന്നത്: ഓരോ പാസിലും കുറച്ച് ബൈറ്റുകൾ, പുറത്തുവരുന്ന ഓരോ ടോക്കണിനും കുറച്ച് പാസുകൾ. ഗേറ്റില്ലാത്ത, പൂർണ്ണ വേഗതയിലുള്ള സ്ട്രീമിംഗ് — 3.0 ൽ വേഗനിയന്ത്രണ പാളി ചെയ്തിരുന്നതുപോലെ പേസിംഗിലൂടെ തിരിച്ചുപിടിക്കേണ്ട ഒരു ചെലവാകാതെ — വിളമ്പാൻ താങ്ങാവുന്നതാക്കുന്നത് ഇതാണ്.

04196,608 ടോക്കൺ: 6 മടങ്ങ് ജാലകം തുറക്കുന്നത് എന്ത്

Shannon 3.0 ന് 32,768 ടോക്കൺ ജാലകമായിരുന്നു: ഒരു പ്രവർത്തന സെഷൻ, ഒരു രേഖയല്ല. ഏകദേശം 70-80 പേജ് ഗദ്യം — അതിൽ നിന്ന് യുക്തിചിന്താ ലൂപ്പ് സ്വന്തം ചിന്തയ്ക്ക് ഉപയോഗിക്കുന്നത് കുറയ്ക്കുക, നിങ്ങളുടെ സിസ്റ്റം പ്രോംപ്റ്റ് കുറയ്ക്കുക, ഇതുവരെയുള്ള സംഭാഷണം കുറയ്ക്കുക. യഥാർത്ഥ ജോലി നിരന്തരം ആ ചുവരിൽ ഇടിച്ചു, പരിഹാരമാർഗ്ഗങ്ങളാവട്ടെ — ചങ്കിംഗ്, സംഗ്രഹിക്കൽ, സ്വന്തം വസ്തുതകളിൽ റിട്രീവൽ — എല്ലാം നിങ്ങൾ സംരക്ഷിക്കാൻ ശ്രമിച്ചതിനെ തന്നെ നശിപ്പിക്കുന്നു. 196,608 ടോക്കൺ എന്നത് വേറൊരു തരം പ്രശ്നമാണ്.

കൃത്യമായി പറഞ്ഞാൽ അത് ഏകദേശം 400-500 പേജ് ഇംഗ്ലീഷ് വാചകം, അല്ലെങ്കിൽ ടെസ്റ്റുകളും README ഉം ഉൾപ്പെടെ ഇടത്തരം വലുപ്പമുള്ള ഒരു കോഡ്‌ബേസ്, അല്ലെങ്കിൽ ഒരു പ്രോജക്ടിന്റെ ഒരു വർഷത്തെ മീറ്റിംഗ് കുറിപ്പുകൾ, അല്ലെങ്കിൽ എല്ലാ അനുബന്ധങ്ങളുമുള്ള ഒരു പൂർണ്ണ കരാർ സെറ്റ് — ഒരൊറ്റ സംഭാഷണത്തിൽ, ഒരൊറ്റ ചോദ്യത്തിൽ സ്പർശിക്കാവുന്ന വിധം, നിങ്ങൾക്കും വസ്തുതകൾക്കും ഇടയിൽ ഒരു ചങ്കിംഗ് പാളിയുമില്ലാതെ.

• മുഴുവൻ റിപ്പോസിറ്ററിയെക്കുറിച്ചുള്ള ചോദ്യങ്ങൾ. നിങ്ങൾ സംശയിച്ച മൂന്ന് ഫയലുകൾ ഒട്ടിക്കുന്നതിന് പകരം കോഡ് മുഴുവൻ കയറ്റി ഒരു ബഗ് എങ്ങനെ പ്രൊഡക്ഷനിൽ എത്തുന്നു എന്ന് ചോദിക്കുക. ഉൾപ്പെടുത്താൻ നിങ്ങൾ ഓർക്കാത്ത ഫയൽ മോഡലിന് കണ്ടെത്താനാവും.
• റിട്രീവൽ ഇല്ലാതെ ദീർഘ രേഖാ വിശകലനം. മോഡലിന് എന്ത് കാണാൻ അനുവാദമുണ്ട് എന്ന് തീരുമാനിക്കുന്ന നഷ്ടകരമായ ഒരു മുൻ-ഫിൽട്ടറാണ് റിട്രീവൽ. 196K ൽ പലപ്പോഴും അത് ഒഴിവാക്കി മോഡലിനെ എല്ലാം വായിക്കാൻ വിടാം; ശരിയായ ഭാഗം ഒരിക്കലും കണ്ടെടുക്കപ്പെടാതെ പോകുന്ന ഒരു മുഴുവൻ വിഭാഗം പരാജയങ്ങളും ഇത് ഇല്ലാതാക്കുന്നു.
• സ്ഥിരത നിലനിർത്തുന്ന സംഭാഷണങ്ങൾ. ഒരു നീണ്ട പ്രവർത്തന സെഷൻ ഇനി സ്വന്തം തുടക്കം നിശ്ശബ്ദമായി ഉപേക്ഷിക്കില്ല. മൂന്നാം സന്ദേശത്തിൽ നിങ്ങൾ വച്ച നിബന്ധനകൾ എൺപതാം സന്ദേശത്തിലും ബാധകമാണ്.
• യുക്തിചിന്താ ലൂപ്പിന് ഇടം. ലൂപ്പിന്റെ സ്വന്തം ചിന്തയും കരടും പുനഃപരിശോധനയും സന്ദർഭം ഉപയോഗിക്കുന്നു. 3.0 ൽ ആ ഘട്ടങ്ങൾ ദുർലഭമായ ബജറ്റിനായി നിങ്ങളുടെ വസ്തുതകളോട് മത്സരിച്ചു. 3.1 ൽ അവ സുഖമായി ഒതുങ്ങുന്നു; ഗുണനിലവാര വർദ്ധനവും ജാലക വർദ്ധനവും ഒരുമിച്ച് വന്നതിന്റെ ഒരു കാരണം ഇതാണ്.
• വലിയ സമ്മിശ്ര ഇൻപുട്ടുകൾ. ചിത്രങ്ങളും വേർതിരിച്ചെടുത്ത രേഖാ വാചകവും കോഡും ഒരൊറ്റ ഊഴത്തിൽ, അതിൽ ഏതൊക്കെ ഉൾപ്പെടുത്താൻ കഴിയുമെന്ന് അരിച്ചെടുക്കേണ്ടതില്ലാതെ.

ഞങ്ങളുടേത് ഉൾപ്പെടെ എല്ലാ ദീർഘ-സന്ദർഭ മോഡലിനും ബാധകമായ ഒരു സത്യസന്ധമായ മുന്നറിയിപ്പ്: വലിയ ജാലകം ഒരു ശേഷിയാണ്, അതിലുടനീളം ഏകീകൃത ശ്രദ്ധയുടെ ഉറപ്പല്ല. ഘടന ഇപ്പോഴും സഹായിക്കുന്നു. ചോദ്യം അവസാനത്തോട് ചേർത്ത് വയ്ക്കുന്നതും, രേഖകൾക്ക് ലേബൽ നൽകുന്നതും, എന്ത് നോക്കണമെന്ന് മോഡലിനോട് പറയുന്നതും 150K ടോക്കണിൽ ഫലങ്ങളെ അളക്കാവുന്ന വിധം മെച്ചപ്പെടുത്തുന്നു — 5K ൽ അവയ്ക്ക് അത്ര പ്രാധാന്യമില്ല.

05Lite ഉം Pro ഉം: shannon-3.1 ഉം shannon-3.1-pro ഉം

യുക്തിചിന്താ ലൂപ്പിന്റെ എത്ര ഭാഗം അവ പ്രവർത്തിപ്പിക്കുന്നു എന്നതിലാണ് രണ്ട് ടയറുകളും വ്യത്യാസപ്പെടുന്നത്; അവയ്ക്കിടയിൽ തിരഞ്ഞെടുക്കാൻ പ്രസക്തമായ ഒരേയൊരു വ്യത്യാസവും അതാണ്.

	shannon-3.1 (Lite)	shannon-3.1-pro (Pro)
യുക്തിചിന്ത	ഒറ്റ പാസ്	പൂർണ്ണ ലൂപ്പ് + വിജ്ഞാന ശേഖരണം
സ്വയം-പുനഃപരിശോധന	ഇല്ല	ഉണ്ട്
സന്ദർഭ ജാലകം	196,608	196,608
സ്ട്രീമിംഗ്	പൂർണ്ണ വേഗം, ഗേറ്റില്ലാതെ	പൂർണ്ണ വേഗം, ഗേറ്റില്ലാതെ
ഇമേജ് & രേഖാ വായന	ഉണ്ട്	ഉണ്ട്
ഇമേജ് നിർമ്മാണ ടൂൾ	ഉണ്ട്	ഉണ്ട്
ഏറ്റവും അനുയോജ്യം	മിക്ക ജോലികൾക്കും, ഉയർന്ന അളവ്	കഠിന ചോദ്യങ്ങൾ, ആദ്യ കരട് പോരാത്തപ്പോൾ

സ്ഥിരസ്ഥിതിയായി Lite ഉപയോഗിക്കുക. ഒരു നല്ല യുക്തിചിന്താ മോഡലിന്റെ ഒരു പാസ് യഥാർത്ഥ അഭ്യർത്ഥനകളിൽ ഭൂരിഭാഗവും കൈകാര്യം ചെയ്യുന്നു, 3.1 ൽ അത് വേണ്ടത്ര വേഗമുള്ളതിനാൽ ലൂപ്പിനായി കാത്തിരിക്കുന്നത് ഇനി നിങ്ങൾക്ക് അനുഭവപ്പെടില്ല. ആദ്യ ഉത്തരം സാധാരണയായി പഠനപ്രദമായ വിധത്തിൽ തെറ്റാകുന്ന ചോദ്യങ്ങൾക്ക് Pro എടുക്കുക: വാസ്തുവിദ്യാ വിട്ടുവീഴ്ചകൾ, എതിർവാദ വിശകലനം, ഒരു കഴിവുള്ള സഹപ്രവർത്തകൻ ഒരു രാത്രി ആലോചിക്കണമെന്ന് നിങ്ങൾ ആഗ്രഹിക്കുന്ന എന്തും. Pro യുടെ സ്വയം-പുനഃപരിശോധനാ ഘട്ടം അലങ്കാരമല്ല — നിങ്ങൾ കണ്ടെത്തേണ്ടി വരുന്നതിന് മുമ്പ് മോഡൽ സ്വന്തം തെറ്റുകൾ കണ്ടെത്തുന്നതാണ് അത്.

0632% ബുദ്ധിവർദ്ധന, അത് എങ്ങനെ വായിക്കണം

Shannon Lab ന്റെ സ്വന്തം മൂല്യനിർണ്ണയം Shannon 3.1 നെ Shannon 3.0 നെക്കാൾ ബുദ്ധിയിൽ 32% മെച്ചപ്പെട്ടതായി കണക്കാക്കുന്നു. അത് എന്താണ്, എന്തല്ല എന്നതിൽ ഞങ്ങൾക്ക് വ്യക്തത വേണം.

അത് ഞങ്ങളുടെ കണക്കാണ് — ഞങ്ങളുടെ ആന്തരിക മൂല്യനിർണ്ണയ സ്യൂട്ടിൽ നിന്ന്, ഈ മോഡലുകളിലേക്ക് ആളുകൾ യഥാർത്ഥത്തിൽ കൊണ്ടുവരുന്നതിനെ പ്രതിനിധീകരിക്കുന്നതായി ഞങ്ങൾ കരുതുന്ന ജോലികളിൽ അളന്നത്. ഇത് ഒരു മൂന്നാം-കക്ഷി ബെഞ്ച്മാർക്കല്ല, ഒരൊറ്റ ആന്തരിക സംഖ്യയ്ക്ക് ചുറ്റും ഒരു ലീഡർബോർഡ് പട്ടിക പണിയുകയോ ബെഞ്ച്മാർക്ക് തിരിച്ചുള്ള വിശദാംശം പ്രസിദ്ധീകരിക്കുകയോ ഞങ്ങൾ ചെയ്യുന്നില്ല — അത്തരമൊരു വിശദാംശം, ഒരു ആന്തരിക സ്യൂട്ടിന് ഇല്ലാത്ത ഒരു തലത്തിലുള്ള ബാഹ്യ താരതമ്യക്ഷമത സൂചിപ്പിക്കും.

പക്ഷേ ഈ വർദ്ധനവ് എവിടെ നിന്ന് വരുന്നു എന്ന് ഞങ്ങൾ പറയാം, കാരണം ആ ഭാഗം നിഗൂഢമല്ല. വലിയ സന്ദർഭ ജാലകം എന്നാൽ മോഡൽ യുക്തിചിന്ത നടത്തുന്നതിന് മുമ്പ് ഉപേക്ഷിക്കേണ്ട വസ്തുതകൾ കുറവാണെന്നാണ്; നീണ്ട സെഷനുകളിൽ ബുദ്ധിയില്ലായ്മയായി തോന്നുന്നതിൽ ഏറെയും യഥാർത്ഥത്തിൽ മറവിയാണ്. ഞങ്ങൾ നിയന്ത്രിക്കുന്ന ഒരു സെർവിംഗ് സ്റ്റാക്ക് എന്നാൽ ഒരു ഹോസ്റ്റിന്റെ സ്ഥിരസ്ഥിതിക്ക് പകരം ഞങ്ങൾ ഉദ്ദേശിച്ച കോൺഫിഗറേഷനിൽ മോഡൽ പ്രവർത്തിക്കുന്നു എന്നാണ്. ഒപ്പം യുക്തിചിന്താ ലൂപ്പിന് — രൂപകൽപ്പനയിൽ മാറ്റമില്ലാതെ — നിങ്ങളുടെ ഇൻപുട്ടുമായി പങ്കിട്ട 32K പരിധിയിൽ ഞെരുങ്ങുന്നതിന് പകരം ജാലകത്തിനുള്ളിൽ യഥാർത്ഥത്തിൽ പ്രവർത്തിക്കാൻ ഇപ്പോൾ ഇടമുണ്ട്.

07ഇമേജ് വായന, രേഖകൾ, ഇമേജ് നിർമ്മാണം

Shannon 3.1 ചിത്രങ്ങളും രേഖകളും വായിക്കുന്നു. സ്ക്രീൻഷോട്ടുകൾ, ഡയഗ്രമുകൾ, ഫോട്ടോഗ്രാഫുകൾ, സ്കാൻ ചെയ്ത പേജുകൾ, PDF, ടെക്സ്റ്റ് രേഖകൾ എന്നിവ സംഭാഷണത്തിലേക്ക് നൽകി മറ്റെല്ലാത്തിനുമൊപ്പം അവയെക്കുറിച്ച് ചിന്തിക്കാം. 196K ജാലകവുമായി ചേരുമ്പോൾ, മുഴുവൻ രേഖയും ഉൾക്കൊള്ളുന്ന വർക്ക്ഫ്ലോകൾ പ്രായോഗികമാക്കുന്നത് ഇതാണ്: ഒരു നീണ്ട റിപ്പോർട്ടും അതിന്റെ ചാർട്ടുകളും ഒരൊറ്റ ഊഴത്തിൽ, ഏതൊക്കെ പേജുകൾ മോഡലിന് കാണാമെന്ന് മുൻകൂട്ടി തീരുമാനിക്കാതെ.

ഇമേജ് നിർമ്മാണവും എഡിറ്റിംഗും ചാറ്റിൽ ഒരു ടൂളായി ലഭ്യമാണ്. ഒരു ചിത്രം ചോദിക്കുക, മോഡൽ അതേ സംഭാഷണത്തിനുള്ളിൽ, ഇതുവരെ ചർച്ച ചെയ്ത എല്ലാത്തിന്റെയും സന്ദർഭത്തോടെ ടൂൾ വിളിക്കുന്നു. എഡിറ്റിംഗും അതേ രീതിയിൽ പ്രവർത്തിക്കുന്നു — ഒരു ചിത്രം നൽകുക, മാറ്റം വിവരിക്കുക. മാറേണ്ട പ്രത്യേക മോഡോ പഠിക്കേണ്ട പ്രത്യേക ഇന്റർഫേസോ ഇല്ല.

08API യിൽ നിന്ന് Shannon 3.1 വിളിക്കുന്നത്

Shannon 3.1 മൂന്ന് API ഭാഷ്യങ്ങളിലും ലഭ്യമാണ്, ഓരോന്നിലും സ്ട്രീമിംഗോടെ. ഒരേ മോഡലുകൾ, മൂന്ന് അഭ്യർത്ഥനാ രൂപങ്ങൾ — നിങ്ങളുടെ കൈയിലുള്ള SDK യുമായി ചേരുന്നത് തിരഞ്ഞെടുക്കുക.

എൻഡ്‌പോയിന്റ്	രൂപം	സ്ട്രീമിംഗ്
/v1/chat/completions	OpenAI അനുയോജ്യം	ഉണ്ട്
/v1/messages	Anthropic അനുയോജ്യം	ഉണ്ട്
/v1/responses	Responses	ഉണ്ട്

{
  "model": "shannon-3.1",
  "stream": true,
  "messages": [
    { "role": "user", "content": "Summarize this contract set and flag anything unusual." }
  ]
}

പൂർണ്ണ യുക്തിചിന്താ ലൂപ്പ് പ്രവർത്തിപ്പിക്കാൻ "shannon-3.1" ന് പകരം "shannon-3.1-pro" നൽകുക. നിങ്ങൾ ഇപ്പോൾ shannon-3 വിളിക്കുന്നുണ്ടെങ്കിൽ, മൈഗ്രേഷൻ എന്നത് മോഡൽ ഐഡി മാത്രമാണ്, മറ്റൊന്നുമല്ല: അഭ്യർത്ഥനയുടെയും പ്രതികരണത്തിന്റെയും രൂപങ്ങൾ മാറിയിട്ടില്ല, നിലവിലുള്ള സ്ട്രീമിംഗ് ക്ലയന്റുകൾ പ്രവർത്തിക്കുന്നത് തുടരും. പ്രതീക്ഷിക്കേണ്ട ഒരേയൊരു പെരുമാറ്റ വ്യത്യാസം 02-ാം ഭാഗത്ത് വിവരിച്ച കൂടുതൽ പൊട്ടിത്തെറിക്കുന്ന സ്ട്രീമാണ് — അതേ ടോക്കണുകൾ, അതേ ക്രമം, നേരത്തെ എത്തുന്നു, കുറച്ച് അസമമായ കഷണങ്ങളായി.

പൂർണ്ണ പാരാമീറ്റർ റഫറൻസ്, ആധികാരികത, പിശക് സെമാന്റിക്സ്, ഇന്ററാക്ടീവ് പ്ലേഗ്രൗണ്ട് എന്നിവ API ഡോക്യുമെന്റേഷനിലുണ്ട്. മറ്റ് മോഡൽ കാർഡുകളും സാങ്കേതിക കുറിപ്പുകളും Shannon ഗവേഷണത്തിലുണ്ട്.

09ഇപ്പോഴും സെൻസർ ചെയ്യാത്തത്, അക്കാര്യത്തിൽ മാറ്റമില്ല

Shannon 3.1 ന് നിരസന പാളിയോ ഔട്ട്പുട്ടിൽ ഉള്ളടക്ക ഫിൽട്ടറിംഗോ ഇല്ല. Shannon ശ്രേണിയിലെ മറ്റുള്ളവയുടെ അതേ നിലപാടാണിത്, ഞങ്ങളുടെ സ്വന്തം ക്ലസ്റ്ററിലേക്ക് മാറിയപ്പോഴും അത് മാറിയിട്ടില്ല — എന്തിനധികം, സെർവിംഗ് സ്റ്റാക്ക് നിയന്ത്രിക്കുന്നത് ഇത് ഉറപ്പാക്കുന്നത് കൂടുതൽ എളുപ്പമാക്കുന്നു, കാരണം മോഡലിനും നിങ്ങൾക്കും ഇടയിൽ സ്വന്തം നയമുള്ള ഒരു ഇടനില ഹോസ്റ്റ് ഇല്ല.

മുഴുവൻ ഔട്ട്പുട്ട് പാതയും മാറ്റിയ ഒരു റിലീസിനെക്കുറിച്ച് സ്വാഭാവികമായി ഉയരുന്ന സംശയമായതിനാൽ ഇത് വ്യക്തമായി പറയേണ്ടതുണ്ട്: വേഗനിയന്ത്രണ പാളി നീക്കിയത് അതിന്റെ സ്ഥാനത്ത് ഒരു മോഡറേഷൻ പാളി ചേർക്കുക എന്നല്ല അർത്ഥമാക്കുന്നത്. ഒന്നും സ്ട്രീമിനെ പരിശോധിക്കുകയോ മാറ്റിയെഴുതുകയോ തടയുകയോ ചെയ്യുന്നില്ല. മോഡൽ ഉത്പാദിപ്പിക്കുന്നത് തന്നെയാണ് എത്തുന്നത്. ഞങ്ങൾക്കറിയാവുന്നിടത്തോളം, ഇത്രയും വലിയ സന്ദർഭ ജാലകമുള്ള, ലഭ്യമായതിൽ ഏറ്റവും വേഗമേറിയ സെൻസർ ചെയ്യാത്ത AI മോഡലാണ് Shannon 3.1 — ഈ രണ്ട് സവിശേഷതകളും ബന്ധപ്പെട്ടതാണ്, കാരണം രണ്ടും വരുന്നത് മറ്റാരിൽ നിന്നെങ്കിലും അനുസരണത്തിന്റെ രൂപത്തിലുള്ള ശേഷി വാടകയ്ക്കെടുക്കുന്നതിന് പകരം ഞങ്ങളുടെ സ്വന്തം അടിസ്ഥാനസൗകര്യം പ്രവർത്തിപ്പിക്കുന്നതിൽ നിന്നാണ്.

സെൻസർ ചെയ്യാത്തത് എന്നാൽ ഉത്തരവാദിത്തമില്ലാത്തത് എന്നല്ല. ഉപയോഗം ഞങ്ങളുടെ ഉത്തരവാദിത്ത ഉപയോഗ നയത്തിന് വിധേയമാണ്; കഠിനമായ വിഷയങ്ങളിൽ ഇടപെടുന്ന ഒരു മോഡലിനൊപ്പം വരുന്ന ബാധ്യത, നിങ്ങൾ അതിൽ ഉത്തരവാദിത്തത്തോടെ ഇടപെടണം എന്നതാണ്.

10താരതമ്യം നിങ്ങൾ തന്നെ നടത്തുക

ഇവിടത്തെ എല്ലാ അവകാശവാദവും ഏകദേശം രണ്ട് മിനിറ്റിനുള്ളിൽ പരിശോധിക്കാവുന്നതാണ്; ഞങ്ങളെ വിശ്വസിക്കുന്നതിനേക്കാൾ നിങ്ങൾ പരിശോധിക്കുന്നതാണ് ഞങ്ങൾക്കിഷ്ടം.

1. നിങ്ങൾ യഥാർത്ഥത്തിൽ ചെയ്യുന്ന ജോലിയിൽ നിന്ന് ഒരു പ്രോംപ്റ്റ് തിരഞ്ഞെടുക്കുക. നീളമുള്ളത് നല്ലത് — അത് ജാലകത്തെയും സ്ട്രീമിംഗിനെയും ഒരുപോലെ പരീക്ഷിക്കുന്നു.
2. അത് shannon-3 ൽ പ്രവർത്തിപ്പിക്കുക. ആദ്യ ടോക്കൺ വരാൻ എത്ര സമയമെടുത്തു, ഉത്തരം പൂർത്തിയാകാൻ എത്ര സമയമെടുത്തു എന്ന് കുറിക്കുക.
3. അതേ പ്രോംപ്റ്റ് shannon-3.1 ൽ പ്രവർത്തിപ്പിക്കുക. അതേ രണ്ട് സംഖ്യകളും കുറിക്കുക.
4. പിന്നെ ഘടികാരം മറന്ന് രണ്ട് ഉത്തരങ്ങളും വായിക്കുക, ഏതാണ് നിങ്ങൾക്ക് വേണ്ടിയിരുന്നത് എന്ന് തീരുമാനിക്കുക.

വേഗതയിലെ വ്യത്യാസം ഉടനടിയും വ്യക്തവുമായിരിക്കും. ചിന്തിച്ചിരിക്കാൻ അർഹമായത് ഗുണനിലവാരത്തിലെ വ്യത്യാസമാണ് — അത് ഏറ്റവും വ്യക്തമായി കാണുന്നത് നീണ്ട ഇൻപുട്ടുകളിലാണ്, അവിടെ നിങ്ങൾ കരുതിയതിലും കുറച്ച് വസ്തുതകളുമായിട്ടാണ് 3.0 നിശ്ശബ്ദമായി പണിയെടുത്തിരുന്നത്.

11പതിവ് ചോദ്യങ്ങൾ

---

ഈ ലേഖനത്തിലെ പ്രകടന, ബുദ്ധി സംഖ്യകൾ 2026 സെപ്റ്റംബറിലെ ആന്തരിക മൂല്യനിർണ്ണയത്തിൽ നിന്നുള്ള Shannon Lab ന്റെ സ്വന്തം അളവുകളാണ്; മൂന്നാം-കക്ഷി ബെഞ്ച്മാർക്ക് ഫലങ്ങളായല്ല, ഉൽപ്പന്ന കണക്കുകളായാണ് അവ പറയുന്നത്. സന്ദർഭ ജാലകം, മോഡൽ ഐഡികൾ, API ലഭ്യത എന്നിവ ഉൽപ്പന്ന വിശദാംശങ്ങളാണ്. Shannon AI പ്രവർത്തിപ്പിക്കുന്നത് Shannon Lab LLC, New Mexico, USA ആണ്. അനുബന്ധ വായന: Shannon 3 · Shannon ഗവേഷണ സൂചിക · API ഡോക്യുമെന്റേഷൻ.