Shannon 3.1
ਉਹੀ ਤਰਕ ਲੂਪ, ਸਾਡੇ ਆਪਣੇ GPU ਕਲੱਸਟਰ ਉੱਤੇ ਲਿਜਾਇਆ ਗਿਆ: 32% ਵੱਧ ਬੁੱਧੀਮਾਨ, 10-15 ਗੁਣਾ ਤੇਜ਼, ਅਤੇ 196,608-ਟੋਕਨ ਸੰਦਰਭ ਵਿੰਡੋ।
ਸੰਖੇਪ
Shannon 3.1 ਉਹ ਸਭ ਕੁਝ ਬਰਕਰਾਰ ਰੱਖਦਾ ਹੈ ਜਿਸ ਕਰਕੇ Shannon 3 ਵਰਤਣ ਯੋਗ ਸੀ — ਦੁਹਰਾਊ ਤਰਕ ਲੂਪ, ਕੋਈ ਇਨਕਾਰ ਪਰਤ ਨਹੀਂ, ਕੋਈ ਆਉਟਪੁੱਟ ਫਿਲਟਰਿੰਗ ਨਹੀਂ — ਅਤੇ ਸਿਰਫ਼ ਇਹ ਬਦਲਦਾ ਹੈ ਕਿ ਇਹ ਕਿੱਥੇ ਅਤੇ ਕਿਵੇਂ ਚੱਲਦਾ ਹੈ। ਮਾਡਲ ਹੁਣ ਕਿਸੇ ਤੀਜੀ-ਧਿਰ ਇਨਫਰੈਂਸ ਹੋਸਟ ਦੀ ਥਾਂ ਸਾਡੇ ਆਪਣੇ GPU ਕਲੱਸਟਰ ਤੋਂ ਸੇਵਾ ਦਿੰਦਾ ਹੈ। Shannon Lab ਦਾ ਮੁਲਾਂਕਣ Shannon 3.0 ਦੇ ਮੁਕਾਬਲੇ ਬੁੱਧੀ ਵਿੱਚ 32% ਸੁਧਾਰ ਅਤੇ 10-15 ਗੁਣਾ ਤੇਜ਼ ਜਵਾਬ ਮਾਪਦਾ ਹੈ। ਸੰਦਰਭ ਵਿੰਡੋ 32,768 ਤੋਂ 196,608 ਟੋਕਨ ਹੋ ਜਾਂਦੀ ਹੈ। ਜਿਹੜੀ ਪੇਸਿੰਗ ਪਰਤ 3.0 ਦੇ ਆਉਟਪੁੱਟ ਨੂੰ ਜਾਣਬੁੱਝ ਕੇ ਹੌਲੀ ਕਰਦੀ ਸੀ, ਉਹ ਖ਼ਤਮ ਹੈ: 3.1 ਇੰਜਣ ਦੀ ਪੂਰੀ ਰਫ਼ਤਾਰ ਉੱਤੇ ਸਟ੍ਰੀਮ ਕਰਦਾ ਹੈ। ਮਾਡਲ ਆਈਡੀ shannon-3.1 ਅਤੇ shannon-3.1-pro ਹਨ, ਚੈਟ ਵਿੱਚ ਅਤੇ ਤਿੰਨਾਂ API ਬੋਲੀਆਂ ਉੱਤੇ।
ਜ਼ਿਆਦਾਤਰ ਮਾਡਲ ਰਿਲੀਜ਼ ਤੁਹਾਨੂੰ ਸਮਰੱਥਾ ਦੇ ਦਾਅਵੇ ਉੱਤੇ ਭਰੋਸਾ ਕਰਨ ਅਤੇ ਬੈਂਚਮਾਰਕ ਟੇਬਲ ਦੇ ਫ਼ੈਸਲਾ ਕਰਨ ਦੀ ਉਡੀਕ ਕਰਨ ਲਈ ਕਹਿੰਦੇ ਹਨ। ਇਹ ਵਾਲਾ ਜਾਂਚਣਾ ਸੌਖਾ ਹੈ: ਦੋ ਟੈਬ ਖੋਲ੍ਹੋ, ਉਹੀ ਪ੍ਰੌਂਪਟ shannon-3 ਅਤੇ shannon-3.1 ਵਿੱਚ ਪਾਓ, ਅਤੇ ਵੇਖੋ। ਜਵਾਬ ਕਿੰਨੀ ਤੇਜ਼ੀ ਨਾਲ ਪਹੁੰਚਦਾ ਹੈ, ਉਸ ਵਿੱਚ ਫ਼ਰਕ ਸੂਖਮ ਨਹੀਂ ਹੈ, ਅਤੇ ਇਹ ਕੋਈ ਰੈਂਡਰਿੰਗ ਦੀ ਚਾਲ ਵੀ ਨਹੀਂ। Shannon 3.0 ਨੂੰ ਜਾਣਬੁੱਝ ਕੇ ਥਰੌਟਲ ਕੀਤਾ ਗਿਆ ਸੀ। Shannon 3.1 ਨਹੀਂ ਹੈ।
01Shannon 3.1 ਵਿੱਚ ਅਸਲ ਵਿੱਚ ਕੀ ਬਦਲਿਆ
Shannon 3.0 ਨੇ ਉਹ ਚੀਜ਼ ਪੇਸ਼ ਕੀਤੀ ਸੀ ਜੋ ਇਸ ਪਰਿਵਾਰ ਦੀ ਪਛਾਣ ਹੈ: ਇੱਕ ਦੁਹਰਾਊ ਤਰਕ ਲੂਪ। ਮਾਡਲ ਆਪਣੇ ਪਹਿਲੇ ਖ਼ਿਆਲ ਉੱਤੇ ਜਵਾਬ ਨਹੀਂ ਦਿੰਦਾ। ਇਹ ਸੋਚਦਾ ਹੈ, ਖਰੜਾ ਬਣਾਉਂਦਾ ਹੈ, ਸਵਾਲ ਦੇ ਸਾਹਮਣੇ ਆਪਣੇ ਖਰੜੇ ਦੀ ਸਮੀਖਿਆ ਕਰਦਾ ਹੈ, ਅਤੇ ਉਸਨੂੰ ਸੁਧਾਰਦਾ ਹੈ। Lite ਉਸ ਲੂਪ ਦਾ ਇੱਕ ਪਾਸ ਚਲਾਉਂਦਾ ਹੈ; Pro ਪੂਰਾ ਲੂਪ ਚਲਾਉਂਦਾ ਹੈ, ਖਰੜਾ ਬਣਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਇੱਕ ਗਿਆਨ-ਸੰਗ੍ਰਹਿ ਕਦਮ ਸਮੇਤ। ਉਹ ਡਿਜ਼ਾਈਨ Shannon 3 ਖੋਜ ਲੇਖ ਵਿੱਚ ਵਿਸਥਾਰ ਨਾਲ ਦੱਸਿਆ ਗਿਆ ਹੈ, ਅਤੇ 3.1 ਵਿੱਚ ਉਸ ਵਿੱਚੋਂ ਕੁਝ ਵੀ ਨਹੀਂ ਬਦਲਿਆ।
ਜੋ ਬਦਲਿਆ ਉਹ ਹੇਠਲੀ ਮਸ਼ੀਨਰੀ ਹੈ। Shannon 3.0 ਇੱਕ ਤੀਜੀ-ਧਿਰ ਇਨਫਰੈਂਸ ਹੋਸਟ ਰਾਹੀਂ ਸੇਵਾ ਦਿੰਦਾ ਸੀ — ਮਾਡਲ ਲਾਂਚ ਕਰਨ ਦਾ ਇੱਕ ਸਮਝਦਾਰ ਤਰੀਕਾ, ਅਤੇ ਉਸਨੂੰ ਚਲਾਉਣ ਦਾ ਇੱਕ ਸੀਮਤ ਕਰਨ ਵਾਲਾ ਤਰੀਕਾ। ਤੁਹਾਨੂੰ ਕਿਸੇ ਹੋਰ ਦੀ ਸਰਵਿੰਗ ਸੰਰਚਨਾ, ਕਿਸੇ ਹੋਰ ਦੀ ਕਤਾਰ, ਕਿਸੇ ਹੋਰ ਦੀ ਸੰਦਰਭ ਸੀਮਾ, ਅਤੇ ਕਿਸੇ ਹੋਰ ਦਾ ਇਹ ਵਿਚਾਰ ਵਿਰਾਸਤ ਵਿੱਚ ਮਿਲਦਾ ਹੈ ਕਿ ਤੁਹਾਨੂੰ ਪ੍ਰਤੀ ਸਕਿੰਟ ਕਿੰਨੇ ਟੋਕਨ ਮਿਲਣੇ ਚਾਹੀਦੇ ਹਨ। Shannon 3.1 ਸਾਡੇ ਆਪਣੇ GPU ਕਲੱਸਟਰ ਉੱਤੇ ਚੱਲਦਾ ਹੈ, ਉਸ ਸਰਵਿੰਗ ਸਟੈਕ ਉੱਤੇ ਜਿਸਨੂੰ ਅਸੀਂ ਸੰਰਚਿਤ ਕਰਦੇ ਹਾਂ, ਅਤੇ ਇਸ ਲੇਖ ਦਾ ਹਰ ਵੱਡਾ ਅੰਕੜਾ ਉਸੇ ਇੱਕ ਫ਼ੈਸਲੇ ਦਾ ਨਤੀਜਾ ਹੈ।
| Shannon 3.0 | Shannon 3.1 | |
|---|---|---|
| ਕਿੱਥੇ ਚੱਲਦਾ ਹੈ | ਤੀਜੀ-ਧਿਰ ਹੋਸਟ | ਸਾਡਾ ਆਪਣਾ GPU ਕਲੱਸਟਰ |
| ਸੰਦਰਭ ਵਿੰਡੋ | 32,768 | 196,608 |
| ਆਉਟਪੁੱਟ ਸਟ੍ਰੀਮਿੰਗ | ਪੇਸਡ / ਰਫ਼ਤਾਰ-ਸੀਮਤ | ਪੂਰੀ ਇੰਜਣ ਰਫ਼ਤਾਰ |
| ਵਜ਼ਨ | ਹੋਸਟ ਦਾ ਡਿਫੌਲਟ | 4-ਬਿੱਟ NVFP4 |
| ਡੀਕੋਡਿੰਗ | ਮਿਆਰੀ | ਸਪੈਕੁਲੇਟਿਵ |
| ਤਰਕ ਲੂਪ | ਸੋਚੋ → ਖਰੜਾ → ਸਮੀਖਿਆ → ਸੁਧਾਰ | ਅਣਬਦਲਿਆ |
| ਇਨਕਾਰ ਪਰਤ | ਕੋਈ ਨਹੀਂ | ਕੋਈ ਨਹੀਂ |
| ਮਾਡਲ ਆਈਡੀ | shannon-3, shannon-3-pro | shannon-3.1, shannon-3.1-pro |
02Shannon 3.1 10-15 ਗੁਣਾ ਤੇਜ਼ ਕਿਉਂ ਲੱਗਦਾ ਹੈ
ਰਫ਼ਤਾਰ ਵਾਲਾ ਅੰਕੜਾ ਹੀ ਉਹ ਹੈ ਜਿਸ ਬਾਰੇ ਲੋਕ ਪਹਿਲਾਂ ਪੁੱਛਦੇ ਹਨ, ਇਸ ਲਈ ਇਹ ਦੱਸਣਾ ਜ਼ਰੂਰੀ ਹੈ ਕਿ ਇਹ ਕਿੱਥੋਂ ਆਉਂਦਾ ਹੈ। ਇਸ ਵਿੱਚ ਦੋ ਵੱਖੋ-ਵੱਖ ਯੋਗਦਾਨ ਹਨ, ਅਤੇ ਵੱਡਾ ਵਾਲਾ ਦੋਵਾਂ ਵਿੱਚੋਂ ਘੱਟ ਚਮਕਦਾਰ ਹੈ।
ਅਸੀਂ ਸਪੀਡ ਗੇਟ ਹਟਾ ਦਿੱਤਾ
Shannon 3.0 ਦਾ ਆਉਟਪੁੱਟ ਇੱਕ ਪੇਸਿੰਗ ਪਰਤ ਵਿੱਚੋਂ ਲੰਘਦਾ ਸੀ। ਟੋਕਨ ਇੰਜਣ ਤੋਂ ਨਿਕਲਦੇ, ਰੋਕੇ ਜਾਂਦੇ, ਅਤੇ ਇੱਕ ਸਮਾਂ-ਸਾਰਣੀ ਮੁਤਾਬਕ ਤੁਹਾਡੇ ਕਨੈਕਸ਼ਨ ਨੂੰ ਦਿੱਤੇ ਜਾਂਦੇ ਸਨ। ਇਹ ਕੋਈ ਹਾਦਸਾ ਜਾਂ ਬੱਗ ਨਹੀਂ ਸੀ। ਜਦੋਂ ਸਾਂਝਾ ਇਨਫਰੈਂਸ ਹੋਸਟ ਹੀ ਅੜਿੱਕਾ ਹੋਵੇ, ਤਾਂ ਆਉਟਪੁੱਟ ਦੀ ਰਫ਼ਤਾਰ ਢਾਲਣ ਨਾਲ ਲੋਡ ਸਮਤਲ ਹੁੰਦਾ ਹੈ, ਇੱਕ ਲੰਮੀ ਜਨਰੇਸ਼ਨ ਕਿਸੇ ਸਲਾਟ ਉੱਤੇ ਕਬਜ਼ਾ ਨਹੀਂ ਕਰਦੀ, ਅਤੇ ਸਟ੍ਰੀਮ ਝਟਕਿਆਂ ਦੀ ਥਾਂ ਇੱਕ ਅਨੁਮਾਨਯੋਗ, ਪੜ੍ਹਨਯੋਗ ਲੈਅ ਵਿੱਚ ਪਹੁੰਚਦੀ ਹੈ। ਇਹ ਇੱਕ ਬਚਾਅਯੋਗ ਇੰਜੀਨੀਅਰਿੰਗ ਚੋਣ ਹੈ, ਅਤੇ ਇਸਨੇ ਹਰ ਵਰਤੋਂਕਾਰ ਨੂੰ ਹਰ ਜਵਾਬ ਉੱਤੇ ਅਸਲ ਸਮਾਂ ਗੁਆਇਆ।
Shannon 3.1 ਵਿੱਚ ਕੋਈ ਸਪੀਡ ਗੇਟ ਅਤੇ ਕੋਈ ਰਿਵੀਲ ਪੇਸਿੰਗ ਨਹੀਂ ਹੈ। ਟੋਕਨ ਤੁਹਾਡੀ ਸਟ੍ਰੀਮ ਵਿੱਚ ਉਸੇ ਵੇਲੇ ਲਿਖੇ ਜਾਂਦੇ ਹਨ ਜਦੋਂ ਇੰਜਣ ਉਨ੍ਹਾਂ ਨੂੰ ਬਣਾਉਂਦਾ ਹੈ। ਜੇ ਇੰਜਣ ਤੇਜ਼ੀ ਨਾਲ ਬਣਾ ਰਿਹਾ ਹੈ, ਤੁਹਾਨੂੰ ਉਹ ਤੇਜ਼ੀ ਦਿਖਦੀ ਹੈ। ਮਾਡਲ ਅਤੇ ਤੁਹਾਡੇ ਟਰਮੀਨਲ, ਤੁਹਾਡੀ ਚੈਟ ਵਿੰਡੋ, ਜਾਂ ਤੁਹਾਡੇ SSE ਰੀਡਰ ਵਿਚਕਾਰ ਕੋਈ ਸਮੂਥਿੰਗ ਬਫ਼ਰ ਨਹੀਂ ਹੈ। ਲੰਮੇ ਜਵਾਬ ਲਈ — 2,000-ਟੋਕਨ ਵਿਸ਼ਲੇਸ਼ਣ, ਬਣਾਏ ਗਏ ਕੋਡ ਦੀ ਇੱਕ ਫ਼ਾਈਲ — ਸਿਰਫ਼ ਇਹੀ ਗੱਲ ਉਸ ਸੁਧਾਰ ਦਾ ਵੱਡਾ ਹਿੱਸਾ ਹੈ ਜੋ ਤੁਸੀਂ ਮਹਿਸੂਸ ਕਰੋਗੇ।
ਇੱਕ ਈਮਾਨਦਾਰ ਨਤੀਜਾ: ਸਟ੍ਰੀਮ ਹੁਣ ਝਟਕੇਦਾਰ ਹੈ। ਸਪੈਕੁਲੇਟਿਵ ਡੀਕੋਡਿੰਗ (ਹੇਠਾਂ) ਪ੍ਰਵਾਨ ਕੀਤੇ ਟੋਕਨ ਛੋਟੀਆਂ ਲੜੀਆਂ ਵਿੱਚ ਭੇਜਦੀ ਹੈ, ਇਸ ਲਈ ਲਿਖਤ ਇੱਕ-ਸ਼ਬਦ-ਇੱਕ-ਵਾਰ ਵਾਲੀ ਬਰਾਬਰ ਚਾਲ ਦੀ ਥਾਂ ਦਿਸਦੇ ਟੁਕੜਿਆਂ ਵਿੱਚ ਆ ਸਕਦੀ ਹੈ। ਜੇ ਤੁਸੀਂ 3.0 ਦੀ ਸਮਤਲ ਚਾਲ ਦੇ ਆਲੇ-ਦੁਆਲੇ UI ਬਣਾਇਆ ਸੀ, ਉਹ ਹਾਲੇ ਵੀ ਕੰਮ ਕਰੇਗਾ — ਟੋਕਨਾਂ ਦਾ ਕ੍ਰਮ ਅਤੇ ਸਮੱਗਰੀ ਬਦਲੀ ਨਹੀਂ — ਪਰ ਜੇ ਤੁਹਾਨੂੰ ਟਾਈਪਰਾਈਟਰ ਵਾਲੀ ਦਿੱਖ ਪਸੰਦ ਸੀ ਤਾਂ ਤੁਸੀਂ ਆਪਣੇ ਕਲਾਇੰਟ ਵਾਲੇ ਪਾਸੇ ਦੀ ਈਜ਼ਿੰਗ ਮੁੜ ਜੋੜਨਾ ਚਾਹ ਸਕਦੇ ਹੋ। ਸਾਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਜ਼ਿਆਦਾਤਰ ਲੋਕ ਸਕਿੰਟ ਵਾਪਸ ਲੈਣਾ ਪਸੰਦ ਕਰਨਗੇ।
ਇੰਜਣ ਖ਼ੁਦ ਵੀ ਤੇਜ਼ ਹੋਇਆ
ਗੇਟ ਹਟਾਉਣ ਦਾ ਫ਼ਾਇਦਾ ਤਾਂ ਹੀ ਹੈ ਜੇ ਗੇਟ ਦੇ ਪਿੱਛੇ ਵਾਲੀ ਚੀਜ਼ ਤੇਜ਼ ਹੋਵੇ। ਦੂਜਾ ਯੋਗਦਾਨ ਸੈਕਸ਼ਨ 03 ਵਿੱਚ ਦੱਸਿਆ ਸਰਵਿੰਗ ਸਟੈਕ ਹੈ: ਸਾਡੇ ਆਪਣੇ ਕਲੱਸਟਰ ਵਿੱਚ ਮੌਜੂਦਾ ਪੀੜ੍ਹੀ ਦੇ, FP4-ਮੂਲ ਐਕਸਲਰੇਟਰਾਂ ਉੱਤੇ 4-ਬਿੱਟ NVFP4 ਵਜ਼ਨ ਅਤੇ ਸਪੈਕੁਲੇਟਿਵ ਡੀਕੋਡਿੰਗ। ਮਿਲ ਕੇ ਇਹ ਉਸ ਛੱਤ ਨੂੰ ਉੱਚਾ ਕਰਦੇ ਹਨ ਜੋ ਗੇਟ ਹਟਾਉਣ ਨਾਲ ਸਾਹਮਣੇ ਆਉਂਦੀ ਹੈ।
ਸ਼ੁਰੂ ਤੋਂ ਅੰਤ ਤੱਕ ਜਵਾਬ ਦੀ ਸਾਪੇਖ ਦੇਰੀ, Shannon Lab ਦਾ ਅੰਦਰੂਨੀ ਮੁਲਾਂਕਣ, ਸਤੰਬਰ 2026। ਇਹ ਦਾਇਰਾ ਪ੍ਰੌਂਪਟ ਦੀ ਲੰਬਾਈ ਅਤੇ ਟੀਅਰ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ: Lite ਉੱਤੇ ਛੋਟੇ ਪ੍ਰੌਂਪਟ ਹੇਠਲੇ ਸਿਰੇ ਦੇ ਨੇੜੇ ਹਨ, Pro ਉੱਤੇ ਲੰਮੀਆਂ ਜਨਰੇਸ਼ਨਾਂ ਉੱਪਰਲੇ ਸਿਰੇ ਦੇ ਨੇੜੇ।
03ਸਪੈਕੁਲੇਟਿਵ ਡੀਕੋਡਿੰਗ ਅਸਲ ਵਿੱਚ ਕੀ ਕਰਦੀ ਹੈ
“ਸਪੈਕੁਲੇਟਿਵ ਡੀਕੋਡਿੰਗ ਇਨਫਰੈਂਸ” ਨੂੰ ਇੱਕ ਮਾਰਕੀਟਿੰਗ ਸ਼ਬਦ ਵਾਂਗ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, ਇਸ ਲਈ ਇੱਥੇ ਇਸਦਾ ਤਰੀਕਾ ਸਾਫ਼ ਸ਼ਬਦਾਂ ਵਿੱਚ ਹੈ।
ਇੱਕ ਭਾਸ਼ਾ ਮਾਡਲ ਆਮ ਤੌਰ ਉੱਤੇ ਪ੍ਰਤੀ ਫ਼ਾਰਵਰਡ ਪਾਸ ਇੱਕ ਟੋਕਨ ਬਣਾਉਂਦਾ ਹੈ। ਉਹ ਪਾਸ ਹਿਸਾਬ-ਕਿਤਾਬ ਨਾਲ ਨਹੀਂ ਸਗੋਂ ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਨਾਲ ਹਾਵੀ ਹੁੰਦਾ ਹੈ — ਕੁਝ ਵੀ ਗਿਣਨ ਲਈ ਵਜ਼ਨ ਪੜ੍ਹਨੇ ਪੈਂਦੇ ਹਨ, ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਪੜ੍ਹਨ ਵਿੱਚ ਗਣਿਤ ਨਾਲੋਂ ਕਿਤੇ ਵੱਧ ਸਮਾਂ ਲੱਗਦਾ ਹੈ। GPU ਆਪਣਾ ਬਹੁਤਾ ਸਮਾਂ ਮੈਮਰੀ ਦੀ ਉਡੀਕ ਵਿੱਚ ਬਿਤਾਉਂਦਾ ਹੈ ਜਦਕਿ ਉਸਦੀਆਂ ਕੰਪਿਊਟ ਇਕਾਈਆਂ ਵਿਹਲੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। 500 ਟੋਕਨ ਬਣਾਉਣ ਦਾ ਮਤਲਬ ਹੈ ਉਹ ਦੇਰੀ 500 ਵਾਰ, ਲੜੀਵਾਰ ਭੁਗਤਣਾ।
ਸਪੈਕੁਲੇਟਿਵ ਡੀਕੋਡਿੰਗ ਇਸ ਲੜੀਵਾਰ ਹਿੱਸੇ ਉੱਤੇ ਹਮਲਾ ਕਰਦੀ ਹੈ। ਇੱਕ ਛੋਟਾ, ਸਸਤਾ ਡਰਾਫਟ ਮਾਡਲ ਸੰਭਾਵੀ ਅਗਲੇ ਟੋਕਨਾਂ ਦੀ ਇੱਕ ਛੋਟੀ ਲੜੀ ਸੁਝਾਉਂਦਾ ਹੈ — ਮੰਨ ਲਓ ਚਾਰ ਜਾਂ ਅੱਠ। ਫਿਰ ਮੁੱਖ ਮਾਡਲ ਉਸ ਪੂਰੀ ਲੜੀ ਨੂੰ ਇੱਕੋ ਬੈਚ ਫ਼ਾਰਵਰਡ ਪਾਸ ਵਿੱਚ ਪਰਖਦਾ ਹੈ, ਜਿਸਦੀ ਲਾਗਤ ਇੱਕ ਟੋਕਨ ਪਰਖਣ ਨਾਲੋਂ ਮਸਾਂ ਹੀ ਵੱਧ ਹੁੰਦੀ ਹੈ, ਕਿਉਂਕਿ ਮਹਿੰਗਾ ਹਿੱਸਾ (ਵਜ਼ਨ ਪੜ੍ਹਨਾ) ਦੋਵਾਂ ਹਾਲਤਾਂ ਵਿੱਚ ਇੱਕੋ ਵਾਰ ਹੁੰਦਾ ਹੈ। ਹਰ ਸੁਝਾਇਆ ਟੋਕਨ ਜਿਸ ਨਾਲ ਮੁੱਖ ਮਾਡਲ ਸਹਿਮਤ ਹੁੰਦਾ ਹੈ, ਪ੍ਰਵਾਨ ਹੋ ਕੇ ਤੁਰੰਤ ਭੇਜ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ। ਪਹਿਲੀ ਅਸਹਿਮਤੀ ਉੱਤੇ ਲੜੀ ਕੱਟ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਉੱਥੋਂ ਆਮ ਡੀਕੋਡਿੰਗ ਮੁੜ ਸ਼ੁਰੂ ਹੋ ਜਾਂਦੀ ਹੈ।
ਜਿਹੜੀ ਖ਼ੂਬੀ ਮਾਇਨੇ ਰੱਖਦੀ ਹੈ
ਸਪੈਕੁਲੇਟਿਵ ਡੀਕੋਡਿੰਗ ਆਉਟਪੁੱਟ-ਸੰਭਾਲੂ ਹੈ। ਪੜਤਾਲ ਵਾਲਾ ਕਦਮ ਇਸ ਤਰ੍ਹਾਂ ਬਣਾਇਆ ਗਿਆ ਹੈ ਕਿ ਪ੍ਰਵਾਨ ਕੀਤੀ ਲੜੀ ਬਿਲਕੁਲ ਉਵੇਂ ਵੰਡੀ ਜਾਂਦੀ ਹੈ ਜਿਵੇਂ ਮੁੱਖ ਮਾਡਲ ਦੀ ਆਪਣੀ ਸੈਂਪਲਿੰਗ ਹੁੰਦੀ। ਤੁਹਾਨੂੰ ਡਰਾਫਟ ਮਾਡਲ ਦਾ ਜਵਾਬ ਨਹੀਂ ਮਿਲ ਰਿਹਾ, ਅਤੇ ਨਾ ਹੀ ਵੱਡੇ ਮਾਡਲ ਦੇ ਜਵਾਬ ਦਾ ਅੰਦਾਜ਼ਾ। ਤੁਹਾਨੂੰ ਮੁੱਖ ਮਾਡਲ ਦਾ ਹੀ ਆਉਟਪੁੱਟ ਮਿਲਦਾ ਹੈ, ਬਸ ਘੱਟ ਲੜੀਵਾਰ ਕਦਮਾਂ ਵਿੱਚ। ਡਰਾਫਟ ਮਾਡਲ ਸਿਰਫ਼ ਰਫ਼ਤਾਰ ਉੱਤੇ ਅਸਰ ਪਾ ਸਕਦਾ ਹੈ, ਸਮੱਗਰੀ ਉੱਤੇ ਕਦੇ ਨਹੀਂ।
ਕੰਮ ਪ੍ਰਵਾਨਗੀ ਦਰ ਕਰਦੀ ਹੈ। ਅਨੁਮਾਨਯੋਗ ਲਿਖਤ ਉੱਤੇ — ਬਾਇਲਰਪਲੇਟ, ਕੋਡ ਦੀ ਬਣਤਰ, ਦਲੀਲ ਨੂੰ ਜੋੜਨ ਵਾਲੇ ਹਿੱਸੇ — ਡਰਾਫਟ ਮਾਡਲ ਚੰਗਾ ਅੰਦਾਜ਼ਾ ਲਾਉਂਦਾ ਹੈ ਅਤੇ ਲੰਮੀਆਂ ਲੜੀਆਂ ਇੱਕੋ ਵਾਰ ਪਹੁੰਚ ਜਾਂਦੀਆਂ ਹਨ। ਸੱਚਮੁੱਚ ਔਖੇ ਟੋਕਨਾਂ ਉੱਤੇ ਪ੍ਰਵਾਨਗੀ ਘਟ ਜਾਂਦੀ ਹੈ ਅਤੇ ਸਿਸਟਮ ਸਹਿਜੇ ਹੀ ਆਮ ਇੱਕ-ਟੋਕਨ-ਇੱਕ-ਵਾਰ ਡੀਕੋਡਿੰਗ ਉੱਤੇ ਵਾਪਸ ਆ ਜਾਂਦਾ ਹੈ। ਇਹੀ ਅਸਾਵਾਂਪਣ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ: ਇਹ ਸੌਖੇ ਹਿੱਸਿਆਂ ਨੂੰ ਤੇਜ਼ ਕਰਦਾ ਹੈ ਅਤੇ ਔਖਿਆਂ ਨੂੰ ਛੇੜਦਾ ਨਹੀਂ।
4-ਬਿੱਟ ਵਜ਼ਨ ਉਸੇ ਪੈਰੇ ਵਿੱਚ ਕਿਉਂ ਆਉਂਦੇ ਹਨ
ਕਿਉਂਕਿ ਅੜਿੱਕਾ ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਹੈ, ਵਜ਼ਨ ਛੋਟੇ ਕਰਨਾ ਸਿੱਧਾ ਰਫ਼ਤਾਰ ਦਾ ਲੀਵਰ ਹੈ, ਸਿਰਫ਼ ਮੈਮਰੀ-ਥਾਂ ਦਾ ਨਹੀਂ। NVFP4 ਇੱਕ 4-ਬਿੱਟ ਫ਼ਲੋਟਿੰਗ-ਪੁਆਇੰਟ ਫ਼ਾਰਮੈਟ ਹੈ ਜਿਸ ਵਿੱਚ ਬਾਰੀਕ ਪ੍ਰਤੀ-ਬਲਾਕ ਸਕੇਲਿੰਗ ਹੈ, ਅਤੇ ਇਹੀ ਉਸਨੂੰ ਉੱਥੇ ਸ਼ੁੱਧਤਾ ਬਰਕਰਾਰ ਰੱਖਣ ਦਿੰਦਾ ਹੈ ਜਿੱਥੇ ਪੁਰਾਣੀਆਂ 4-ਬਿੱਟ ਇੰਟੀਜਰ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਸਕੀਮਾਂ ਇਸਨੂੰ ਗੁਆ ਦਿੰਦੀਆਂ ਸਨ। ਪ੍ਰਤੀ ਫ਼ਾਰਵਰਡ ਪਾਸ ਲਗਭਗ ਚੌਥਾਈ ਬਾਈਟ ਪੜ੍ਹਨ ਦਾ ਮਤਲਬ ਹੈ ਮੈਮਰੀ ਦੀ ਉਡੀਕ ਵਿੱਚ ਉਸੇ ਅਨੁਪਾਤ ਵਿੱਚ ਘੱਟ ਸਮਾਂ, ਅਤੇ ਇਹ 196K ਵਿੰਡੋ ਲਈ ਲੋੜੀਂਦੇ ਲੰਮੇ-ਸੰਦਰਭ KV ਕੈਸ਼ ਵਾਸਤੇ ਕਿਤੇ ਵੱਧ ਥਾਂ ਛੱਡਦਾ ਹੈ।
ਇਹ ਦੋਵੇਂ ਸਿਰਫ਼ ਜੁੜਦੇ ਨਹੀਂ ਸਗੋਂ ਗੁਣਾ ਹੁੰਦੇ ਹਨ: ਪ੍ਰਤੀ ਪਾਸ ਘੱਟ ਬਾਈਟ, ਅਤੇ ਪ੍ਰਤੀ ਭੇਜੇ ਟੋਕਨ ਘੱਟ ਪਾਸ। ਇਹੀ ਗੱਲ ਬਿਨਾਂ ਗੇਟ ਵਾਲੀ, ਪੂਰੀ ਰਫ਼ਤਾਰ ਸਟ੍ਰੀਮਿੰਗ ਨੂੰ ਸੇਵਾ ਦੇਣ ਲਈ ਕਿਫ਼ਾਇਤੀ ਬਣਾਉਂਦੀ ਹੈ, ਨਾ ਕਿ ਅਜਿਹੀ ਲਾਗਤ ਜੋ ਸਾਨੂੰ ਪੇਸਿੰਗ ਰਾਹੀਂ ਵਾਪਸ ਕੱਢਣੀ ਪਵੇ — ਅਤੇ 3.0 ਉੱਤੇ ਪੇਸਿੰਗ ਪਰਤ ਇਹੀ ਕਰ ਰਹੀ ਸੀ।
04196,608 ਟੋਕਨ: 6 ਗੁਣਾ ਵਿੰਡੋ ਕੀ ਖੋਲ੍ਹਦੀ ਹੈ
Shannon 3.0 ਦੀ 32,768-ਟੋਕਨ ਵਿੰਡੋ ਸੀ: ਇੱਕ ਕੰਮ ਵਾਲਾ ਸੈਸ਼ਨ, ਦਸਤਾਵੇਜ਼ ਨਹੀਂ। ਲਗਭਗ 70-80 ਸਫ਼ੇ ਵਾਰਤਕ, ਘਟਾਓ ਜੋ ਤਰਕ ਲੂਪ ਆਪਣੀ ਸੋਚ ਲਈ ਵਰਤਦਾ ਹੈ, ਘਟਾਓ ਤੁਹਾਡਾ ਸਿਸਟਮ ਪ੍ਰੌਂਪਟ, ਘਟਾਓ ਹੁਣ ਤੱਕ ਦੀ ਗੱਲਬਾਤ। ਅਸਲ ਕੰਮ ਲਗਾਤਾਰ ਉਸ ਕੰਧ ਨਾਲ ਟਕਰਾਉਂਦਾ ਸੀ, ਅਤੇ ਬਦਲਵੇਂ ਹੱਲ — ਚੰਕਿੰਗ, ਸੰਖੇਪ ਬਣਾਉਣਾ, ਆਪਣੀ ਹੀ ਸਮੱਗਰੀ ਉੱਤੇ ਰੀਟ੍ਰੀਵਲ — ਸਾਰੇ ਉਸੇ ਚੀਜ਼ ਨੂੰ ਵਿਗਾੜਦੇ ਹਨ ਜਿਸਨੂੰ ਤੁਸੀਂ ਬਚਾਉਣਾ ਚਾਹੁੰਦੇ ਸੀ। 196,608 ਟੋਕਨ ਬਿਲਕੁਲ ਵੱਖਰੀ ਸ਼੍ਰੇਣੀ ਦੀ ਸਮੱਸਿਆ ਹੈ।
ਠੋਸ ਰੂਪ ਵਿੱਚ, ਇਹ ਲਗਭਗ 400-500 ਸਫ਼ੇ ਅੰਗਰੇਜ਼ੀ ਲਿਖਤ ਹੈ, ਜਾਂ ਆਪਣੇ ਟੈਸਟਾਂ ਅਤੇ README ਸਮੇਤ ਇੱਕ ਦਰਮਿਆਨੇ ਆਕਾਰ ਦਾ ਕੋਡਬੇਸ, ਜਾਂ ਕਿਸੇ ਇੱਕ ਪ੍ਰੋਜੈਕਟ ਦੀਆਂ ਸਾਲ ਭਰ ਦੀਆਂ ਮੀਟਿੰਗ ਨੋਟਸ, ਜਾਂ ਸਾਰੇ ਅਨੁਬੰਧਾਂ ਸਮੇਤ ਇੱਕ ਪੂਰਾ ਇਕਰਾਰਨਾਮਾ ਸੈੱਟ — ਇੱਕੋ ਗੱਲਬਾਤ ਵਿੱਚ, ਇੱਕੋ ਸਵਾਲ ਨਾਲ ਪਹੁੰਚਯੋਗ, ਤੁਹਾਡੇ ਅਤੇ ਸਮੱਗਰੀ ਵਿਚਕਾਰ ਕਿਸੇ ਚੰਕਿੰਗ ਪਰਤ ਤੋਂ ਬਿਨਾਂ।
- ਪੂਰੇ ਰਿਪੌਜ਼ਟਰੀ ਬਾਰੇ ਸਵਾਲ। ਕੋਡ ਲੋਡ ਕਰੋ ਅਤੇ ਪੁੱਛੋ ਕਿ ਕੋਈ ਬੱਗ ਪ੍ਰੋਡਕਸ਼ਨ ਤੱਕ ਕਿਉਂ ਪਹੁੰਚਦਾ ਹੈ, ਨਾ ਕਿ ਸਿਰਫ਼ ਉਹ ਤਿੰਨ ਫ਼ਾਈਲਾਂ ਪੇਸਟ ਕਰੋ ਜਿਨ੍ਹਾਂ ਉੱਤੇ ਤੁਹਾਨੂੰ ਪਹਿਲਾਂ ਹੀ ਸ਼ੱਕ ਸੀ। ਮਾਡਲ ਉਹ ਫ਼ਾਈਲ ਲੱਭ ਸਕਦਾ ਹੈ ਜਿਸਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਦਾ ਖ਼ਿਆਲ ਤੁਹਾਨੂੰ ਨਹੀਂ ਆਇਆ।
- ਬਿਨਾਂ ਰੀਟ੍ਰੀਵਲ ਲੰਮੇ ਦਸਤਾਵੇਜ਼ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ। ਰੀਟ੍ਰੀਵਲ ਇੱਕ ਨੁਕਸਾਨਦੇਹ ਪੂਰਵ-ਫਿਲਟਰ ਹੈ ਜੋ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ ਮਾਡਲ ਕੀ ਵੇਖ ਸਕਦਾ ਹੈ। 196K ਉੱਤੇ ਤੁਸੀਂ ਅਕਸਰ ਇਸਨੂੰ ਛੱਡ ਸਕਦੇ ਹੋ ਅਤੇ ਮਾਡਲ ਨੂੰ ਸਭ ਕੁਝ ਪੜ੍ਹਨ ਦੇ ਸਕਦੇ ਹੋ, ਜਿਸ ਨਾਲ ਅਸਫਲਤਾ ਦੀ ਪੂਰੀ ਇੱਕ ਸ਼੍ਰੇਣੀ ਹਟ ਜਾਂਦੀ ਹੈ ਜਿੱਥੇ ਸਹੀ ਹਿੱਸਾ ਕਦੇ ਲੱਭਿਆ ਹੀ ਨਹੀਂ ਗਿਆ ਸੀ।
- ਗੱਲਬਾਤ ਜੋ ਸੰਗਤ ਰਹਿੰਦੀ ਹੈ। ਇੱਕ ਲੰਮਾ ਕੰਮ ਵਾਲਾ ਸੈਸ਼ਨ ਹੁਣ ਚੁੱਪ-ਚਾਪ ਆਪਣੀ ਸ਼ੁਰੂਆਤ ਨਹੀਂ ਗੁਆਉਂਦਾ। ਸੁਨੇਹਾ ਤਿੰਨ ਵਿੱਚ ਰੱਖੀਆਂ ਸ਼ਰਤਾਂ ਸੁਨੇਹਾ ਅੱਸੀ ਵਿੱਚ ਵੀ ਲਾਗੂ ਰਹਿੰਦੀਆਂ ਹਨ।
- ਤਰਕ ਲੂਪ ਲਈ ਥਾਂ। ਲੂਪ ਦੀ ਆਪਣੀ ਸੋਚ, ਖਰੜਾ ਅਤੇ ਸਮੀਖਿਆ ਸੰਦਰਭ ਵਰਤਦੇ ਹਨ। 3.0 ਉੱਤੇ ਉਹ ਕਦਮ ਇੱਕ ਥੋੜ੍ਹੇ ਬਜਟ ਲਈ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਨਾਲ ਮੁਕਾਬਲਾ ਕਰਦੇ ਸਨ। 3.1 ਉੱਤੇ ਉਹ ਆਰਾਮ ਨਾਲ ਸਮਾ ਜਾਂਦੇ ਹਨ, ਅਤੇ ਇਹੀ ਇੱਕ ਕਾਰਨ ਹੈ ਕਿ ਗੁਣਵੱਤਾ ਦਾ ਵਾਧਾ ਅਤੇ ਵਿੰਡੋ ਦਾ ਵਾਧਾ ਇਕੱਠੇ ਆਏ।
- ਵੱਡੇ ਮਿਸ਼ਰਤ ਇਨਪੁੱਟ। ਇੱਕੋ ਵਾਰੀ ਵਿੱਚ ਚਿੱਤਰ, ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚੋਂ ਕੱਢੀ ਲਿਖਤ ਅਤੇ ਕੋਡ, ਬਿਨਾਂ ਇਹ ਛਾਂਟੇ ਕਿ ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕਿਹੜਾ ਸ਼ਾਮਲ ਕਰਨਾ ਤੁਹਾਨੂੰ ਵਾਰਾ ਖਾਂਦਾ ਹੈ।
ਇੱਕ ਈਮਾਨਦਾਰ ਚੇਤਾਵਨੀ ਜੋ ਹਰ ਲੰਮੇ-ਸੰਦਰਭ ਮਾਡਲ ਉੱਤੇ ਲਾਗੂ ਹੁੰਦੀ ਹੈ, ਸਾਡੇ ਸਮੇਤ: ਵੱਡੀ ਵਿੰਡੋ ਇੱਕ ਸਮਰੱਥਾ ਹੈ, ਇਸ ਗੱਲ ਦੀ ਗਰੰਟੀ ਨਹੀਂ ਕਿ ਧਿਆਨ ਪੂਰੇ ਪਾਸੇ ਬਰਾਬਰ ਵੰਡਿਆ ਜਾਵੇਗਾ। ਬਣਤਰ ਹਾਲੇ ਵੀ ਮਦਦ ਕਰਦੀ ਹੈ। ਸਵਾਲ ਅੰਤ ਦੇ ਨੇੜੇ ਰੱਖਣਾ, ਆਪਣੇ ਦਸਤਾਵੇਜ਼ਾਂ ਉੱਤੇ ਲੇਬਲ ਲਾਉਣਾ, ਅਤੇ ਮਾਡਲ ਨੂੰ ਦੱਸਣਾ ਕਿ ਕੀ ਲੱਭਣਾ ਹੈ — ਇਹ ਸਭ 150K ਟੋਕਨਾਂ ਉੱਤੇ ਨਤੀਜੇ ਮਾਪਣਯੋਗ ਢੰਗ ਨਾਲ ਸੁਧਾਰਦੇ ਹਨ, ਜਦਕਿ 5K ਉੱਤੇ ਇਹ ਫ਼ਰਕ ਨਹੀਂ ਪਾਉਂਦੇ।
05Lite ਅਤੇ Pro: shannon-3.1 ਅਤੇ shannon-3.1-pro
ਦੋਵੇਂ ਟੀਅਰ ਇਸ ਗੱਲ ਵਿੱਚ ਵੱਖਰੇ ਹਨ ਕਿ ਉਹ ਤਰਕ ਲੂਪ ਦਾ ਕਿੰਨਾ ਹਿੱਸਾ ਚਲਾਉਂਦੇ ਹਨ, ਅਤੇ ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਚੋਣ ਕਰਨ ਲਈ ਬੱਸ ਇਹੀ ਫ਼ਰਕ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ।
| shannon-3.1 (Lite) | shannon-3.1-pro (Pro) | |
|---|---|---|
| ਤਰਕ | ਇੱਕੋ ਪਾਸ | ਪੂਰਾ ਲੂਪ + ਗਿਆਨ-ਸੰਗ੍ਰਹਿ |
| ਸਵੈ-ਸਮੀਖਿਆ | ਨਹੀਂ | ਹਾਂ |
| ਸੰਦਰਭ ਵਿੰਡੋ | 196,608 | 196,608 |
| ਸਟ੍ਰੀਮਿੰਗ | ਪੂਰੀ ਰਫ਼ਤਾਰ, ਬਿਨਾਂ ਗੇਟ | ਪੂਰੀ ਰਫ਼ਤਾਰ, ਬਿਨਾਂ ਗੇਟ |
| ਵਿਜ਼ਨ ਅਤੇ ਦਸਤਾਵੇਜ਼ | ਹਾਂ | ਹਾਂ |
| ਚਿੱਤਰ ਬਣਾਉਣ ਦਾ ਟੂਲ | ਹਾਂ | ਹਾਂ |
| ਕਿਸ ਲਈ ਵਧੀਆ | ਜ਼ਿਆਦਾਤਰ ਕੰਮ, ਵੱਡੀ ਮਾਤਰਾ | ਔਖੇ ਸਵਾਲ, ਜਿੱਥੇ ਪਹਿਲਾ ਖਰੜਾ ਕਾਫ਼ੀ ਨਹੀਂ |
ਡਿਫੌਲਟ ਵਜੋਂ Lite ਵਰਤੋ। ਇੱਕ ਚੰਗੇ ਤਰਕ ਮਾਡਲ ਦਾ ਇੱਕੋ ਪਾਸ ਅਸਲ ਬੇਨਤੀਆਂ ਦੀ ਵੱਡੀ ਬਹੁਗਿਣਤੀ ਸੰਭਾਲ ਲੈਂਦਾ ਹੈ, ਅਤੇ 3.1 ਉੱਤੇ ਇਹ ਏਨਾ ਤੇਜ਼ ਹੈ ਕਿ ਲੂਪ ਦੀ ਉਡੀਕ ਹੁਣ ਮਹਿਸੂਸ ਨਹੀਂ ਹੁੰਦੀ। Pro ਵੱਲ ਜਾਓ ਜਦੋਂ ਸਵਾਲ ਅਜਿਹਾ ਹੋਵੇ ਜਿੱਥੇ ਪਹਿਲਾ ਜਵਾਬ ਆਮ ਤੌਰ ਉੱਤੇ ਸਿੱਖਿਆਦਾਇਕ ਢੰਗ ਨਾਲ ਗ਼ਲਤ ਹੁੰਦਾ ਹੈ: ਢਾਂਚਾਗਤ ਸਮਝੌਤੇ, ਵਿਰੋਧੀ ਪੱਖ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ, ਜਾਂ ਕੋਈ ਵੀ ਚੀਜ਼ ਜਿਸ ਉੱਤੇ ਤੁਸੀਂ ਚਾਹੋਗੇ ਕਿ ਕੋਈ ਕਾਬਲ ਸਾਥੀ ਇੱਕ ਰਾਤ ਸੋਚੇ। Pro ਦਾ ਸਵੈ-ਸਮੀਖਿਆ ਕਦਮ ਸਜਾਵਟ ਨਹੀਂ ਹੈ — ਇਹ ਮਾਡਲ ਵੱਲੋਂ ਆਪਣੀਆਂ ਗ਼ਲਤੀਆਂ ਤੁਹਾਡੇ ਤੋਂ ਪਹਿਲਾਂ ਲੱਭਣਾ ਹੈ।
0632% ਬੁੱਧੀ ਦਾ ਵਾਧਾ, ਅਤੇ ਇਸਨੂੰ ਕਿਵੇਂ ਪੜ੍ਹਨਾ ਹੈ
Shannon Lab ਦਾ ਆਪਣਾ ਮੁਲਾਂਕਣ Shannon 3.1 ਨੂੰ Shannon 3.0 ਦੇ ਮੁਕਾਬਲੇ ਬੁੱਧੀ ਵਿੱਚ 32% ਸੁਧਾਰ ਉੱਤੇ ਰੱਖਦਾ ਹੈ। ਅਸੀਂ ਸਾਫ਼ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ ਕਿ ਇਹ ਕੀ ਹੈ ਅਤੇ ਕੀ ਨਹੀਂ।
ਇਹ ਸਾਡਾ ਅੰਕੜਾ ਹੈ, ਸਾਡੇ ਅੰਦਰੂਨੀ ਮੁਲਾਂਕਣ ਸੈੱਟ ਵਿੱਚੋਂ, ਉਨ੍ਹਾਂ ਕੰਮਾਂ ਉੱਤੇ ਮਾਪਿਆ ਗਿਆ ਜਿਨ੍ਹਾਂ ਨੂੰ ਅਸੀਂ ਇਸ ਗੱਲ ਦਾ ਨੁਮਾਇੰਦਾ ਮੰਨਦੇ ਹਾਂ ਕਿ ਲੋਕ ਅਸਲ ਵਿੱਚ ਇਨ੍ਹਾਂ ਮਾਡਲਾਂ ਕੋਲ ਕੀ ਲੈ ਕੇ ਆਉਂਦੇ ਹਨ। ਇਹ ਕੋਈ ਤੀਜੀ-ਧਿਰ ਬੈਂਚਮਾਰਕ ਨਹੀਂ ਹੈ, ਅਤੇ ਅਸੀਂ ਇੱਕ ਅੰਦਰੂਨੀ ਸਮੁੱਚੇ ਅੰਕੜੇ ਦੁਆਲੇ ਲੀਡਰਬੋਰਡ ਟੇਬਲ ਨਹੀਂ ਬਣਾ ਰਹੇ ਅਤੇ ਨਾ ਹੀ ਪ੍ਰਤੀ-ਬੈਂਚਮਾਰਕ ਵੇਰਵਾ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰ ਰਹੇ ਹਾਂ — ਅਜਿਹਾ ਵੇਰਵਾ ਬਾਹਰੀ ਤੁਲਨਾਯੋਗਤਾ ਦੇ ਉਸ ਪੱਧਰ ਦਾ ਸੰਕੇਤ ਦਿੰਦਾ ਹੈ ਜੋ ਇੱਕ ਅੰਦਰੂਨੀ ਸੈੱਟ ਕੋਲ ਹੁੰਦਾ ਹੀ ਨਹੀਂ।
ਜੋ ਅਸੀਂ ਦੱਸਾਂਗੇ ਉਹ ਇਹ ਹੈ ਕਿ ਇਹ ਵਾਧਾ ਕਿੱਥੋਂ ਆਉਂਦਾ ਹੈ, ਕਿਉਂਕਿ ਉਹ ਹਿੱਸਾ ਰਹੱਸਮਈ ਨਹੀਂ ਹੈ। ਵੱਡੀ ਸੰਦਰਭ ਵਿੰਡੋ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਮਾਡਲ ਦੇ ਤਰਕ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਘੱਟ ਸਮੱਗਰੀ ਸੁੱਟਣੀ ਪੈਂਦੀ ਹੈ, ਅਤੇ ਲੰਮੇ ਸੈਸ਼ਨਾਂ ਵਿੱਚ ਦਿਸਦੀ ਬਹੁਤੀ ਨਾਸਮਝੀ ਅਸਲ ਵਿੱਚ ਸਿਰਫ਼ ਭੁੱਲ ਹੁੰਦੀ ਹੈ। ਸਾਡੇ ਆਪਣੇ ਕਾਬੂ ਵਾਲੇ ਸਰਵਿੰਗ ਸਟੈਕ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਮਾਡਲ ਉਸ ਸੰਰਚਨਾ ਨਾਲ ਚੱਲਦਾ ਹੈ ਜੋ ਅਸੀਂ ਚਾਹੁੰਦੇ ਸੀ, ਨਾ ਕਿ ਕਿਸੇ ਹੋਸਟ ਦੇ ਡਿਫੌਲਟ ਨਾਲ। ਅਤੇ ਤਰਕ ਲੂਪ — ਜਿਸਦਾ ਡਿਜ਼ਾਈਨ ਅਣਬਦਲਿਆ ਹੈ — ਹੁਣ ਵਿੰਡੋ ਦੇ ਅੰਦਰ ਸੱਚਮੁੱਚ ਚੱਲਣ ਲਈ ਥਾਂ ਰੱਖਦਾ ਹੈ, ਨਾ ਕਿ ਉਸ 32K ਛੱਤ ਨਾਲ ਦੱਬਿਆ ਰਹਿੰਦਾ ਹੈ ਜੋ ਉਸਨੂੰ ਤੁਹਾਡੇ ਇਨਪੁੱਟ ਨਾਲ ਸਾਂਝੀ ਕਰਨੀ ਪੈਂਦੀ ਸੀ।
ਤੁਹਾਡੇ ਲਈ ਸਭ ਤੋਂ ਲਾਹੇਵੰਦ ਬੈਂਚਮਾਰਕ ਤੁਹਾਡਾ ਆਪਣਾ ਹੈ। ਆਪਣੇ ਅਸਲ ਕੰਮ ਵਿੱਚੋਂ ਇੱਕ ਪ੍ਰੌਂਪਟ ਲਓ — ਪਹੇਲੀ ਨਹੀਂ, ਅਸਲੀ ਵਾਲਾ — ਅਤੇ ਉਸਨੂੰ shannon-3 ਉੱਤੇ ਅਤੇ ਫਿਰ shannon-3.1 ਉੱਤੇ ਚਲਾਓ। ਜਵਾਬਾਂ ਦੀ ਤੁਲਨਾ ਕਰੋ, ਅਤੇ ਸਮਾਂ ਮਾਪੋ। ਸਾਡੇ ਅੰਕੜੇ ਇੱਕ ਸੈੱਟ ਦਾ ਔਸਤ ਦੱਸਦੇ ਹਨ; ਤੁਹਾਡਾ ਪ੍ਰੌਂਪਟ ਹੀ ਉਹ ਹੈ ਜਿਸਨੂੰ ਬਿਹਤਰ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।
07ਵਿਜ਼ਨ, ਦਸਤਾਵੇਜ਼, ਅਤੇ ਚਿੱਤਰ ਬਣਾਉਣਾ
Shannon 3.1 ਚਿੱਤਰ ਅਤੇ ਦਸਤਾਵੇਜ਼ ਪੜ੍ਹਦਾ ਹੈ। ਸਕ੍ਰੀਨਸ਼ਾਟ, ਚਿੱਤਰਕਾਰੀ, ਫ਼ੋਟੋਆਂ, ਸਕੈਨ ਕੀਤੇ ਸਫ਼ੇ, PDF ਅਤੇ ਲਿਖਤੀ ਦਸਤਾਵੇਜ਼ ਗੱਲਬਾਤ ਵਿੱਚ ਪਾਏ ਜਾ ਸਕਦੇ ਹਨ ਅਤੇ ਬਾਕੀ ਸਭ ਕੁਝ ਦੇ ਨਾਲ-ਨਾਲ ਉਨ੍ਹਾਂ ਉੱਤੇ ਤਰਕ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। 196K ਵਿੰਡੋ ਨਾਲ ਮਿਲ ਕੇ, ਇਹੀ ਗੱਲ ਪੂਰੇ-ਦਸਤਾਵੇਜ਼ ਵਾਲੇ ਕੰਮ ਨੂੰ ਵਿਹਾਰਕ ਬਣਾਉਂਦੀ ਹੈ: ਇੱਕੋ ਵਾਰੀ ਵਿੱਚ ਇੱਕ ਲੰਮੀ ਰਿਪੋਰਟ ਅਤੇ ਉਸਦੇ ਚਾਰਟ, ਬਿਨਾਂ ਪਹਿਲਾਂ ਤੋਂ ਤੈਅ ਕੀਤੇ ਕਿ ਮਾਡਲ ਕਿਹੜੇ ਸਫ਼ੇ ਵੇਖ ਸਕਦਾ ਹੈ।
ਚਿੱਤਰ ਬਣਾਉਣਾ ਅਤੇ ਸੰਪਾਦਨ ਚੈਟ ਵਿੱਚ ਇੱਕ ਟੂਲ ਵਜੋਂ ਉਪਲਬਧ ਹਨ। ਚਿੱਤਰ ਮੰਗੋ ਅਤੇ ਮਾਡਲ ਉਸੇ ਗੱਲਬਾਤ ਵਿੱਚ, ਹੁਣ ਤੱਕ ਵਿਚਾਰੀ ਹਰ ਗੱਲ ਦੇ ਸੰਦਰਭ ਨਾਲ, ਟੂਲ ਨੂੰ ਸਿੱਧਾ ਬੁਲਾ ਲੈਂਦਾ ਹੈ। ਸੰਪਾਦਨ ਵੀ ਇਸੇ ਤਰ੍ਹਾਂ ਕੰਮ ਕਰਦਾ ਹੈ — ਇਸਨੂੰ ਇੱਕ ਚਿੱਤਰ ਦਿਓ, ਬਦਲਾਅ ਦੱਸੋ। ਬਦਲਣ ਲਈ ਕੋਈ ਵੱਖਰਾ ਮੋਡ ਨਹੀਂ ਅਤੇ ਸਿੱਖਣ ਲਈ ਕੋਈ ਵੱਖਰਾ ਇੰਟਰਫ਼ੇਸ ਨਹੀਂ।
08API ਤੋਂ Shannon 3.1 ਨੂੰ ਬੁਲਾਉਣਾ
Shannon 3.1 ਤਿੰਨਾਂ API ਬੋਲੀਆਂ ਉੱਤੇ ਉਪਲਬਧ ਹੈ, ਹਰ ਇੱਕ ਉੱਤੇ ਸਟ੍ਰੀਮਿੰਗ ਸਮੇਤ। ਉਹੀ ਮਾਡਲ, ਤਿੰਨ ਬੇਨਤੀ ਆਕਾਰ — ਜੋ ਵੀ ਤੁਹਾਡੇ ਕੋਲ ਪਹਿਲਾਂ ਤੋਂ ਮੌਜੂਦ SDK ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ, ਉਹ ਚੁਣੋ।
| ਐਂਡਪੁਆਇੰਟ | ਆਕਾਰ | ਸਟ੍ਰੀਮਿੰਗ |
|---|---|---|
| /v1/chat/completions | OpenAI-ਅਨੁਕੂਲ | ਹਾਂ |
| /v1/messages | Anthropic-ਅਨੁਕੂਲ | ਹਾਂ |
| /v1/responses | Responses | ਹਾਂ |
{
"model": "shannon-3.1",
"stream": true,
"messages": [
{ "role": "user", "content": "Summarize this contract set and flag anything unusual." }
]
}ਪੂਰਾ ਤਰਕ ਲੂਪ ਚਲਾਉਣ ਲਈ "shannon-3.1" ਦੀ ਥਾਂ "shannon-3.1-pro" ਪਾਓ। ਜੇ ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ shannon-3 ਨੂੰ ਬੁਲਾ ਰਹੇ ਹੋ, ਤਾਂ ਮਾਈਗ੍ਰੇਸ਼ਨ ਸਿਰਫ਼ ਮਾਡਲ ਆਈਡੀ ਹੈ, ਹੋਰ ਕੁਝ ਨਹੀਂ: ਬੇਨਤੀ ਅਤੇ ਜਵਾਬ ਦੇ ਆਕਾਰ ਅਣਬਦਲੇ ਹਨ, ਅਤੇ ਮੌਜੂਦਾ ਸਟ੍ਰੀਮਿੰਗ ਕਲਾਇੰਟ ਕੰਮ ਕਰਦੇ ਰਹਿੰਦੇ ਹਨ। ਵਿਹਾਰ ਵਿੱਚ ਸਿਰਫ਼ ਇੱਕ ਫ਼ਰਕ ਦੀ ਉਮੀਦ ਰੱਖੋ, ਉਹ ਹੈ ਸੈਕਸ਼ਨ 02 ਵਿੱਚ ਦੱਸੀ ਝਟਕੇਦਾਰ ਸਟ੍ਰੀਮ — ਉਹੀ ਟੋਕਨ, ਉਹੀ ਕ੍ਰਮ, ਪਰ ਪਹਿਲਾਂ ਅਤੇ ਘੱਟ ਬਰਾਬਰ ਟੁਕੜਿਆਂ ਵਿੱਚ ਪਹੁੰਚਦੇ ਹੋਏ।
ਪੂਰਾ ਪੈਰਾਮੀਟਰ ਹਵਾਲਾ, ਪ੍ਰਮਾਣੀਕਰਨ, ਗ਼ਲਤੀਆਂ ਦੇ ਅਰਥ ਅਤੇ ਇੱਕ ਇੰਟਰਐਕਟਿਵ ਪਲੇਗਰਾਊਂਡ API ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਹਨ। ਹੋਰ ਮਾਡਲ ਕਾਰਡ ਅਤੇ ਤਕਨੀਕੀ ਲੇਖ Shannon research ਵਿੱਚ ਹਨ।
09ਹੁਣ ਵੀ ਬਿਨਾਂ ਸੈਂਸਰਸ਼ਿਪ, ਅਤੇ ਇਸ ਪੱਖੋਂ ਅਣਬਦਲਿਆ
Shannon 3.1 ਵਿੱਚ ਕੋਈ ਇਨਕਾਰ ਪਰਤ ਨਹੀਂ ਅਤੇ ਆਉਟਪੁੱਟ ਉੱਤੇ ਕੋਈ ਸਮੱਗਰੀ ਫਿਲਟਰਿੰਗ ਨਹੀਂ ਹੈ। ਇਹ ਬਾਕੀ Shannon ਲੜੀ ਵਾਲਾ ਹੀ ਰੁਖ਼ ਹੈ ਅਤੇ ਸਾਡੇ ਆਪਣੇ ਕਲੱਸਟਰ ਉੱਤੇ ਜਾਣ ਨਾਲ ਇਹ ਬਦਲਿਆ ਨਹੀਂ — ਜੇ ਕੁਝ ਹੈ ਤਾਂ ਸਰਵਿੰਗ ਸਟੈਕ ਉੱਤੇ ਕਾਬੂ ਹੋਣ ਨਾਲ ਇਸਦੀ ਗਰੰਟੀ ਦੇਣੀ ਹੋਰ ਸੌਖੀ ਹੋ ਜਾਂਦੀ ਹੈ, ਕਿਉਂਕਿ ਮਾਡਲ ਅਤੇ ਤੁਹਾਡੇ ਵਿਚਕਾਰ ਆਪਣੀ ਨੀਤੀ ਵਾਲਾ ਕੋਈ ਵਿਚਲਾ ਹੋਸਟ ਨਹੀਂ ਬੈਠਾ।
ਇਹ ਸਾਫ਼ ਕਹਿਣਾ ਬਣਦਾ ਹੈ ਕਿਉਂਕਿ ਅਜਿਹੀ ਰਿਲੀਜ਼ ਬਾਰੇ ਜਿਸਨੇ ਪੂਰਾ ਆਉਟਪੁੱਟ ਰਾਹ ਬਦਲ ਦਿੱਤਾ, ਇਹੀ ਸ਼ੱਕ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਆਉਂਦਾ ਹੈ: ਪੇਸਿੰਗ ਪਰਤ ਹਟਾਉਣ ਦਾ ਮਤਲਬ ਉਸਦੀ ਥਾਂ ਸੰਚਾਲਨ ਪਰਤ ਪਾਉਣਾ ਨਹੀਂ ਸੀ। ਕੁਝ ਵੀ ਸਟ੍ਰੀਮ ਦੀ ਜਾਂਚ, ਮੁੜ-ਲਿਖਾਈ ਜਾਂ ਰੋਕ-ਟੋਕ ਨਹੀਂ ਕਰਦਾ। ਜੋ ਮਾਡਲ ਬਣਾਉਂਦਾ ਹੈ, ਉਹੀ ਪਹੁੰਚਦਾ ਹੈ। ਸਾਡੀ ਜਾਣਕਾਰੀ ਮੁਤਾਬਕ, Shannon 3.1 ਇਸ ਆਕਾਰ ਦੀ ਸੰਦਰਭ ਵਿੰਡੋ ਵਾਲਾ ਸਭ ਤੋਂ ਤੇਜ਼ ਬਿਨਾਂ ਸੈਂਸਰ AI ਮਾਡਲ ਹੈ — ਅਤੇ ਇਹ ਦੋਵੇਂ ਗੁਣ ਆਪਸ ਵਿੱਚ ਜੁੜੇ ਹਨ, ਕਿਉਂਕਿ ਦੋਵੇਂ ਕਿਸੇ ਹੋਰ ਤੋਂ ਪਾਲਣਾ-ਢਲੀ ਸਮਰੱਥਾ ਕਿਰਾਏ ਉੱਤੇ ਲੈਣ ਦੀ ਥਾਂ ਆਪਣਾ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਚਲਾਉਣ ਤੋਂ ਆਉਂਦੇ ਹਨ।
ਬਿਨਾਂ ਸੈਂਸਰਸ਼ਿਪ ਹੋਣਾ ਬਿਨਾਂ ਜਵਾਬਦੇਹੀ ਹੋਣਾ ਨਹੀਂ ਹੈ। ਵਰਤੋਂ ਸਾਡੀ ਜ਼ਿੰਮੇਵਾਰ ਵਰਤੋਂ ਨੀਤੀ ਅਧੀਨ ਹੈ, ਅਤੇ ਜਿਹੜਾ ਮਾਡਲ ਔਖੀ ਸਮੱਗਰੀ ਨਾਲ ਜੁੜਦਾ ਹੈ ਉਸ ਨਾਲ ਆਉਣ ਵਾਲੀ ਜ਼ਿੰਮੇਵਾਰੀ ਇਹ ਹੈ ਕਿ ਤੁਸੀਂ ਉਸ ਨਾਲ ਜ਼ਿੰਮੇਵਾਰੀ ਨਾਲ ਜੁੜੋ।
10ਤੁਲਨਾ ਖ਼ੁਦ ਚਲਾਓ
ਇੱਥੇ ਹਰ ਦਾਅਵਾ ਲਗਭਗ ਦੋ ਮਿੰਟਾਂ ਵਿੱਚ ਜਾਂਚਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਅਤੇ ਅਸੀਂ ਚਾਹਾਂਗੇ ਕਿ ਤੁਸੀਂ ਸਾਡੇ ਉੱਤੇ ਯਕੀਨ ਕਰਨ ਦੀ ਥਾਂ ਜਾਂਚ ਕਰੋ।
- ਉਸ ਕੰਮ ਵਿੱਚੋਂ ਇੱਕ ਪ੍ਰੌਂਪਟ ਚੁਣੋ ਜੋ ਤੁਸੀਂ ਸੱਚਮੁੱਚ ਕਰਦੇ ਹੋ। ਲੰਮਾ ਬਿਹਤਰ ਹੈ — ਇਹ ਵਿੰਡੋ ਅਤੇ ਸਟ੍ਰੀਮਿੰਗ ਦੋਵਾਂ ਨੂੰ ਪਰਖਦਾ ਹੈ।
- ਇਸਨੂੰ
shannon-3ਉੱਤੇ ਚਲਾਓ। ਨੋਟ ਕਰੋ ਕਿ ਪਹਿਲੇ ਟੋਕਨ ਤੱਕ ਕਿੰਨਾ ਸਮਾਂ ਲੱਗਿਆ, ਅਤੇ ਜਵਾਬ ਪੂਰਾ ਹੋਣ ਤੱਕ ਕਿੰਨਾ। - ਉਹੀ ਪ੍ਰੌਂਪਟ
shannon-3.1ਉੱਤੇ ਚਲਾਓ। ਉਹੀ ਦੋ ਅੰਕੜੇ ਨੋਟ ਕਰੋ। - ਫਿਰ ਘੜੀ ਨੂੰ ਭੁੱਲ ਕੇ ਦੋਵੇਂ ਜਵਾਬ ਪੜ੍ਹੋ, ਅਤੇ ਤੈਅ ਕਰੋ ਕਿ ਤੁਸੀਂ ਕਿਹੜਾ ਚਾਹੁੰਦੇ ਸੀ।
ਰਫ਼ਤਾਰ ਦਾ ਫ਼ਰਕ ਤੁਰੰਤ ਅਤੇ ਸਪਸ਼ਟ ਹੋਵੇਗਾ। ਗੁਣਵੱਤਾ ਦਾ ਫ਼ਰਕ ਉਹ ਹੈ ਜਿਸ ਉੱਤੇ ਟਿਕ ਕੇ ਸੋਚਣਾ ਬਣਦਾ ਹੈ — ਇਹ ਲੰਮੇ ਇਨਪੁੱਟ ਉੱਤੇ ਸਭ ਤੋਂ ਸਾਫ਼ ਦਿਖਦਾ ਹੈ, ਜਿੱਥੇ 3.0 ਚੁੱਪ-ਚਾਪ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਦੇ ਓਨੇ ਹਿੱਸੇ ਨਾਲ ਕੰਮ ਕਰ ਰਿਹਾ ਸੀ ਜਿੰਨਾ ਤੁਸੀਂ ਸੋਚਦੇ ਸੀ ਉਸ ਤੋਂ ਘੱਟ।
11ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
Shannon 3.1 ਕੀ ਹੈ?
Shannon 3.1 Shannon 3 ਪਰਿਵਾਰ ਦੀ ਮੌਜੂਦਾ ਰਿਲੀਜ਼ ਹੈ। ਇਹ ਉਹੀ ਦੁਹਰਾਊ ਤਰਕ ਲੂਪ ਰੱਖਦਾ ਹੈ — ਸੋਚੋ, ਖਰੜਾ ਬਣਾਓ, ਆਪਣੀ ਸਮੀਖਿਆ ਕਰੋ, ਸੁਧਾਰੋ — ਪਰ ਇਸਨੂੰ ਕਿਸੇ ਤੀਜੀ-ਧਿਰ ਇਨਫਰੈਂਸ ਹੋਸਟ ਦੀ ਥਾਂ ਸਾਡੇ ਆਪਣੇ GPU ਕਲੱਸਟਰ ਉੱਤੇ ਮੂਲ ਰੂਪ ਵਿੱਚ ਚਲਾਉਂਦਾ ਹੈ। Shannon Lab ਦਾ ਆਪਣਾ ਮੁਲਾਂਕਣ Shannon 3.0 ਦੇ ਮੁਕਾਬਲੇ ਬੁੱਧੀ ਵਿੱਚ 32% ਸੁਧਾਰ ਅਤੇ 10-15 ਗੁਣਾ ਤੇਜ਼ ਜਵਾਬ ਮਾਪਦਾ ਹੈ, ਅਤੇ ਸੰਦਰਭ ਵਿੰਡੋ 32,768 ਤੋਂ ਵਧ ਕੇ 196,608 ਟੋਕਨ ਹੋ ਗਈ ਹੈ।
Shannon 3.1, Shannon 3.0 ਨਾਲੋਂ ਕਿੰਨਾ ਤੇਜ਼ ਹੈ?
Shannon Lab ਦੇ ਆਪਣੇ ਮੁਲਾਂਕਣ ਮੁਤਾਬਕ, ਸ਼ੁਰੂ ਤੋਂ ਅੰਤ ਤੱਕ ਜਵਾਬਾਂ ਵਿੱਚ 10 ਤੋਂ 15 ਗੁਣਾ ਤੇਜ਼। ਇਸਦੇ ਦੋ ਕਾਰਨ ਹਨ। Shannon 3.0 ਦਾ ਆਉਟਪੁੱਟ ਇੱਕ ਪੇਸਿੰਗ ਪਰਤ ਵਿੱਚੋਂ ਲੰਘਦਾ ਸੀ ਜੋ ਜਾਣਬੁੱਝ ਕੇ ਸਟ੍ਰੀਮ ਦੀ ਰਫ਼ਤਾਰ ਸੀਮਤ ਕਰਦੀ ਸੀ; Shannon 3.1 ਵਿੱਚ ਕੋਈ ਸਪੀਡ ਗੇਟ ਜਾਂ ਰਿਵੀਲ ਪੇਸਿੰਗ ਨਹੀਂ ਹੈ, ਇਸ ਲਈ ਟੋਕਨ ਤੁਹਾਡੇ ਤੱਕ ਓਨੀ ਹੀ ਤੇਜ਼ੀ ਨਾਲ ਪਹੁੰਚਦੇ ਹਨ ਜਿੰਨੀ ਤੇਜ਼ੀ ਨਾਲ ਇੰਜਣ ਉਨ੍ਹਾਂ ਨੂੰ ਬਣਾਉਂਦਾ ਹੈ। ਇੰਜਣ ਖ਼ੁਦ ਵੀ ਤੇਜ਼ ਹੈ: ਸਾਡੇ ਆਪਣੇ GPU ਕਲੱਸਟਰ ਉੱਤੇ 4-ਬਿੱਟ NVFP4 ਵਜ਼ਨ ਅਤੇ ਸਪੈਕੁਲੇਟਿਵ ਡੀਕੋਡਿੰਗ।
Shannon 3.1 ਦੀ ਸੰਦਰਭ ਵਿੰਡੋ ਕਿੰਨੀ ਵੱਡੀ ਹੈ?
196,608 ਟੋਕਨ, ਜੋ Shannon 3.0 ਉੱਤੇ ਉਪਲਬਧ 32,768 ਟੋਕਨਾਂ ਨਾਲੋਂ 6 ਗੁਣਾ ਵਾਧਾ ਹੈ। ਇਹ ਲਗਭਗ 400-500 ਸਫ਼ੇ ਲਿਖਤ, ਜਾਂ ਇੱਕ ਦਰਮਿਆਨੇ ਆਕਾਰ ਦਾ ਕੋਡਬੇਸ ਹੈ, ਜੋ ਬਿਨਾਂ ਚੰਕਿੰਗ ਜਾਂ ਰੀਟ੍ਰੀਵਲ ਦੇ ਇੱਕੋ ਗੱਲਬਾਤ ਵਿੱਚ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ।
ਸਪੈਕੁਲੇਟਿਵ ਡੀਕੋਡਿੰਗ ਕੀ ਹੈ ਅਤੇ ਇੱਥੇ ਇਸਦਾ ਕੀ ਮਹੱਤਵ ਹੈ?
ਇੱਕ ਛੋਟਾ, ਤੇਜ਼ ਡਰਾਫਟ ਮਾਡਲ ਸੰਭਾਵੀ ਅਗਲੇ ਟੋਕਨਾਂ ਦੀ ਇੱਕ ਲੜੀ ਸੁਝਾਉਂਦਾ ਹੈ ਅਤੇ ਮੁੱਖ ਮਾਡਲ ਉਨ੍ਹਾਂ ਦੀ ਇੱਕੋ ਬੈਚ ਪਾਸ ਵਿੱਚ ਪੜਤਾਲ ਕਰਦਾ ਹੈ। ਪ੍ਰਵਾਨ ਕੀਤੇ ਟੋਕਨ ਤੁਰੰਤ ਭੇਜ ਦਿੱਤੇ ਜਾਂਦੇ ਹਨ; ਰੱਦ ਕੀਤੇ ਗਏ ਆਮ ਡੀਕੋਡਿੰਗ ਉੱਤੇ ਵਾਪਸ ਆ ਜਾਂਦੇ ਹਨ। ਆਉਟਪੁੱਟ ਉਹੀ ਹੁੰਦਾ ਹੈ ਜੋ ਮੁੱਖ ਮਾਡਲ ਆਪਣੇ ਆਪ ਬਣਾਉਂਦਾ, ਪਰ ਹਰ ਪੜਤਾਲ ਕਦਮ ਵਿੱਚ ਇੱਕ ਦੀ ਥਾਂ ਕਈ ਟੋਕਨ ਆ ਸਕਦੇ ਹਨ। ਇਹੀ ਗੱਲ ਪੂਰੀ ਰਫ਼ਤਾਰ ਉੱਤੇ ਸਟ੍ਰੀਮਿੰਗ ਨੂੰ ਲਾਗਤ ਦੀ ਸਮੱਸਿਆ ਬਣਨ ਦੀ ਥਾਂ ਕਿਫ਼ਾਇਤੀ ਬਣਾਉਂਦੀ ਹੈ।
ਕੀ Shannon 3.1 ਬਿਨਾਂ ਸੈਂਸਰਸ਼ਿਪ ਹੈ?
ਹਾਂ। Shannon 3.1 ਵਿੱਚ ਕੋਈ ਇਨਕਾਰ ਪਰਤ ਨਹੀਂ ਹੈ ਅਤੇ ਇਸਦੇ ਆਉਟਪੁੱਟ ਉੱਤੇ ਕੋਈ ਸਮੱਗਰੀ ਫਿਲਟਰਿੰਗ ਨਹੀਂ ਲਾਗੂ ਹੁੰਦੀ, ਬਿਲਕੁਲ ਬਾਕੀ Shannon ਲੜੀ ਵਾਂਗ। ਪੇਸਿੰਗ ਪਰਤ ਹਟਾਉਣ ਨਾਲ ਉਸਦੀ ਥਾਂ ਕੋਈ ਸੰਚਾਲਨ ਪਰਤ ਨਹੀਂ ਜੋੜੀ ਗਈ — ਜੋ ਸਟ੍ਰੀਮ ਤੁਹਾਨੂੰ ਮਿਲਦੀ ਹੈ ਉਹ ਮਾਡਲ ਦਾ ਆਉਟਪੁੱਟ ਹੈ।
ਮਾਡਲ ਆਈਡੀ ਕੀ ਹਨ ਅਤੇ ਮੈਂ Shannon 3.1 ਕਿੱਥੇ ਵਰਤ ਸਕਦਾ ਹਾਂ?
shannon-3.1 Lite ਟੀਅਰ ਹੈ ਅਤੇ shannon-3.1-pro Pro ਟੀਅਰ ਹੈ। ਦੋਵੇਂ ਚੈਟ ਵਿੱਚ ਅਤੇ ਤਿੰਨਾਂ API ਬੋਲੀਆਂ ਉੱਤੇ ਉਪਲਬਧ ਹਨ: /v1/chat/completions (OpenAI-ਆਕਾਰ), /v1/messages (Anthropic-ਆਕਾਰ), ਅਤੇ /v1/responses। ਸਟ੍ਰੀਮਿੰਗ ਤਿੰਨਾਂ ਉੱਤੇ ਕੰਮ ਕਰਦੀ ਹੈ।
shannon-3.1 ਅਤੇ shannon-3.1-pro ਵਿੱਚ ਕੀ ਫ਼ਰਕ ਹੈ?
Lite ਤਰਕ ਲੂਪ ਦਾ ਇੱਕੋ ਪਾਸ ਚਲਾਉਂਦਾ ਹੈ: ਇਹ ਸੋਚਦਾ ਹੈ, ਫਿਰ ਜਵਾਬ ਦਿੰਦਾ ਹੈ। Pro ਪੂਰਾ ਲੂਪ ਚਲਾਉਂਦਾ ਹੈ — ਸੋਚੋ, ਖਰੜਾ ਬਣਾਓ, ਆਪਣੀ ਸਮੀਖਿਆ ਕਰੋ, ਸੁਧਾਰੋ — ਖਰੜਾ ਬਣਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਇੱਕ ਗਿਆਨ-ਸੰਗ੍ਰਹਿ ਕਦਮ ਦੇ ਨਾਲ। ਜ਼ਿਆਦਾਤਰ ਕੰਮ ਲਈ Lite ਸਹੀ ਡਿਫੌਲਟ ਹੈ; Pro ਉਨ੍ਹਾਂ ਸਵਾਲਾਂ ਲਈ ਹੈ ਜਿੱਥੇ ਪਹਿਲਾ ਜਵਾਬ ਆਮ ਤੌਰ ਉੱਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਨਹੀਂ ਹੁੰਦਾ।
Shannon 3.1 ਅਜ਼ਮਾਓ
ਉਹੀ ਤਰਕ ਲੂਪ। ਛੇ ਗੁਣਾ ਵਿੰਡੋ। ਕੋਈ ਸਪੀਡ ਗੇਟ ਨਹੀਂ।
ਚੈਟ ਸ਼ੁਰੂ ਕਰੋ API ਦਸਤਾਵੇਜ਼ ਪੜ੍ਹੋshannon-3.1 · shannon-3.1-pro · ਤਿੰਨਾਂ ਬੋਲੀਆਂ ਉੱਤੇ ਸਟ੍ਰੀਮਿੰਗ
ਇਸ ਲੇਖ ਵਿੱਚ ਕਾਰਗੁਜ਼ਾਰੀ ਅਤੇ ਬੁੱਧੀ ਦੇ ਅੰਕੜੇ Shannon Lab ਦੇ ਆਪਣੇ ਅੰਦਰੂਨੀ ਮੁਲਾਂਕਣ, ਸਤੰਬਰ 2026, ਦੀਆਂ ਮਾਪਾਂ ਹਨ ਅਤੇ ਇਨ੍ਹਾਂ ਨੂੰ ਤੀਜੀ-ਧਿਰ ਬੈਂਚਮਾਰਕ ਨਤੀਜਿਆਂ ਦੀ ਥਾਂ ਉਤਪਾਦ ਅੰਕੜਿਆਂ ਵਜੋਂ ਦੱਸਿਆ ਗਿਆ ਹੈ। ਸੰਦਰਭ ਵਿੰਡੋ, ਮਾਡਲ ਆਈਡੀ, ਅਤੇ API ਉਪਲਬਧਤਾ ਉਤਪਾਦ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ। Shannon AI ਨੂੰ Shannon Lab LLC, New Mexico, USA ਚਲਾਉਂਦੀ ਹੈ। ਸਬੰਧਿਤ ਪੜ੍ਹਤ: Shannon 3 · Shannon research ਸੂਚੀ · API ਦਸਤਾਵੇਜ਼.