Endpoint ដែលបានអ៊ិនគ្រីប, Tor និង I2P

Base URL

អាសយដ្ឋានបួនបណ្តាលទៅ API ដូចគ្នា។ សូមប្រើមួយដែលសមនឹងបណ្តាញរបស់អ្នក ជាមួយ API key ដូចគ្នា និង request ដូចគ្នា។

• OpenAI SDK យក base URL ដូចបង្ហាញ ជាមួយ /v1។ Anthropic SDK យកវាដោយគ្មាន /v1។
• ដើម្បីផ្ទៀងផ្ទាត់អាសយដ្ឋាន សូមអាន header ចម្លើយរបស់ https://api.shannon-ai.com៖ Onion-Location មានអាសយដ្ឋាន onion ហើយ X-I2P-Location មានអាសយដ្ឋាន I2P។ អាសយដ្ឋាន onion ចាប់ផ្តើមដោយ shannon។

Route ណាដំណើរការ

រាល់ route /v1 ឆ្លើយតបលើអាសយដ្ឋានទាំងបួន៖

• POST /v1/chat/completions
• POST /v1/responses
• POST /v1/messages
• POST /v1/messages/count_tokens
• POST /v1/tokenize
• GET /v1/models

GET /v1/models មិនត្រូវការ key ដែលធ្វើឱ្យវាជាការសាកល្បងរហ័សថា proxy របស់អ្នកទៅដល់ API។

អ្វីដែលដូចគ្នា និងអ្វីដែលខុសគ្នា

សមតុល្យ និងដែនកំណត់ត្រូវបានពិពណ៌នានៅលើទំព័រផ្ទាល់ខ្លួន។ ដែនកំណត់ និងសមតុល្យ

cURL តាមរយៈ Tor

សូមដំណើរការ Tor client លើម៉ាស៊ីនរបស់អ្នក។ វាផ្តល់ SOCKS5 proxy នៅ 127.0.0.1:9050។ --socks5-hostname ប្រគល់ឈ្មោះ .onion ទៅ proxy នោះ។

# 1. Is the onion service reachable? No key needed.
curl --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/models

# 2. A streamed chat call. -N prints the stream as it arrives.
curl -N --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over Tor"}]
  }'

cURL តាមរយៈ I2P

សូមដំណើរការ I2P router លើម៉ាស៊ីនរបស់អ្នក។ វាផ្តល់ HTTP proxy នៅ 127.0.0.1:4444 ដែលទទួលឈ្មោះ .b32.i2p ដូចដែលវាជា។

# 1. Is the eepsite reachable? No key needed.
curl --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/models

# 2. A streamed chat call.
curl -N --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over I2P"}]
  }'

Base URL របស់ SDK

SDK ត្រូវការការផ្លាស់ប្តូរពីរ៖ base URL នៃបណ្តាញ និង HTTP client ដែលឆ្លងកាត់ proxy។ ក្នុង Python SDK ផ្លូវការទាំងពីរទទួល httpx client។ សម្រាប់ SOCKS proxy សូមដំឡើង httpx[socks]។

# pip install openai "httpx[socks]"
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over Tor"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install openai
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1",
    http_client=httpx.Client(proxy="http://127.0.0.1:4444", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over I2P"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install anthropic "httpx[socks]"
import anthropic
import httpx

client = anthropic.Anthropic(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

with client.messages.stream(
    model="shannon-1.6-lite",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello over Tor"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

Streaming និង keep-alive លើតំណភ្ជាប់យឺត

Streaming ដំណើរការលើបណ្តាញទាំងពីរ។ ខណៈពេល stream បើក ហើយម៉ូដែលមិនទាន់មានអ្វីត្រូវផ្ញើ API ផ្ញើ keep-alive ដូច្នេះការតភ្ជាប់មិនមើលទៅដូចជាស្លាប់ចំពោះ proxy ឬ client របស់អ្នកទេ។

• សូមផ្ញើ "stream": true។ ចម្លើយដែល stream ចាប់ផ្តើមមកដល់ភ្លាមៗដែលម៉ូដែលសរសេរ ហើយ keep-alive បង្ហាញថា request នៅតែកំពុងត្រូវបានដំណើរការ។ ចម្លើយដែលមិន stream មិនផ្ញើអ្វីទេ រហូតដល់ចម្លើយទាំងមូលរួចរាល់។
• សូមផ្តល់ read timeout វែងដល់ client។ គំរូប្រើ 600 វិនាទី។ timeout ខ្លីជាង 15 វិនាទីអាចបញ្ចប់ stream រវាង keep-alive ពីរ។
• សូមឱ្យ SSE reader របស់អ្នករំលងបន្ទាត់ comment និង event ping។ SDK ធ្វើដូច្នេះរួចហើយ។
• កុំផ្ញើ request ម្តងទៀតភ្លាមៗនៅពេលការតភ្ជាប់ដាច់។ request ដែលបានទៅដល់ API ដំណើរការដល់ចុង ហើយត្រូវបានរាប់ ទោះការតភ្ជាប់បាត់ក៏ដោយ។
• សូមសាកល្បងផ្លូវដោយ GET /v1/models ជាមុនសិន។ វាមិនត្រូវការ key ហើយត្រឡប់បញ្ជី JSON ខ្លី។

បញ្ហាការតភ្ជាប់

កំហុសផ្សេងទៀតទាំងអស់ដូចគ្នានឹងលើ clear web។ ការគ្រប់គ្រងកំហុស

key របស់អ្នកដោយគ្មាន JavaScript

Shannon ក៏មានគេហទំព័រដែលគ្មាន JavaScript ដែលអាចចូលបានលើ clear web ជា onion service និងជា eepsite។ ទំព័រ /keys របស់វាបង្ហាញ API key របស់អ្នក ហើយអនុញ្ញាតឱ្យអ្នកប្តូរវា ដូច្នេះអ្នកអាចទទួលបាន key ដោយមិនចាំបាច់ចាកចេញពី Tor ឬ I2P។ encrypted.shannon-ai.com/keys

អាសយដ្ឋាននៃគេហទំព័រនោះលើបណ្តាញទាំងបីត្រូវបានរាយនៅទីនេះ៖ ការចូលប្រើដែលបានអ៊ិនគ្រីប