Šifruoti, Tor ir I2P galiniai taškai

Baziniai URL

Keturi adresai veda į tą patį API. Naudokite tą, kuris tinka jūsų tinklui, su tuo pačiu API raktu ir tomis pačiomis užklausomis.

• OpenAI SDK priima bazinį URL, kaip parodyta, su /v1. Anthropic SDK priima jį be /v1.
• Norėdami patikrinti adresą, perskaitykite https://api.shannon-ai.com atsakymo antraštes: Onion-Location talpina onion adresą, o X-I2P-Location – I2P adresą. Onion adresas prasideda shannon.

Kurie keliai veikia

Kiekvienas /v1 kelias atsako visais keturiais adresais:

• POST /v1/chat/completions
• POST /v1/responses
• POST /v1/messages
• POST /v1/messages/count_tokens
• POST /v1/tokenize
• GET /v1/models

GET /v1/models rakto nereikia, todėl tai greitas bandymas, ar jūsų tarpinis serveris pasiekia API.

Kas vienodai ir kas skiriasi

Balansas ir ribos aprašyti savo puslapyje. Ribos ir balansas

cURL per Tor

Savo kompiuteryje paleiskite Tor klientą. Jis siūlo SOCKS5 tarpinį serverį adresu 127.0.0.1:9050. --socks5-hostname perduoda .onion vardą tam tarpiniam serveriui.

# 1. Is the onion service reachable? No key needed.
curl --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/models

# 2. A streamed chat call. -N prints the stream as it arrives.
curl -N --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over Tor"}]
  }'

cURL per I2P

Savo kompiuteryje paleiskite I2P maršrutizatorių. Jis siūlo HTTP tarpinį serverį adresu 127.0.0.1:4444, kuris priima .b32.i2p vardą tokį, koks yra.

# 1. Is the eepsite reachable? No key needed.
curl --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/models

# 2. A streamed chat call.
curl -N --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over I2P"}]
  }'

SDK bazinis URL

SDK reikia dviejų pakeitimų: tinklo bazinio URL ir HTTP kliento, einančio per tarpinį serverį. Python kalboje abu oficialūs SDK priima httpx klientą. SOCKS tarpiniam serveriui įdiekite httpx[socks].

# pip install openai "httpx[socks]"
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over Tor"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install openai
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1",
    http_client=httpx.Client(proxy="http://127.0.0.1:4444", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over I2P"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install anthropic "httpx[socks]"
import anthropic
import httpx

client = anthropic.Anthropic(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

with client.messages.stream(
    model="shannon-1.6-lite",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello over Tor"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

Srautinis perdavimas ir palaikymas lėtuose ryšiuose

Srautinis perdavimas veikia abiejuose tinkluose. Kol srautas atviras ir modelis dar neturi ką siųsti, API siunčia palaikymo eilutę, kad ryšys tarpiniam serveriui ar jūsų klientui neatrodytų miręs.

• Siųskite "stream": true. Srautinis atsakymas pradeda ateiti, kai tik modelis rašo, o palaikymo eilutės rodo, kad užklausa vis dar vykdoma. Ne srautinis atsakymas nieko nesiunčia, kol visas atsakymas nepasiruošęs.
• Nustatykite klientui ilgą skaitymo laiko ribą. Pavyzdžiuose naudojamos 600 sekundžių. Už 15 sekundžių trumpesnė laiko riba gali nutraukti srautą tarp dviejų palaikymo eilučių.
• Leiskite savo SSE skaitytuvui praleisti komentarų eilutes ir ping įvykius. SDK tai jau daro.
• Nesiųskite užklausos iš naujo vos nutrūkus ryšiui. Užklausa, kuri pasiekė API, vykdoma iki galo ir įskaičiuojama, net kai ryšio nebėra.
• Pirmiausia išbandykite kelią su GET /v1/models. Jam rakto nereikia, ir jis grąžina trumpą JSON sąrašą.

Ryšio problemos

Kiekviena kita klaida tokia pati kaip paprastame žiniatinklyje. Klaidų tvarkymas

Jūsų raktas be JavaScript

Shannon turi ir svetainę be JavaScript, pasiekiamą paprastame žiniatinklyje, kaip onion paslauga ir kaip eepsite. Jos puslapis /keys rodo jūsų API raktą ir leidžia jį pakeisti, todėl raktą galite gauti neišėję iš Tor ar I2P. encrypted.shannon-ai.com/keys

Tos svetainės adresai visuose trijuose tinkluose išvardyti čia: Šifruota prieiga