Ĉifritaj endpoints, Tor & I2P

Bazaj URL

Kvar adresoj kondukas al la sama API. Uzu tiun, kiu taŭgas por via reto, kun la sama API-ŝlosilo kaj la samaj petoj.

• SDK de OpenAI prenas la bazan URL kiel montrite, kun /v1. SDK de Anthropic prenas ĝin sen /v1.
• Por kontroli adreson, legu la kapojn de respondo de https://api.shannon-ai.com: Onion-Location portas la adreson onion kaj X-I2P-Location la adreson I2P. La adreso onion komenciĝas per shannon.

Kiuj vojoj funkcias

Ĉiu vojo /v1 respondas ĉe ĉiuj kvar adresoj:

• POST /v1/chat/completions
• POST /v1/responses
• POST /v1/messages
• POST /v1/messages/count_tokens
• POST /v1/tokenize
• GET /v1/models

GET /v1/models ne bezonas ŝlosilon, kio faras ĝin rapida testo, ke via prokurilo atingas la API.

Kio estas sama kaj kio malsamas

Saldo kaj limoj estas priskribitaj en sia propra paĝo. Limoj kaj saldo

cURL tra Tor

Funkciigu klienton de Tor sur via maŝino. Ĝi proponas prokurilon SOCKS5 ĉe 127.0.0.1:9050. --socks5-hostname transdonas la nomon .onion al tiu prokurilo.

# 1. Is the onion service reachable? No key needed.
curl --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/models

# 2. A streamed chat call. -N prints the stream as it arrives.
curl -N --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over Tor"}]
  }'

cURL tra I2P

Funkciigu I2P-enkursigilon sur via maŝino. Ĝi proponas HTTP-prokurilon ĉe 127.0.0.1:4444, kiu prenas la nomon .b32.i2p kiel ĝi estas.

# 1. Is the eepsite reachable? No key needed.
curl --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/models

# 2. A streamed chat call.
curl -N --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over I2P"}]
  }'

Baza URL de SDK

SDK bezonas du ŝanĝojn: la bazan URL de la reto, kaj HTTP-klienton, kiu pasas tra la prokurilo. En Python ambaŭ oficialaj SDK akceptas klienton httpx. Por prokurilo SOCKS instalu httpx[socks].

# pip install openai "httpx[socks]"
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over Tor"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install openai
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1",
    http_client=httpx.Client(proxy="http://127.0.0.1:4444", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over I2P"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install anthropic "httpx[socks]"
import anthropic
import httpx

client = anthropic.Anthropic(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

with client.messages.stream(
    model="shannon-1.6-lite",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello over Tor"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

Streaming kaj keep-alive ĉe malrapidaj ligoj

Streaming funkcias tra ambaŭ retoj. Dum fluo estas malfermita kaj la modelo ankoraŭ havas nenion por sendi, la API sendas keep-alive, por ke la konekto ne aspektu morta al prokurilo aŭ al via kliento.

• Sendu "stream": true. Fluata respondo komencas alvenadi tuj kiam la modelo skribas, kaj la keep-alive montras, ke la peto ankoraŭ estas prilaborata. Ne fluata respondo sendas nenion ĝis la tuta respondo estas preta.
• Donu al la kliento longan tempolimon de legado. La ekzemploj uzas 600 sekundojn. Tempolimo pli mallonga ol 15 sekundoj povas fini fluon inter du keep-alive.
• Lasu vian legilon de SSE preterpasi komentliniojn kaj eventojn ping. La SDK jam faras tion.
• Ne resendu peton en la momento, kiam konekto falas. Peto, kiu atingis la API, funkcias ĝis sia fino kaj estas kalkulata, ankaŭ kiam la konekto malaperis.
• Provu la vojon unue per GET /v1/models. Ĝi ne bezonas ŝlosilon kaj redonas mallongan JSON-liston.

Problemoj de konekto

Ĉiu alia eraro estas sama kiel ĉe la klara reto. Erarotraktado

Via ŝlosilo sen JavaScript

Shannon havas ankaŭ retejon sen JavaScript, atingeblan ĉe la klara reto, kiel servo onion kaj kiel eepsite. Ĝia paĝo /keys montras vian API-ŝlosilon kaj lasas vin rotacii ĝin, do vi povas akiri ŝlosilon sen forlasi Tor aŭ I2P. encrypted.shannon-ai.com/keys

La adresoj de tiu retejo ĉe ĉiuj tri retoj estas listigitaj ĉi tie: Ĉifrita aliro