Titkosított, Tor és I2P végpontok

Alap URL-ek

Négy cím vezet ugyanahhoz az API-hoz. Azt használd, amelyik a hálózatodhoz illik, ugyanazzal az API-kulccsal és ugyanazokkal a kérésekkel.

• Az OpenAI SDK az alap URL-t úgy veszi, ahogy látod, /v1 résszel. Az Anthropic SDK /v1 nélkül veszi.
• Egy cím ellenőrzéséhez olvasd a https://api.shannon-ai.com válaszfejléceit: az Onion-Location az onion címet, az X-I2P-Location az I2P címet hordozza. Az onion cím shannon előtaggal kezdődik.

Mely útvonalak működnek

Minden /v1 útvonal válaszol mind a négy címen:

• POST /v1/chat/completions
• POST /v1/responses
• POST /v1/messages
• POST /v1/messages/count_tokens
• POST /v1/tokenize
• GET /v1/models

A GET /v1/models nem kér kulcsot, ezért gyors teszt arra, hogy a proxyd eléri az API-t.

Mi azonos és mi tér el

Az egyenleget és a korlátokat külön oldal írja le. Korlátok és egyenleg

cURL Toron keresztül

Futtass Tor klienst a gépeden. Ez SOCKS5 proxyt kínál a 127.0.0.1:9050 címen. A --socks5-hostname a .onion nevet ennek a proxynak adja át.

# 1. Is the onion service reachable? No key needed.
curl --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/models

# 2. A streamed chat call. -N prints the stream as it arrives.
curl -N --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over Tor"}]
  }'

cURL I2P-n keresztül

Futtass I2P routert a gépeden. Ez HTTP proxyt kínál a 127.0.0.1:4444 címen, amely a .b32.i2p nevet úgy veszi, ahogy van.

# 1. Is the eepsite reachable? No key needed.
curl --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/models

# 2. A streamed chat call.
curl -N --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over I2P"}]
  }'

SDK alap URL

Az SDK-hoz két változtatás kell: a hálózat alap URL-je, és egy HTTP-kliens, amely a proxyn megy át. Pythonban mindkét hivatalos SDK fogad httpx klienst. SOCKS proxyhoz telepítsd az httpx[socks] csomagot.

# pip install openai "httpx[socks]"
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over Tor"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install openai
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1",
    http_client=httpx.Client(proxy="http://127.0.0.1:4444", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over I2P"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install anthropic "httpx[socks]"
import anthropic
import httpx

client = anthropic.Anthropic(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

with client.messages.stream(
    model="shannon-1.6-lite",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello over Tor"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

Streaming és keep-alive lassú kapcsolaton

A streaming mindkét hálózaton működik. Amíg a stream nyitva van, és a modellnek még nincs mit küldenie, az API keep-alive jelet küld, így a kapcsolat nem tűnik halottnak a proxynak vagy a kliensednek.

• Küldj "stream": true értéket. A streamelt válasz azonnal érkezni kezd, amint a modell ír, a keep-alive pedig mutatja, hogy a kérésen még dolgoznak. A nem streamelt válasz semmit nem küld, amíg a teljes válasz el nem készül.
• Adj a kliensnek hosszú olvasási timeoutot. A minták 600 másodpercet használnak. A 15 másodpercnél rövidebb timeout két keep-alive között megszakíthat egy streamet.
• Az SSE-olvasód ugorja át a megjegyzéssorokat és a ping eseményeket. Az SDK-k ezt már megteszik.
• Ne küldd újra a kérést abban a pillanatban, amikor megszakad a kapcsolat. Az API-hoz eljutott kérés a végéig lefut és számlázódik, akkor is, ha a kapcsolat megszűnt.
• Az utat először a GET /v1/models hívással próbáld ki. Nem kér kulcsot, és rövid JSON-listát ad.

Kapcsolati problémák

Minden más hiba ugyanaz, mint a nyílt weben. Hibakezelés

A kulcsod JavaScript nélkül

A Shannonnak van JavaScript nélküli weboldala is, amely elérhető a nyílt weben, onion szolgáltatásként és eepsite-ként. A /keys oldala megmutatja az API-kulcsodat, és lehetővé teszi a cseréjét, így Tor vagy I2P elhagyása nélkül kaphatsz kulcsot. encrypted.shannon-ai.com/keys

Ennek a weboldalnak a címei mind a három hálózaton itt vannak felsorolva: Titkosított hozzáférés