Krypterede endpoints, Tor og I2P

Base-URL'er

Fire adresser fører til det samme API. Brug den, der passer til dit netværk, med den samme API-nøgle og de samme anmodninger.

• Et OpenAI-SDK tager base-URL'en som vist, med /v1. Et Anthropic-SDK tager den uden /v1.
• For at kontrollere en adresse skal du læse svarheaderne fra https://api.shannon-ai.com: Onion-Location har onion-adressen og X-I2P-Location I2P-adressen. Onion-adressen starter med shannon.

Hvilke ruter der virker

Hver /v1-rute svarer på alle fire adresser:

• POST /v1/chat/completions
• POST /v1/responses
• POST /v1/messages
• POST /v1/messages/count_tokens
• POST /v1/tokenize
• GET /v1/models

GET /v1/models kræver ingen nøgle, hvilket gør det til en hurtig test af, at din proxy når API'et.

Hvad der er det samme, og hvad der afviger

Saldo og grænser er beskrevet på deres egen side. Grænser og saldo

cURL gennem Tor

Kør en Tor-klient på din maskine. Den tilbyder en SOCKS5-proxy på 127.0.0.1:9050. --socks5-hostname giver .onion-navnet videre til proxyen.

# 1. Is the onion service reachable? No key needed.
curl --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/models

# 2. A streamed chat call. -N prints the stream as it arrives.
curl -N --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over Tor"}]
  }'

cURL gennem I2P

Kør en I2P-router på din maskine. Den tilbyder en HTTP-proxy på 127.0.0.1:4444, som tager .b32.i2p-navnet, som det er.

# 1. Is the eepsite reachable? No key needed.
curl --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/models

# 2. A streamed chat call.
curl -N --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over I2P"}]
  }'

SDK-base-URL

Et SDK kræver to ændringer: netværkets base-URL og en HTTP-klient, der går gennem proxyen. I Python tager begge officielle SDK'er en httpx-klient. Til en SOCKS-proxy skal du installere httpx[socks].

# pip install openai "httpx[socks]"
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over Tor"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install openai
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1",
    http_client=httpx.Client(proxy="http://127.0.0.1:4444", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over I2P"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install anthropic "httpx[socks]"
import anthropic
import httpx

client = anthropic.Anthropic(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

with client.messages.stream(
    model="shannon-1.6-lite",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello over Tor"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

Streaming og keep-alive på langsomme forbindelser

Streaming virker over begge netværk. Mens en stream er åben, og modellen endnu intet har at sende, sender API'et en keep-alive, så forbindelsen ikke ser død ud for en proxy eller for din klient.

• Send "stream": true. Et streamet svar begynder at ankomme, så snart modellen skriver, og keep-alive viser, at anmodningen stadig behandles. Et svar uden streaming sender intet, før hele svaret er klart.
• Giv klienten en lang læse-timeout. Eksemplerne bruger 600 sekunder. En timeout på under 15 sekunder kan afbryde en stream mellem to keep-alives.
• Lad din SSE-læser springe kommentarlinjer og ping-hændelser over. SDK'erne gør det allerede.
• Send ikke en anmodning igen i samme øjeblik, en forbindelse falder. En anmodning, der nåede API'et, kører til ende og tælles, også når forbindelsen er væk.
• Test stien med GET /v1/models først. Det kræver ingen nøgle og returnerer en kort JSON-liste.

Forbindelsesproblemer

Alle andre fejl er de samme som på det åbne web. Fejlhåndtering

Din nøgle uden JavaScript

Shannon har også et website uden JavaScript, som kan nås på det åbne web, som en onion-tjeneste og som en eepsite. Dets side /keys viser din API-nøgle og lader dig rotere den, så du kan få en nøgle uden at forlade Tor eller I2P. encrypted.shannon-ai.com/keys

Adresserne på det website på alle tre netværk står her: Krypteret adgang