Şifreli, Tor & I2P uç noktaları

Temel URL'ler

Dört adres aynı API'ye çıkar. Ağınıza uyanı, aynı API anahtarı ve aynı isteklerle kullanın.

• Bir OpenAI SDK'sı temel URL'yi gösterildiği gibi, /v1 ile alır. Bir Anthropic SDK'sı /v1 olmadan alır.
• Bir adresi doğrulamak için https://api.shannon-ai.com yanıt başlıklarını okuyun: Onion-Location onion adresini, X-I2P-Location I2P adresini taşır. Onion adresi shannon ile başlar.

Hangi yollar çalışır

Her /v1 yolu dört adresin hepsinde yanıt verir:

• POST /v1/chat/completions
• POST /v1/responses
• POST /v1/messages
• POST /v1/messages/count_tokens
• POST /v1/tokenize
• GET /v1/models

GET /v1/models anahtar gerektirmez; bu da proxy'nizin API'ye ulaştığını görmek için hızlı bir testtir.

Neyin aynı, neyin farklı olduğu

Bakiye ve limitler kendi sayfasında anlatılır. Limitler ve bakiye

Tor üzerinden cURL

Makinenizde bir Tor istemcisi çalıştırın. 127.0.0.1:9050 adresinde bir SOCKS5 proxy sunar. --socks5-hostname, .onion adını o proxy'ye devreder.

# 1. Is the onion service reachable? No key needed.
curl --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/models

# 2. A streamed chat call. -N prints the stream as it arrives.
curl -N --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over Tor"}]
  }'

I2P üzerinden cURL

Makinenizde bir I2P router çalıştırın. 127.0.0.1:4444 adresinde, .b32.i2p adını olduğu gibi kabul eden bir HTTP proxy sunar.

# 1. Is the eepsite reachable? No key needed.
curl --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/models

# 2. A streamed chat call.
curl -N --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over I2P"}]
  }'

SDK temel URL'si

Bir SDK için iki değişiklik gerekir: ağın temel URL'si ve proxy üzerinden giden bir HTTP istemcisi. Python'da resmi SDK'ların ikisi de bir httpx istemcisi alır. SOCKS proxy için httpx[socks] kurun.

# pip install openai "httpx[socks]"
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over Tor"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install openai
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1",
    http_client=httpx.Client(proxy="http://127.0.0.1:4444", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over I2P"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install anthropic "httpx[socks]"
import anthropic
import httpx

client = anthropic.Anthropic(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

with client.messages.stream(
    model="shannon-1.6-lite",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello over Tor"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

Yavaş bağlantılarda streaming ve keep-alive

Streaming her iki ağda da çalışır. Bir stream açıkken ve modelin henüz gönderecek bir şeyi yokken API bir keep-alive gönderir; böylece bağlantı bir proxy'ye ya da istemcinize ölü görünmez.

• "stream": true gönderin. Stream edilen bir yanıt, model yazar yazmaz gelmeye başlar ve keep-alive, isteğin hâlâ işlendiğini gösterir. Stream edilmeyen bir yanıt, yanıtın tamamı hazır olana kadar hiçbir şey göndermez.
• İstemciye uzun bir okuma zaman aşımı verin. Örnekler 600 saniye kullanır. 15 saniyeden kısa bir zaman aşımı, bir stream'i iki keep-alive arasında bitirebilir.
• SSE okuyucunuzun yorum satırlarını ve ping olaylarını atlamasına izin verin. SDK'lar bunu zaten yapar.
• Bir bağlantı koptuğu anda isteği yeniden göndermeyin. API'ye ulaşan bir istek sonuna kadar çalışır ve bağlantı gitmiş olsa da sayılır.
• Yolu önce GET /v1/models ile deneyin. Anahtar gerektirmez ve kısa bir JSON listesi döndürür.

Bağlantı sorunları

Diğer her hata açık webdekiyle aynıdır. Hata yönetimi

JavaScript olmadan anahtarınız

Shannon'ın ayrıca JavaScript olmadan çalışan, açık webde, onion hizmeti olarak ve eepsite olarak erişilebilen bir web sitesi vardır. /keys sayfası API anahtarınızı gösterir ve yenilemenizi sağlar; böylece Tor veya I2P'den ayrılmadan bir anahtar alabilirsiniz. encrypted.shannon-ai.com/keys

O web sitesinin üç ağdaki adresleri burada listelenir: Şifreli erişim