Криптирани ендпоинти, Tor и I2P

Базови URL

Четири адреса водят до едно и също API. Използвайте този, който подхожда на мрежата Ви, със същия API ключ и същите заявки.

• SDK на OpenAI приема базовия URL както е показан, с /v1. SDK на Anthropic го приема без /v1.
• За да проверите адрес, прочетете хедърите на отговора на https://api.shannon-ai.com: Onion-Location носи onion адреса, а X-I2P-Location носи I2P адреса. Onion адресът започва с shannon.

Кои маршрути работят

Всеки маршрут /v1 отговаря на всичките четири адреса:

• POST /v1/chat/completions
• POST /v1/responses
• POST /v1/messages
• POST /v1/messages/count_tokens
• POST /v1/tokenize
• GET /v1/models

GET /v1/models не изисква ключ, което го прави бърз тест дали проксито Ви стига до API.

Какво е еднакво и какво се различава

Балансът и ограниченията са описани на собствена страница. Ограничения и баланс

cURL през Tor

Пуснете Tor клиент на машината си. Той предлага SOCKS5 прокси на 127.0.0.1:9050. --socks5-hostname предава името .onion на това прокси.

# 1. Is the onion service reachable? No key needed.
curl --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/models

# 2. A streamed chat call. -N prints the stream as it arrives.
curl -N --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over Tor"}]
  }'

cURL през I2P

Пуснете I2P рутер на машината си. Той предлага HTTP прокси на 127.0.0.1:4444, което приема името .b32.i2p такова, каквото е.

# 1. Is the eepsite reachable? No key needed.
curl --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/models

# 2. A streamed chat call.
curl -N --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over I2P"}]
  }'

Базов URL за SDK

SDK се нуждае от две промени: базовия URL на мрежата и HTTP клиент, който минава през проксито. В Python и двата официални SDK приемат клиент httpx. За SOCKS прокси инсталирайте httpx[socks].

# pip install openai "httpx[socks]"
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over Tor"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install openai
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1",
    http_client=httpx.Client(proxy="http://127.0.0.1:4444", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over I2P"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install anthropic "httpx[socks]"
import anthropic
import httpx

client = anthropic.Anthropic(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

with client.messages.stream(
    model="shannon-1.6-lite",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello over Tor"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

Стрийминг и keep-alive при бавни връзки

Стрийминг работи и през двете мрежи. Докато стриймът е отворен и моделът още няма какво да изпрати, API изпраща keep-alive, така че връзката да не изглежда мъртва за прокси или за Вашия клиент.

• Изпратете "stream": true. Отговор със стрийминг започва да пристига веднага щом моделът пише, а keep-alive показва, че заявката още се обработва. Отговор без стрийминг не изпраща нищо, докато целият отговор не е готов.
• Задайте на клиента дълъг timeout за четене. Примерите използват 600 секунди. Timeout, по-кратък от 15 секунди, може да прекрати стрийм между два keep-alive.
• Накарайте SSE четеца си да пропуска коментарните редове и събитията ping. SDK вече го правят.
• Не изпращайте отново заявка в момента, в който връзката падне. Заявка, която е стигнала до API, се изпълнява до края и се брои, дори когато връзката е изчезнала.
• Първо тествайте пътя с GET /v1/models. Не изисква ключ и връща кратък JSON списък.

Проблеми с връзката

Всяка друга грешка е същата като в обикновения интернет. Обработка на грешки

Вашият ключ без JavaScript

Shannon има и уебсайт без JavaScript, достъпен в обикновения интернет, като onion услуга и като eepsite. Неговата страница /keys показва Вашия API ключ и Ви позволява да го смените, така че можете да вземете ключ, без да напускате Tor или I2P. encrypted.shannon-ai.com/keys

Адресите на този уебсайт във всичките три мрежи са изброени тук: Криптиран достъп