Зашифровані ендпоінти, Tor та I2P

Базові URL

Чотири адреси ведуть до того самого API. Використовуйте ту, що підходить вашій мережі, з тим самим API-ключем і тими самими запитами.

• SDK OpenAI приймає базовий URL так, як показано, з /v1. SDK Anthropic приймає його без /v1.
• Щоб перевірити адресу, прочитайте заголовки відповіді https://api.shannon-ai.com: Onion-Location містить адресу onion, а X-I2P-Location — адресу I2P. Адреса onion починається з shannon.

Які маршрути працюють

Кожен маршрут /v1 відповідає на всіх чотирьох адресах:

• POST /v1/chat/completions
• POST /v1/responses
• POST /v1/messages
• POST /v1/messages/count_tokens
• POST /v1/tokenize
• GET /v1/models

GET /v1/models не потребує ключа, тож це швидка перевірка, чи ваш проксі досягає API.

Що однакове, а що відрізняється

Баланс і ліміти описано на окремій сторінці. Ліміти та баланс

cURL через Tor

Запустіть клієнт Tor на своїй машині. Він надає проксі SOCKS5 на 127.0.0.1:9050. --socks5-hostname передає ім'я .onion цьому проксі.

# 1. Is the onion service reachable? No key needed.
curl --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/models

# 2. A streamed chat call. -N prints the stream as it arrives.
curl -N --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over Tor"}]
  }'

cURL через I2P

Запустіть маршрутизатор I2P на своїй машині. Він надає HTTP-проксі на 127.0.0.1:4444, який приймає ім'я .b32.i2p як є.

# 1. Is the eepsite reachable? No key needed.
curl --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/models

# 2. A streamed chat call.
curl -N --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over I2P"}]
  }'

Базовий URL для SDK

SDK потребує двох змін: базового URL мережі та HTTP-клієнта, що йде через проксі. У Python обидва офіційні SDK приймають клієнт httpx. Для проксі SOCKS встановіть httpx[socks].

# pip install openai "httpx[socks]"
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over Tor"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install openai
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1",
    http_client=httpx.Client(proxy="http://127.0.0.1:4444", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over I2P"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install anthropic "httpx[socks]"
import anthropic
import httpx

client = anthropic.Anthropic(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

with client.messages.stream(
    model="shannon-1.6-lite",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello over Tor"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

Стрімінг і keep-alive на повільних каналах

Стрімінг працює в обох мережах. Поки стрім відкритий, а модель ще не має що надіслати, API надсилає keep-alive, щоб з'єднання не виглядало мертвим для проксі чи вашого клієнта.

• Надсилайте "stream": true. Відповідь зі стрімінгом починає надходити, щойно модель пише, а keep-alive показує, що запит ще обробляється. Відповідь без стрімінгу нічого не надсилає, доки вся відповідь не буде готова.
• Задайте клієнту довгий тайм-аут читання. У прикладах використано 600 секунд. Тайм-аут коротший за 15 секунд може обірвати стрім між двома keep-alive.
• Дозвольте вашому читачу SSE пропускати рядки-коментарі та події ping. SDK це вже роблять.
• Не надсилайте запит повторно одразу, коли з'єднання розірвалося. Запит, що дійшов до API, виконується до кінця й рахується, навіть якщо з'єднання зникло.
• Спершу перевірте шлях через GET /v1/models. Він не потребує ключа й повертає короткий список JSON.

Проблеми зі з'єднанням

Кожна інша помилка така сама, як у відкритому вебі. Обробка помилок

Ваш ключ без JavaScript

Shannon має також вебсайт без JavaScript, доступний у відкритому вебі, як сервіс onion і як eepsite. Його сторінка /keys показує ваш API-ключ і дає змогу його замінити, тож ключ можна отримати, не залишаючи Tor чи I2P. encrypted.shannon-ai.com/keys

Адреси цього вебсайту в усіх трьох мережах наведено тут: Зашифрований доступ