Endpoints criptografados, Tor e I2P

URLs base

Quatro endereços levam à mesma API. Use o que se adapta à sua rede, com a mesma chave de API e as mesmas requisições.

• Um SDK da OpenAI recebe a URL base como mostrada, com /v1. Um SDK da Anthropic a recebe sem /v1.
• Para conferir um endereço, leia os cabeçalhos de resposta de https://api.shannon-ai.com: Onion-Location traz o endereço onion e X-I2P-Location o endereço I2P. O endereço onion começa com shannon.

Quais rotas funcionam

Toda rota /v1 responde nos quatro endereços:

• POST /v1/chat/completions
• POST /v1/responses
• POST /v1/messages
• POST /v1/messages/count_tokens
• POST /v1/tokenize
• GET /v1/models

GET /v1/models não precisa de chave, o que o torna um teste rápido de que o seu proxy alcança a API.

O que é igual e o que difere

Saldo e limites são descritos na sua própria página. Limites e saldo

cURL pelo Tor

Execute um cliente Tor na sua máquina. Ele oferece um proxy SOCKS5 em 127.0.0.1:9050. --socks5-hostname entrega o nome .onion a esse proxy.

# 1. Is the onion service reachable? No key needed.
curl --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/models

# 2. A streamed chat call. -N prints the stream as it arrives.
curl -N --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over Tor"}]
  }'

cURL pelo I2P

Execute um roteador I2P na sua máquina. Ele oferece um proxy HTTP em 127.0.0.1:4444, que aceita o nome .b32.i2p como está.

# 1. Is the eepsite reachable? No key needed.
curl --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/models

# 2. A streamed chat call.
curl -N --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over I2P"}]
  }'

URL base do SDK

Um SDK precisa de duas alterações: a URL base da rede e um cliente HTTP que passe pelo proxy. Em Python, os dois SDKs oficiais aceitam um cliente httpx. Para um proxy SOCKS, instale httpx[socks].

# pip install openai "httpx[socks]"
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over Tor"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install openai
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1",
    http_client=httpx.Client(proxy="http://127.0.0.1:4444", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over I2P"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install anthropic "httpx[socks]"
import anthropic
import httpx

client = anthropic.Anthropic(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

with client.messages.stream(
    model="shannon-1.6-lite",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello over Tor"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

Streaming e keep-alive em conexões lentas

O streaming funciona nas duas redes. Enquanto um stream está aberto e o modelo ainda não tem nada a enviar, a API envia um keep-alive, para que a conexão não pareça morta para um proxy ou para o seu cliente.

• Envie "stream": true. Uma resposta com stream começa a chegar assim que o modelo escreve, e o keep-alive mostra que a requisição ainda está sendo processada. Uma resposta sem stream não envia nada até que a resposta inteira esteja pronta.
• Dê ao cliente um timeout de leitura longo. Os exemplos usam 600 segundos. Um timeout menor que 15 segundos pode encerrar um stream entre dois keep-alives.
• Faça o seu leitor SSE ignorar linhas de comentário e eventos ping. Os SDKs já fazem isso.
• Não reenvie uma requisição no instante em que uma conexão cai. Uma requisição que chegou à API é executada até o fim e é contada, mesmo quando a conexão se foi.
• Teste primeiro o caminho com GET /v1/models. Ele não precisa de chave e retorna uma lista JSON curta.

Problemas de conexão

Todos os outros erros são iguais aos da web aberta. Tratamento de erros

Sua chave sem JavaScript

A Shannon também tem um site sem JavaScript, acessível na web aberta, como serviço onion e como eepsite. A sua página /keys mostra a sua chave de API e permite rotacioná-la, de modo que você pode obter uma chave sem sair do Tor ou do I2P. encrypted.shannon-ai.com/keys

Os endereços desse site nas três redes estão listados aqui: Acesso criptografado