Κρυπτογραφημένα endpoints, Tor & I2P

Base URLs

Τέσσερις διευθύνσεις οδηγούν στο ίδιο API. Χρησιμοποιήστε αυτή που ταιριάζει στο δίκτυό σας, με το ίδιο κλειδί API και τα ίδια αιτήματα.

• Ένα SDK της OpenAI δέχεται το base URL όπως φαίνεται, με /v1. Ένα SDK της Anthropic το δέχεται χωρίς /v1.
• Για να ελέγξετε μια διεύθυνση, διαβάστε τις κεφαλίδες απάντησης του https://api.shannon-ai.com: το Onion-Location φέρει τη διεύθυνση onion και το X-I2P-Location τη διεύθυνση I2P. Η διεύθυνση onion αρχίζει με shannon.

Ποιες διαδρομές δουλεύουν

Κάθε διαδρομή /v1 απαντά και στις τέσσερις διευθύνσεις:

• POST /v1/chat/completions
• POST /v1/responses
• POST /v1/messages
• POST /v1/messages/count_tokens
• POST /v1/tokenize
• GET /v1/models

Το GET /v1/models δεν χρειάζεται κλειδί, γι' αυτό είναι γρήγορη δοκιμή ότι ο διαμεσολαβητής σας φτάνει στο API.

Τι είναι ίδιο και τι διαφέρει

Το υπόλοιπο και τα όρια περιγράφονται στη δική τους σελίδα. Όρια και υπόλοιπο

cURL μέσω Tor

Τρέξτε έναν client Tor στον υπολογιστή σας. Προσφέρει διαμεσολαβητή SOCKS5 στο 127.0.0.1:9050. Το --socks5-hostname δίνει το όνομα .onion σε αυτόν τον διαμεσολαβητή.

# 1. Is the onion service reachable? No key needed.
curl --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/models

# 2. A streamed chat call. -N prints the stream as it arrives.
curl -N --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over Tor"}]
  }'

cURL μέσω I2P

Τρέξτε έναν router I2P στον υπολογιστή σας. Προσφέρει διαμεσολαβητή HTTP στο 127.0.0.1:4444, που δέχεται το όνομα .b32.i2p ως έχει.

# 1. Is the eepsite reachable? No key needed.
curl --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/models

# 2. A streamed chat call.
curl -N --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over I2P"}]
  }'

Base URL για SDK

Ένα SDK χρειάζεται δύο αλλαγές: το base URL του δικτύου και έναν HTTP client που περνά μέσα από τον διαμεσολαβητή. Στην Python και τα δύο επίσημα SDK δέχονται client httpx. Για διαμεσολαβητή SOCKS εγκαταστήστε το httpx[socks].

# pip install openai "httpx[socks]"
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over Tor"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install openai
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1",
    http_client=httpx.Client(proxy="http://127.0.0.1:4444", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over I2P"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install anthropic "httpx[socks]"
import anthropic
import httpx

client = anthropic.Anthropic(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

with client.messages.stream(
    model="shannon-1.6-lite",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello over Tor"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

Streaming και keep-alive σε αργές συνδέσεις

Το streaming δουλεύει και στα δύο δίκτυα. Όσο ένα stream είναι ανοιχτό και το μοντέλο δεν έχει ακόμη τίποτα να στείλει, το API στέλνει ένα keep-alive, ώστε η σύνδεση να μη φαίνεται νεκρή σε έναν διαμεσολαβητή ή στον client σας.

• Στείλτε "stream": true. Μια απάντηση με streaming αρχίζει να φτάνει μόλις γράφει το μοντέλο, και το keep-alive δείχνει ότι το αίτημα εξακολουθεί να επεξεργάζεται. Μια απάντηση χωρίς streaming δεν στέλνει τίποτα μέχρι να είναι έτοιμη ολόκληρη η απάντηση.
• Δώστε στον client μεγάλο timeout ανάγνωσης. Τα παραδείγματα χρησιμοποιούν 600 δευτερόλεπτα. Ένα timeout μικρότερο από 15 δευτερόλεπτα μπορεί να τερματίσει ένα stream ανάμεσα σε δύο keep-alive.
• Αφήστε τον αναγνώστη SSE σας να προσπερνά τις γραμμές σχολίων και τα συμβάντα ping. Τα SDK το κάνουν ήδη.
• Μην ξαναστέλνετε ένα αίτημα τη στιγμή που πέφτει μια σύνδεση. Ένα αίτημα που έφτασε στο API τρέχει μέχρι το τέλος και μετριέται, ακόμη κι όταν η σύνδεση έχει χαθεί.
• Δοκιμάστε πρώτα τη διαδρομή με το GET /v1/models. Δεν χρειάζεται κλειδί και επιστρέφει μια σύντομη λίστα JSON.

Προβλήματα σύνδεσης

Κάθε άλλο σφάλμα είναι ίδιο με τον ανοιχτό ιστό. Χειρισμός σφαλμάτων

Το κλειδί σας χωρίς JavaScript

Το Shannon έχει επίσης ιστότοπο χωρίς JavaScript, προσβάσιμο στον ανοιχτό ιστό, ως υπηρεσία onion και ως eepsite. Η σελίδα /keys του δείχνει το κλειδί API σας και σας αφήνει να το αλλάξετε, ώστε να πάρετε κλειδί χωρίς να φύγετε από το Tor ή το I2P. encrypted.shannon-ai.com/keys

Οι διευθύνσεις αυτού του ιστότοπου και στα τρία δίκτυα αναγράφονται εδώ: Κρυπτογραφημένη πρόσβαση