Críochphointí criptithe, Tor & I2P

Bun-URLanna

Treoraíonn ceithre sheoladh chuig an API céanna. Úsáid an ceann a oireann do do líonra, leis an eochair API chéanna agus na hiarratais chéanna.

• Glacann SDK OpenAI leis an mbun-URL mar atá léirithe, le /v1. Glacann SDK Anthropic leis gan /v1.
• Chun seoladh a sheiceáil, léigh ceanntásca freagra https://api.shannon-ai.com: iompraíonn Onion-Location an seoladh onion agus X-I2P-Location an seoladh I2P. Tosaíonn an seoladh onion le shannon.

Cé acu bealaí a oibríonn

Freagraíonn gach bealach /v1 ar na ceithre sheoladh uile:

• POST /v1/chat/completions
• POST /v1/responses
• POST /v1/messages
• POST /v1/messages/count_tokens
• POST /v1/tokenize
• GET /v1/models

Ní theastaíonn eochair ó GET /v1/models, rud a fhágann gur tástáil thapa é go sroicheann do sheachfhreastalaí an API.

Cad atá mar a chéile agus cad atá difriúil

Déantar cur síos ar iarmhéid agus teorainneacha ar leathanach dá gcuid féin. Teorainneacha agus iarmhéid

cURL trí Tor

Rith cliant Tor ar do mheaisín. Cuireann sé seachfhreastalaí SOCKS5 ar fáil ag 127.0.0.1:9050. Tugann --socks5-hostname an t-ainm .onion don seachfhreastalaí sin.

# 1. Is the onion service reachable? No key needed.
curl --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/models

# 2. A streamed chat call. -N prints the stream as it arrives.
curl -N --socks5-hostname 127.0.0.1:9050 http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over Tor"}]
  }'

cURL trí I2P

Rith ródaire I2P ar do mheaisín. Cuireann sé seachfhreastalaí HTTP ar fáil ag 127.0.0.1:4444, a ghlacann leis an ainm .b32.i2p mar atá.

# 1. Is the eepsite reachable? No key needed.
curl --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/models

# 2. A streamed chat call.
curl -N --proxy http://127.0.0.1:4444 http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "shannon-3",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello over I2P"}]
  }'

Bun-URL SDK

Teastaíonn dhá athrú ó SDK: bun-URL an líonra, agus cliant HTTP a théann tríd an seachfhreastalaí. In Python glacann an dá SDK oifigiúil le cliant httpx. Do sheachfhreastalaí SOCKS suiteáil httpx[socks].

# pip install openai "httpx[socks]"
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion/v1",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over Tor"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install openai
import httpx
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="http://acvnvkdea4xaczzjap7chysqqi4kkvp2eorfwkasindzmjpa47da.b32.i2p/v1",
    http_client=httpx.Client(proxy="http://127.0.0.1:4444", timeout=600),
)

stream = client.chat.completions.create(
    model="shannon-3",
    messages=[{"role": "user", "content": "Hello over I2P"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# pip install anthropic "httpx[socks]"
import anthropic
import httpx

client = anthropic.Anthropic(
    api_key="YOUR_API_KEY",
    base_url="http://shannonmd773o5vxz75byha5rkea7nzr3srotw46uwythq3pjl6y4cad.onion",
    http_client=httpx.Client(proxy="socks5h://127.0.0.1:9050", timeout=600),
)

with client.messages.stream(
    model="shannon-1.6-lite",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello over Tor"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

Sruthú agus keep-alive ar naisc mhall

Oibríonn sruthú thar an dá líonra. Fad a bhíonn sruth oscailte agus nach bhfuil faic le seoladh ag an múnla fós, seolann an API keep-alive, ionas nach mbeidh cuma mharbh ar an nasc ar sheachfhreastalaí nó ar do chliant.

• Seol "stream": true. Tosaíonn freagra sruthaithe ag teacht a luaithe a scríobhann an múnla, agus léiríonn an keep-alive go bhfuil an t-iarratas á láimhseáil fós. Ní sheolann freagra gan sruthú faic go dtí go mbíonn an freagra iomlán réidh.
• Tabhair teorainn ama léite fhada don chliant. Úsáideann na samplaí 600 soicind. Is féidir le teorainn ama níos giorra ná 15 soicind sruth a bhriseadh idir dhá keep-alive.
• Lig do do léitheoir SSE línte nótaí tráchta agus imeachtaí ping a scipeáil. Déanann na SDKanna é seo cheana.
• Ná seol iarratas arís an nóiméad a thitfidh nasc. Ritheann iarratas a shroich an API go dtí a dheireadh agus áirítear é, fiú nuair a bhíonn an nasc imithe.
• Tástáil an cosán le GET /v1/models ar dtús. Ní theastaíonn eochair uaidh agus filleann sé liosta JSON gearr.

Fadhbanna nasctha

Tá gach earráid eile mar a chéile leis an ngréasán soiléir. Láimhseáil Earráide

D'eochair gan JavaScript

Tá suíomh gréasáin gan JavaScript ag Shannon freisin, inrochtana ar an ngréasán soiléir, mar sheirbhís onion agus mar eepsite. Taispeánann a leathanach /keys d'eochair API agus ligeann sé duit í a rothlú, mar sin is féidir leat eochair a fháil gan Tor ná I2P a fhágáil. encrypted.shannon-ai.com/keys

Liostaítear seoltaí an tsuímh gréasáin sin ar na trí líonra anseo: Rochtain chriptithe