Ograničenja i stanje

Ova stranica objašnjava od čega se sastoji vaše stanje, šta jedan zahtjev rezerviše i košta, koliko zahtjeva smijete poslati i nekoliko ograničenja na koja može naići pojedinačni zahtjev.

vrijednost 1M tokena stanja

$5.00

dnevna kvota se obnavlja

00:00 UTC

flood zaštita, po računu

120 zahtjeva / min

Kako se zahtjevi opslužuju

• Bez nivoa brzine — Jedno pravilo ograničava koliko brzo zahtjevi smiju stizati i isto je za svaki račun i svaki plan: 120 zahtjeva u minuti. Ne postoji ograničenje tokena u minuti.
• Bez zasebne API kvote — API troši isto stanje kao chat. Plan određuje veličinu današnje dnevne kvote. Ne određuje brzinu zahtjeva.
• Koliko god brzo želite — Zahtjevi poslani paralelno se prihvataju i čekaju u redu. Ne odbijaju se zato što su paralelni.

Vaše stanje

Vaše stanje se broji u tokenima. 1,000,000 tokena stanja vrijedi $5.00, a svaka cijena na stranici Modeli i cijene je stopa u odnosu na tu vrijednost.

U svakom trenutku stanje je zbir dva dijela.

• Današnja dnevna kvota plana — Broj tokena koji određuje vaš plan. Obnavlja se svaki dan u 00:00 UTC. Ono što ostane na kraju dana ne prenosi se dalje.
• Kupljeni kredit — Tokeni koje ste kupili kao paket. Kredit ne ističe i radi na svakom planu, uključujući Free.

• Redoslijed trošenja — Svaki zahtjev prvo troši današnju dnevnu kvotu plana. Kupljeni kredit koristi se samo za ono što pređe kvotu tog dana.
• Chat i API ga dijele — Postoji jedno stanje po računu. API ključ troši sa stanja računa kojem pripada, po istim cijenama kao chat.
• Paketi — Kredit se prodaje u paketima od 1,000,000 ($5.00), 2,000,000 ($10.00) i 5,000,000 ($25.00) tokena, ili u iznosu po vašem izboru od 1,000,000 do 100,000,000 tokena po cijeni $5.00 za 1,000,000.

Dopuna kredita Promjena plana

Šta zahtjev rezerviše i koliko košta

• Rezervacija — Kada zahtjev stigne, rezerviše svoj izlazni budžet sa vašeg stanja: max_tokens na /v1/chat/completions i /v1/messages, max_output_tokens na /v1/responses. /v1/chat/completions čita i max_completion_tokens. Zadana vrijednost je 4,096, a raspon je od 1 do 65,536.
• Prihvatanje — Zahtjev se prihvata samo ako rezervacija stane u ono što je ostalo od vašeg stanja. Stanje koje je veće od nule ali manje od izlaznog budžeta dobiva odgovor Quota exceeded. Pošaljite manji max_tokens da iskoristite ostatak.
• Obračun — Kada je odgovor završen, rezervacija se zamjenjuje stvarnom naplatom. Naplata može biti niža ili viša od rezervacije.
• Povrat — Zahtjev koji završi statusom greške vraća svoju rezervaciju u cijelosti.

Stvarna naplata ovisi o porodici modela.

Iznos u USD uzima se sa vašeg stanja u tokenima po $5.00 za 1,000,000, zaokružen na cijeli token.

Brojanje tokena pomoću POST /v1/tokenize ili POST /v1/messages/count_tokens je besplatno i ništa ne rezerviše. Brojanje tokena

Gdje vidjeti stanje i korištenje

Stranica Ključevi i korištenje prikazuje šta možete potrošiti upravo sada, današnju dnevnu kvotu plana, vaš kupljeni kredit i API potrošnju u posljednjih 30 dana. Ispod toga navodi svaki zahtjev koji je napravio vaš ključ: vrijeme, endpoint, model, keširani ulaz, naplaćene tokene i trošak. Ključevi i korištenje

Svaki odgovor sadrži i objekat usage sa brojem tokena tog poziva.

• usage sadrži brojeve tokena modela. Iznos uzet sa vašeg stanja nije u odgovoru: nalazi se u koloni Naplaćeni tokeni u listi zahtjeva na stranici Ključevi i korištenje.
• Na /v1/messages sa hostiranim open-weight modelom, input_tokens je nekeširani dio ulaza, cache_read_input_tokens je keširani dio, a cache_creation_input_tokens je uvijek 0.
• Stream na /v1/chat/completions nosi usage u svom posljednjem chunku prije [DONE]. Streaming

Kada se stanje potroši

Na zahtjev čija rezervacija ne stane u vaše stanje odgovara se statusom 429, tipom rate_limit_error i porukom ispod. Ništa se ne naplaćuje. Isti odgovor se šalje kada je stanje veće od nule ali manje od izlaznog budžeta zahtjeva.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

Na /v1/responses objekat error može sadržavati i code i param, oba null.

Šta možete učiniti:

• Sačekajte sljedeću dnevnu kvotu plana u 00:00 UTC.
• Dopunite kredit. Kredit se troši poslije dnevne kvote plana i ne ističe. Dopuna kredita
• Pređite na plan s većom dnevnom kvotom. Promjena plana
• Pošaljite manji max_tokens, ako je ostalo nešto stanja: rezervacija je tada manja.

Kvota poziva Shannon Codera

shannon-coder-1 na /v1/chat/completions i /v1/messages broji se u pozivima, a ne u tokenima. Svaki plan uključuje određen broj poziva u 4-satnom prozoru. Jedan zahtjev je jedan poziv.

• Prozori počinju u 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC. Pozivi koji ostanu na kraju prozora ne prenose se dalje.
• Poziv se broji kada je zahtjev prihvaćen, prije nego što model odgovori. Zahtjev koji nakon toga ne uspije i dalje se računa kao poziv.
• Ovi pozivi ne rezervišu tokene i ne uzimaju ništa sa vašeg stanja. Lista zahtjeva na stranici Ključevi i korištenje prikazuje njihov broj tokena i njegovu vrijednost po navedenoj cijeni.
• Zadani max_tokens za shannon-coder-1 na ova dva endpointa je 65,536.
• Kada nema preostalih poziva, odgovor ima status 429, tip rate_limit_error i poruku Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan.
• Na /v1/responses, shannon-coder-1 nema kvotu poziva: naplaćuje se u tokenima sa vašeg stanja po $8.00 za 1M, kao i svaki drugi model.

Flood zaštita

Račun smije slati 120 zahtjeva u minuti. To je jedino ograničenje brzine zahtjeva i isto je na svakom planu. Postoji da zaustavi poplave zahtjeva, a ne da uspori normalnu upotrebu.

• Minuta je fiksni prozor od 60 sekundi koji se otvara vašim prvim zahtjevom. Kada se završi, brojanje počinje ponovo od nule.
• Brojanje je po računu, a ne po ključu niti po IP adresi. Rotiranje ključa ne otvara novi prozor.
• Na 121. zahtjev unutar prozora odgovara se statusom 429, tipom rate_limit_error i porukom Too many requests. Retry in <N>s. N je broj sekundi do kraja prozora, od 1 do 60.
• Flood zaštita se provjerava prije stanja. Zahtjev koji odbije ništa ne rezerviše i ništa ne košta.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Paralelni zahtjevi

Ne postoji ograničenje koliko zahtjeva račun smije imati otvoreno istovremeno, niti greška za slanje zahtjeva paralelno. Zahtjevi koji ne mogu odmah početi čekaju u redu i odgovara im se redom.

• Svaki zahtjev se računa u 120 u minuti kada stigne, bez obzira jesu li raniji zahtjevi završeni.
• Svaki zahtjev drži svoju rezervaciju dok se ne završi. Dvadeset otvorenih zahtjeva sa zadanim izlaznim budžetom drži 20 × 4,096 = 81,920 tokena stanja. Ako su rezervacije zajedno veće od vašeg stanja, sljedeći zahtjev dobiva odgovor Quota exceeded, iako bi završeni pozivi koštali manje. Manji max_tokens drži manje.
• Zahtjev bez streaminga ne šalje ništa dok njegov odgovor nije kompletan, zato svom klijentu zadajte timeout koji pokriva čekanje. Stream drži svoju konekciju otvorenom dok čeka. Streaming

Ograničenja pojedinačnog zahtjeva

Greške

Odgovori na ovoj stranici. Na /v1/messages isti objekat error je umotan kao {"type": "error", "error": {…}}.