Omejitve in stanje

Ta stran pojasnjuje, iz česa je sestavljeno vaše stanje, kaj en zahtevek rezervira in koliko stane, koliko zahtevkov lahko pošljete in nekaj omejitev, na katere lahko naleti posamezen zahtevek.

vrednost 1M tokenov stanja

$5.00

dnevna kvota se obnovi

00:00 UTC

zaščita pred poplavo, na račun

120 zahtevkov / min

Kako se zahtevki obravnavajo

• Brez stopenj hitrosti — Eno pravilo omejuje, kako hitro lahko zahtevki prihajajo, in je enako za vsak račun in vsak paket: 120 zahtevkov na minuto. Omejitve tokenov na minuto ni.
• Brez ločene kvote API — API porablja isto stanje kot klepet. Paket določa velikost današnje dnevne kvote. Ne določa hitrosti zahtevkov.
• Tako hitro, kot želite — Zahtevki, poslani vzporedno, so sprejeti in čakajo v vrsti. Niso zavrnjeni zaradi vzporednosti.

Vaše stanje

Vaše stanje se šteje v tokenih. 1,000,000 tokenov stanja je vredno $5.00, vsaka cena na strani Models & pricing pa je razmerje do te vrednosti.

V vsakem trenutku je stanje vsota dveh delov.

• Današnja dnevna kvota paketa — Število tokenov, ki ga določa vaš paket. Obnovi se vsak dan ob 00:00 UTC. Kar ostane ob koncu dneva, se ne prenese.
• Kupljeni kredit — Tokeni, ki ste jih kupili kot komplet. Kredit ne poteče in deluje v vsakem paketu, tudi v paketu Free.

• Vrstni red porabe — Vsak zahtevek najprej porabi današnjo dnevno kvoto paketa. Kupljeni kredit se uporabi samo za tisto, kar presega kvoto tega dne.
• Klepet in API ga delita — Na račun je eno stanje. API ključ porablja iz stanja računa, ki ga ima v lasti, po enakih cenah kot klepet.
• Kompleti — Kredit se prodaja v kompletih po 1,000,000 ($5.00), 2,000,000 ($10.00) in 5,000,000 ($25.00) tokenov ali kot znesek po vaši izbiri od 1,000,000 do 100,000,000 tokenov po $5.00 za 1,000,000.

Dopolnilo kreditov Spremeni načrt

Kaj zahtevek rezervira in koliko stane

• Rezervacija — Ko zahtevek prispe, z vašega stanja rezervira svoj izhodni proračun: max_tokens na /v1/chat/completions in /v1/messages, max_output_tokens na /v1/responses. /v1/chat/completions prebere tudi max_completion_tokens. Privzeta vrednost je 4,096, razpon pa od 1 do 65,536.
• Sprejem — Zahtevek je sprejet samo, če se rezervacija prilega v to, kar je ostalo od vašega stanja. Stanje, ki je nad nič, vendar manjše od izhodnega proračuna, dobi odgovor Quota exceeded. Pošljite manjši max_tokens, da porabite preostanek.
• Poravnava — Ko je odgovor popoln, se rezervacija nadomesti z dejanskim obračunom. Obračun je lahko nižji ali višji od rezervacije.
• Vračilo — Zahtevek, ki se konča s statusom napake, svojo rezervacijo vrne v celoti.

Dejanski obračun je odvisen od družine modela.

Znesek v USD se z vašega stanja v tokenih odšteje po $5.00 za 1,000,000, zaokrožen na celoten token.

Štetje tokenov s POST /v1/tokenize ali POST /v1/messages/count_tokens je brezplačno in ničesar ne rezervira. Štetje tokenov

Kje videti stanje in porabo

Stran Ključi in poraba prikazuje, kaj lahko porabite zdaj, današnjo dnevno kvoto paketa, kupljeni kredit in porabo API v zadnjih 30 dneh. Pod tem našteva vsak zahtevek, ki ga je naredil vaš ključ: čas, končno točko, model, predpomnjen vhod, obračunane tokene in strošek. Ključi in poraba

Vsak odgovor vsebuje tudi objekt usage s števili tokenov tistega klica.

• usage vsebuje števila tokenov modela. Znesek, odštet z vašega stanja, ni v odgovoru: je stolpec Billed tokens na seznamu zahtevkov na strani Ključi in poraba.
• Na /v1/messages z gostovanim modelom z odprtimi utežmi je input_tokens nepredpomnjeni del vhoda, cache_read_input_tokens je predpomnjeni del, cache_creation_input_tokens pa je vedno 0.
• Tok na /v1/chat/completions nosi usage v zadnjem kosu pred [DONE]. Pretakanje

Ko se stanje izčrpa

Na zahtevek, katerega rezervacija se ne prilega v vaše stanje, se odgovori s statusom 429, tipom rate_limit_error in spodnjim sporočilom. Nič se ne obračuna. Enak odgovor se pošlje, ko je stanje nad nič, vendar manjše od izhodnega proračuna zahtevka.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

Na /v1/responses lahko objekt error vsebuje tudi code in param, oba null.

Kaj lahko storite:

• Počakajte na naslednjo dnevno kvoto paketa ob 00:00 UTC.
• Dopolnite kredit. Kredit se porabi po dnevni kvoti paketa in ne poteče. Dopolnilo kreditov
• Preklopite na paket z večjo dnevno kvoto. Spremeni načrt
• Pošljite manjši max_tokens, če je še ostalo nekaj stanja: rezervacija je potem manjša.

Kvota klicev Shannon Coder

shannon-coder-1 na /v1/chat/completions in /v1/messages se šteje v klicih, ne v tokenih. Vsak paket vključuje določeno število klicev na 4-urno okno. En zahtevek je en klic.

• Okna se začnejo ob 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC. Klici, ki ostanejo ob koncu okna, se ne prenesejo.
• Klic se šteje, ko je zahtevek sprejet, preden model odgovori. Zahtevek, ki pozneje odpove, se še vedno šteje kot klic.
• Ti klici ne rezervirajo tokenov in ne vzamejo ničesar z vašega stanja. Seznam zahtevkov na strani Ključi in poraba prikazuje njihovo število tokenov in vrednost po navedeni ceni.
• Privzeti max_tokens za shannon-coder-1 na teh dveh končnih točkah je 65,536.
• Ko klicev ni več, je odgovor status 429, tip rate_limit_error, sporočilo Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan.
• Na /v1/responses shannon-coder-1 nima kvote klicev: obračuna se v tokenih z vašega stanja po $8.00 za 1M, kot vsak drug model.

Zaščita pred poplavo

Račun lahko pošlje 120 zahtevkov na minuto. To je edina omejitev hitrosti zahtevkov in je enaka v vsakem paketu. Obstaja zato, da prepreči poplave, ne da bi upočasnila običajno uporabo.

• Minuta je fiksno okno 60 sekund, ki se odpre z vašim prvim zahtevkom. Ko se konča, se štetje začne znova pri nič.
• Štetje je na račun, ne na ključ in ne na naslov IP. Zamenjava ključa ne odpre novega okna.
• Na 121. zahtevek znotraj okna se odgovori s statusom 429, tipom rate_limit_error in sporočilom Too many requests. Retry in <N>s. N je število sekund do konca okna, od 1 do 60.
• Zaščita pred poplavo se preveri pred stanjem. Zahtevek, ki ga zavrne, ničesar ne rezervira in nič ne stane.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Vzporedni zahtevki

Ni omejitve, koliko zahtevkov ima račun hkrati odprtih, in ni napake za vzporedno pošiljanje zahtevkov. Zahtevki, ki se ne morejo začeti takoj, čakajo v vrsti in so obravnavani po vrsti.

• Vsak zahtevek se všteje v 120 na minuto, ko prispe, ne glede na to, ali so se prejšnji zahtevki že končali.
• Vsak zahtevek drži svojo rezervacijo, dokler se ne konča. Dvajset odprtih zahtevkov s privzetim izhodnim proračunom drži 20 × 4,096 = 81,920 tokenov stanja. Če so rezervacije skupaj večje od vašega stanja, naslednji zahtevek dobi odgovor Quota exceeded, čeprav bi končani klici stali manj. Manjši max_tokens drži manj.
• Zahtevek brez pretakanja ne pošlje ničesar, dokler odgovor ni popoln, zato odjemalcu nastavite časovno omejitev, ki zajame čakanje. Tok med čakanjem ohranja povezavo odprto. Pretakanje

Omejitve posameznega zahtevka

Napake

Odgovori s te strani. Na /v1/messages je isti objekt error ovit kot {"type": "error", "error": {…}}.