Ograničenja i stanje

Ova stranica objašnjava od čega se sastoji vaše stanje, šta jedan zahtev rezerviše i košta, koliko zahteva smete da pošaljete i nekoliko ograničenja na koja jedan zahtev može da naiđe.

vrednost 1M tokena stanja

$5.00

dnevni limit se obnavlja

00:00 UTC

zaštita od flooda, po nalogu

120 zahteva / min

Kako se zahtevi opslužuju

• Bez nivoa ograničenja brzine — Jedno pravilo ograničava koliko brzo zahtevi smeju da stižu i isto je za svaki nalog i svaki plan: 120 zahteva u minuti. Nema ograničenja tokena u minuti.
• Bez posebne API kvote — API troši isto stanje kao čet. Plan određuje veličinu današnjeg limita. Ne određuje brzinu zahteva.
• Koliko god brzo želite — Zahtevi poslati paralelno se prihvataju i čekaju u redu. Ne odbijaju se zato što su paralelni.

Vaše stanje

Vaše stanje se računa u tokenima. 1,000,000 tokena stanja vredi $5.00, a svaka cena na stranici Modeli i cene je stopa u odnosu na tu vrednost.

U svakom trenutku stanje je zbir dva dela.

• Današnji limit plana — Broj tokena koji određuje vaš plan. Obnavlja se svakog dana u 00:00 UTC. Ono što preostane na kraju dana ne prenosi se.
• Kupljeni kredit — Tokeni koje ste kupili kao paket. Kredit ne ističe i važi na svakom planu, uključujući Free.

• Redosled trošenja — Svaki zahtev prvo troši današnji limit plana. Kupljeni kredit se koristi samo za ono što prelazi limit tog dana.
• Čet i API ga dele — Postoji jedno stanje po nalogu. API ključ troši sa stanja naloga koji ga poseduje, po istim cenama kao čet.
• Paketi — Kredit se prodaje u paketima od 1,000,000 ($5.00), 2,000,000 ($10.00) i 5,000,000 ($25.00) tokena, ili kao iznos po vašem izboru od 1,000,000 do 100,000,000 tokena po ceni od $5.00 za 1,000,000.

Dopuna kredita Promena plana

Šta zahtev rezerviše i šta košta

• Rezervacija — Kada zahtev stigne, rezerviše svoj izlazni budžet sa vašeg stanja: max_tokens na /v1/chat/completions i /v1/messages, max_output_tokens na /v1/responses. /v1/chat/completions čita i max_completion_tokens. Podrazumevano je 4,096, a opseg je od 1 do 65,536.
• Prihvatanje — Zahtev se prihvata samo ako rezervacija stane u ono što je preostalo na vašem stanju. Stanje koje je veće od nule, ali manje od izlaznog budžeta, dobija odgovor Quota exceeded. Pošaljite manji max_tokens da iskoristite ostatak.
• Obračun — Kada je odgovor završen, rezervacija se zamenjuje stvarnom naplatom. Naplata može biti niža ili viša od rezervacije.
• Povraćaj — Zahtev koji se završi statusom greške vraća svoju rezervaciju u celosti.

Stvarna naplata zavisi od porodice modela.

Iznos u USD se uzima sa vašeg stanja u tokenima po $5.00 za 1,000,000, zaokružen na ceo token.

Brojanje tokena pomoću POST /v1/tokenize ili POST /v1/messages/count_tokens je besplatno i ništa ne rezerviše. Brojanje tokena

Gde videti stanje i upotrebu

Stranica Ključevi i upotreba prikazuje šta možete da potrošite upravo sada, današnji limit plana, vaš kupljeni kredit i API potrošnju poslednjih 30 dana. Ispod toga navodi svaki zahtev koji je vaš ključ uputio: vreme, endpoint, model, keširani ulaz, naplaćene tokene i cenu. Ključevi i upotreba

Svaki odgovor nosi i objekat usage sa brojevima tokena tog poziva.

• usage sadrži brojeve tokena modela. Iznos skinut sa vašeg stanja nije u odgovoru: to je kolona Naplaćeni tokeni na listi zahteva u Ključevi i upotreba.
• Na /v1/messages sa hostovanim open-weight modelom, input_tokens je nekeširani deo ulaza, cache_read_input_tokens je keširani deo, a cache_creation_input_tokens je uvek 0.
• Stream na /v1/chat/completions nosi usage u svom poslednjem delu pre [DONE]. Streaming

Kada se stanje potroši

Na zahtev čija se rezervacija ne uklapa u vaše stanje odgovara se statusom 429, tipom rate_limit_error i porukom ispod. Ništa se ne naplaćuje. Isti odgovor se šalje kada je stanje veće od nule, ali manje od izlaznog budžeta zahteva.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

Na /v1/responses objekat error može sadržati i code i param, oba null.

Šta možete da uradite:

• Sačekajte sledeći limit plana u 00:00 UTC.
• Dopunite kredit. Kredit se troši posle limita plana i ne ističe. Dopuna kredita
• Pređite na plan sa većim dnevnim limitom. Promena plana
• Pošaljite manji max_tokens, ako je nešto stanja preostalo: rezervacija je tada manja.

Dozvola Shannon Coder poziva

shannon-coder-1 na /v1/chat/completions i /v1/messages računa se u pozivima, a ne u tokenima. Svaki plan uključuje određen broj poziva po 4-časovnom periodu. Jedan zahtev je jedan poziv.

• Periodi počinju u 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC. Pozivi koji preostanu na kraju perioda ne prenose se.
• Poziv se računa kada se zahtev prihvati, pre nego što model odgovori. Zahtev koji kasnije ne uspe i dalje se računa kao poziv.
• Ovi pozivi ne rezervišu tokene i ne uzimaju ništa sa vašeg stanja. Lista zahteva u Ključevi i upotreba prikazuje njihov broj tokena i njegovu vrednost po navedenoj ceni.
• Podrazumevani max_tokens za shannon-coder-1 na ova dva endpointa je 65,536.
• Kada nema preostalih poziva, odgovor je status 429, tip rate_limit_error, poruka Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan.
• Na /v1/responses shannon-coder-1 nema dozvolu poziva: naplaćuje se u tokenima sa vašeg stanja po $8.00 za 1M, kao i svaki drugi model.

Zaštita od flooda

Nalog može da pošalje 120 zahteva u minuti. To je jedino ograničenje brzine zahteva i isto je na svakom planu. Postoji da zaustavi flood, a ne da uspori normalnu upotrebu.

• Minut je fiksni period od 60 sekundi koji se otvara vašim prvim zahtevom. Kada istekne, brojanje počinje iznova od nule.
• Brojanje je po nalogu, a ne po ključu ni po IP adresi. Rotiranje ključa ne otvara novi period.
• Na 121. zahtev unutar perioda odgovara se statusom 429, tipom rate_limit_error i porukom Too many requests. Retry in <N>s. N je broj sekundi do kraja perioda, od 1 do 60.
• Zaštita od flooda proverava se pre stanja. Zahtev koji odbije ništa ne rezerviše i ništa ne košta.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Paralelni zahtevi

Nema ograničenja koliko zahteva nalog može imati otvoreno istovremeno, niti greške zbog slanja zahteva paralelno. Zahtevi koji ne mogu odmah da počnu čekaju u redu i odgovara im se redom.

• Svaki zahtev se računa u 120 u minuti kada stigne, bez obzira na to da li su raniji zahtevi završeni.
• Svaki zahtev drži svoju rezervaciju dok se ne završi. Dvadeset otvorenih zahteva sa podrazumevanim izlaznim budžetom drži 20 × 4,096 = 81,920 tokena stanja. Ako su rezervacije zajedno veće od vašeg stanja, sledeći zahtev dobija odgovor Quota exceeded, iako bi završeni pozivi koštali manje. Manji max_tokens drži manje.
• Zahtev bez streaminga ne šalje ništa dok njegov odgovor nije kompletan, zato klijentu dajte timeout koji pokriva čekanje. Stream drži vezu otvorenom dok čeka. Streaming

Ograničenja jednog zahteva

Greške

Odgovori ove stranice. Na /v1/messages isti objekat error je upakovan kao {"type": "error", "error": {…}}.