Ierobežojumi un atlikums

Šī lapa izskaidro, no kā sastāv jūsu atlikums, ko viens pieprasījums rezervē un cik maksā, cik pieprasījumu drīkstat sūtīt un dažus ierobežojumus, ar kuriem var sastapties atsevišķs pieprasījums.

1M atlikuma tokenu vērtība

$5.00

dienas kvota atjaunojas

00:00 UTC

flood protection, uz kontu

120 pieprasījumi / min

Kā pieprasījumi tiek apkalpoti

• Nav ātruma līmeņu — Viens noteikums ierobežo, cik ātri pieprasījumi drīkst ierasties, un tas ir vienāds katram kontam un katram plānam: 120 pieprasījumi minūtē. Tokenu minūtē ierobežojuma nav.
• Nav atsevišķas API kvotas — API tērē to pašu atlikumu, ko čats. Plāns nosaka šīs dienas kvotas lielumu. Tas nenosaka pieprasījumu biežumu.
• Tik ātri, cik vēlaties — Paralēli sūtīti pieprasījumi tiek pieņemti un gaida rindā. Tie netiek noraidīti tāpēc, ka ir paralēli.

Jūsu atlikums

Jūsu atlikums tiek skaitīts tokenos. 1,000,000 atlikuma tokenu ir vērti $5.00, un katra cena lapā Modeļi un cenas ir likme pret šo vērtību.

Jebkurā brīdī atlikums ir divu daļu summa.

• Šīs dienas plāna kvota — Tokenu skaits, ko nosaka jūsu plāns. Tas atjaunojas katru dienu plkst. 00:00 UTC. Kas atlicis dienas beigās, netiek pārnests.
• Iegādātais kredīts — Tokeni, ko nopirkāt kā paku. Kredīts nebeidzas un darbojas katrā plānā, arī Free.

• Tērēšanas secība — Katrs pieprasījums vispirms tērē šīs dienas plāna kvotu. Iegādātais kredīts tiek izmantots tikai tam, kas pārsniedz kvotu tajā dienā.
• Čats un API to dala — Katram kontam ir viens atlikums. API atslēga tērē no tā konta atlikuma, kuram tā pieder, par tām pašām cenām kā čats.
• Pakas — Kredīts tiek pārdots paku veidā pa 1,000,000 ($5.00), 2,000,000 ($10.00) un 5,000,000 ($25.00) tokeniem vai kā jūsu izvēlēta summa no 1,000,000 līdz 100,000,000 tokeniem par $5.00 par 1,000,000.

Papildīt kredītus Mainīt plānu

Ko pieprasījums rezervē un cik tas maksā

• Rezervēšana — Kad pieprasījums ierodas, tas no jūsu atlikuma rezervē savu izvades budžetu: max_tokens galapunktos /v1/chat/completions un /v1/messages, max_output_tokens galapunktā /v1/responses. /v1/chat/completions lasa arī max_completion_tokens. Noklusējums ir 4,096, un diapazons ir no 1 līdz 65,536.
• Pieņemšana — Pieprasījums tiek pieņemts tikai tad, ja rezervācija ietilpst jūsu atlikumā. Atlikums, kas ir lielāks par nulli, bet mazāks par izvades budžetu, saņem atbildi Quota exceeded. Sūtiet mazāku max_tokens, lai izmantotu pārējo.
• Norēķins — Kad atbilde ir pilnīga, rezervāciju aizstāj faktiskā maksa. Maksa var būt zemāka vai augstāka par rezervāciju.
• Atgriešana — Pieprasījums, kas beidzas ar kļūdas statusu, rezervāciju atdod pilnībā.

Faktiskā maksa ir atkarīga no modeļu saimes.

Summa USD tiek ņemta no jūsu atlikuma tokenos par $5.00 par 1,000,000, noapaļota līdz veselam tokenam.

Tokenu skaitīšana ar POST /v1/tokenize vai POST /v1/messages/count_tokens ir bezmaksas un neko nerezervē. Tokenu skaitīšana

Kur redzēt atlikumu un izmantošanu

Lapa Atslēgas un izmantošana rāda, ko varat tērēt tieši tagad, šīs dienas plāna kvotu, iegādāto kredītu un API izdevumus pēdējās 30 dienās. Zem tā ir uzskaitīts katrs pieprasījums, ko veica jūsu atslēga: laiks, galapunkts, modelis, kešēta ievade, rēķinātie tokeni un izmaksas. Atslēgas un izmantošana

Katra atbilde satur arī objektu usage ar šī izsaukuma tokenu skaitu.

• usage satur modeļa tokenu skaitu. No atlikuma ņemtā summa atbildē nav norādīta: tā ir pieprasījumu saraksta slejā Rēķinātie tokeni lapā Atslēgas un izmantošana.
• Galapunktā /v1/messages ar hostētu atvērto svaru modeli input_tokens ir ievades nekešētā daļa, cache_read_input_tokens ir kešētā daļa un cache_creation_input_tokens vienmēr ir 0.
• Straume galapunktā /v1/chat/completions nes usage savā pēdējā daļā pirms [DONE]. Straumēšana

Kad atlikums beidzas

Pieprasījums, kura rezervācija neietilpst jūsu atlikumā, saņem atbildi ar statusu 429, tipu rate_limit_error un tālāk norādīto ziņojumu. Nekas netiek rēķināts. Tā pati atbilde tiek sūtīta, ja atlikums ir lielāks par nulli, bet mazāks par pieprasījuma izvades budžetu.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

Galapunktā /v1/responses objektā error var būt arī code un param, abi null.

Ko varat darīt:

• Gaidiet nākamo plāna kvotu plkst. 00:00 UTC.
• Papildiniet kredītu. Kredīts tiek tērēts pēc plāna kvotas un nebeidzas. Papildīt kredītus
• Pārejiet uz plānu ar lielāku dienas kvotu. Mainīt plānu
• Ja kāds atlikums vēl ir, sūtiet mazāku max_tokens: tad rezervācija ir mazāka.

Shannon Coder izsaukumu kvota

shannon-coder-1 galapunktos /v1/chat/completions un /v1/messages tiek skaitīts izsaukumos, nevis tokenos. Katrs plāns ietver noteiktu izsaukumu skaitu 4 stundu logā. Viens pieprasījums ir viens izsaukums.

• Logi sākas plkst. 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC. Izsaukumi, kas logā atlikuši, netiek pārnesti.
• Izsaukums tiek ieskaitīts, kad pieprasījums ir pieņemts, pirms modelis atbild. Pieprasījums, kas pēc tam neizdodas, tāpat tiek skaitīts kā izsaukums.
• Šie izsaukumi nerezervē tokenus un neņem neko no jūsu atlikuma. Pieprasījumu saraksts lapā Atslēgas un izmantošana rāda to tokenu skaitu un tā vērtību pēc norādītās cenas.
• shannon-coder-1 noklusējuma max_tokens šajos divos galapunktos ir 65,536.
• Ja izsaukumu vairs nav, atbilde ir statuss 429, tips rate_limit_error, ziņojums Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan.
• Galapunktā /v1/responses shannon-coder-1 nav izsaukumu kvotas: tas tiek rēķināts tokenos no jūsu atlikuma par $8.00 par 1M, tāpat kā katrs cits modelis.

Flood protection

Konts drīkst sūtīt 120 pieprasījumus minūtē. Tas ir vienīgais pieprasījumu biežuma ierobežojums, un tas ir vienāds katrā plānā. Tas ir paredzēts, lai apturētu pārplūdi, nevis lai bremzētu parastu lietošanu.

• Minūte ir fiksēts 60 sekunžu logs, kas atveras ar jūsu pirmo pieprasījumu. Kad tas beidzas, skaits sākas no nulles.
• Skaits ir uz kontu, nevis uz atslēgu un nevis uz IP adresi. Atslēgas nomaiņa jaunu logu neatver.
• 121. pieprasījums logā saņem atbildi ar statusu 429, tipu rate_limit_error un ziņojumu Too many requests. Retry in <N>s. N ir sekunžu skaits līdz loga beigām, no 1 līdz 60.
• Flood protection tiek pārbaudīts pirms atlikuma. Pieprasījums, ko tas noraida, neko nerezervē un nemaksā.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Paralēli pieprasījumi

Nav ierobežojuma, cik pieprasījumu kontam vienlaikus var būt atvērti, un nav kļūdas par pieprasījumu sūtīšanu paralēli. Pieprasījumi, kurus nevar sākt uzreiz, gaida rindā un tiek atbildēti pēc kārtas.

• Katrs pieprasījums tiek ieskaitīts 120 minūtē, kad tas ierodas, neatkarīgi no tā, vai iepriekšējie pieprasījumi ir pabeigti.
• Katrs pieprasījums tur savu rezervāciju, līdz beidzas. Divdesmit atvērti pieprasījumi ar noklusējuma izvades budžetu tur 20 × 4,096 = 81,920 atlikuma tokenu. Ja rezervācijas kopā ir lielākas par jūsu atlikumu, nākamais pieprasījums saņem atbildi Quota exceeded, kaut arī pabeigtie izsaukumi būtu maksājuši mazāk. Mazāks max_tokens tur mazāk.
• Pieprasījums bez straumēšanas neko nesūta, līdz atbilde ir pilnīga, tāpēc iestatiet klientam taimautu, kas aptver gaidīšanu. Straume gaidīšanas laikā patur savienojumu atvērtu. Straumēšana

Viena pieprasījuma ierobežojumi

Kļūdas

Šīs lapas atbildes. Galapunktā /v1/messages tas pats objekts error ir ietverts kā {"type": "error", "error": {…}}.