Limity a zůstatek

Tato stránka vysvětluje, z čeho se skládá váš zůstatek, co jeden požadavek rezervuje a kolik stojí, kolik požadavků smíte poslat a těch několik limitů, na které může jeden požadavek narazit.

hodnota 1M tokenů zůstatku

$5.00

denní limit se obnoví

00:00 UTC

ochrana proti zahlcení, na účet

120 požadavků / min

Jak se požadavky obsluhují

• Žádné úrovně rychlosti — Jedno pravidlo omezuje, jak rychle smějí požadavky přicházet, a platí stejně pro každý účet a každý plán: 120 požadavků za minutu. Na tokeny za minutu žádný limit není.
• Žádná zvláštní kvóta API — API čerpá stejný zůstatek jako chat. Plán určuje velikost dnešního limitu. Neurčuje frekvenci požadavků.
• Tak rychle, jak chcete — Požadavky odeslané paralelně se přijmou a čekají ve frontě. Nejsou odmítnuty kvůli tomu, že jsou paralelní.

Váš zůstatek

Váš zůstatek se počítá v tokenech. 1,000,000 tokenů zůstatku má hodnotu $5.00 a každá cena na stránce Modely a ceny je sazba vůči této hodnotě.

Zůstatek se v každém okamžiku skládá ze dvou částí.

• Dnešní limit plánu — Počet tokenů daný vaším plánem. Každý den v 00:00 UTC se obnoví. Co zbude na konci dne, se nepřenáší.
• Zakoupený kredit — Tokeny, které jste koupili jako balíček. Kredit nevyprší a funguje na každém plánu, včetně Free.

• Pořadí čerpání — Každý požadavek nejdřív čerpá dnešní limit plánu. Zakoupený kredit se použije jen na to, co v ten den přesahuje limit.
• Chat a API sdílejí zůstatek — Na účet připadá jeden zůstatek. Klíč API čerpá ze zůstatku účtu, kterému patří, za stejné ceny jako chat.
• Balíčky — Kredit se prodává v balíčcích po 1,000,000 ($5.00), 2,000,000 ($10.00) a 5,000,000 ($25.00) tokenech, nebo v libovolné částce od 1,000,000 do 100,000,000 tokenů za $5.00 za 1,000,000.

Dobít kredit Změnit plán

Co požadavek rezervuje a kolik stojí

• Rezervace — Když požadavek dorazí, rezervuje si ze zůstatku svůj výstupní rozpočet: max_tokens na /v1/chat/completions a /v1/messages, max_output_tokens na /v1/responses. /v1/chat/completions čte také max_completion_tokens. Výchozí hodnota je 4,096 a rozsah je 1 až 65,536.
• Přijetí — Požadavek se přijme, jen pokud se rezervace vejde do toho, co ze zůstatku zbývá. Zůstatek, který je nad nulou, ale menší než výstupní rozpočet, dostane odpověď Quota exceeded. Pošlete menší max_tokens, abyste zbytek využili.
• Vyúčtování — Když je odpověď kompletní, rezervace se nahradí skutečným poplatkem. Poplatek může být nižší i vyšší než rezervace.
• Vrácení — Požadavek, který skončí chybovým statusem, vrátí svou rezervaci celou.

Skutečné účtování závisí na rodině modelu.

Částka v USD se ze zůstatku v tokenech odečte za $5.00 za 1,000,000, zaokrouhleno na celý token.

Počítání tokenů přes POST /v1/tokenize nebo POST /v1/messages/count_tokens je zdarma a nic nerezervuje. Počítání tokenů

Kde vidět zůstatek a využití

Stránka Klíče a využití ukazuje, kolik můžete právě teď utratit, dnešní limit plánu, zakoupený kredit a útratu za API za posledních 30 dní. Pod tím vypisuje každý požadavek, který váš klíč provedl: čas, endpoint, model, cachovaný vstup, účtované tokeny a cenu. Klíče a využití

Každá odpověď nese také objekt usage s počty tokenů daného volání.

• usage obsahuje počty tokenů modelu. Částka odečtená ze zůstatku v odpovědi není: je ve sloupci Účtované tokeny v seznamu požadavků na stránce Klíče a využití.
• Na /v1/messages s hostovaným modelem s otevřenými váhami je input_tokens necachovaná část vstupu, cache_read_input_tokens je cachovaná část a cache_creation_input_tokens je vždy 0.
• Stream na /v1/chat/completions nese usage ve svém posledním chunku před [DONE]. Streamování

Když zůstatek dojde

Požadavek, jehož rezervace se nevejde do zůstatku, dostane odpověď se statusem 429, typem rate_limit_error a zprávou níže. Nic se neúčtuje. Stejná odpověď přijde i tehdy, když je zůstatek nad nulou, ale menší než výstupní rozpočet požadavku.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

Na /v1/responses může objekt error obsahovat také code a param, obě null.

Co můžete udělat:

• Počkejte na další limit plánu v 00:00 UTC.
• Dobijte kredit. Kredit se čerpá po limitu plánu a nevyprší. Dobít kredit
• Přejděte na plán s větším denním limitem. Změnit plán
• Pošlete menší max_tokens, pokud ještě nějaký zůstatek zbývá: rezervace pak bude menší.

Limit volání Shannon Coder

shannon-coder-1 na /v1/chat/completions a /v1/messages se počítá na volání, ne na tokeny. Každý plán zahrnuje určitý počet volání na 4hodinové okno. Jeden požadavek je jedno volání.

• Okna začínají v 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC. Volání, která na konci okna zbydou, se nepřenášejí.
• Volání se započítá při přijetí požadavku, dřív než model odpoví. Požadavek, který poté selže, se jako volání počítá také.
• Tato volání nerezervují žádné tokeny a nic neberou z vašeho zůstatku. Seznam požadavků na stránce Klíče a využití ukazuje jejich počet tokenů a hodnotu podle uvedené ceny.
• Výchozí max_tokens modelu shannon-coder-1 na těchto dvou endpointech je 65,536.
• Když nezbývají žádná volání, odpovědí je status 429, typ rate_limit_error a zpráva Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan.
• Na /v1/responses nemá shannon-coder-1 žádný limit volání: účtuje se v tokenech ze zůstatku za $8.00 za 1M, jako každý jiný model.

Ochrana proti zahlcení

Účet smí poslat 120 požadavků za minutu. To je jediný limit frekvence požadavků a je stejný na každém plánu. Slouží k zastavení zahlcení, ne ke zpomalení běžného používání.

• Minuta je pevné okno o 60 sekundách, které se otevře vaším prvním požadavkem. Když skončí, počítání začne znovu od nuly.
• Počítá se na účet, ne na klíč ani na IP adresu. Výměna klíče nové okno neotevře.
• Na 121. požadavek v rámci okna přijde odpověď se statusem 429, typem rate_limit_error a zprávou Too many requests. Retry in <N>s. N je počet sekund do konce okna, od 1 do 60.
• Ochrana proti zahlcení se kontroluje dřív než zůstatek. Požadavek, který odmítne, nic nerezervuje a nic nestojí.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Paralelní požadavky

Počet požadavků, které může mít účet současně otevřené, není nijak omezen a za paralelní odesílání žádná chyba nepřichází. Požadavky, které nemohou začít hned, čekají ve frontě a vyřizují se postupně.

• Každý požadavek se při příchodu počítá do 120 za minutu, ať už dřívější požadavky skončily, nebo ne.
• Každý požadavek drží vlastní rezervaci, dokud neskončí. Dvacet otevřených požadavků s výchozím výstupním rozpočtem drží 20 × 4,096 = 81,920 tokenů zůstatku. Pokud jsou rezervace dohromady větší než váš zůstatek, další požadavek dostane odpověď Quota exceeded, i když by dokončená volání stála méně. Menší max_tokens drží méně.
• Požadavek bez streamování nic neposílá, dokud není odpověď kompletní, proto nastavte klientovi timeout, který čekání pokryje. Stream drží spojení otevřené, i když čeká. Streamování

Limity jednoho požadavku

Chyby

Odpovědi této stránky. Na /v1/messages je stejný objekt error zabalen jako {"type": "error", "error": {…}}.