Limity a zostatok

Táto stránka vysvetľuje, z čoho sa skladá váš zostatok, čo jeden request rezervuje a koľko stojí, koľko requestov môžete poslať a niekoľko limitov, na ktoré môže naraziť jednotlivý request.

hodnota 1M tokenov zostatku

$5.00

denný limit sa obnovuje

00:00 UTC

ochrana pred zahltením, na účet

120 requestov / min

Ako sa requesty obsluhujú

• Žiadne cenové pásma rýchlosti — Jedno pravidlo obmedzuje, ako rýchlo môžu requesty prichádzať, a je rovnaké pre každý účet a každý plán: 120 requestov za minútu. Počet tokenov za minútu nie je obmedzený.
• Žiadna samostatná kvóta API — API míňa ten istý zostatok ako chat. Plán určuje veľkosť dnešného limitu. Neurčuje frekvenciu requestov.
• Tak rýchlo, ako chcete — Requesty poslané paralelne sa prijmú a čakajú v rade. Nie sú odmietnuté len preto, že sú paralelné.

Váš zostatok

Váš zostatok sa počíta v tokenoch. 1,000,000 tokenov zostatku má hodnotu $5.00 a každá cena na stránke Modely a ceny je sadzba voči tejto hodnote.

Zostatok je v každom okamihu súčtom dvoch častí.

• Dnešný limit plánu — Počet tokenov určený vaším plánom. Každý deň o 00:00 UTC sa obnoví. To, čo zostane na konci dňa, sa neprenáša.
• Zakúpené kredity — Tokeny, ktoré ste kúpili ako balík. Kredit neexpiruje a funguje na každom pláne vrátane Free.

• Poradie míňania — Každý request míňa najprv dnešný limit plánu. Zakúpený kredit sa použije len na to, čo v ten deň presiahne limit.
• Chat a API ho zdieľajú — Na účet pripadá jeden zostatok. API kľúč míňa zo zostatku účtu, ktorý ho vlastní, za rovnaké ceny ako chat.
• Balíky — Kredit sa predáva v balíkoch po 1,000,000 ($5.00), 2,000,000 ($10.00) a 5,000,000 ($25.00) tokenov alebo ako vami zvolená suma od 1,000,000 do 100,000,000 tokenov za $5.00 na 1,000,000.

Dobitie kreditov Zmena plánu

Čo request rezervuje a koľko stojí

• Rezervácia — Keď request príde, rezervuje si zo zostatku svoj výstupný rozpočet: max_tokens na /v1/chat/completions a /v1/messages, max_output_tokens na /v1/responses. /v1/chat/completions číta aj max_completion_tokens. Predvolená hodnota je 4,096 a rozsah je 1 až 65,536.
• Prijatie — Request sa prijme, len ak sa rezervácia zmestí do zostatku. Zostatok nad nulou, ale menší než výstupný rozpočet, dostane odpoveď Quota exceeded. Pošlite menšie max_tokens, aby ste využili zvyšok.
• Vyrovnanie — Keď je odpoveď úplná, rezervácia sa nahradí skutočným poplatkom. Poplatok môže byť nižší aj vyšší než rezervácia.
• Vrátenie — Request, ktorý skončí chybovým statusom, vráti svoju rezerváciu v plnej výške.

Skutočné účtovanie závisí od rodiny modelu.

Suma v USD sa odpočíta z vášho zostatku v tokenoch pri $5.00 na 1,000,000, zaokrúhlená na celý token.

Počítanie tokenov cez POST /v1/tokenize alebo POST /v1/messages/count_tokens je zadarmo a nič nerezervuje. Počítanie tokenov

Kde vidieť zostatok a využitie

Stránka Kľúče a využitie ukazuje, koľko môžete minúť práve teraz, dnešný limit plánu, zakúpený kredit a výdavky na API za posledných 30 dní. Pod tým uvádza každý request vášho kľúča: čas, endpoint, model, cachovaný vstup, fakturované tokeny a cenu. Kľúče a využitie

Každá odpoveď nesie aj objekt usage s počtami tokenov daného volania.

• usage obsahuje počty tokenov modelu. Suma odpočítaná zo zostatku v odpovedi nie je: je v stĺpci Fakturované tokeny v zozname requestov na stránke Kľúče a využitie.
• Na /v1/messages s hostovaným open-weight modelom je input_tokens necachovaná časť vstupu, cache_read_input_tokens je cachovaná časť a cache_creation_input_tokens je vždy 0.
• Stream na /v1/chat/completions nesie usage vo svojom poslednom chunku pred [DONE]. Streamovanie

Keď sa zostatok minie

Request, ktorého rezervácia sa nezmestí do zostatku, dostane odpoveď so statusom 429, typom rate_limit_error a správou nižšie. Nič sa neúčtuje. Rovnaká odpoveď sa pošle, keď je zostatok nad nulou, ale menší než výstupný rozpočet requestu.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

Na /v1/responses môže objekt error obsahovať aj code a param, obe null.

Čo môžete urobiť:

• Počkajte na ďalší limit plánu o 00:00 UTC.
• Dobite kredit. Kredit sa míňa po limite plánu a neexpiruje. Dobitie kreditov
• Prejdite na plán s vyšším denným limitom. Zmena plánu
• Pošlite menšie max_tokens, ak ešte nejaký zostatok zostal: rezervácia je potom menšia.

Limit volaní Shannon Coder

shannon-coder-1 na /v1/chat/completions a /v1/messages sa počíta v volaniach, nie v tokenoch. Každý plán zahŕňa určitý počet volaní na 4-hodinové okno. Jeden request je jedno volanie.

• Okná začínajú o 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC. Volania, ktoré zostanú na konci okna, sa neprenášajú.
• Volanie sa započíta, keď sa request prijme, ešte pred odpoveďou modelu. Request, ktorý následne zlyhá, sa tiež počíta ako volanie.
• Tieto volania nerezervujú žiadne tokeny a nič neberú zo zostatku. Zoznam requestov na stránke Kľúče a využitie ukazuje ich počet tokenov a hodnotu podľa uvedenej ceny.
• Predvolené max_tokens pre shannon-coder-1 na týchto dvoch endpointoch je 65,536.
• Ak nezostanú žiadne volania, odpoveď má status 429, typ rate_limit_error a správu Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan.
• Na /v1/responses nemá shannon-coder-1 limit volaní: účtuje sa v tokenoch zo zostatku za $8.00 na 1M, ako každý iný model.

Ochrana pred zahltením

Účet môže poslať 120 requestov za minútu. Je to jediný limit frekvencie requestov a je rovnaký na každom pláne. Slúži na zastavenie zahltenia, nie na spomalenie bežného používania.

• Minúta je pevné okno 60 sekúnd, ktoré sa otvorí vaším prvým requestom. Keď skončí, počet sa začne znova od nuly.
• Počet sa vedie na účet, nie na kľúč ani na IP adresu. Zmena kľúča neotvorí nové okno.
• 121. request v rámci okna dostane odpoveď so statusom 429, typom rate_limit_error a správou Too many requests. Retry in <N>s. N je počet sekúnd do konca okna, od 1 do 60.
• Ochrana pred zahltením sa kontroluje pred zostatkom. Request, ktorý odmietne, nič nerezervuje a nič nestojí.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Paralelné requesty

Počet requestov, ktoré má účet súčasne otvorené, nie je obmedzený a za paralelné posielanie requestov nie je žiadna chyba. Requesty, ktoré nemôžu začať hneď, čakajú v rade a vybavujú sa postupne.

• Každý request sa započíta do 120 za minútu v okamihu príchodu, bez ohľadu na to, či predchádzajúce requesty skončili.
• Každý request drží svoju vlastnú rezerváciu, kým neskončí. Dvadsať otvorených requestov s predvoleným výstupným rozpočtom drží 20 × 4,096 = 81,920 tokenov zostatku. Ak sú rezervácie spolu väčšie než váš zostatok, ďalší request dostane odpoveď Quota exceeded, aj keď by dokončené volania stáli menej. Menšie max_tokens drží menej.
• Request bez streamovania nepošle nič, kým nie je odpoveď úplná, preto nastavte klientovi timeout, ktorý pokryje čakanie. Stream drží spojenie otvorené počas čakania. Streamovanie

Limity jedného requestu

Chyby

Odpovede tejto stránky. Na /v1/messages je rovnaký objekt error zabalený ako {"type": "error", "error": {…}}.