Korlátok és egyenleg

Ez az oldal elmagyarázza, miből áll az egyenleged, mit foglal le és mibe kerül egy kérés, hány kérést küldhetsz, és milyen kevés korláttal találkozhat egyetlen kérés.

1M token egyenleg értéke

$5.00

a napi keret megújul

00:00 UTC

flood protection, fiókonként

120 kérés / perc

Hogyan szolgálja ki a rendszer a kéréseket

• Nincsenek sebességszintek — Egyetlen szabály korlátozza, milyen gyorsan érkezhetnek kérések, és ez minden fiókra és csomagra ugyanaz: percenként 120 kérés. A percenkénti tokenekre nincs korlát.
• Nincs külön API-kvóta — Az API ugyanabból az egyenlegből költ, mint a chat. A csomag a mai keret nagyságát szabja meg. A kérések gyakoriságát nem.
• Olyan gyorsan, ahogy szeretnéd — A párhuzamosan küldött kéréseket elfogadja, és sorban várnak. Nem utasítja el őket azért, mert párhuzamosak.

Az egyenleged

Az egyenleged tokenben számolódik. 1,000,000 token egyenleg értéke $5.00, és a Models & pricing oldal minden ára ehhez az értékhez viszonyított árfolyam.

Az egyenleg bármely pillanatban két rész összege.

• Mai csomagkeret — A csomagod által meghatározott tokenmennyiség. Minden nap 00:00 UTC-kor megújul. Ami a nap végén megmarad, nem viszed át.
• Vásárolt kredit — Csomagként vásárolt tokenek. A kredit nem jár le, és minden csomagon működik, a Free csomagon is.

• A felhasználás sorrendje — Minden kérés először a mai csomagkeretet használja el. A vásárolt kreditet csak az használja, ami aznap meghaladja a csomagkeretet.
• A chat és az API közösen használja — Fiókonként egy egyenleg van. Az API-kulcs annak a fióknak az egyenlegéből költ, amelyhez tartozik, ugyanazokkal az árakkal, mint a chat.
• Csomagok — A kreditet 1,000,000 ($5.00), 2,000,000 ($10.00) és 5,000,000 ($25.00) tokenes csomagokban árulják, vagy tetszőleges, 1,000,000 és 100,000,000 token közötti mennyiségben, 1,000,000 tokenenként $5.00 áron.

Kredit feltöltés Csomag módosítása

Mit foglal le egy kérés, és mibe kerül

• Foglalás — Amikor a kérés megérkezik, lefoglalja a kimeneti keretét az egyenlegedből: max_tokens a /v1/chat/completions és a /v1/messages végponton, max_output_tokens a /v1/responses végponton. A /v1/chat/completions a max_completion_tokens mezőt is olvassa. Az alapérték 4,096, a tartomány 1-től 65,536-ig terjed.
• Elfogadás — A kérést csak akkor fogadja el, ha a foglalás belefér az egyenleged megmaradt részébe. Az a nullánál nagyobb, de a kimeneti keretnél kisebb egyenleg is a Quota exceeded választ kapja. A maradék felhasználásához küldj kisebb max_tokens értéket.
• Elszámolás — Amikor a válasz teljes, a foglalást a tényleges díj váltja fel. A díj lehet alacsonyabb vagy magasabb a foglalásnál.
• Visszaadás — A hibás státusszal végződő kérés teljes egészében visszaadja a foglalását.

A tényleges díj a modellcsaládtól függ.

Az USD-összeget az egyenlegedből tokenben vonja le, 1,000,000 tokenenként $5.00 áron, egész tokenre kerekítve.

A tokenek számolása a POST /v1/tokenize vagy a POST /v1/messages/count_tokens végponttal ingyenes, és nem foglal le semmit. Tokenszámlálás

Hol látod az egyenleget és a használatot

A Keys & usage oldal megmutatja, mennyit költhetsz éppen most, a mai csomagkeretet, a vásárolt kreditedet és az elmúlt 30 nap API-költését. Alatta felsorolja a kulcsod minden kérését: idő, végpont, modell, gyorsítványos bemenet, számlázott token és költség. Keys & usage

Minden válasz tartalmaz egy usage objektumot is az adott hívás tokenszámaival.

• A usage a modell tokenszámait tartalmazza. Az egyenlegedből levont összeg nincs a válaszban: ez a Keys & usage kéréslistájának Billed tokens oszlopa.
• A /v1/messages végponton hosztolt nyílt súlyú modellnél az input_tokens a bemenet nem gyorsítványos része, a cache_read_input_tokens a gyorsítványos rész, a cache_creation_input_tokens pedig mindig 0.
• A /v1/chat/completions végponton a stream a usage mezőt az utolsó chunkban hordozza, a [DONE] előtt. Streaming

Ha elfogy az egyenleg

Az a kérés, amelynek a foglalása nem fér bele az egyenlegedbe, 429 státuszú, rate_limit_error típusú, az alábbi üzenetet hordozó választ kap. Semmi nem kerül felszámításra. Ugyanezt a választ kapod akkor is, ha az egyenleg nullánál nagyobb, de kisebb a kérés kimeneti kereténél.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

A /v1/responses végponton az error objektum code és param mezőt is tartalmazhat, mindkettő null.

Mit tehetsz:

• Várd meg a következő csomagkeretet 00:00 UTC-kor.
• Tölts fel kreditet. A kreditet a csomagkeret után használja el, és nem jár le. Kredit feltöltés
• Válts nagyobb napi kerettel rendelkező csomagra. Csomag módosítása
• Küldj kisebb max_tokens értéket, ha maradt még egyenleg: ekkor a foglalás is kisebb.

Shannon Coder híváskerete

A shannon-coder-1 a /v1/chat/completions és a /v1/messages végponton hívásban számolódik, nem tokenben. Minden csomag meghatározott számú hívást tartalmaz 4 órás ablakonként. Egy kérés egy hívás.

• Az ablakok 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC-kor indulnak. Az ablak végén megmaradt hívásokat nem viszed át.
• A hívás akkor számít, amikor a kérést elfogadja, még mielőtt a modell válaszol. Az a kérés, amely ezután hibázik, továbbra is hívásnak számít.
• Ezek a hívások nem foglalnak le tokent, és nem vonnak le semmit az egyenlegedből. A Keys & usage kéréslistája megmutatja a tokenszámukat és annak értékét a listaáron.
• A shannon-coder-1 alapértelmezett max_tokens értéke ezen a két végponton 65,536.
• Ha nincs több hívás, a válasz 429 státusz, rate_limit_error típus és ez az üzenet: Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan.
• A /v1/responses végponton a shannon-coder-1-nek nincs híváskerete: tokenben számolódik az egyenlegedből, 1M-enként $8.00 áron, mint minden más modell.

Flood protection

Egy fiók percenként 120 kérést küldhet. Ez az egyetlen korlát a kérések gyakoriságára, és minden csomagon ugyanaz. Az elárasztás megállítására való, nem a normál használat lassítására.

• A perc egy 60 másodperces fix ablak, amely az első kérésedkor nyílik. Amikor véget ér, a számolás újra nullától indul.
• A számolás fiókonként történik, nem kulcsonként és nem IP-címenként. A kulcs cseréje nem nyit új ablakot.
• Az ablakon belüli 121. kérésre 429 státusz, rate_limit_error típus és a Too many requests. Retry in <N>s. üzenet a válasz. Az N az ablak végéig hátralévő másodpercek száma, 1-től 60-ig.
• A flood protection az egyenleg előtt ellenőrzi a kérést. Az általa elutasított kérés semmit nem foglal le, és nem kerül semmibe.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Párhuzamos kérések

Nincs korlát arra, hány kérése lehet egy fióknak egyszerre nyitva, és a párhuzamos kérések küldése nem okoz hibát. Azok a kérések, amelyek nem indulhatnak azonnal, sorban várnak, és sorrendben kapnak választ.

• Minden kérés beleszámít a percenkénti 120-ba, amikor megérkezik, akár befejeződtek a korábbi kérések, akár nem.
• Minden kérés a saját foglalását tartja, amíg véget nem ér. Húsz nyitott kérés az alapértelmezett kimeneti kerettel 20 × 4,096 = 81,920 token egyenleget tart foglalva. Ha a foglalások együtt nagyobbak az egyenlegednél, a következő kérés a Quota exceeded választ kapja, noha a befejezett hívások kevesebbe kerültek volna. A kisebb max_tokens kevesebbet tart foglalva.
• A streaming nélküli kérés semmit nem küld, amíg a válasza teljes nem lesz, ezért adj a kliensednek a várakozást lefedő timeoutot. A stream nyitva tartja a kapcsolatát, amíg vár. Streaming

Egyetlen kérés korlátai

Hibák

Az oldal válaszai. A /v1/messages végponton ugyanez az error objektum {"type": "error", "error": {…}} formában van becsomagolva.