Limits und Guthaben

Diese Seite erklärt, woraus Ihr Guthaben besteht, was eine Anfrage reserviert und kostet, wie viele Anfragen Sie senden dürfen und welche wenigen Limits eine einzelne Anfrage treffen kann.

Wert von 1M Tokens Guthaben

$5.00

Tageskontingent erneuert sich

00:00 UTC

Flood-Schutz, pro Konto

120 Anfragen / Min.

Wie Anfragen bedient werden

• Keine Ratenstufen — Eine Regel begrenzt, wie schnell Anfragen eintreffen dürfen, und sie ist für jedes Konto und jeden Plan gleich: 120 Anfragen pro Minute. Es gibt kein Limit für Tokens pro Minute.
• Kein separates API-Kontingent — Die API verbraucht dasselbe Guthaben wie der Chat. Ein Plan legt die Größe des heutigen Kontingents fest. Er legt keine Anfragerate fest.
• So schnell, wie Sie möchten — Parallel gesendete Anfragen werden angenommen und warten in der Schlange. Sie werden nicht deshalb abgelehnt, weil sie parallel sind.

Ihr Guthaben

Ihr Guthaben wird in Tokens gezählt. 1,000,000 Tokens Guthaben sind $5.00 wert, und jeder Preis auf der Seite Modelle & Preise ist ein Satz gegenüber diesem Wert.

Das Guthaben ist jederzeit die Summe aus zwei Teilen.

• Heutiges Plan-Kontingent — Eine Anzahl Tokens, die Ihr Plan festlegt. Sie wird jeden Tag um 00:00 UTC erneuert. Was am Ende eines Tages übrig ist, wird nicht übertragen.
• Gekauftes Guthaben — Tokens, die Sie als Paket gekauft haben. Guthaben verfällt nicht und funktioniert bei jedem Plan, auch bei Free.

• Reihenfolge der Verwendung — Jede Anfrage verbraucht zuerst das heutige Plan-Kontingent. Gekauftes Guthaben wird nur für das verwendet, was an diesem Tag über das Kontingent hinausgeht.
• Chat und API teilen es — Es gibt ein Guthaben pro Konto. Ein API-Key verbraucht vom Guthaben des Kontos, dem er gehört, zu denselben Preisen wie der Chat.
• Pakete — Guthaben wird in Paketen von 1,000,000 ($5.00), 2,000,000 ($10.00) und 5,000,000 ($25.00) Tokens verkauft oder als Betrag Ihrer Wahl von 1,000,000 bis 100,000,000 Tokens zu $5.00 pro 1,000,000.

Guthaben aufladen Plan ändern

Was eine Anfrage reserviert und was sie kostet

• Reservieren — Wenn eine Anfrage eintrifft, reserviert sie ihr Output-Budget von Ihrem Guthaben: max_tokens bei /v1/chat/completions und /v1/messages, max_output_tokens bei /v1/responses. /v1/chat/completions liest auch max_completion_tokens. Der Standard ist 4,096 und der Bereich 1 bis 65,536.
• Annehmen — Die Anfrage wird nur angenommen, wenn die Reservierung in das passt, was von Ihrem Guthaben übrig ist. Ein Guthaben, das über null liegt, aber kleiner als das Output-Budget ist, erhält die Antwort Quota exceeded. Senden Sie ein kleineres max_tokens, um den Rest zu nutzen.
• Abrechnen — Ist die Antwort vollständig, wird die Reservierung durch die tatsächliche Berechnung ersetzt. Die Berechnung kann niedriger oder höher als die Reservierung sein.
• Zurückgeben — Eine Anfrage, die mit einem Fehlerstatus endet, gibt ihre Reservierung vollständig zurück.

Die tatsächliche Berechnung hängt von der Modellfamilie ab.

Der Betrag in USD wird zu $5.00 pro 1,000,000 in Tokens von Ihrem Guthaben abgezogen, auf einen ganzen Token gerundet.

Das Zählen von Tokens mit POST /v1/tokenize oder POST /v1/messages/count_tokens ist kostenlos und reserviert nichts. Token zählen

Wo Sie Guthaben und Nutzung sehen

Die Seite Keys & Nutzung zeigt, was Sie jetzt ausgeben können, das heutige Plan-Kontingent, Ihr gekauftes Guthaben und die API-Ausgaben der letzten 30 Tage. Darunter listet sie jede Anfrage, die Ihr Key gestellt hat: Zeit, Endpunkt, Modell, Cached Input, abgerechnete Tokens und Kosten. Keys & Nutzung

Jede Antwort enthält außerdem ein Objekt usage mit den Token-Anzahlen dieses Aufrufs.

• usage enthält die Token-Anzahlen des Modells. Der von Ihrem Guthaben abgezogene Betrag steht nicht in der Antwort: Er steht in der Spalte Abgerechnete Tokens der Anfrageliste unter Keys & Nutzung.
• Bei /v1/messages mit einem gehosteten Open-Weight-Modell ist input_tokens der nicht gecachte Teil des Inputs, cache_read_input_tokens der gecachte Teil und cache_creation_input_tokens immer 0.
• Ein Stream bei /v1/chat/completions trägt usage in seinem letzten Chunk vor [DONE]. Streaming

Wenn das Guthaben aufgebraucht ist

Eine Anfrage, deren Reservierung nicht in Ihr Guthaben passt, wird mit Status 429, Typ rate_limit_error und der folgenden Nachricht beantwortet. Es wird nichts berechnet. Dieselbe Antwort wird gesendet, wenn das Guthaben über null liegt, aber kleiner als das Output-Budget der Anfrage ist.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

Bei /v1/responses kann das Objekt error auch code und param enthalten, beide null.

Was Sie tun können:

• Warten Sie um 00:00 UTC auf das nächste Plan-Kontingent.
• Laden Sie Guthaben auf. Guthaben wird nach dem Plan-Kontingent verbraucht und verfällt nicht. Guthaben aufladen
• Wechseln Sie zu einem Plan mit größerem Tageskontingent. Plan ändern
• Senden Sie ein kleineres max_tokens, wenn noch etwas Guthaben übrig ist: Die Reservierung ist dann kleiner.

Shannon-Coder-Aufruf-Kontingent

shannon-coder-1 wird bei /v1/chat/completions und /v1/messages in Aufrufen gezählt, nicht in Tokens. Jeder Plan enthält eine Anzahl Aufrufe pro 4-Stunden-Fenster. Eine Anfrage ist ein Aufruf.

• Fenster beginnen um 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC. Aufrufe, die am Ende eines Fensters übrig sind, werden nicht übertragen.
• Ein Aufruf wird gezählt, wenn die Anfrage angenommen wird, bevor das Modell antwortet. Eine Anfrage, die danach fehlschlägt, zählt trotzdem als Aufruf.
• Diese Aufrufe reservieren keine Tokens und ziehen nichts von Ihrem Guthaben ab. Die Anfrageliste unter Keys & Nutzung zeigt ihre Token-Anzahl und deren Wert zum gelisteten Preis.
• Das Standard-max_tokens von shannon-coder-1 beträgt bei diesen beiden Endpunkten 65,536.
• Sind keine Aufrufe mehr übrig, lautet die Antwort Status 429, Typ rate_limit_error, Nachricht Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan.
• Bei /v1/responses hat shannon-coder-1 kein Aufruf-Kontingent: Es wird wie jedes andere Modell in Tokens von Ihrem Guthaben zu $8.00 pro 1M berechnet.

Flood-Schutz

Ein Konto darf 120 Anfragen pro Minute senden. Das ist das einzige Limit für die Anfragerate, und es ist bei jedem Plan gleich. Es soll Fluten stoppen, nicht die normale Nutzung bremsen.

• Die Minute ist ein festes Fenster von 60 Sekunden, das mit Ihrer ersten Anfrage beginnt. Wenn es endet, beginnt die Zählung wieder bei null.
• Gezählt wird pro Konto, nicht pro Key und nicht pro IP-Adresse. Das Rotieren des Keys öffnet kein neues Fenster.
• Die 121. Anfrage innerhalb eines Fensters wird mit Status 429, Typ rate_limit_error und der Nachricht Too many requests. Retry in <N>s. beantwortet. N ist die Anzahl Sekunden bis zum Ende des Fensters, von 1 bis 60.
• Der Flood-Schutz wird vor dem Guthaben geprüft. Eine Anfrage, die er ablehnt, reserviert nichts und kostet nichts.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Parallele Anfragen

Es gibt kein Limit dafür, wie viele Anfragen ein Konto gleichzeitig offen hat, und keinen Fehler für parallel gesendete Anfragen. Anfragen, die nicht sofort starten können, warten in der Schlange und werden der Reihe nach beantwortet.

• Jede Anfrage zählt beim Eintreffen zu den 120 pro Minute, unabhängig davon, ob frühere Anfragen beendet sind.
• Jede Anfrage hält ihre eigene Reservierung, bis sie endet. Zwanzig offene Anfragen mit dem Standard-Output-Budget halten 20 × 4,096 = 81,920 Tokens Guthaben. Sind die Reservierungen zusammen größer als Ihr Guthaben, erhält die nächste Anfrage die Antwort Quota exceeded, obwohl die beendeten Aufrufe weniger gekostet hätten. Ein kleineres max_tokens hält weniger.
• Eine Anfrage ohne Streaming sendet nichts, bis ihre Antwort vollständig ist, geben Sie Ihrem Client daher ein Timeout, das die Wartezeit abdeckt. Ein Stream hält seine Verbindung offen, während er wartet. Streaming

Limits einer einzelnen Anfrage

Fehler

Die Antworten dieser Seite. Bei /v1/messages wird dasselbe Objekt error als {"type": "error", "error": {…}} verpackt.