Limitler ve bakiye

Bu sayfa, bakiyenizin nelerden oluştuğunu, bir isteğin neyi ayırıp neye mal olduğunu, kaç istek gönderebileceğinizi ve tek bir isteğin karşılaşabileceği az sayıdaki sınırı açıklar.

1M token bakiyenin değeri

$5.00

günlük limit yenilenir

00:00 UTC

flood koruması, hesap başına

120 istek / dk

İstekler nasıl karşılanır

• Hız kademesi yok — İsteklerin ne kadar hızlı gelebileceğini tek bir kural sınırlar ve bu kural her hesap ve her plan için aynıdır: dakikada 120 istek. Dakika başına token için sınır yoktur.
• Ayrı API kotası yok — API, sohbetle aynı bakiyeyi harcar. Plan, bugünün limitinin büyüklüğünü belirler. İstek hızını belirlemez.
• İstediğiniz kadar hızlı — Paralel gönderilen istekler kabul edilir ve sırada bekler. Paralel oldukları için reddedilmezler.

Bakiyeniz

Bakiyeniz token cinsinden sayılır. 1,000,000 token bakiye $5.00 değerindedir ve Models & pricing sayfasındaki her fiyat bu değere göre bir orandır.

Bakiye her an iki parçanın toplamıdır.

• Bugünün plan limiti — Planınızın belirlediği token sayısı. Her gün 00:00 UTC'de yenilenir. Günün sonunda kalan bir sonraki güne devretmez.
• Satın alınan kredi — Paket olarak satın aldığınız token'lar. Kredinin süresi dolmaz ve Free dahil her planda geçerlidir.

• Harcama sırası — Her istek önce bugünün plan limitinden harcar. Satın alınan kredi yalnızca o gün limiti aşan kısım için kullanılır.
• Sohbet ve API aynı bakiyeyi paylaşır — Hesap başına tek bir bakiye vardır. Bir API anahtarı, sahibi olan hesabın bakiyesinden, sohbetle aynı fiyatlardan harcar.
• Paketler — Kredi 1,000,000 ($5.00), 2,000,000 ($10.00) ve 5,000,000 ($25.00) token'lık paketler halinde ya da 1,000,000 ile 100,000,000 token arasında seçtiğiniz bir miktar olarak, 1,000,000 başına $5.00 fiyatla satılır.

Kredi yükle Planı değiştir

Bir isteğin ayırdığı ve mal olduğu miktar

• Ayırma — Bir istek geldiğinde çıktı bütçesini bakiyenizden ayırır: /v1/chat/completions ve /v1/messages üzerinde max_tokens, /v1/responses üzerinde max_output_tokens. /v1/chat/completions ayrıca max_completion_tokens değerini de okur. Varsayılan 4,096'dır ve aralık 1 ile 65,536 arasındadır.
• Kabul — İstek yalnızca ayrılan miktar bakiyenizde kalana sığarsa kabul edilir. Sıfırdan büyük ama çıktı bütçesinden küçük bir bakiye Quota exceeded yanıtını alır. Kalanı kullanmak için daha küçük bir max_tokens gönderin.
• Kesinleştirme — Yanıt tamamlandığında ayrılan miktarın yerini gerçek ücret alır. Ücret ayrılan miktardan düşük ya da yüksek olabilir.
• İade — Hata durumuyla biten bir istek ayırdığı miktarı tamamen geri verir.

Gerçek ücret model ailesine göre değişir.

USD tutarı, bakiyenizden 1,000,000 başına $5.00 oranıyla token olarak düşülür ve tam token'a yuvarlanır.

POST /v1/tokenize veya POST /v1/messages/count_tokens ile token saymak ücretsizdir ve hiçbir şey ayırmaz. Token sayma

Bakiye ve kullanım nerede görülür

Keys & usage sayfası şu anda harcayabileceğiniz miktarı, bugünün plan limitini, satın alınan kredinizi ve son 30 günün API harcamasını gösterir. Altında anahtarınızın yaptığı her isteği listeler: zaman, uç nokta, model, önbelleğe alınmış giriş, faturalanan token ve maliyet. Keys & usage

Her yanıt ayrıca o çağrının token sayılarını içeren bir usage nesnesi taşır.

• usage modelin token sayılarını içerir. Bakiyenizden düşülen miktar yanıtta yoktur: o, Keys & usage sayfasındaki istek listesinin Faturalanan token sütunudur.
• Host edilen açık ağırlıklı bir modelle /v1/messages üzerinde input_tokens girişin önbelleğe alınmamış kısmıdır, cache_read_input_tokens önbelleğe alınmış kısımdır ve cache_creation_input_tokens her zaman 0'dır.
• /v1/chat/completions üzerindeki bir stream, usage bilgisini [DONE] öncesindeki son chunk içinde taşır. Akış

Bakiye bittiğinde

Ayrılan miktarı bakiyenize sığmayan bir istek, 429 durumu, rate_limit_error türü ve aşağıdaki mesajla yanıtlanır. Hiçbir ücret alınmaz. Bakiye sıfırdan büyük ama isteğin çıktı bütçesinden küçük olduğunda da aynı yanıt gönderilir.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

/v1/responses üzerinde error nesnesi ayrıca code ve param alanlarını da içerebilir; ikisi de null olur.

Yapabilecekleriniz:

• 00:00 UTC'de yenilenecek plan limitini bekleyin.
• Kredi yükleyin. Kredi plan limitinden sonra harcanır ve süresi dolmaz. Kredi yükle
• Daha yüksek günlük limiti olan bir plana geçin. Planı değiştir
• Bir miktar bakiye kaldıysa daha küçük bir max_tokens gönderin: o zaman ayrılan miktar daha küçük olur.

Shannon Coder çağrı limiti

/v1/chat/completions ve /v1/messages üzerindeki shannon-coder-1 token olarak değil, çağrı olarak sayılır. Her plan, 4 saatlik pencere başına belirli sayıda çağrı içerir. Bir istek bir çağrıdır.

• Pencereler 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC'de başlar. Bir pencerenin sonunda kalan çağrılar devretmez.
• Bir çağrı, model yanıt vermeden önce, istek kabul edildiğinde sayılır. Sonradan başarısız olan bir istek de çağrı olarak sayılır.
• Bu çağrılar token ayırmaz ve bakiyenizden hiçbir şey almaz. Keys & usage sayfasındaki istek listesi, token sayısını ve listelenen fiyattan değerini gösterir.
• shannon-coder-1 modelinin bu iki uç noktadaki varsayılan max_tokens değeri 65,536'dir.
• Çağrı kalmadığında yanıt, 429 durumu, rate_limit_error türü ve Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan mesajıyla gelir.
• /v1/responses üzerinde shannon-coder-1 için çağrı limiti yoktur: diğer tüm modeller gibi bakiyenizden 1M başına $8.00 üzerinden token olarak ücretlendirilir.

Flood koruması

Bir hesap dakikada 120 istek gönderebilir. İstek hızındaki tek sınır budur ve her planda aynıdır. Normal kullanımı yavaşlatmak için değil, flood'u durdurmak için vardır.

• Dakika, ilk isteğinizle açılan 60 saniyelik sabit bir penceredir. Bittiğinde sayım sıfırdan başlar.
• Sayım hesap başınadır; anahtar ya da IP adresi başına değildir. Anahtarı değiştirmek yeni bir pencere açmaz.
• Bir pencere içindeki 121. istek, 429 durumu, rate_limit_error türü ve Too many requests. Retry in <N>s. mesajıyla yanıtlanır. N, pencerenin bitmesine kalan saniye sayısıdır, 1 ile 60 arasında.
• Flood koruması bakiyeden önce denetlenir. Reddettiği bir istek hiçbir şey ayırmaz ve hiçbir maliyeti yoktur.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Paralel istekler

Bir hesabın aynı anda açık tutabileceği istek sayısında sınır yoktur ve istekleri paralel göndermek için hata yoktur. Hemen başlayamayan istekler sırada bekler ve sırayla yanıtlanır.

• Her istek, önceki istekler bitmiş olsun ya da olmasın, geldiğinde dakikadaki 120 sınırına sayılır.
• Her istek, bitene kadar kendi ayırdığı miktarı tutar. Varsayılan çıktı bütçesiyle yirmi açık istek 20 × 4,096 = 81,920 token bakiye tutar. Ayrılan miktarların toplamı bakiyenizden büyükse, biten çağrılar daha ucuza mal olacak olsa bile sonraki istek Quota exceeded yanıtını alır. Daha küçük bir max_tokens daha azını tutar.
• Streaming olmayan bir istek, yanıtı tamamlanana kadar hiçbir şey göndermez; bu yüzden istemcinize beklemeyi kapsayan bir zaman aşımı verin. Bir stream beklerken bağlantısını açık tutar. Akış

Tek bir isteğin sınırları

Hatalar

Bu sayfadaki yanıtlar. /v1/messages üzerinde aynı error nesnesi {"type": "error", "error": {…}} olarak sarılır.