Ліміти та баланс

Ця сторінка пояснює, з чого складається ваш баланс, що резервує і коштує один запит, скільки запитів можна надсилати та які кілька обмежень може зустріти окремий запит.

вартість 1M токенів балансу

$5.00

щоденний ліміт оновлюється

00:00 UTC

захист від флуду, на обліковий запис

120 запитів / хв

Як обслуговуються запити

• Жодних рівнів швидкості — Одне правило обмежує, як швидко можуть надходити запити, і воно однакове для кожного облікового запису та кожного плану: 120 запитів на хвилину. Обмеження токенів на хвилину немає.
• Жодної окремої квоти API — API витрачає той самий баланс, що й чат. План визначає розмір сьогоднішнього ліміту. Він не задає частоту запитів.
• Так швидко, як хочете — Запити, надіслані паралельно, приймаються й чекають у черзі. Їх не відхиляють за паралельність.

Ваш баланс

Ваш баланс рахується в токенах. 1,000,000 токенів балансу коштують $5.00, а кожна ціна на сторінці Models & pricing — це тариф відносно цієї вартості.

У будь-який момент баланс — це сума двох частин.

• Сьогоднішній ліміт плану — Кількість токенів, яку задає ваш план. Оновлюється щодня о 00:00 UTC. Те, що лишилося наприкінці дня, не переноситься.
• Придбані кредити — Токени, які ви купили пакетом. Кредит не спливає і діє на кожному плані, зокрема Free.

• Порядок витрат — Кожен запит спочатку витрачає сьогоднішній ліміт плану. Придбані кредити використовуються лише для того, що перевищує ліміт цього дня.
• Чат і API мають спільний баланс — На обліковий запис припадає один баланс. API-ключ витрачає баланс облікового запису, якому він належить, за тими самими цінами, що й чат.
• Пакети — Кредит продається пакетами по 1,000,000 ($5.00), 2,000,000 ($10.00) і 5,000,000 ($25.00) токенів або на суму на ваш вибір від 1,000,000 до 100,000,000 токенів за $5.00 за 1,000,000.

Поповнити кредит Змінити план

Що запит резервує і скільки коштує

• Резервування — Коли надходить запит, він резервує свій бюджет виводу з вашого балансу: max_tokens на /v1/chat/completions і /v1/messages, max_output_tokens на /v1/responses. /v1/chat/completions також читає max_completion_tokens. Значення за замовчуванням — 4,096, діапазон — від 1 до 65,536.
• Прийняття — Запит приймається, лише якщо резерв вміщується в те, що лишилося на вашому балансі. Баланс, що вищий за нуль, але менший за бюджет виводу, отримує відповідь Quota exceeded. Надішліть менше max_tokens, щоб використати залишок.
• Розрахунок — Коли відповідь завершено, резерв замінюється справжньою вартістю. Вона може бути нижчою або вищою за резерв.
• Повернення — Запит, що завершується статусом помилки, повністю повертає свій резерв.

Справжня вартість залежить від сімейства моделі.

Сума в USD списується з вашого балансу в токенах за курсом $5.00 за 1,000,000, округлена до цілого токена.

Підрахунок токенів через POST /v1/tokenize або POST /v1/messages/count_tokens безкоштовний і нічого не резервує. Підрахунок токенів

Де бачити баланс і використання

Сторінка Keys & usage показує, що ви можете витратити просто зараз, сьогоднішній ліміт плану, придбані кредити та витрати API за останні 30 днів. Нижче вона перелічує кожен запит вашого ключа: час, ендпоінт, модель, кешований вхід, тарифіковані токени та вартість. Ключі та використання

Кожна відповідь також містить об'єкт usage з кількістю токенів цього виклику.

• usage містить кількість токенів моделі. Суми, яка списується з вашого балансу, у відповіді немає: вона в колонці Billed tokens списку запитів на Keys & usage.
• На /v1/messages із хостованою open-weight моделлю input_tokens — це некешована частина входу, cache_read_input_tokens — кешована частина, а cache_creation_input_tokens завжди дорівнює 0.
• Стрім на /v1/chat/completions несе usage в останньому чанку перед [DONE]. Стримінг

Коли баланс закінчується

Запит, резерв якого не вміщується в ваш баланс, отримує відповідь зі статусом 429, типом rate_limit_error і повідомленням нижче. Нічого не списується. Така сама відповідь надсилається, коли баланс вищий за нуль, але менший за бюджет виводу запиту.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

На /v1/responses об'єкт error може також містити code і param, обидва null.

Що можна зробити:

• Зачекайте наступного ліміту плану о 00:00 UTC.
• Поповніть кредит. Кредит витрачається після ліміту плану і не спливає. Поповнити кредит
• Перейдіть на план із більшим щоденним лімітом. Змінити план
• Надішліть менше max_tokens, якщо на балансі щось лишилося: тоді резерв буде меншим.

Ліміт викликів Shannon Coder

shannon-coder-1 на /v1/chat/completions і /v1/messages рахується у викликах, а не в токенах. Кожен план включає певну кількість викликів на 4-годинне вікно. Один запит — це один виклик.

• Вікна починаються о 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC. Виклики, що лишилися наприкінці вікна, не переносяться.
• Виклик рахується, коли запит прийнято, до відповіді моделі. Запит, який згодом завершується помилкою, усе одно рахується як виклик.
• Ці виклики не резервують токенів і нічого не забирають із вашого балансу. Список запитів на Keys & usage показує їхню кількість токенів і її вартість за прейскурантною ціною.
• Значення max_tokens за замовчуванням для shannon-coder-1 на цих двох ендпоінтах — 65,536.
• Коли викликів не лишилося, відповідь має статус 429, тип rate_limit_error і повідомлення Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan.
• На /v1/responses для shannon-coder-1 немає ліміту викликів: він тарифікується в токенах із вашого балансу за $8.00 за 1M, як і будь-яка інша модель.

Захист від флуду

Обліковий запис може надсилати 120 запитів на хвилину. Це єдине обмеження частоти запитів, і воно однакове на кожному плані. Воно існує, щоб зупиняти флуд, а не уповільнювати звичайне використання.

• Хвилина — це фіксоване вікно в 60 секунд, що відкривається вашим першим запитом. Коли воно закінчується, лічильник знову починається з нуля.
• Лічильник діє на обліковий запис, а не на ключ чи IP-адресу. Заміна ключа не відкриває нового вікна.
• 121-й запит у межах вікна отримує відповідь зі статусом 429, типом rate_limit_error і повідомленням Too many requests. Retry in <N>s. N — кількість секунд до кінця вікна, від 1 до 60.
• Захист від флуду перевіряється до балансу. Запит, який він відхиляє, нічого не резервує і нічого не коштує.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Паралельні запити

Кількість одночасно відкритих запитів облікового запису не обмежена, і за паралельні запити помилки немає. Запити, які не можуть стартувати одразу, чекають у черзі й обслуговуються по черзі.

• Кожен запит зараховується до 120 на хвилину в момент надходження, незалежно від того, чи завершилися попередні запити.
• Кожен запит тримає власний резерв, доки не завершиться. Двадцять відкритих запитів зі стандартним бюджетом виводу тримають 20 × 4,096 = 81,920 токенів балансу. Якщо сума резервів більша за ваш баланс, наступний запит отримає відповідь Quota exceeded, хоча завершені виклики коштували б менше. Менший max_tokens тримає менше.
• Запит без стрімінгу нічого не надсилає, доки відповідь не буде завершена, тож задайте клієнту тайм-аут, що покриває очікування. Стрім тримає з'єднання відкритим, поки чекає. Стримінг

Обмеження окремого запиту

Помилки

Відповіді на цій сторінці. На /v1/messages той самий об'єкт error загортається як {"type": "error", "error": {…}}.