Лимиты и баланс

На этой странице объясняется, из чего состоит ваш баланс, что резервирует и сколько стоит один запрос, сколько запросов можно отправлять и какие немногие ограничения может встретить отдельный запрос.

стоимость 1M токенов баланса

$5.00

ежедневный лимит обновляется

00:00 UTC

защита от флуда, на аккаунт

120 запросов / мин

Как обслуживаются запросы

• Без тарифных уровней скорости — Одно правило ограничивает, как быстро могут поступать запросы, и оно одинаково для каждого аккаунта и каждого плана: 120 запросов в минуту. Ограничения на токены в минуту нет.
• Без отдельной квоты API — API расходует тот же баланс, что и чат. План задает размер лимита на сегодня. Он не задает частоту запросов.
• Так быстро, как вы хотите — Параллельно отправленные запросы принимаются и ждут в очереди. Их не отклоняют за параллельность.

Ваш баланс

Ваш баланс считается в токенах. 1,000,000 токенов баланса стоят $5.00, и каждая цена на странице «Модели и цены» — это ставка относительно этой стоимости.

В любой момент баланс — это сумма двух частей.

• Лимит плана на сегодня — Число токенов, заданное вашим планом. Обновляется каждый день в 00:00 UTC. Остаток на конец дня не переносится.
• Купленные кредиты — Токены, которые вы купили пакетом. Кредит не сгорает и работает на любом плане, включая Free.

• Порядок списания — Каждый запрос сначала расходует лимит плана на сегодня. Купленные кредиты расходуются только на то, что превышает лимит в этот день.
• Чат и API делят его — На аккаунт приходится один баланс. API-ключ списывает с баланса аккаунта, которому он принадлежит, по тем же ценам, что и чат.
• Пакеты — Кредит продается пакетами по 1,000,000 ($5.00), 2,000,000 ($10.00) и 5,000,000 ($25.00) токенов или на сумму по вашему выбору от 1,000,000 до 100,000,000 токенов по $5.00 за 1,000,000.

Пополнить кредит Сменить план

Что резервирует запрос и сколько он стоит

• Резерв — Когда приходит запрос, он резервирует на вашем балансе свой бюджет вывода: max_tokens на /v1/chat/completions и /v1/messages, max_output_tokens на /v1/responses. /v1/chat/completions также читает max_completion_tokens. Значение по умолчанию — 4,096, диапазон — от 1 до 65,536.
• Допуск — Запрос принимается, только если резерв помещается в остаток вашего баланса. Баланс, который больше нуля, но меньше бюджета вывода, получает ответ Quota exceeded. Отправьте меньший max_tokens, чтобы использовать остаток.
• Расчет — Когда ответ завершен, резерв заменяется фактическим списанием. Списание может быть меньше или больше резерва.
• Возврат — Запрос, завершившийся статусом ошибки, полностью возвращает свой резерв.

Фактическое списание зависит от семейства модели.

Сумма в USD списывается с вашего баланса в токенах по $5.00 за 1,000,000 с округлением до целого токена.

Подсчет токенов через POST /v1/tokenize или POST /v1/messages/count_tokens бесплатен и ничего не резервирует. Подсчет токенов

Где смотреть баланс и использование

Страница Keys & usage показывает, сколько вы можете потратить прямо сейчас, лимит плана на сегодня, купленные кредиты и расход API за последние 30 дней. Ниже она перечисляет каждый запрос, сделанный вашим ключом: время, эндпоинт, модель, кэшированный ввод, тарифицированные токены и стоимость. Keys & usage

Каждый ответ также содержит объект usage с числом токенов этого вызова.

• usage содержит число токенов модели. Сумма, списанная с вашего баланса, в ответ не входит: она находится в столбце Billed tokens списка запросов на Keys & usage.
• На /v1/messages с размещенной моделью с открытыми весами input_tokens — некэшированная часть ввода, cache_read_input_tokens — кэшированная часть, а cache_creation_input_tokens всегда равно 0.
• Поток на /v1/chat/completions передает usage в последнем чанке перед [DONE]. Потоковая передача

Когда баланс закончился

На запрос, резерв которого не помещается в ваш баланс, отвечают статусом 429, типом rate_limit_error и сообщением ниже. Ничего не списывается. Тот же ответ отправляется, когда баланс больше нуля, но меньше бюджета вывода запроса.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

На /v1/responses объект error может также содержать code и param, оба null.

Что можно сделать:

• Дождитесь следующего лимита плана в 00:00 UTC.
• Пополните кредит. Кредит расходуется после лимита плана и не сгорает. Пополнить кредит
• Перейдите на план с большим ежедневным лимитом. Сменить план
• Отправьте меньший max_tokens, если на балансе что-то осталось: тогда резерв будет меньше.

Лимит вызовов Shannon Coder

shannon-coder-1 на /v1/chat/completions и /v1/messages считается в вызовах, а не в токенах. Каждый план включает определенное число вызовов на 4-часовое окно. Один запрос — один вызов.

• Окна начинаются в 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC. Вызовы, оставшиеся к концу окна, не переносятся.
• Вызов засчитывается, когда запрос принят, до ответа модели. Запрос, завершившийся после этого сбоем, все равно считается вызовом.
• Эти вызовы не резервируют токены и ничего не берут с вашего баланса. Список запросов на Keys & usage показывает их число токенов и стоимость по указанной цене.
• Значение max_tokens по умолчанию для shannon-coder-1 на этих двух эндпоинтах равно 65,536.
• Когда вызовов не осталось, ответ имеет статус 429, тип rate_limit_error и сообщение Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan.
• На /v1/responses у shannon-coder-1 нет лимита вызовов: она тарифицируется в токенах с вашего баланса по $8.00 за 1M, как любая другая модель.

Защита от флуда

Аккаунт может отправлять 120 запросов в минуту. Это единственное ограничение частоты запросов, и оно одинаково на всех планах. Оно существует, чтобы останавливать флуд, а не замедлять обычное использование.

• Минута — это фиксированное окно в 60 секунд, которое открывается вашим первым запросом. Когда оно заканчивается, счет начинается с нуля.
• Счет ведется по аккаунту, а не по ключу и не по IP-адресу. Замена ключа не открывает новое окно.
• На 121-й запрос в окне отвечают статусом 429, типом rate_limit_error и сообщением Too many requests. Retry in <N>s. N — число секунд до конца окна, от 1 до 60.
• Защита от флуда проверяется раньше баланса. Отклоненный ею запрос ничего не резервирует и ничего не стоит.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Параллельные запросы

Ограничения на число одновременно открытых запросов аккаунта нет, и за параллельные запросы ошибка не возвращается. Запросы, которые не могут начаться сразу, ждут в очереди и обрабатываются по очереди.

• Каждый запрос засчитывается в 120 в минуту в момент поступления, независимо от того, завершились ли предыдущие запросы.
• Каждый запрос удерживает свой резерв до завершения. Двадцать открытых запросов с бюджетом вывода по умолчанию удерживают 20 × 4,096 = 81,920 токенов баланса. Если резервы вместе превышают ваш баланс, следующий запрос получает ответ Quota exceeded, хотя завершенные вызовы стоили бы меньше. Меньший max_tokens удерживает меньше.
• Запрос без стриминга ничего не отправляет, пока ответ не будет готов, поэтому задайте клиенту таймаут, покрывающий это ожидание. Поток держит соединение открытым, пока ждет. Потоковая передача

Ограничения отдельного запроса

Ошибки

Ответы, описанные на этой странице. На /v1/messages тот же объект error оборачивается как {"type": "error", "error": {…}}.