Limites e saldo

Esta página explica de que é feito o seu saldo, o que uma requisição reserva e custa, quantas requisições você pode enviar e os poucos limites que uma única requisição pode encontrar.

valor de 1M de tokens de saldo

$5.00

a cota diária é renovada

00:00 UTC

proteção contra flood, por conta

120 requisições / min

Como as requisições são atendidas

• Sem faixas de limite de taxa — Uma regra limita a rapidez com que as requisições podem chegar, e ela é a mesma para todas as contas e todos os planos: 120 requisições por minuto. Não há limite de tokens por minuto.
• Sem cota de API separada — A API consome o mesmo saldo do chat. Um plano define o tamanho da cota de hoje. Ele não define uma taxa de requisições.
• Tão rápido quanto quiser — Requisições enviadas em paralelo são aceitas e esperam em fila. Elas não são recusadas por serem paralelas.

Seu saldo

Seu saldo é contado em tokens. 1,000,000 de tokens de saldo valem $5.00, e todo preço da página Modelos e preços é uma taxa em relação a esse valor.

A qualquer momento, o saldo é a soma de duas partes.

• Cota do plano de hoje — Um número de tokens definido pelo seu plano. É renovado todo dia às 00:00 UTC. O que sobra no fim do dia não é acumulado.
• Créditos comprados — Tokens que você comprou como um pacote. O crédito não expira e vale em todos os planos, inclusive o Free.

• Ordem de consumo — Toda requisição consome primeiro a cota do plano de hoje. Os créditos comprados só são usados para o que passa da cota naquele dia.
• Chat e API compartilham o saldo — Há um saldo por conta. Uma chave de API consome o saldo da conta a que pertence, aos mesmos preços do chat.
• Pacotes — O crédito é vendido em pacotes de 1,000,000 ($5.00), 2,000,000 ($10.00) e 5,000,000 ($25.00) tokens, ou em um valor à sua escolha de 1,000,000 a 100,000,000 tokens a $5.00 por 1,000,000.

Adicionar créditos Alterar plano

O que uma requisição reserva e quanto custa

• Reservar — Quando uma requisição chega, ela reserva o seu orçamento de saída do seu saldo: max_tokens em /v1/chat/completions e /v1/messages, max_output_tokens em /v1/responses. /v1/chat/completions também lê max_completion_tokens. O padrão é 4,096 e o intervalo vai de 1 a 65,536.
• Admitir — A requisição só é aceita se a reserva couber no que resta do seu saldo. Um saldo acima de zero, mas menor que o orçamento de saída, recebe a resposta Quota exceeded. Envie um max_tokens menor para usar o que sobrou.
• Acertar — Quando a resposta termina, a reserva é substituída pela cobrança real. A cobrança pode ser menor ou maior que a reserva.
• Devolver — Uma requisição que termina com um status de erro devolve a reserva por inteiro.

A cobrança real depende da família do modelo.

O valor em USD é retirado do seu saldo em tokens a $5.00 por 1,000,000, arredondado para um token inteiro.

Contar tokens com POST /v1/tokenize ou POST /v1/messages/count_tokens é gratuito e não reserva nada. Contagem de tokens

Onde ver saldo e uso

A página Chaves e uso mostra o que você pode gastar agora, a cota do plano de hoje, seus créditos comprados e o gasto de API dos últimos 30 dias. Abaixo, ela lista todas as requisições que a sua chave fez: hora, endpoint, modelo, entrada em cache, tokens faturados e custo. Chaves e uso

Toda resposta também traz um objeto usage com as contagens de tokens daquela chamada.

• usage contém as contagens de tokens do modelo. A quantia retirada do seu saldo não está na resposta: ela é a coluna Tokens faturados da lista de requisições em Chaves e uso.
• Em /v1/messages com um modelo open-weight hospedado, input_tokens é a parte da entrada sem cache, cache_read_input_tokens é a parte em cache e cache_creation_input_tokens é sempre 0.
• Um stream em /v1/chat/completions traz usage no seu último chunk antes de [DONE]. Streaming

Quando o saldo acaba

Uma requisição cuja reserva não cabe no seu saldo é respondida com status 429, tipo rate_limit_error e a mensagem abaixo. Nada é cobrado. A mesma resposta é enviada quando o saldo está acima de zero, mas é menor que o orçamento de saída da requisição.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

Em /v1/responses, o objeto error também pode conter code e param, ambos null.

O que você pode fazer:

• Aguarde a próxima cota do plano às 00:00 UTC.
• Adicione créditos. O crédito é consumido depois da cota do plano e não expira. Adicionar créditos
• Mude para um plano com uma cota diária maior. Alterar plano
• Envie um max_tokens menor, se ainda houver algum saldo: a reserva então é menor.

Cota de chamadas do Shannon Coder

shannon-coder-1 em /v1/chat/completions e /v1/messages é contado em chamadas, não em tokens. Cada plano inclui um número de chamadas por janela de 4 horas. Uma requisição é uma chamada.

• As janelas começam às 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC. As chamadas que sobram no fim de uma janela não são acumuladas.
• Uma chamada é contada quando a requisição é aceita, antes de o modelo responder. Uma requisição que falha depois ainda conta como uma chamada.
• Essas chamadas não reservam tokens e não retiram nada do seu saldo. A lista de requisições em Chaves e uso mostra a contagem de tokens e o valor dela ao preço listado.
• O max_tokens padrão de shannon-coder-1 nestes dois endpoints é 65,536.
• Sem chamadas restantes, a resposta tem status 429, tipo rate_limit_error e mensagem Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan.
• Em /v1/responses, shannon-coder-1 não tem cota de chamadas: é cobrado em tokens do seu saldo a $8.00 por 1M, como todos os outros modelos.

Proteção contra flood

Uma conta pode enviar 120 requisições por minuto. Esse é o único limite de taxa de requisições, e é o mesmo em todos os planos. Ele existe para conter floods, não para atrapalhar o uso normal.

• O minuto é uma janela fixa de 60 segundos que abre com a sua primeira requisição. Quando ela termina, a contagem recomeça do zero.
• A contagem é por conta, não por chave nem por endereço IP. Rotacionar a chave não abre uma nova janela.
• A 121ª requisição dentro de uma janela é respondida com status 429, tipo rate_limit_error e a mensagem Too many requests. Retry in <N>s. N é o número de segundos até o fim da janela, de 1 a 60.
• A proteção contra flood é verificada antes do saldo. Uma requisição que ela recusa não reserva nada e não custa nada.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Requisições em paralelo

Não há limite para quantas requisições uma conta pode ter abertas ao mesmo tempo, nem erro por enviar requisições em paralelo. As requisições que não podem começar imediatamente esperam em fila e são respondidas em ordem.

• Cada requisição conta para as 120 por minuto quando chega, tenham ou não as requisições anteriores terminado.
• Cada requisição mantém a sua própria reserva até terminar. Vinte requisições abertas com o orçamento de saída padrão mantêm 20 × 4,096 = 81,920 tokens de saldo. Se as reservas somadas forem maiores que o seu saldo, a próxima requisição recebe a resposta Quota exceeded, mesmo que as chamadas concluídas tivessem custado menos. Um max_tokens menor mantém menos.
• Uma requisição sem streaming não envia nada até a resposta estar completa, então dê ao seu cliente um timeout que cubra a espera. Um stream mantém a conexão aberta enquanto espera. Streaming

Limites de uma única requisição

Erros

As respostas desta página. Em /v1/messages, o mesmo objeto error vem embrulhado como {"type": "error", "error": {…}}.