Rajat ja saldo

Tällä sivulla selitetään, mistä saldosi koostuu, mitä yksi pyyntö varaa ja maksaa, kuinka monta pyyntöä saat lähettää ja ne harvat rajat, joihin yksittäinen pyyntö voi törmätä.

1M tokenin saldon arvo

$5.00

päivittäinen kiintiö uusiutuu

00:00 UTC

tulvasuoja, tiliä kohti

120 pyyntöä / min

Miten pyyntöjä palvellaan

• Ei nopeusportaita — Yksi sääntö rajoittaa, kuinka nopeasti pyyntöjä saa tulla, ja se on sama jokaiselle tilille ja jokaiselle tilaukselle: 120 pyyntöä minuutissa. Tokeneille minuuttia kohti ei ole rajaa.
• Ei erillistä API-kiintiötä — API kuluttaa samaa saldoa kuin chat. Tilaus määrittää tämän päivän kiintiön koon. Se ei määritä pyyntötahtia.
• Niin nopeasti kuin haluat — Rinnakkain lähetetyt pyynnöt hyväksytään ja ne odottavat jonossa. Niitä ei hylätä sen vuoksi, että ne ovat rinnakkaisia.

Saldosi

Saldosi lasketaan tokeneina. 1,000,000 tokenia saldoa on arvoltaan $5.00, ja jokainen Models & pricing -sivun hinta on hinta suhteessa tähän arvoon.

Saldo on milloin tahansa kahden osan summa.

• Tämän päivän kiintiö — Tilauksesi määrittämä tokenmäärä. Se uusiutuu joka päivä kello 00:00 UTC. Päivän lopussa jäljelle jäänyt osa ei siirry eteenpäin.
• Ostettu saldo — Paketteina ostamasi tokenit. Saldo ei vanhene ja toimii jokaisella tilauksella, myös Free-tilauksella.

• Kulutusjärjestys — Jokainen pyyntö kuluttaa ensin tämän päivän kiintiötä. Ostettua saldoa käytetään vain siihen, mikä ylittää päivän kiintiön.
• Chat ja API jakavat sen — Tiliä kohti on yksi saldo. API-avain kuluttaa sen tilin saldoa, joka omistaa avaimen, samoilla hinnoilla kuin chat.
• Paketit — Saldoa myydään paketteina, joiden koko on 1,000,000 ($5.00), 2,000,000 ($10.00) ja 5,000,000 ($25.00) tokenia, tai valitsemanasi määränä välillä 1,000,000–100,000,000 tokenia hintaan $5.00 per 1,000,000.

Lisää saldoa Vaihda tilausta

Mitä pyyntö varaa ja mitä se maksaa

• Varaus — Kun pyyntö saapuu, se varaa tulostebudjettinsa saldostasi: max_tokens päätepisteissä /v1/chat/completions ja /v1/messages, max_output_tokens päätepisteessä /v1/responses. Päätepiste /v1/chat/completions lukee myös max_completion_tokens. Oletus on 4,096 ja vaihteluväli 1–65,536.
• Hyväksyntä — Pyyntö hyväksytään vain, jos varaus mahtuu saldosi jäljellä olevaan osaan. Saldo, joka on yli nollan mutta pienempi kuin tulostebudjetti, saa vastauksen Quota exceeded. Lähetä pienempi max_tokens, jos haluat käyttää loput.
• Selvitys — Kun vastaus on valmis, varaus korvataan todellisella veloituksella. Veloitus voi olla varausta pienempi tai suurempi.
• Palautus — Pyyntö, joka päättyy virhetilaan, palauttaa varauksensa kokonaan.

Todellinen veloitus riippuu malliperheestä.

USD-summa vähennetään saldostasi tokeneina hintaan $5.00 per 1,000,000, pyöristettynä kokonaiseen tokeniin.

Tokenien laskenta komennoilla POST /v1/tokenize tai POST /v1/messages/count_tokens on ilmaista, eikä se varaa mitään. Tokenien laskenta

Mistä näet saldon ja käytön

Keys & usage -sivu näyttää, paljonko voit kuluttaa juuri nyt, tämän päivän kiintiön, ostetun saldosi ja viimeisen 30 päivän API-kulut. Sen alla on lista jokaisesta avaimesi tekemästä pyynnöstä: aika, päätepiste, malli, välimuistisyöte, laskutetut tokenit ja kustannus. Avaimet ja käyttö

Jokaisessa vastauksessa on myös usage-objekti, jossa on kyseisen kutsun tokenmäärät.

• usage sisältää mallin tokenmäärät. Saldostasi vähennettyä summaa ei ole vastauksessa: se on Keys & usage -sivun pyyntölistan Billed tokens -sarakkeessa.
• Päätepisteessä /v1/messages hostatulla avoimen painon mallilla input_tokens on syötteen välimuistiton osa, cache_read_input_tokens on välimuistissa ollut osa ja cache_creation_input_tokens on aina 0.
• Päätepisteen /v1/chat/completions striimin viimeisessä chunkissa ennen [DONE]-merkintää on usage. Suoratoisto

Kun saldo loppuu

Pyyntöön, jonka varaus ei mahdu saldoosi, vastataan tilalla 429, tyypillä rate_limit_error ja alla olevalla viestillä. Mitään ei veloiteta. Sama vastaus lähetetään, kun saldo on yli nollan mutta pienempi kuin pyynnön tulostebudjetti.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

Päätepisteessä /v1/responses error-objektissa voi olla myös code ja param, jotka molemmat ovat null.

Mitä voit tehdä:

• Odota seuraavaa kiintiötä kello 00:00 UTC.
• Lisää saldoa. Ostettu saldo kuluu kiintiön jälkeen eikä vanhene. Lisää saldoa
• Vaihda tilaukseen, jonka päivittäinen kiintiö on suurempi. Vaihda tilausta
• Lähetä pienempi max_tokens, jos saldoa on vielä jäljellä: silloin varaus on pienempi.

Shannon Coderin kutsukiintiö

Mallia shannon-coder-1 päätepisteissä /v1/chat/completions ja /v1/messages lasketaan kutsuina, ei tokeneina. Jokaiseen tilaukseen kuuluu tietty määrä kutsuja 4 tunnin jaksoa kohti. Yksi pyyntö on yksi kutsu.

• Jaksot alkavat kello 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC. Jakson lopussa jäljelle jääneet kutsut eivät siirry eteenpäin.
• Kutsu lasketaan, kun pyyntö hyväksytään, ennen kuin malli vastaa. Pyyntö, joka epäonnistuu sen jälkeen, lasketaan silti kutsuksi.
• Nämä kutsut eivät varaa tokeneita eivätkä vie mitään saldostasi. Keys & usage -sivun pyyntölista näyttää niiden tokenmäärän ja sen arvon listahinnalla.
• Mallin shannon-coder-1 oletus max_tokens näissä kahdessa päätepisteessä on 65,536.
• Kun kutsuja ei ole jäljellä, vastaus on tila 429, tyyppi rate_limit_error ja viesti Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan.
• Päätepisteessä /v1/responses mallilla shannon-coder-1 ei ole kutsukiintiötä: se veloitetaan tokeneina saldostasi hintaan $8.00 per 1M, kuten kaikki muutkin mallit.

Tulvasuoja

Tili saa lähettää 120 pyyntöä minuutissa. Se on ainoa pyyntötahdin raja, ja se on sama jokaisella tilauksella. Sen tarkoitus on estää tulvat, ei hidastaa tavallista käyttöä.

• Minuutti on kiinteä 60 sekunnin ikkuna, joka avautuu ensimmäisestä pyynnöstäsi. Kun se päättyy, laskenta alkaa uudelleen nollasta.
• Laskenta tehdään tiliä kohti, ei avainta eikä IP-osoitetta kohti. Avaimen vaihtaminen ei avaa uutta ikkunaa.
• Ikkunan 121. pyyntöön vastataan tilalla 429, tyypillä rate_limit_error ja viestillä Too many requests. Retry in <N>s. N on sekuntien määrä ikkunan päättymiseen, 1–60.
• Tulvasuoja tarkistetaan ennen saldoa. Pyyntö, jonka se hylkää, ei varaa mitään eikä maksa mitään.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Rinnakkaiset pyynnöt

Tilillä samanaikaisesti avoimien pyyntöjen määrälle ei ole rajaa, eikä rinnakkaisista pyynnöistä seuraa virhettä. Pyynnöt, jotka eivät voi alkaa heti, odottavat jonossa ja saavat vastauksen vuorotellen.

• Jokainen pyyntö lasketaan 120 pyynnön minuuttirajaan, kun se saapuu, riippumatta siitä, ovatko aiemmat pyynnöt valmistuneet.
• Jokainen pyyntö pitää omaa varaustaan, kunnes se päättyy. Kaksikymmentä avointa pyyntöä oletustulostebudjetilla pitää 20 × 4,096 = 81,920 tokenia saldoa. Jos varaukset yhteensä ovat suuremmat kuin saldosi, seuraava pyyntö saa vastauksen Quota exceeded, vaikka valmiit kutsut olisivat maksaneet vähemmän. Pienempi max_tokens varaa vähemmän.
• Pyyntö ilman striimausta ei lähetä mitään ennen kuin sen vastaus on valmis, joten anna asiakkaallesi aikakatkaisu, joka kattaa odotuksen. Striimi pitää yhteytensä auki odottaessaan. Suoratoisto

Yksittäisen pyynnön rajat

Virheet

Tämän sivun vastaukset. Päätepisteessä /v1/messages sama error-objekti kääritään muotoon {"type": "error", "error": {…}}.