Όρια και υπόλοιπο

Αυτή η σελίδα εξηγεί από τι αποτελείται το υπόλοιπό σας, τι δεσμεύει και τι κοστίζει ένα αίτημα, πόσα αιτήματα μπορείτε να στείλετε και τα λίγα όρια που μπορεί να συναντήσει ένα μεμονωμένο αίτημα.

αξία 1M tokens υπολοίπου

$5.00

το ημερήσιο όριο ανανεώνεται

00:00 UTC

προστασία από υπερφόρτωση, ανά λογαριασμό

120 αιτήματα / λεπτό

Πώς εξυπηρετούνται τα αιτήματα

• Χωρίς επίπεδα ρυθμού — Ένας κανόνας περιορίζει πόσο γρήγορα μπορούν να φτάνουν τα αιτήματα και είναι ίδιος για κάθε λογαριασμό και κάθε πλάνο: 120 αιτήματα ανά λεπτό. Δεν υπάρχει όριο tokens ανά λεπτό.
• Χωρίς ξεχωριστή ποσόστωση API — Το API ξοδεύει το ίδιο υπόλοιπο με το chat. Ένα πλάνο ορίζει το μέγεθος του σημερινού ορίου. Δεν ορίζει ρυθμό αιτημάτων.
• Όσο γρήγορα θέλετε — Τα αιτήματα που στέλνονται παράλληλα γίνονται δεκτά και περιμένουν σε ουρά. Δεν απορρίπτονται επειδή είναι παράλληλα.

Το υπόλοιπό σας

Το υπόλοιπό σας μετριέται σε tokens. 1,000,000 tokens υπολοίπου αξίζουν $5.00, και κάθε τιμή στη σελίδα Μοντέλα & τιμές είναι ποσοστό αυτής της αξίας.

Σε κάθε στιγμή, το υπόλοιπο είναι το άθροισμα δύο μερών.

• Ημερήσιο όριο του πλάνου — Ένας αριθμός tokens που ορίζει το πλάνο σας. Ανανεώνεται κάθε μέρα στις 00:00 UTC. Ό,τι απομένει στο τέλος της ημέρας δεν μεταφέρεται.
• Αγορασμένο credit — Tokens που αγοράσατε ως πακέτο. Το credit δεν λήγει και λειτουργεί σε κάθε πλάνο, και στο Free.

• Σειρά κατανάλωσης — Κάθε αίτημα καταναλώνει πρώτα το σημερινό ημερήσιο όριο του πλάνου. Το αγορασμένο credit χρησιμοποιείται μόνο για ό,τι ξεπερνά το όριο εκείνης της ημέρας.
• Το chat και το API το μοιράζονται — Υπάρχει ένα υπόλοιπο ανά λογαριασμό. Ένα κλειδί API ξοδεύει από το υπόλοιπο του λογαριασμού στον οποίο ανήκει, με τις ίδιες τιμές όπως το chat.
• Πακέτα — Το credit πωλείται σε πακέτα των 1,000,000 ($5.00), 2,000,000 ($10.00) και 5,000,000 ($25.00) tokens, ή ως ποσό της επιλογής σας από 1,000,000 έως 100,000,000 tokens προς $5.00 ανά 1,000,000.

Προσθήκη πιστωτικού Αλλαγή σχεδίου

Τι δεσμεύει ένα αίτημα και τι κοστίζει

• Δέσμευση — Όταν φτάνει ένα αίτημα, δεσμεύει από το υπόλοιπό σας τον προϋπολογισμό εξόδου του: max_tokens στα /v1/chat/completions και /v1/messages, max_output_tokens στο /v1/responses. Το /v1/chat/completions διαβάζει επίσης το max_completion_tokens. Η προεπιλογή είναι 4,096 και το εύρος 1 έως 65,536.
• Αποδοχή — Το αίτημα γίνεται δεκτό μόνο αν η δέσμευση χωράει σε ό,τι απομένει από το υπόλοιπό σας. Ένα υπόλοιπο πάνω από το μηδέν αλλά μικρότερο από τον προϋπολογισμό εξόδου παίρνει την απάντηση Quota exceeded. Στείλτε μικρότερο max_tokens για να χρησιμοποιήσετε το υπόλοιπο.
• Εκκαθάριση — Όταν η απάντηση ολοκληρωθεί, η δέσμευση αντικαθίσταται από την πραγματική χρέωση. Η χρέωση μπορεί να είναι χαμηλότερη ή υψηλότερη από τη δέσμευση.
• Επιστροφή — Ένα αίτημα που τελειώνει με κατάσταση σφάλματος επιστρέφει ολόκληρη τη δέσμευσή του.

Η πραγματική χρέωση εξαρτάται από την οικογένεια του μοντέλου.

Το ποσό σε USD αφαιρείται από το υπόλοιπό σας σε tokens προς $5.00 ανά 1,000,000, στρογγυλεμένο σε ακέραιο token.

Η μέτρηση tokens με POST /v1/tokenize ή POST /v1/messages/count_tokens είναι δωρεάν και δεν δεσμεύει τίποτα. Καταμέτρηση tokens

Πού να δείτε υπόλοιπο και χρήση

Η σελίδα Κλειδιά & χρήση δείχνει όσα μπορείτε να ξοδέψετε αυτή τη στιγμή, το σημερινό ημερήσιο όριο του πλάνου, το αγορασμένο credit και τη δαπάνη API των τελευταίων 30 ημερών. Από κάτω απαριθμεί κάθε αίτημα που έκανε το κλειδί σας: ώρα, endpoint, μοντέλο, cached είσοδο, χρεωμένα tokens και κόστος. Κλειδιά & χρήση

Κάθε απάντηση φέρει επίσης ένα αντικείμενο usage με τους αριθμούς tokens εκείνης της κλήσης.

• Το usage περιέχει τους αριθμούς tokens του μοντέλου. Το ποσό που αφαιρείται από το υπόλοιπό σας δεν υπάρχει στην απάντηση: βρίσκεται στη στήλη Χρεωμένα tokens της λίστας αιτημάτων στο Κλειδιά & χρήση.
• Στο /v1/messages με φιλοξενούμενο μοντέλο ανοιχτών βαρών, το input_tokens είναι το μη cached μέρος της εισόδου, το cache_read_input_tokens είναι το cached μέρος και το cache_creation_input_tokens είναι πάντα 0.
• Ένα stream στο /v1/chat/completions φέρει το usage στο τελευταίο του chunk πριν από το [DONE]. Ροή

Όταν εξαντληθεί το υπόλοιπο

Ένα αίτημα του οποίου η δέσμευση δεν χωράει στο υπόλοιπό σας απαντάται με κατάσταση 429, τύπο rate_limit_error και το μήνυμα παρακάτω. Δεν χρεώνεται τίποτα. Η ίδια απάντηση στέλνεται όταν το υπόλοιπο είναι πάνω από το μηδέν αλλά μικρότερο από τον προϋπολογισμό εξόδου του αιτήματος.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Quota exceeded. Upgrade your plan at shannon-ai.com/plan"
  }
}

Στο /v1/responses το αντικείμενο error μπορεί να περιέχει και τα code και param, και τα δύο null.

Τι μπορείτε να κάνετε:

• Περιμένετε το επόμενο ημερήσιο όριο του πλάνου στις 00:00 UTC.
• Προσθέστε credit. Το credit καταναλώνεται μετά το ημερήσιο όριο του πλάνου και δεν λήγει. Προσθήκη πιστωτικού
• Αλλάξτε σε πλάνο με μεγαλύτερο ημερήσιο όριο. Αλλαγή σχεδίου
• Στείλτε μικρότερο max_tokens, αν απομένει κάποιο υπόλοιπο: τότε η δέσμευση είναι μικρότερη.

Όριο κλήσεων Shannon Coder

Το shannon-coder-1 στα /v1/chat/completions και /v1/messages μετριέται σε κλήσεις, όχι σε tokens. Κάθε πλάνο περιλαμβάνει έναν αριθμό κλήσεων ανά παράθυρο 4 ωρών. Ένα αίτημα είναι μία κλήση.

• Τα παράθυρα ξεκινούν στις 00:00, 04:00, 08:00, 12:00, 16:00, 20:00 UTC. Οι κλήσεις που απομένουν στο τέλος ενός παραθύρου δεν μεταφέρονται.
• Μια κλήση μετριέται όταν γίνεται δεκτό το αίτημα, πριν απαντήσει το μοντέλο. Ένα αίτημα που αποτυγχάνει στη συνέχεια μετριέται παρ' όλα αυτά ως κλήση.
• Αυτές οι κλήσεις δεν δεσμεύουν tokens και δεν αφαιρούν τίποτα από το υπόλοιπό σας. Η λίστα αιτημάτων στο Κλειδιά & χρήση δείχνει τον αριθμό tokens τους και την αξία τους στην αναγραφόμενη τιμή.
• Το προεπιλεγμένο max_tokens του shannon-coder-1 σε αυτά τα δύο endpoints είναι 65,536.
• Όταν δεν απομένουν κλήσεις, η απάντηση έχει κατάσταση 429, τύπο rate_limit_error και μήνυμα Shannon Coder call quota reached. Upgrade your plan at shannon-ai.com/plan.
• Στο /v1/responses, το shannon-coder-1 δεν έχει όριο κλήσεων: χρεώνεται σε tokens από το υπόλοιπό σας προς $8.00 ανά 1M, όπως κάθε άλλο μοντέλο.

Προστασία από υπερφόρτωση

Ένας λογαριασμός μπορεί να στείλει 120 αιτήματα ανά λεπτό. Αυτό είναι το μόνο όριο στον ρυθμό αιτημάτων και είναι ίδιο σε κάθε πλάνο. Υπάρχει για να σταματά τις πλημμύρες αιτημάτων, όχι για να επιβραδύνει την κανονική χρήση.

• Το λεπτό είναι ένα σταθερό παράθυρο 60 δευτερολέπτων που ανοίγει με το πρώτο σας αίτημα. Όταν τελειώσει, η μέτρηση ξεκινά ξανά από το μηδέν.
• Η μέτρηση γίνεται ανά λογαριασμό, όχι ανά κλειδί και όχι ανά διεύθυνση IP. Η αλλαγή του κλειδιού δεν ανοίγει νέο παράθυρο.
• Το 121ο αίτημα μέσα σε ένα παράθυρο απαντάται με κατάσταση 429, τύπο rate_limit_error και το μήνυμα Too many requests. Retry in <N>s. Το N είναι ο αριθμός δευτερολέπτων μέχρι να τελειώσει το παράθυρο, από 1 έως 60.
• Η προστασία από υπερφόρτωση ελέγχεται πριν από το υπόλοιπο. Ένα αίτημα που αρνείται δεν δεσμεύει τίποτα και δεν κοστίζει τίποτα.

{
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

{
  "type": "error",
  "error": {
    "type": "rate_limit_error",
    "message": "Too many requests. Retry in 37s."
  }
}

Παράλληλα αιτήματα

Δεν υπάρχει όριο στο πόσα αιτήματα έχει ανοιχτά ταυτόχρονα ένας λογαριασμός, ούτε σφάλμα για παράλληλα αιτήματα. Τα αιτήματα που δεν μπορούν να ξεκινήσουν αμέσως περιμένουν σε ουρά και απαντώνται με τη σειρά.

• Κάθε αίτημα προσμετράται στα 120 ανά λεπτό όταν φτάνει, ανεξάρτητα από το αν έχουν τελειώσει τα προηγούμενα αιτήματα.
• Κάθε αίτημα κρατά τη δική του δέσμευση μέχρι να τελειώσει. Είκοσι ανοιχτά αιτήματα με τον προεπιλεγμένο προϋπολογισμό εξόδου κρατούν 20 × 4,096 = 81,920 tokens υπολοίπου. Αν οι δεσμεύσεις μαζί είναι μεγαλύτερες από το υπόλοιπό σας, το επόμενο αίτημα παίρνει την απάντηση Quota exceeded, ακόμη κι αν οι ολοκληρωμένες κλήσεις θα κόστιζαν λιγότερο. Ένα μικρότερο max_tokens κρατά λιγότερα.
• Ένα αίτημα χωρίς streaming δεν στέλνει τίποτα μέχρι να ολοκληρωθεί η απάντησή του, οπότε δώστε στον client σας timeout που καλύπτει την αναμονή. Ένα stream κρατά τη σύνδεσή του ανοιχτή όσο περιμένει. Ροή

Όρια ενός μεμονωμένου αιτήματος

Σφάλματα

Οι απαντήσεις αυτής της σελίδας. Στο /v1/messages το ίδιο αντικείμενο error τυλίγεται ως {"type": "error", "error": {…}}.