Prompt keshlash

Qanday ishlaydi

• Prefiks, ketma-ketlikda — Prompt ketma-ketlikda oqiladi: tizim prompti, vosita ta'riflari, so'ngra xabarlar. Kesh ushbu ketma-ketlikning boshidan boshlab, birinchi farqli tokengacha bo'lgan qismini moslashtiradi.
• Nima kesh hit hisoblanadi — Prompti yaqinda amalga oshirilgan so'rov bilan bir xil kontentdan boshlangan so'rov — odatda yangi xabarlar qo'shilgan bir xil suhbatning oldingi bosqichi. Mos kelgan prefiks keshdagi kirish hisoblanadi; undan keyingi hamma narsa oddiy kirish hisoblanadi.
• Granulyarlik — Kesh promptni 1,568 tokenli bloklarda saqlaydi, shuning uchun taxminan 1,500 tokendan qisqa prompt keshlanmaydi. Javobdagi keshdagi son — kirish sonining promptning keshdagi ulushiga ko'paytmasi, pastga yaxlitlangan. U blok o'lchamiga albatta karrali emas.
• Hitsiz — Boshi keshda bo'lmagan so'rov oddiy kirish narxida hisoblanadi. Keshdagi promptlar uchun umr muddati e'lon qilinmagan va hit kafolatlanmaydi: so'rov keshdan nima olganini ko'rish uchun usage'ni o'qing.
• Yoqish-o'chirish yo'q — So'rov bunga rozilik bermaydi va keshlashni o'chiradigan maydon yo'q.
• Qaysi modellar — Barcha hosted open-weight ID-lar. GET /v1/models ular uchun capabilities.prompt_caching: true va pricing.cached_input_per_million_usd qiymatlarini qaytaradi. Shannon modellar esa yagona tekis stavka asosida hisoblanadi.

Javobda kesh hitini ko'rish

Bir xil uzun system prompt bilan boshlanadigan ikkita so'rov yuboring va har birining usage'ini chop eting. Birinchi son — so'rovning kirishi, ikkinchisi — uning keshdan o'qilgan qismi.

from openai import OpenAI

client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.shannon-ai.com/v1")

handbook = open("handbook.txt").read()  # a long text that stays the same


def ask(question):
    response = client.chat.completions.create(
        model="Kimi-K3-3BIT-REAP",
        messages=[
            {"role": "system", "content": handbook},
            {"role": "user", "content": question},
        ],
    )
    usage = response.usage
    print(usage.prompt_tokens, usage.prompt_tokens_details.cached_tokens)


ask("What is the refund policy?")
ask("Who approves travel?")  # same start: read the second number

import { readFileSync } from "node:fs";
import OpenAI from "openai";

const client = new OpenAI({ apiKey: "YOUR_API_KEY", baseURL: "https://api.shannon-ai.com/v1" });

const handbook = readFileSync("handbook.txt", "utf8"); // a long text that stays the same

async function ask(question) {
  const response = await client.chat.completions.create({
    model: "Kimi-K3-3BIT-REAP",
    messages: [
      { role: "system", content: handbook },
      { role: "user", content: question },
    ],
  });
  const usage = response.usage;
  console.log(usage.prompt_tokens, usage.prompt_tokens_details.cached_tokens);
}

await ask("What is the refund policy?");
await ask("Who approves travel?"); // same start: read the second number

# handbook.txt is a long text that stays the same. jq builds the JSON body from it
# and prints the usage object of the reply. Run it twice with different questions.
jq -Rs '{
    model: "Kimi-K3-3BIT-REAP",
    messages: [
      {role: "system", content: .},
      {role: "user", content: "What is the refund policy?"}
    ]
  }' handbook.txt \
  | curl -s https://api.shannon-ai.com/v1/chat/completions \
      -H "Authorization: Bearer YOUR_API_KEY" \
      -H "Content-Type: application/json" \
      -d @- \
  | jq .usage

Narxlar

Keshdagi kirish tokenlari modelning kirish stavkasining 25% miqdorida, 1M uchun $0.001 gacha yaxlitlanadi. Keshga yozish qo'shimcha xarajat talab qilmaydi va chiqish odatdagidek hisoblanadi. Har bir ID ning kesh stavkasi "Models & pricing" jadvalida keltirilgan. Modellar va narxlar

Chaqiruv kirishi (kirish − keshdagi) × kirish narxi + keshdagi × keshdagi narx bo'yicha hisoblanadi. Keshdagi son hech qachon kirish sonidan katta bo'lmaydi.

Usage jurnali har bir chaqiruvning keshdagi kirishini sanab o'tadi. Uning hisoblangan tokenlari va narxi keshdagi narxni allaqachon o'z ichiga oladi. Keys & usage

Foydalanish maydonlari

{
  "usage": {
    "prompt_tokens": 20000,
    "completion_tokens": 812,
    "total_tokens": 20812,
    "prompt_tokens_details": {
      "cached_tokens": 18000
    },
    "completion_tokens_details": {
      "reasoning_tokens": 604
    }
  }
}

{
  "usage": {
    "input_tokens": 20000,
    "input_tokens_details": {
      "cached_tokens": 18000
    },
    "output_tokens": 812,
    "output_tokens_details": {
      "reasoning_tokens": 604
    },
    "total_tokens": 20812
  }
}

{
  "usage": {
    "input_tokens": 2000,
    "cache_read_input_tokens": 18000,
    "cache_creation_input_tokens": 0,
    "output_tokens": 812
  }
}

Oqimli javob oxirgi usage'ida bir xil maydonlarni olib keladi. Buni so'rashingiz shart emas:

Kesh hitlarini ko'paytirish

• Tizim prompti va vosita ta'riflarini chaqiruvlar orasida baytma-bayt barqaror saqlang. Vaqt belgisi yoki so'rov ID-lari kabi har bir chaqiruvga xos qiymatlarni tizim promptiga emas, balki oxirgi xabarning oxiriga joylashtiring.
• Tarixga faqat qo'shing (append). Oldingi bosqichlarni tahrirlash, qirqish yoki umumlashtirish prefiksni o'zgartiradi va birinchi o'zgarishdan keyingi hamma narsa oddiy kirish sifatida hisoblanadi.
• Chaqiruvlar orasida vositalar, xabarlar yoki kontent bloklarini qayta tartiblamang va JSON (vosita sxemalari, vosita argumentlari va natijalari) ni har safar bir xil seriyalashtiring.
• Suhbat davomida bitta model id'sida qoling va keyingi chaqiruvni oldingisidan so'ng tez yuboring.

API suhbat boshini quyidagi hollarda barqaror saqlaydi:

• Suhbatda keyinroq yuborilgan system yoki developer xabari o'z o'rnida qoladi. U promptning boshini o'zgartirmaydi, shuning uchun undan oldingi navbatlar keshda qoladi.
• Oldingi assistant navbatlaridagi tool chaqiruvlari argumentlari qiymat bo'yicha solishtiriladi. O'sha JSON'ning kalitlar tartibi va bo'sh joylari ahamiyatsiz.
• Uchala endpoint ham suhbatni bir xil o'qiydi. Boshqa endpointda davom ettirilgan suhbat, mazmuni bir xil bo'lsa, umumiy prefiksini saqlaydi.

So‘rov maydonlari

prompt_cache_key (Chat Completions va Responses) hamda Messages kontent bloklaridagi cache_control qabul qilinadi, shuning uchun mavjud mijoz kodi o‘zgarishsiz ishlaydi. Ularning hech biri shart emas: keshlash avtomatik tarzda amalga oshiriladi va ularsiz ham bir xil ishlaydi.

Tokenlarni hisoblash

Ikkita bepul endpoint, POST /v1/tokenize va POST /v1/messages/count_tokens, xostingdagi open-weight modellar uchun matn yoki butun so'rov tokenlarini yuborishdan oldin sanaydi. Ular o'z sahifasiga ega: Tokenlarni sanash