Prompt кэшлэл

Хэрхэн ажиллах вэ

• Дараалсан prefix — Prompt-ийг дарааллын дагуу уншина: system prompt, tool definitions, дараа нь мессежүүд. Кэш нь тухайн дарааллын эхнээс эхлээд хамгийн эхний зөрүүтэй токен хүртэл таарч буй хэсгийг тооцно.
• Юуг 'hit' гэж үзэх вэ — Сүүлийн үеийн хүсэлттэй ижил агуулгаар эхэлсэн prompt-ийг хит гэж үзнэ — ихэвчлэн шинэ мессеж нэмэгдсэн нэгэн хаConversation-ий өмнөх ээлж байдаг. Таарсан prefix нь кэшлэгдсэн оролт бөгөөд үүний дараах бүх зүйл нь ердийн оролт болно.
• Нарийвчлал — Кэш prompt-ийг 1,568 токены блокоор хадгалдаг тул ойролцоогоор 1,500 токеноос богино prompt кэшлэгдэхгүй. Хариулт дахь кэшлэгдсэн тоо нь таны оролтын тоог prompt-ийн кэшлэгдсэн хувиар үржүүлээд доош бөөрөнхийлсөн утга. Энэ нь блокийн хэмжээний үржвэр байх албагүй.
• Hit-гүй үед — Эхлэл нь кэшэнд байхгүй хүсэлтийг ердийн оролтын үнээр тооцно. Кэшлэгдсэн prompt-ийн хадгалах хугацааг мэдээлдэггүй бөгөөд hit баталгаагүй: хүсэлт кэшээс юу авснаа usage-аас уншина уу.
• Унтраалга байхгүй — Хүсэлт нь идэвхжүүлэх шаардлагагүй бөгөөд кэшлэлийг унтраах талбар байхгүй.
• Аль загварууд — Бүх hosted open-weight ID-ууд. GET /v1/models хүсэлт нь capabilities.prompt_caching: true болон pricing.cached_input_per_million_usd утгыг харуулна. Shannon загварууд нэгдсэн харьцаагаар тооцогдоно.

Хариултаас кэш hit харах

Ижил урт system prompt-оор эхэлсэн хоёр хүсэлт илгээж, тус бүрийн usage-ийг хэвлэнэ үү. Эхний тоо нь хүсэлтийн оролт, хоёр дахь нь түүнээс кэшээс уншсан хэсэг.

from openai import OpenAI

client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.shannon-ai.com/v1")

handbook = open("handbook.txt").read()  # a long text that stays the same


def ask(question):
    response = client.chat.completions.create(
        model="Kimi-K3-3BIT-REAP",
        messages=[
            {"role": "system", "content": handbook},
            {"role": "user", "content": question},
        ],
    )
    usage = response.usage
    print(usage.prompt_tokens, usage.prompt_tokens_details.cached_tokens)


ask("What is the refund policy?")
ask("Who approves travel?")  # same start: read the second number

import { readFileSync } from "node:fs";
import OpenAI from "openai";

const client = new OpenAI({ apiKey: "YOUR_API_KEY", baseURL: "https://api.shannon-ai.com/v1" });

const handbook = readFileSync("handbook.txt", "utf8"); // a long text that stays the same

async function ask(question) {
  const response = await client.chat.completions.create({
    model: "Kimi-K3-3BIT-REAP",
    messages: [
      { role: "system", content: handbook },
      { role: "user", content: question },
    ],
  });
  const usage = response.usage;
  console.log(usage.prompt_tokens, usage.prompt_tokens_details.cached_tokens);
}

await ask("What is the refund policy?");
await ask("Who approves travel?"); // same start: read the second number

# handbook.txt is a long text that stays the same. jq builds the JSON body from it
# and prints the usage object of the reply. Run it twice with different questions.
jq -Rs '{
    model: "Kimi-K3-3BIT-REAP",
    messages: [
      {role: "system", content: .},
      {role: "user", content: "What is the refund policy?"}
    ]
  }' handbook.txt \
  | curl -s https://api.shannon-ai.com/v1/chat/completions \
      -H "Authorization: Bearer YOUR_API_KEY" \
      -H "Content-Type: application/json" \
      -d @- \
  | jq .usage

Үнийн тариф

Кэшлэгдсэн оролтын токенууд нь загварын оролтын тарифийн 25%-иар, 1M-д $0.001-ийг бүлбэртгэж тооцогдоно. Кэш рүү бичихэд нэмэлт төлбөргүй, гаралт нь ердийнхээр тооцогдоно. ID бүрийн кэш тариф 'Models & pricing' хүснэгтэд байна. Загвар ба үнэ

Дуудлагын оролтыг (оролт − кэшлэгдсэн) × оролтын үнэ + кэшлэгдсэн × кэшийн үнэ гэж тооцно. Кэшлэгдсэн тоо оролтын тооноос хэзээ ч их байхгүй.

Usage лог нь дуудлага бүрийн кэшлэгдсэн оролтыг жагсаана. Тооцогдсон токен болон өртөг нь кэшийн үнийг аль хэдийн агуулсан. Түлхүүр ба хэрэглээ

Ашиглалтын талбарууд

{
  "usage": {
    "prompt_tokens": 20000,
    "completion_tokens": 812,
    "total_tokens": 20812,
    "prompt_tokens_details": {
      "cached_tokens": 18000
    },
    "completion_tokens_details": {
      "reasoning_tokens": 604
    }
  }
}

{
  "usage": {
    "input_tokens": 20000,
    "input_tokens_details": {
      "cached_tokens": 18000
    },
    "output_tokens": 812,
    "output_tokens_details": {
      "reasoning_tokens": 604
    },
    "total_tokens": 20812
  }
}

{
  "usage": {
    "input_tokens": 2000,
    "cache_read_input_tokens": 18000,
    "cache_creation_input_tokens": 0,
    "output_tokens": 812
  }
}

Stream хариулт эцсийн usage-даа ижил талбаруудыг агуулна. Үүнийг хүсэх шаардлагагүй:

Кэш hit-ийг нэмэгдүүлэх

• Дуудлагуудын хооронд system prompt болон tool definitions-ийг байт-байтаар тогтвортой байлгаарай. Цаг хугацаа эсвэл request id зэрэг дуудлага бүрт өөрчлөгдөх утгуудыг system prompt-д биш, сүүлийн мессежийн төгсгөлд байршуулаарай.
• Түүхэнд зөвхөн нэмэлт (append) хийгээрэй. Өмнөх ээлжүүдийг засах, тайрах эсвэл хураанBackspace хийх нь prefix-ийг өөрчилж, эхний өөрчлөлтөөс хойшх бүх зүйл ердийн оролтын тарифаар тооцогдоно.
• Дуудлагуудын хооронд tools, мессеж эсвэл content block-уудын дарааллыг бүү өөрчилж, JSON (tool schemas, tool arguments болон results)-ийг удаа own ижилхэн хэлбэрээр сериалчлаарай.
• Нэг харилцан ярианд нэг загварын id-д үлдэж, дараагийн дуудлагыг өмнөхийнхөөс удалгүй илгээнэ үү.

API дараах тохиолдолд харилцан ярианы эхлэлийг тогтвортой байлгадаг:

• Харилцан ярианд хожим илгээсэн system эсвэл developer мессеж байрандаа үлдэнэ. Энэ нь prompt-ийн эхлэлийг өөрчлөхгүй тул өмнөх ээлжүүд кэшлэгдсэн хэвээр байна.
• Өмнөх assistant ээлж дэх tool дуудлагын аргументуудыг утгаар нь харьцуулна. Тэр JSON-ийн түлхүүрийн дараалал, хоосон зай нөлөөлөхгүй.
• Гурван endpoint харилцан яриаг ижил аргаар уншдаг. Өөр endpoint дээр үргэлжилсэн харилцан яриа агуулга нь ижил бол нийтлэг prefix-ээ хадгална.

Захиалтын талбарууд

prompt_cache_key (Chat Completions болон Responses) болон Messages-ийн агуулгын block-ууд дээрх cache_control-ыг хүлээн авдаг тул одоогийн клиент код өөрчлөлтгүй ажиллана. Эдгээр нь заавал шаардлагагүй: кэшлэх үйлдэл автоматаар явагдаж, тэдгээргүйгээр ч ижилхэн ажиллана.

Токен тоолох

Хоёр үнэгүй endpoint, POST /v1/tokenize ба POST /v1/messages/count_tokens нь hosted open-weight загваруудад текст эсвэл бүтэн хүсэлтийн токеныг илгээхээс өмнө тоолно. Тэдгээр өөрийн хуудастай: Токен тоолох