Prompt-cache

Nola funtzionatzen duen

• Prefix, ordenan — Prompta ordenan irakurtzen da: system prompt, tresna-definitzioak eta ondoren mezuak. Cacheak sekuentzia horren hasieratik lehen token desbederia duten arteko z 만큼 batzaten
• Zer kontatzen da hit gisa — Eskapide bat, bere promptak eskapide berri batekin own content hasiz denean — ohikoztatuna da elkarrizketa berri batek mezuak gehitakoa izatea. Match egin duen prefixa sarrera cachekoa da; horren ondoren dakiuna sarrera ohiko sarrera da.
• Granularitasuna — Cacheak prompt bat 1,568 tokeneko blokeetan gordetzen du, beraz 1,500 token inguru baino laburragoa den prompt bat ez da cachean gordetzen. Erantzun bateko cacheko kopurua zure sarrera-kopurua promptaren cacheko zatiarekin biderkatuta da, behera biribilduta. Ez da zertan blokearen tamainaren multiploa izan.
• Hit gabe — Hasiera cachean ez dagoen eskaera sarrera-tasa arruntean fakturatzen da. Ez da cacheko promptentzako iraupenik argitaratzen eta hit bat ez dago bermatuta: irakurri usage eskaera batek cachetik zer hartu duen ikusteko.
• Etengailurik ez — Eskaera batek ez du aktibatu behar, eta ez dago cachea desaktibatzen duen eremurik.
• Zein modeloak — Hosted open-weight id guztiek. GET /v1/models reportatzen du capabilities.prompt_caching: true eta pricing.cached_input_per_million_usd. Shannon modeloek tarifa finko bat kobratzen dute.

Ikusi cache hit bat erantzun batean

Bidali bi eskaera system prompt luze berberarekin hasten direnak, eta inprimatu bakoitzaren erabilera. Lehen zenbakia eskaeraren sarrera da, bigarrena cachetik irakurritako zatia.

from openai import OpenAI

client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.shannon-ai.com/v1")

handbook = open("handbook.txt").read()  # a long text that stays the same


def ask(question):
    response = client.chat.completions.create(
        model="Kimi-K3-3BIT-REAP",
        messages=[
            {"role": "system", "content": handbook},
            {"role": "user", "content": question},
        ],
    )
    usage = response.usage
    print(usage.prompt_tokens, usage.prompt_tokens_details.cached_tokens)


ask("What is the refund policy?")
ask("Who approves travel?")  # same start: read the second number

import { readFileSync } from "node:fs";
import OpenAI from "openai";

const client = new OpenAI({ apiKey: "YOUR_API_KEY", baseURL: "https://api.shannon-ai.com/v1" });

const handbook = readFileSync("handbook.txt", "utf8"); // a long text that stays the same

async function ask(question) {
  const response = await client.chat.completions.create({
    model: "Kimi-K3-3BIT-REAP",
    messages: [
      { role: "system", content: handbook },
      { role: "user", content: question },
    ],
  });
  const usage = response.usage;
  console.log(usage.prompt_tokens, usage.prompt_tokens_details.cached_tokens);
}

await ask("What is the refund policy?");
await ask("Who approves travel?"); // same start: read the second number

# handbook.txt is a long text that stays the same. jq builds the JSON body from it
# and prints the usage object of the reply. Run it twice with different questions.
jq -Rs '{
    model: "Kimi-K3-3BIT-REAP",
    messages: [
      {role: "system", content: .},
      {role: "user", content: "What is the refund policy?"}
    ]
  }' handbook.txt \
  | curl -s https://api.shannon-ai.com/v1/chat/completions \
      -H "Authorization: Bearer YOUR_API_KEY" \
      -H "Content-Type: application/json" \
      -d @- \
  | jq .usage

Prezioak

Sarrera cacheko tokenak modeloaren sarrera-tarifaren %25ean kobratzen dira, 1Mko $0.001ra birribiltuta. Cache-n idazteak ez dakar kostu gehigarikoik, eta irteerak ohiko moduan kobratzen da. Id bakoitzaren tarifa cachekoa 'Models & pricing' taulan dago. Modeloak eta prezioak

Dei baten sarrera honela kobratzen da: (sarrera − cachekoa) × sarrera-tasa + cachekoa × cacheko tasa. Cacheko kopurua ez da inoiz sarrera-kopurua baino handiagoa.

Erabilera-erregistroak dei bakoitzaren cacheko sarrera zerrendatzen du. Bere token fakturatuek eta kostuak cacheko tasa jada barne hartzen dute. Gakoak eta erabilera

Erabilpen-eremuak

{
  "usage": {
    "prompt_tokens": 20000,
    "completion_tokens": 812,
    "total_tokens": 20812,
    "prompt_tokens_details": {
      "cached_tokens": 18000
    },
    "completion_tokens_details": {
      "reasoning_tokens": 604
    }
  }
}

{
  "usage": {
    "input_tokens": 20000,
    "input_tokens_details": {
      "cached_tokens": 18000
    },
    "output_tokens": 812,
    "output_tokens_details": {
      "reasoning_tokens": 604
    },
    "total_tokens": 20812
  }
}

{
  "usage": {
    "input_tokens": 2000,
    "cache_read_input_tokens": 18000,
    "cache_creation_input_tokens": 0,
    "output_tokens": 812
  }
}

Stream bidezko erantzun batek eremu berberak ditu bere azken erabileran. Ez duzu eskatu behar:

Cache hit gehiago lortzeko

• Mantendu system prompt eta tresna-definitzioak byte-ra byte stable eskapideak artean. Put per-call balioak, timestampak edo request id-ak, azken mezuaren amaian jarri, ez system prompt-ean.
• Gehitu bakariz historiaren amaian. Lehen txandorak editatzea, moztu edo laburtzea prefixa aldatzen du, eta lehen aldaketaz geroa dena sarrera ohiko gisa kobratzen da.
• Ez aldatu tresnen, mezuen edo edukizun-blokuen ordena eskapideak artean, eta serializatu JSON (tresna-eskemak, argumentuak eta emaitzak) beti modu berean.
• Mantendu modelo-id bera elkarrizketa batean, eta bidali ondorengo deia aurrekoaren ondoren laster.

API-ak elkarrizketaren hasiera egonkor mantentzen du kasu hauetan:

• Elkarrizketan geroago bidalitako system edo developer mezu bat bere lekuan geratzen da. Ez du promptaren hasiera aldatzen, beraz aurreko txandak cachean geratzen dira.
• Assistant-en aurreko txanden tresna-deien argumentuak balioz alderatzen dira. JSON horren gakoen ordenak eta tarteek ez dute axola.
• Hiru endpoint-ek elkarrizketa modu berean irakurtzen dute. Beste endpoint batean jarraitutako elkarrizketak partekatutako aurrizkia mantentzen du edukia berbera denean.

Eskaera-eremuak

prompt_cache_key (Chat Completions eta Responses) eta cache_control mezuen edukizkiaren blokeetan onartzen dira, beraz bezeroaren kode existenteak aldatzez run egiten dira. Beti behar dira: cache-a automatikoa da eta berdin funtzionatzen du gabe.

Tokenak countatzea

Bi endpoint doakok, POST /v1/tokenize eta POST /v1/messages/count_tokens, testu baten edo eskaera oso baten tokenak kontatzen dituzte pisu irekiko modelo ostatatuetarako, bidali aurretik. Beren orrialdea dute: Tokenen kontaketa