Predpomaganje promptov

Kako deluje

• Predpomag, po vrstnem redu — Prompt se bere po vrstnem redu: sistemski prompt, definicije orodij, nato sporočila. Predpomaga se ujemlja od začetka te zaporednosti do prvega tokenja, ki se razlikuje.
• Kaj velja za zadetek — Zahtevek, katerega prompt se začne z enakim vsebovim kot nedavni zahtevek — običajno prejšnji obrat istega pogovora z dodanimi novimi sporočili. Ujemani predpomag je predpomagan vhod; vse po tem je običajen vhod.
• Granularnost — Predpomnilnik hrani prompt v blokih po 1,568 tokenov, zato se prompt, krajši od približno 1,500 tokenov, ne predpomni. Število predpomnjenih v odgovoru je vaše število vhodnih, pomnoženo z deležem predpomnjenega dela prompta, zaokroženo navzdol. Ni nujno večkratnik velikosti bloka.
• Brez zadetka — Zahtevek, katerega začetka ni v predpomnilniku, se obračuna po običajni vhodni ceni. Za predpomnjene prompte ni objavljena življenjska doba in zadetek ni zagotovljen: preberite usage, da vidite, kaj je zahtevek vzel iz predpomnilnika.
• Brez stikala — Zahtevek se ne prijavi posebej in nobeno polje ne izklopi predpomnjenja.
• Kateri modeli — Vsak gostovani ID z odprtimi utežmi. GET /v1/models za njih riportira capabilities.prompt_caching: true in pricing.cached_input_per_million_usd. Shannon modeli obračunavajo eno fiksno tarifo.

Poglejte zadetek predpomnilnika v odgovoru

Pošljite dva zahtevka, ki se začneta z istim dolgim sistemskim promptom, in izpišite porabo vsakega. Prvo število je vhod zahtevka, drugo je del vhoda, prebran iz predpomnilnika.

from openai import OpenAI

client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.shannon-ai.com/v1")

handbook = open("handbook.txt").read()  # a long text that stays the same


def ask(question):
    response = client.chat.completions.create(
        model="Kimi-K3-3BIT-REAP",
        messages=[
            {"role": "system", "content": handbook},
            {"role": "user", "content": question},
        ],
    )
    usage = response.usage
    print(usage.prompt_tokens, usage.prompt_tokens_details.cached_tokens)


ask("What is the refund policy?")
ask("Who approves travel?")  # same start: read the second number

import { readFileSync } from "node:fs";
import OpenAI from "openai";

const client = new OpenAI({ apiKey: "YOUR_API_KEY", baseURL: "https://api.shannon-ai.com/v1" });

const handbook = readFileSync("handbook.txt", "utf8"); // a long text that stays the same

async function ask(question) {
  const response = await client.chat.completions.create({
    model: "Kimi-K3-3BIT-REAP",
    messages: [
      { role: "system", content: handbook },
      { role: "user", content: question },
    ],
  });
  const usage = response.usage;
  console.log(usage.prompt_tokens, usage.prompt_tokens_details.cached_tokens);
}

await ask("What is the refund policy?");
await ask("Who approves travel?"); // same start: read the second number

# handbook.txt is a long text that stays the same. jq builds the JSON body from it
# and prints the usage object of the reply. Run it twice with different questions.
jq -Rs '{
    model: "Kimi-K3-3BIT-REAP",
    messages: [
      {role: "system", content: .},
      {role: "user", content: "What is the refund policy?"}
    ]
  }' handbook.txt \
  | curl -s https://api.shannon-ai.com/v1/chat/completions \
      -H "Authorization: Bearer YOUR_API_KEY" \
      -H "Content-Type: application/json" \
      -d @- \
  | jq .usage

Cenik

Tokeni predpomaganega vhoda se obračunavajo po 25 % vhodne tarife modela, zaokroženo na $0,001 na 1M. Zapisovanje v predpomago ne stane nič dodatnega, izhod pa se obračunava kot običajno. Predpomagana tarifa za vsak ID je v tabeli Modeli in cenovnik. Modeli in cene

Vhod klica se obračuna kot (vhod − predpomnjeno) × vhodna cena + predpomnjeno × cena predpomnjenega. Število predpomnjenih nikoli ni večje od števila vhodnih.

Dnevnik porabe navaja predpomnjeni vhod vsakega klica. Obračunani tokeni in strošek že vključujejo ceno predpomnjenega. Ključi in poraba

Polja uporabe

{
  "usage": {
    "prompt_tokens": 20000,
    "completion_tokens": 812,
    "total_tokens": 20812,
    "prompt_tokens_details": {
      "cached_tokens": 18000
    },
    "completion_tokens_details": {
      "reasoning_tokens": 604
    }
  }
}

{
  "usage": {
    "input_tokens": 20000,
    "input_tokens_details": {
      "cached_tokens": 18000
    },
    "output_tokens": 812,
    "output_tokens_details": {
      "reasoning_tokens": 604
    },
    "total_tokens": 20812
  }
}

{
  "usage": {
    "input_tokens": 2000,
    "cache_read_input_tokens": 18000,
    "cache_creation_input_tokens": 0,
    "output_tokens": 812
  }
}

Pretočni odgovor v končni porabi nosi ista polja. Zanje vam ni treba zaprositi:

Kako doseči več zadetkov v predpomagi

• Poskrbite, da so sistemski prompt in definicije orodij byte-za-byte stabilni med klici. Vrednosti, ki se spreminjajo pri vsakem klicu (npr. časovni žigi ali ID-ji zahtevkov), postavite na konec zadnjega sporočila, ne v sistemski prompt.
• Z zgodovino samo dopolnjujte. Urejanje, krajšanje ali povzetje predhodnih obratov spremeni predpomag, vse po prvi spremembi pa se obračuna kot običajen vhod.
• Med klici ne spreminjajte vrstnega reda orodij, sporočil ali blokov vsebine ter JSON (sheme orodij, argumenti in rezultati) vedno serializirajte na isti način.
• Med pogovorom ostanite pri enem id-ju modela in nadaljnji klic pošljite kmalu po prejšnjem.

API ohranja začetek pogovora stabilen v teh primerih:

• Sporočilo system ali developer, poslano pozneje v pogovoru, ostane na svojem mestu. Ne spremeni začetka prompta, zato predhodni obrati ostanejo predpomnjeni.
• Argumenti klicev orodij v prejšnjih obratih pomočnika se primerjajo po vrednosti. Vrstni red ključev in presledki v tem JSON-u niso pomembni.
• Vsi trije endpointi pogovor preberejo enako. Pogovor, nadaljevan na drugem endpointu, obdrži skupni začetek, če je vsebina enaka.

Polja za zahtev

Podprta sta prompt_cache_key (za Chat Completions in Responses) ter cache_control za vsebinski blok Messages, zato obstoječa koda naročnikov deluje brez sprememb. Nobeno od tega ni obvezno: pomilgevanje je avtomatizirano in deluje enakoleto tudi brez njih.

Števanje tokenjev

Dva brezplačna endpointa, POST /v1/tokenize in POST /v1/messages/count_tokens, preštejeta tokene besedila ali celotnega zahtevka za gostovane modele z odprtimi utežmi, preden ga pošljete. Imata svojo stran: Štetje tokenov