CachePrompt Caching
Mekanism som sparar och återanvänder delar av tidigare API-anrop för att drastiskt sänka kostnad och latens: upp till 90% billigare efter första anropet.
Prompt caching innebär att delar av ett API-anrop som är identiska med ett tidigare anrop inte behöver bearbetas igen. Modell-leverantören sparar det förbearbetade resultatet och återanvänder det.
Hur det fungerar
I en agentsession är stora delar av varje anrop identiska: systeminstruktionen, verktygsdefinitionerna, och de äldre delarna av konversationshistoriken. Bara det nya (din senaste fråga och eventuella verktygsresultat) skiljer sig.
Med caching betalar du fullt pris för det första anropet, men efterföljande anrop kostar upp till 90% mindre för den cachade delen.
Varför det spelar roll
En systeminstruktion på 15 000 tokens som skickas vid varje turn i en 20-turn konversation = 300 000 tokens input bara för instruktioner. Med caching betalar du för 15 000 + 19 × ~1 500 (cachad kostnad) istället för 20 × 15 000.
Automatiskt i moderna harnessar
Du behöver oftast inte tänka på caching. Harnessen optimerar för det automatiskt. Men det förklarar varför det första svaret i en ny session kan kännas långsammare och dyrare än efterföljande.
Fördjupning
- harness-design-principer — Caching som del av harnessens kostnadsoptimering