Build Hour: prompt-caching

56 minutterAvanceretUdviklerOpenAIAI til virksomheder

OpenAI. OpenAIs egen Build Hour om promptcaching — 1024-token-tærsklen, kravet om prefix-stabilitet, stejle audio-caching-rabatter for realtime (tjek den aktuelle prisside for den præcise sats), time-to-first-token-effekter ved lange inputs. Nyttig, når du dimensionerer engineering-indsatsen for faktisk at ramme cachen pålideligt på dine produktionsprompts.

Bemærkning fra AI Expert

Godt under vores visningsgrænse, men det er det officielle dyk; 1024-token-tærsklen og reglerne for prefix-stabilitet afgør, om caching overhovedet virker for dig, og aktuelle satser ligger på prissiden.

Hvad du bør få ud af dette

Brug kun promptcaching, når stabile præfikser, latenstid og omkostningsadfærd matcher workloaden.

Forudsætninger

Du bør allerede sende prompts mod OpenAI API — sessionen handler om at ramme cachen pålideligt i produktion.

Senest gennemgået: 18. maj 2026

Se næste

Fortsæt ad den samme læringsvej med de næste kuraterede videoer.