32 分钟使用vLLM与PagedAttention实现高速LLM推理服务
理解为什么推理服务引擎、批处理和KV缓存内存主导着自托管推理的经济性。
高级私有／本地AI
Build Hour：提示缓存
OpenAI. 这是OpenAI官方关于提示缓存的Build Hour，内容包括1024-token阈值、前缀稳定性要求、实时音频缓存的大幅折扣（确切费率请查看当前定价页面），以及长输入对首token延迟的影响。当你评估需要投入多少工程工作，才能让生产提示稳定命中缓存时，本视频很有帮助。
AI Expert 注释
虽远低于我们的观看次数门槛，但这是官方深度讲解；1024-token阈值和前缀稳定性规则决定缓存能否真正生效，而当前费率应以定价页面为准。
您应该从中获得什么
仅在稳定前缀、延迟和成本特征符合工作负载时使用提示缓存。
先观看或了解
你应当已经在使用OpenAI API交付提示；本次课程讨论的是如何在生产中稳定命中缓存。
最后审核：2026年5月18日
继续观看
通过相同的视频学习路径，继续观看下一个精选配套视频。
深入学习
精选的外部课程，帮助您更深入地了解该主题。
Coursera · Emory UniversityGenerative AI in Marketing
Emory University Goizueta Business School faculty
The deeper, university-level counterpart to our beginner HubSpot marketing pick — Emory's business-school treatment goes past 'how to prompt' into training generative models for brand-specific output, the purchase-funnel economics of AI-generated content, and a full module of genuine skepticism about when generative AI is and isn't worth using in marketing.
高级~14 hours · self-paced (4 modules)
Coursera · IBMGenerative AI for Executives and Business Leaders
IBM AI Academy
这是生成式AI时代对高管战略问题的解答。三门短课直接面向企业领导者，无需技术背景，内容涵盖生成式AI在何处创造价值、如何负责任地治理它，以及如何把模糊的“我们应该使用AI”转化为具体且站得住脚的用例。约700条评价的综合评分为4.6分。最适合在你下一次作出AI预算决策前学习。
高级约10小时 · 3门课专项课程