配套视频

LLM应用的可观测性:追踪、成本、延迟与质量漂移——配套视频

YouTube上的大语言模型可观测性内容确实很少——现有内容大多是供应商演示,而撰写相关文章的从业者通常受众不大。我们选择了最清晰的产品操作演示和篇幅最长的从业者圆桌讨论,让你既能把相同的追踪概念视为一个可以实际点击探索的界面,也能将其视为一套经验丰富的工程师会深入争论的系统。

首选视频

9:21
10分钟了解LangSmith

LangChain

LangChain联合创始人带你浏览大语言模型追踪、项目和数据集,涵盖token成本、延迟、错误率、反馈汇总,以及深入查看单个检索步骤的Span。文章谈到“每次调用都是一个Span”以及结构化追踪为何优于打印日志时,这段视频提供了最直观的视觉对应。

您应该从中获得什么: 你将能够在LangSmith中浏览追踪、项目和数据集,并读取token成本、延迟、错误率和每个Span的详细信息。

先观看或了解: 对大语言模型API调用有基本了解;即使你不使用LangChain,也能理解其中的追踪概念。

AI Expert 注释: 这是供应商操作演示——重点关注追踪、项目和数据集概念,而不是产品推介;“每次调用都是一个Span”的理念适用于任何追踪技术栈。

打开视频页面

也值得关注

2:33:51
LLM的可观测性与评估

Hamel Husain

Hamel Husain、Eugene Yan、Brian Bischof、Harrison Chase和Shreya Shankar共同讲解追踪、日志分析、大语言模型评判,以及查看真实生产数据的工作流程。可以像听长篇播客一样耐心观看——这是YouTube上对文章“查看你的追踪”这一主张最深入的单一讲解。

您应该从中获得什么: 将追踪、评估、反馈和生产审核串联为大语言模型系统的运营循环。

先观看或了解: 具备生产环境大语言模型经验——视频默认你拥有值得分析的真实追踪和日志。

AI Expert 注释: 这段视频长达两个半小时,观看次数也很少,但我们有意保留:目前没有深度相当的追踪驱动评估长篇讲解,因此请像听长篇播客一样耐心观看。

打开视频页面