主题

生产级LLM应用

让LLM应用走出演示阶段,完成架构设计、发布、观测和运维。

17 项内容 (12 篇文章 · 5 个视频)

从这里开始

浏览完整内容之前,先阅读几篇推荐文章。

此主题下的更多内容

8 分钟阅读
文章

Hermes vs n8n:按任务选择(以及何时同时使用两者)

Hermes Agent 与 n8n 的决策框架:确定性工作流管道留在 n8n,边界明确的智能体工作则通过使用 Bearer 认证的 Hermes API 步骤,或独立的事件 webhook 路径处理。

中级
10 分钟阅读
文章

实验性双 DGX Spark + DeepSeek-V4-Flash + n8n + Hermes 栈

如何评估面向 DeepSeek-V4-Flash 的实验性社区双 DGX Spark 路径:用 n8n 处理确定性流程,用 Hermes 处理需要判断的流程。

高级
69 分钟
视频

智能体生态:将智能体投入生产后得到的经验

MLOps.community. Prosus的AI副总裁和一位AI工程师讲述了他们在集团旗下公司部署智能体时真正出现的问题:上线前进行提示词注入渗透测试;Jira智能体无法理解人类简写而执行了不安全的写入;通过让智能体明确展示自身假设来处理陈旧上下文;以及在降级设计中,一旦智能体增加认知负担,就将其合并或停用。这就像把文章中的失败模式登记表搬进了一场现场复盘。

高级
12 分钟阅读
文章

成本优化推理:提示缓存、路由与输出控制

基于追踪数据建立推理成本模型,优化实测成本中占比最大的部分,并证明每项改动都不会损害任务质量。

高级
13 分钟阅读
文章

2026 年的微调:以证据为先的 LoRA 和 QLoRA 实验

判断参数高效微调是否合理,治理数据,固定可复现实验,对比留出集与安全结果,并在部署前对服务性能做基准测试。

高级
12 分钟阅读
文章

设计LLM真正能够正确使用的MCP工具

我们看到的大多数MCP工具在技术上正确,在实践中却毫无用处。LLM会忽略、误用,或以无益的方式调用它们。本文介绍让LLM自然采用工具的设计原则,并给出常见失败及其修复示例。

高级
12 分钟阅读
文章

为长期运行的智能体构建记忆

长期运行的智能体需要一套责任明确的持久化设计,涵盖来源、确认、租户隔离、检索测试、保留、更正和可验证删除。

高级
10 分钟阅读
文章

多模型编排:按成本、延迟和质量进行路由

把不同任务路由到不同模型可能降低成本或延迟,但只有针对实际工作负载的评估才能说明新增复杂性是否值得。本文介绍相关模式、测量方法和失败方式。

中级
12 分钟阅读
文章

LLM 应用的可观测性:追踪、成本、延迟和质量漂移

在常规可观测性基础上,增加多步骤追踪、可归因成本、提示词与模型版本、经过评估的质量信号、隐私控制,以及根据工作负载制定的告警。

高级
14 分钟阅读
文章

提示词注入与大语言模型安全:威胁模型与纵深防御

提示词注入是长期存在的一类大语言模型安全风险,并非提示词编写失误。本文是一份面向生产环境的指南,涵盖威胁模型、数据边界、工具权限、回归测试、监控和事件响应。

高级
12 分钟阅读
文章

如何在提示词、RAG与微调之间选择(以及何时组合)

提示词、RAG和微调是让LLM适应你的问题的三大手段。它们各有适用和不适用的问题。本文提供选择框架、各自的实际成本,以及组合使用时效果突出的生产模式。

高级
9 分钟
视频

10分钟了解LangSmith

LangChain. LangChain联合创始人带你浏览大语言模型追踪、项目和数据集,涵盖token成本、延迟、错误率、反馈汇总,以及深入查看单个检索步骤的Span。文章谈到“每次调用都是一个Span”以及结构化追踪为何优于打印日志时,这段视频提供了最直观的视觉对应。

高级
154 分钟
视频

LLM的可观测性与评估

Hamel Husain. Hamel Husain、Eugene Yan、Brian Bischof、Harrison Chase和Shreya Shankar共同讲解追踪、日志分析、大语言模型评判,以及查看真实生产数据的工作流程。可以像听长篇播客一样耐心观看——这是YouTube上对文章“查看你的追踪”这一主张最深入的单一讲解。

高级
77 分钟
视频

深入解析AI提示工程

Anthropic. 四位来自研究、对齐、应用和开发者关系领域的Anthropic提示工程师深入讨论实际的日常工作:如何在压力下修改提示,如何理解指令中的“诚实”,XML脚手架何时有用、何时无用。文章的分层模型与他们描述的工作方式高度吻合;这也是以口头讲解方式理解该思维模型的最佳材料。

高级
25 分钟
视频

提示入门|Code with Claude

Anthropic. Anthropic应用AI团队围绕保险理赔提示开展实时构建:他们从一条模糊指令开始,逐步迭代为开发者真正可以发布的内容,展示文章所述系统层和开发者层的修改方式。建议先观看本视频,再重读文章中有关示例、输出结构和拒绝处理的检查清单。

高级