大多数AI应用指标都很薄弱。
“80%的员工尝试过ChatGPT。”这很有意思，但不是投资回报率。
“我们举办了三场AI研讨会。”这或许有用，但不是业务影响。
“大家说自己节省了时间。”这是一项信号，却不足以指导投资。
AI投资回报率必须在工作流层面衡量：哪项任务发生了变化？这项任务多久执行一次？所需时间改变了多少？质量提高了还是下降了？引入了什么风险？新行为在新鲜感消退后能否持续？
本文为中小企业和团队提供一套实用的衡量模型。
应根据发生变化的工作流，而不是热情程度来衡量AI应用。一项每天稳定节省30分钟且质量不变的工作流，胜过一个两周后就无人使用的炫目演示。
从价值单位开始
价值单位不是“使用AI”，而是一项工作流：
- 起草客户方案。
- 对客服工单进行分流。
- 总结会议并分配行动项。
- 提取发票字段。
- 准备销售调研。
- 审查合同条款。
- 生成产品说明。
- 回答内部政策问题。
对每项工作流，都要衡量实施前后的情况。
投资回报率公式
一个简单的模型：
投资回报率 = 经常性价值 - 经常性成本 - 风险/控制成本
其中，价值可以包括：
- 节省时间。
- 提高吞吐量。
- 缩短响应时间。
- 提高质量。
- 减少错误。
- 提高记录完整度。
- 提高转化率。
- 降低客服负载。
成本包括：
- 工具许可证。
- API/推理成本。
- 实施时间。
- 审核时间。
- 维护。
- 培训。
- 监控。
- 事件处理。
风险/控制成本包括：
- 人工审核。
- 法律/安全审查。
- 数据处理控制。
- 日志记录与审计。
- 降级处理。
- 质量检查。
如果工作流需要大量审核，就应计入成本。AI输出节省20分钟，却又增加20分钟的检查时间，就没有节省时间。它仍有可能提高质量，但指标必须如实反映这一点。
基线
改变工作流之前，应记录：
| 指标 | 示例 |
|---|---|
| 工作量 | 每周120张客服工单 |
| 当前耗时 | 每张工单分流6分钟 |
| 当前质量 | 8%分流错误 |
| 当前延迟 | 首次完成分流的中位时间为2小时 |
| 当前成本 | 员工时间和工具 |
| 当前风险 | 敏感客户数据、升级错误 |
然后在试点中运行AI工作流并进行比较。
没有基线，任何数字都只能成为一种说法。
不只衡量速度，还要衡量质量
AI可以让糟糕的工作完成得更快，因此必须同时衡量质量：
| 工作流 | 质量指标 |
|---|---|
| 客服分流 | 类别正确、优先级正确、升级正确 |
| 会议摘要 | 行动项准确、负责人和日期正确 |
| 销售调研 | 来源质量、相关性、没有无依据的主张 |
| 合同审查 | 正确识别条款、风险漏检率 |
| 发票提取 | 字段准确率、异常率 |
| 知识RAG | 引用正确性、拒绝行为正确性 |
对于面向客户的工作，还应增加信任指标：投诉率、纠正率、退出率和人工升级满意度。
衡量使用次数之外的应用情况
仅看使用量还不够。应跟踪：
- 四周后的重复使用情况。
- 工作流完成率。
- 人工接管率。
- 用户对AI输出的编辑情况。
- AI输出造成的返工。
- 用户避开这项工作流的情况。
- 用户选择避开的原因。
如果员工只在受到观察时才使用工具，就不能算真正采用。
成熟度等级
使用五个等级：
| 等级 | 状态 | 证据 |
|---|---|---|
| 0 | 没有受管理的AI | 临时使用个人工具 |
| 1 | 个人生产力 | 员工使用获批工具起草和分析 |
| 2 | 可重复工作流 | 已明确命名，并配有负责人、提示词和检查机制的工作流 |
| 3 | 受治理的自动化 | 日志、评估、审核门禁、降级机制和数据规则 |
| 4 | 集成系统 | AI连接到权威记录系统，并受到监控 |
| 5 | 优化后的工作流组合 | 跨工作流管理投资回报率、风险、成本和质量 |
目标并不是让所有工作流都达到等级5。许多团队在等级2和等级3就能获得大部分价值。只有工作流的价值足够高时，才应继续提高成熟度。
工作流组合视图
使用简单的工作流组合表进行跟踪：
| 工作流 | 价值 | 风险 | 成熟度 | 决策 |
|---|---|---|---|---|
| 会议摘要 | 中 | 低 | 2 | 保留 |
| 客服分流 | 高 | 中 | 3 | 谨慎扩展 |
| 合同审查 | 高 | 高 | 1 | 在法律审核下试点 |
| 社交媒体帖子起草 | 低 | 低 | 2 | 保持轻量 |
| 客户退款智能体 | 中 | 高 | 0 | 暂不自动化 |
这样可以避免一种常见错误：扩大最令人兴奋的演示，而不是风险调整后表现最佳的工作流。
先行指标和滞后指标
先行指标：
- 有负责人的工作流数量。
- 有基线指标的工作流数量。
- 具备数据规则的工作流占比。
- 具备降级路径的工作流占比。
- 评估通过率。
- 人工审核队列的工作量。
滞后指标：
- 节省的小时数。
- 降低的成本。
- 受影响的收入。
- 错误率变化。
- 周期时间变化。
- 客户满意度变化。
- 事件数量。
先行指标说明应用体系是否健康，滞后指标说明投资是否获得回报。
90天衡量计划
第1–30天：建立基线。
- 选择5项候选工作流。
- 记录工作量、时间、质量和风险。
- 选择其中2项进行试点。
第31–60天：试点。
- 在人工审核下运行AI辅助工作流。
- 衡量时间、质量、人工接管率和用户反馈。
- 停止或修订表现不佳的试点。
第61–90天：决定是否扩大。
- 比较基线和试点结果。
- 作出决定：扩大、保持小规模、修订或取消。
- 为扩大应用的工作流增加治理控制。
不要因为员工喜欢就宣布试点成功。只有工作流指标证明值得继续，试点才算成功。
目前不要这样做
不要把发送的提示词数量当作投资回报率。
不要只统计节省的总时间，而不扣除审核与返工时间。
没有质量指标时，不要扩大工作流。
不要因为节省的时间看起来很多，就忽视风险。
不要强迫所有团队达到相同的成熟度等级。
要点总结
AI投资回报率务实而不神秘。选择一项工作流，衡量基线工作量、时间、质量和风险；在控制措施下试点；比较实施后的结果；再决定扩大、修订或停止。
从AI中获得价值的公司，不会是工具使用量最高的公司，而是能把使用转化为受治理、可衡量、可重复的工作流改进的公司。
