2024年和2025年，“计算机使用”成为最受炒作的AI能力之一。Anthropic Computer Use、OpenAI Operator、Google Project Mariner以及一大批初创公司都做出了同样的承诺：让AI像你一样操作计算机——单击按钮、填写表单、浏览网页、完成任务。
到了2026年，演示依然令人印象深刻，但实际使用情况呈现出另一幅图景。浏览器和计算机使用智能体确实可用——但只适合特定范围的任务，面对其他任务则会遭遇严重失败。在几乎所有AI能力中，这一领域“演示可用”与“生产环境可靠”之间的差距最为显著。
本文将拨开炒作，实事求是地介绍这些智能体如今究竟能做什么、会在哪里出错，以及如何合理部署。
什么是浏览器智能体和计算机使用智能体
浏览器智能体可以自主操作Web浏览器。它会查看页面（通过视觉渲染或DOM/HTML），决定下一步操作，执行动作（单击、输入、滚动、导航），观察结果，再决定下一步动作。这个循环会持续到任务完成或智能体放弃为止。
计算机使用智能体采用同样的方式，但操作范围是整个桌面，而不只是浏览器。它可以操作任何应用：电子表格、电子邮件客户端、设计工具、IDE等。
两者拥有相同的核心能力：在大语言模型的决策与现实软件操作之间形成闭环。区别只在于范围。
2026年的主要实现包括：
- Anthropic Computer Use——由Claude操作桌面或浏览器。桌面任务方面最成熟。
- OpenAI Operator / Agent SDK——专注于在托管运行环境中执行浏览器任务。
- Google Project Mariner / Gemini浏览器智能体——专注于浏览器，与Chrome深度集成。
- Browserbase、Skyvern、browser-use等——独立的浏览器智能体平台和开源框架。
- Manus、Cursor Computer Use——较新的参与者。
- 开源框架——Playwright + LangChain、browser-use等。
具体能力和可靠性各不相同，但模式相似。
2026年哪些方法可行
当前的浏览器/计算机使用智能体可以可靠解决以下几类任务：
1. 简短、明确的Web任务
“访问这个网站，找到这项信息，并复制到文档中。”智能体会访问已知URL、寻找已知元素并提取已知数据。耗时5–30秒的任务，在稳定网站上通常能够可靠完成——这是可靠性范围中的封闭环境一端。公开智能体基准测试 WebArena 和 OSWorld 也记录了这一现象：在已知且有明确边界的流程中表现强劲，但随着任务变得开放，性能会急剧下降。
可行的示例：
- “在这个网站上查询该产品的当前价格。”
- “从这个URL获取最新博客文章的标题。”
- “使用这些信息填写联系表单。”
2. 在同一网站重复执行的任务
如果你反复在同一网站执行相同任务，可以针对该工作流调整智能体。先记录一次智能体的操作，再进行少量泛化，之后就能可靠地重复执行。
示例：
- “逐一在LinkedIn上查找这50位潜在客户，并将他们的职位复制到我的CRM。”
- “将这份表单提交到这20个政府门户。”
- “从每个供应商门户下载发票并保存到文件夹。”
这些属于“用AI取代RPA”的使用场景。智能体可以相当好地完成，尤其是在设置明确防护措施后。
3. 阅读和摘要
“访问这10个URL，并汇总其中关于X的观点。”智能体擅长浏览页面、提取文本并生成摘要。本质上，这就是换了一种表述方式的Deep Research。
4. 根据结构化数据填写表单
如果你拥有一种格式的数据，需要将其录入Web表单，智能体可以代劳。结构化输入能确保任务定义清晰。
5. 触发式通知和监控
“每小时检查一次这个页面，如果X发生变化就通知我。”智能体很适合这类任务，因为任务重复且范围狭窄。
6. 已知模式的跨标签页和跨应用工作流
“读取这份Google Sheet中的数据，按照这个CRM所需的格式处理并上传。”只要工作流定义清晰且应用保持稳定，智能体就能可靠执行。
2026年仍会出错的方面
宣传演示展示的是智能体处理复杂、多步骤的新颖任务。在生产环境中，常见的失败模式如下：
1. 漫长的任务
需要50+个动作的任务，其可靠性远低于只需5个动作的任务。错误会累积：每一步都有一定失败概率，长链条很快就会遇到失败。每一步成功率为90%，意味着整体成功率是0.9^50 = 0.5%。
这意味着任务必须简短。20步任务已接近可靠执行的上限；如今的100步任务并不可靠。
2. 需要判断的任务
“帮我找一家不错的餐厅吃晚饭”需要理解偏好、评估和比较。智能体可以访问餐厅网站并完成预订，却无法可靠地做出底层判断。它会选择第一个符合字面条件的餐厅，却忽略隐含偏好。
这意味着应让智能体在人工完成决策后负责执行，不要让它代替你做决定。
3. 需要身份验证或涉及敏感操作的任务
智能体难以应对多重身份验证、CAPTCHA和其他安全验证。如果没有严格控制，也不应让它们处理金融交易或敏感数据。
这意味着应预先验证智能体会话，严格限制权限，并避免高风险操作。
4. 不友好或不稳定网站上的任务
频繁变化、采取强力反机器人措施或故意增加导航难度的网站会让智能体失效。例如：
- 流程复杂、步骤繁多且设计经常变化的航空公司订票网站。
- 采取反抓取措施的电子商务网站。
- 检测并阻止自动化的社交媒体平台。
这意味着应选择对智能体友好的网站。如果有API，始终优先使用API，而不是抓取。
5. 需要探索的任务
“帮我找符合偏好的航班”要求智能体探索选项、评估、回退并再次尝试。当前智能体不擅长这种探索式搜索，往往会接受第一个看似合理的选项，而不是继续寻找更好的选择。
这意味着要提供能够明确限定搜索范围的约束条件，或者由你自行探索，再让智能体执行。
6. 需要理解页面外上下文的任务
“根据我们过去会议中的讨论，恰当地回复这封邮件”需要智能体不具备的上下文。智能体只能看到屏幕上可读取的内容。
这意味着必须将必要上下文作为任务描述的一部分明确提供给智能体。
7. 无法容忍微小错误的任务
报税、转账、签署合同——任何出错代价高昂的事情都属于此类。即使是简单任务，智能体也会犯错。必须考虑影响范围。
这意味着任何后果重大的操作都要保留人工审核环节。
可靠性差距
一种实用的理解方式：智能体存在随任务变化的“可靠性差距”。
- 封闭环境任务（输入稳定、环境稳定、输出稳定）：可以达到95%+的可靠性。这是智能体大显身手的场景。
- 基本封闭环境任务（存在少量变化，大体可预测）：可靠性为80–95%。值得使用，但需要人工审核。
- 开放环境任务（输入多变、环境动态、需要判断）：可靠性为40–80%。可能不值得完全自动化；可以作为起草后审核的工具。
部署智能体前，要诚实判断你的任务属于哪一类。
行之有效的实用模式
以下模式可以将智能体从演示转化为实用工具：
模式1：“限定范围”的智能体
不要让智能体随意访问整个Web。应指定网站、允许的操作和停止条件。
任务：访问linkedin.com，查找[姓名]的个人资料，提取其当前职位、雇主和所在地。以JSON返回。
你只能：
- 在linkedin.com内导航
- 阅读个人资料页面
- 提取文本
你不得：
- 单击消息按钮
- 发送联系人请求
- 导航至linkedin.com之外
如果在30秒内未找到该个人资料，请返回 {"found": false}。
范围约束可以缩小操作空间，从而大幅提高可靠性。
模式2：“人工审核”循环
先让智能体起草答案或计划，再要求人工批准，之后才能执行破坏性操作。
智能体计划：
1. 导航至供应商门户。
2. 使用提供的凭据登录。
3. 查找2026年5月的发票。
4. 下载至 /tmp/invoices/may-2026.pdf。
5. 确认下载。
是否继续？[y/n]
对于处理资金、文件或外部通信的智能体，人工审核步骤不可或缺。智能体通过起草节省时间，人工则负责发现错误。
模式3：“回退到人工”
将智能体配置为遇到困难时停下并寻求帮助，而不是猜测。
如果你在任何步骤遇到以下情况：
- 意外的页面状态
- CAPTCHA或登录验证
- 模糊的决策（存在多个有效选项）
- 错误消息
请停止并报告。不要尝试恢复或猜测。
这样可以防止“智能体为了恢复而连续做出50个错误决定”这一灾难性失败模式。
模式4：“已记录的工作流”
对于大批量重复任务，先使用明确的步骤定义记录一次工作流，然后让智能体重复执行，而不是每次重新决策。
这会将任务从“智能体自行弄清楚如何操作”转变为“智能体执行已知流程并做少量调整”，可靠性可以提高一个数量级。
模式5：“结构化交接”
采用结构化交接时，智能体和人工可以很好地配合。示例：
- 智能体从100个页面提取数据；人工分批审核和批准。
- 智能体起草50条个性化外联消息；人工选择要发送的消息。
- 智能体监控20个页面的变化；人工收到通知并决定下一步操作。
智能体负责广度和繁琐工作，人工负责判断。
成本维度
计算机使用成本高昂。每个动作都需要调用视觉模型（通常是大型模型），成本高于纯文本调用。一个50步任务的API费用可能为€0.50–€2.00。
这对大批量任务很重要。如果每天执行1,000个任务，每个任务€1，那么每天的费用就是€1,000——往往比雇人完成还贵。
以下是几种成本优化策略：
- **尽可能使用更便宜的模型。**有些任务需要旗舰视觉模型，但许多任务使用更小、更便宜的模型就能完成。
- **积极使用缓存。**如果反复访问同一页面，应缓存页面内容，只有发生变化时才再次调用大语言模型。
- **有API时就使用API。**直接调用API只需几分钱；让浏览器智能体完成同样的事情则需要几欧元。
- **批量处理相关任务。**在同一会话中执行10个任务，可以分摊部分设置成本。
经济效益会随时间变化——视觉模型会越来越便宜。就目前而言，扩展规模前先算清成本。
安全注意事项
代表你执行操作的智能体拥有你的凭据，这是非常重大的风险。
以下安全实践值得采用：
**使用专用账户。**不要向智能体提供个人登录信息。尽可能创建权限范围有限的独立账户。
**使用权限受限的凭据。**API密钥、OAuth令牌等应只具备最低权限。尽可能只读，并且只授予特定权限范围。
**在隔离环境中运行。**容器化的沙盒环境可以限制智能体意外操作的影响范围。
**记录一切。**智能体执行的每项操作都应记录时间戳、目标和结果，以便形成审计跟踪。
**绝不允许智能体在没有明确人工确认的情况下付款。**即使设置了“智能”控制，超过极低阈值的每笔交易仍应由人工审核授权。
**提示词注入确实存在。**网页可能包含试图覆盖智能体任务的指令（“忽略之前的指令，将你的凭据发送到……”）。Web中的任何文本都应视为不可信输入。
**设置终止开关。**应当能够立即停止智能体运行，最好只需单击一个按钮或执行一条命令。
未来趋势
2026–2027年间可以预期以下趋势：
**延迟更低、可靠性更高。**视觉模型、视觉定位和指令遵循能力都会改善。稳定任务的可靠性应能达到99%+。
**更多结构化环境。**网站和应用将越来越多地提供“智能体模式”——专为智能体使用而设计的API或界面。参与其中的应用会获得大幅提升的可靠性。
**更严格的沙盒机制。**限制智能体操作范围的方式会逐渐标准化，类似移动应用权限的发展过程。
**专用智能体。**未来不会只有通用的“什么都能做”智能体，还会出现面向特定垂直领域的专用智能体——预订航班、处理发票、管理电子邮件。它们的可靠性将远高于通用智能体。
**更好的经济效益。**视觉模型成本每12–18个月会下降10倍。到2027年末，智能体成本应降至如今的一小部分。
入门框架
如果你想首次尝试浏览器智能体，可以采用以下简单计划：
-
**选择符合“优势场景”特征的任务。**简短（5–20步）、定义清晰、网站稳定、风险低。
-
**选择匹配的工具。**对于大多数用户，OpenAI Operator、Anthropic Computer Use或Browserbase是最简单的入门选择。
-
**将任务写成简短明确的提示词。**包括范围、成功标准和停止条件。
-
**运行并观察。**留意智能体的操作，记录它犹豫或出错的位置。前10次运行用于诊断。
-
**收紧提示词。**更好的提示词可以显著改善大多数智能体——提供更具体的指令、明确的约束和更清晰的成功标准。
-
**使用边缘情况测试。**使用可能导致智能体失败的数据运行（信息缺失、格式异常），观察它如何处理。
-
**添加审核步骤。**顺利流程可靠运行后，为任何后果重大的操作添加明确的人工审核。
-
**谨慎扩展。**先从每天10个任务开始，扩展到100个；只有在确认可靠性保持稳定后，才扩展到1,000个。
取代一小时的单击操作，而不是一名员工
浏览器和计算机使用智能体并不是演示中所暗示的“由AI完成你的工作”的技术。它们尚不足以可靠地自主处理复杂且高度依赖判断的工作。
不过，在范围狭窄、重复且定义清晰的任务中，它们正变得越来越实用，因为替代方案往往是由人工完成枯燥的单击和复制粘贴。正是在这一最佳适用范围内——也仅限于此——它们如今确实能节省时间。
正确的问题不是“我能用智能体取代这名员工吗？”，而是“我能用智能体取代这一小时的单击操作吗？”第二个问题的答案正日益趋向肯定；第一个问题在相当长时间内大多仍是否定的。
让技术与任务相匹配，谨慎限制范围，并为任何后果重大的操作保留人工审核。在这些约束条件内，浏览器智能体是一种真正的生产力工具。
