在表明首选选项后,要求模型“检查我的推理”,可能会使回应受到用户框架的影响。输出可能重复既有假设,或提出看似合理、实则未经检索的反对意见;这不是独立的心理评估。
使用固定的检查清单、明确的初始倾向以及外部验证,可以使该练习比开放式验证请求更易于审计。但这些方法并不能保证审计能够发现偏见或改善决策。
模型审查你的决策时并不是中立裁判。一项2024年的预印本评估了20个大语言模型中的30种已有记录的认知偏误,报告称每种偏误都至少在部分受测模型中出现过,包括框架效应与锚定效应(Malberg等,2024);这项研究只反映其测试的模型与提示,不能证明所有模型都会有相同行为。模型也可能生成从未检索到、却看似合理的反向证据。凡是准备据此采取行动的内容,都要另行核验。
六类认知偏误,每次都用同一种方式检查
使用固定的教学清单,而不是仅仅依赖开放式请求。清单使所请求的覆盖范围变得可见;但它不会强制进行正确的分析,也不会涵盖所有相关的认知过程。
| 认知偏误 | 在真实决策中的表现 | 反问 |
|---|---|---|
| 确认偏误 | 你只寻找支持该选项的理由,而不寻找它可能错误的理由 | 因为预期某些信息会反驳我,我有哪些内容根本没有去查? |
| 沉没成本 | 已花时间、金钱或努力被当作继续的理由(Arkes & Blumer, 1985) | 若我今天从零投入开始,还会选这个吗? |
| 可得性启发式 | 一个鲜明的近期例子让人觉得某件事比基础比率所支持的更可能或更重要(Tversky & Kahneman, 1974) | 这真的常见,还是只是我最容易想起的例子? |
| 现状偏误 | 当前状态被默认为理所当然,而改变现状所需的证据门槛高于维持现状 | 如果这两个选项今天对我来说都是新的,只看证据,哪个更好? |
| 框架效应 | 同样事实,被描述为收益 vs 损失,产生不同偏好(Tversky & Kahneman, 1981) | 若我用相反框架重述该选项——成本而非节省、风险而非机会——我仍会偏好它吗? |
| 基础比率忽视 | 一个具体而有吸引力的故事,权重超过其所属的一般统计规律 | 在考虑这个具体故事之前,这类结果的基础比率是多少? |
这是一套教学用清单,并未涵盖所有认知偏误,也不是经过临床验证的诊断工具。它只适合用于结构化反思日常、影响较小的决策,不得用来给人贴上“有偏误”的标签,也不得用于评估决策能力或心理状态。
步骤1:审计前书面陈述倾向
打开聊天前,先写下:
- 你当前倾向的选项。
- 自何时起如此倾向。
- 哪些条件一旦成立,会让你改变主意。
这一步会明确记录初始偏好,而不是让模型从语气和问题框架中猜测。你可以随后把这份记录与审查结果比较,但记录本身并不能防止锚定效应或确认偏误。
步骤2:用固定清单检查,并要求提供证据
弱提示:
我在考虑提拔候选人A而非候选人B。这是好决定吗?
此提示把你的框架(“提拔”一词、姓名的排列顺序)直接交给模型,并要求它发表意见。根据模型与上下文,回答可能重复该框架、反对它,或添加泛泛的保留意见;这些结果都不构成证据审计。
更强的提示:
我已决定倾向 [选项]。不要告诉我这个决定好不好。
严格对照这六类认知偏误审查我的推理:确认偏误、沉没成本、可得性启发式、
现状偏误、框架效应、基础比率忽视。
对每一种:
1. 引用我推理中可能适用的具体部分。
2. 说明因它我尚未检查的证据。
3. 提出一条若为真会改变我决定的反向证据,并明确说明:这是我需要另行核验的内容,
还是你生成的一个看似合理的示例。
不要推荐另一个选项。不要为了显得平衡而淡化发现的问题。
示例输出(节选),对应继续使用现有供应商而不是更换供应商的决定:
沉没成本:引用的推理为:“我们已经在这项集成上投入了一年。” 已经发生的支出属于沉没成本,但这项集成或由此形成的能力,仍会影响未来更换供应商时的迁移、维护、再培训和机会成本。尚未核验的证据:一份前瞻性比较,把过去的支出与未来继续使用或更换供应商的现金流、风险和收益分开。需要核验的反向证据:取得真实的迁移成本和运营成本估算,而不是把已经投入的工作量当成决定性理由。
现状偏误:当前供应商被视为默认选项,只有更换时才需要给出理由,而不是从零开始评估两个选项。需要核验的反向证据:假设面对的是两个全新的供应商,重新制作一份比较表。
框架效应:[标记出一个决策被表述为“避免切换的风险”而非“留在原处的机会成本”的句子——相同事实,不同框架,可能导致不同偏好。这是生成的框架标记示例,而非针对您具体情况的已验证事实。]
注意,模型明确区分了哪些反向证据需要外部核验,哪些只是生成的示例。应要求它作出这种区分,以免生成的情境被误认为检索到的事实。
要求模型在每项发现中区分“需外部核验的证据”与“模型生成的示例推理”。若它没有主动这样做,就增加第四条指令:“将每条反向证据标为 [verify] 或 [illustrative]。”默认把未标注的输出视为示例,并在据此改变任何决定前自行核验。
步骤3:拍板前收集反向证据
对于每个重要的认知偏误提示,应收集相关的反向证据,而不是接受模型给出的看似合理版本。外部核验使这套流程不同于纯粹由模型生成的批评,但它仍不能保证证据完整或解释正确。
短表效果好:
| 标出的认知偏误 | 所需反向证据 | 已核验? | 改变决定? |
|---|---|---|---|
| 沉没成本 | 两家供应商的实际迁移成本估算 | 是,已取得报价 | 否,成本低于原先假定,但金额仍不可忽视 |
| 现状 | 从零开始制作的比较表 | 是 | 略有改变,现有供应商在五项标准中仍有两项领先 |
| 框架 | 用相反框架重述决定,再次检查偏好 | 是 | 否,两种框架下偏好不变 |
检查相关反向证据后,如果偏好不变,这份记录会比最初的倾向更明确,但仍不一定正确或完整。如果偏好发生变化,应记录是哪项证据改变了决定;没有对照比较,就不要把改进归功于清单本身。
审计不适用于什么
这套流程旨在让假设和缺失的证据更明显;本文并未证明它能改善某项具体决策。它不能替代领域专业知识,也不应为本来需要专业人士参与的决定制造严谨假象。涉及重大法律、医疗或财务事项时,应由合格专业人士处理,认知偏误审查最多只能作为前期准备,不能取而代之。压力下的决策卫生讨论了时间压力或情绪状态需要采用不同边界的相关情况。
请勿用这项练习替代心理健康评估、危机支持或人身安全保障,也不要用它处理在胁迫或虐待下作出的决定。如果恐惧、躁狂、严重抑郁、自杀倾向、醉酒或药物影响,或其他急性状况可能损害判断,请暂停AI练习,并联系适当的持证专业人士或紧急服务。模型提出的论点不能构成决策能力评估。
它也不能用来外包责任。若使用这项审查,记录应表明有具体负责人检查了标出的认知偏误、核验了反向证据并作出决定,而不是写成“AI确认不存在偏误”,因为这属于范畴错误。模型没有在你的推理中发现偏误,并不能证明偏误不存在;这可能只是因为审查提示不够具有质疑性,或模型在评估时也带有与你相同的偏误。
再做一次独立核查
一次模型运行会把模型自身的错误叠加到你的错误之上,因此在高风险情况下,应让一位不知道你初始偏好的同事比较这些输出;如果事项本身需要专业判断,则交给合格的领域专家。开启新的模型对话可能减少对话锚定,但新对话并不是独立专家,也可能重复相互关联的错误。应根据证据核查一致之处和分歧之处;出现分歧本身,并不说明两个选项势均力敌。如何让AI与你意见相左介绍的是一种引出反方论点的方法,而不是证明审查具有独立性。
审计无法证明什么
模型并不是能够无偏审查你推理的审计员;它是另一位参与者,也有已被记录的倾向,会出现同样的框架效应、可得性启发式偏误和锚定,而这些正是它受命在你身上检查的问题。把每个标出的认知偏误视为待核验的线索,把每条反向证据视为待检查的主张,并把每个“未发现偏误”的结果视为尚无定论,而不是已经排除问题。
这项审查的预期价值在于结构,而不在于作出神谕式判断:固定清单让所要求的检查范围清晰可见,也便于重复。它是否比开放式审查发现更多问题,需要实际评估,不能事先假定。如何解释发现以及谁对最终决定负责,仍由明确负责该决策的人或合格专业人士承担。
下方的审查表把六类认知偏误清单、反向证据表和“已核验/示例”标签列放在一页中,可重复用于任何你已经有所倾向的决定。



