«Оспорь моё мышление» звучит как сильный промпт.
Часто он даёт слабый результат: три вежливых оговорки, комплимент вашему внимательному рассуждению и ту же рекомендацию, с которой вы начали.
Проблема структурная. Модель уже увидела вашу рамку, ваш предпочитаемый ответ и нередко тот самый аргумент, который вы просите её раскритиковать. Просьба «быть критичнее» этих сигналов не убирает.
Полезное несогласие рождается из изменения того, какая информация и в какой последовательности доступна модели.
Пять паттернов ниже — практические способы это сделать. Ни один из них не превращает чат-бот в независимого эксперта. Каждый лишь делает один из сбоев заметнее.
Паттерн 1: скройте своё предпочтение
Сигналы предпочтения провоцируют согласие. Уберите их.
Слабый промпт:
Я хочу перевести нашу команду с инструмента A на инструмент B.
Помогите мне проверить план на прочность.
Модель понимает, какой вывод будет для вас социально удобным.
Более сильный промпт:
Команда из десяти человек сравнивает два варианта.
Вариант A
- [текущие факты]
- [затраты]
- [ограничения]
Вариант B
- [текущие факты]
- [затраты]
- [ограничения]
Не рекомендуйте ни один из вариантов.
Для каждого определите:
1. самую сильную причину, по которой он может провалиться,
2. самое важное недостающее доказательство,
3. условие, при котором он становится лучшим вариантом.
Не пишите «наша текущая система» или «современная замена». Даже мелкие ярлыки содержат в себе вердикт.
Когда это помогает
- выбор вендора;
- собственный найм или аутсорсинг;
- разработать самим или купить готовое;
- сохранить или заменить процесс;
- любой выбор, где у вас уже есть фаворит.
Чего это не решает
Факты отбирали вы. Слепое сравнение всё равно может быть смещено тем, что вы опустили.
Паттерн 2: разведите адвоката и критика
Один ответ склоняется к компромиссу: один аргумент, одна оговорка, сбалансированный вывод.
Используйте отдельные проходы с несовместимыми задачами.
Проход A:
Постройте самое сильное обоснование варианта A, опирающееся на доказательства.
Не обсуждайте вариант B.
Назовите каждое допущение и укажите, где доказательств не хватает.
Проход B, в новом чате:
Постройте самое сильное обоснование варианта B, опирающееся на доказательства.
Не обсуждайте вариант A.
Назовите каждое допущение и укажите, где доказательств не хватает.
Проход C:
Сравните эти два аргумента.
Не поощряйте красноречие или объём.
Перечислите:
- утверждения, подкреплённые предоставленными фактами,
- утверждения, требующие внешней проверки,
- допущения, которые противоречат друг другу,
- и один эксперимент, который снизил бы самую большую неопределённость.
[вставьте оба аргумента]
Отдельные чаты ослабляют эффект якорения в разговоре. Подлинной независимости они не создают — проходы могут опираться на схожие паттерны из обучения, — но не дают второй роли просто реагировать на формулировки первой.
Паттерн 3: требуйте доказательства до аргументации
Если сначала попросить убедительное обоснование, модель может сгенерировать утверждения под это обоснование, а подкрепления подобрать задним числом.
Переверните порядок:
Прежде чем формировать мнение, составьте таблицу доказательств.
Для каждого критерия решения запишите:
- предоставленные факты,
- необходимые первичные источники,
- оценки и их допущения,
- неизвестные,
- и доказательства, которые опровергли бы каждый вариант.
Не рекомендуйте ничего, пока я не проверю и не верну таблицу доказательств.
После проверки передайте модели только исправленную таблицу и попросите анализ.
Это медленнее, чем просить мгновенную рекомендацию. И это преимущество, когда ответ важен.
Полезное стоп-правило
Если самая большая неопределённость способна перевернуть решение — не просите финальную рекомендацию. Спроектируйте тест, проведите измерение или обратитесь к человеку, у которого есть недостающая информация.
Паттерн 4: назначьте недружелюбного рецензента с узкой зоной ответственности
«Будь адвокатом дьявола» — расплывчато. Дайте рецензенту конкретную область возможных сбоев.
Примеры:
Разберите этот план только на предмет операционных сбоев.
Исходите из того, что стратегия разумна.
Найдите, где не хватает ответственного, мониторинга, отката или поддержки.
Разберите это предложение только с точки зрения затронутого сотрудника.
Определите, какие заявленные выгоды являются выгодами для руководства, а не для сотрудника.
Отметьте обещания, которые компания не может проверить или выполнить.
Разберите этот поток данных только на предмет рисков для конфиденциальности.
Перечислите каждый класс данных, получателя, точку хранения и человека с доступом.
Не давайте юридических заключений.
Узкий недружелюбный разбор полезнее театральной агрессии. «Будь предельно честен» меняет только тон; чётко очерченная зона разбора меняет охват.
Проведите несколько узких разборов, если ставки это оправдывают. Держите их выводы порознь, пока не решите, какие риски реальны.
Паттерн 5: сделайте независимый второй проход
Пропустите тот же нейтральный бриф через:
- новый разговор без истории;
- второе семейство моделей;
- человека-рецензента, который не видел предпочитаемый ответ.
Затем сравните расхождения:
Два рецензента проанализировали одно и то же решение.
Рецензент 1:
[вставьте]
Рецензент 2:
[вставьте]
Составьте реестр расхождений:
- вопрос,
- утверждение каждого рецензента,
- доказательства, на которые каждый опирается,
- недостающие доказательства,
- и ответственного, кто может это разрешить.
Не выбирайте победителя по уверенности или качеству текста.
Совпадение двух моделей — не подтверждение. У моделей могут быть общие источники, общие условности и общие слепые зоны. Полезный результат — реестр расхождений и те доказательства, которые он подсказывает собрать.
Разбор примера: автоматизация обработки счетов
Допустим, изначальный план такой:
Нам стоит использовать ИИ-агента, чтобы считывать счета поставщиков, вносить их в бухгалтерское ПО и направлять на оплату.
Обобщённый промпт «оспорь это» вернёт предсказуемые оговорки о точности и человеческом контроле.
Вместо этого используйте пять паттернов.
1. Нейтрализуйте варианты
- Вариант A: оставить ручной ввод и улучшить чек-лист.
- Вариант B: использовать детерминированное извлечение данных плюс проверку человеком.
- Вариант C: использовать агента, который извлекает, вносит и направляет на оплату.
- Вариант D: отложить проект и сначала стандартизировать форматы поставщиков.
2. Разведите адвокатов
Для каждого варианта готовится своё самое сильное обоснование и явно названные допущения.
3. Постройте таблицу доказательств
Соберите:
- месячный объём счетов;
- текущее время обработки;
- долю исправлений;
- процент стандартных форматов;
- суммы и частоту дублирующихся или мошеннических счетов;
- права доступа для интеграции;
- кто отвечает за разбор исключений.
4. Проведите узкие недружелюбные разборы
- финансовый контроль;
- восстановление процесса при сбое;
- конфиденциальность данных поставщиков;
- рабочий процесс сотрудников.
5. Сравните независимые проходы
Один рецензент может сосредоточиться на экономии трудозатрат. Другой — заметить, что в текущем процессе нет надёжного сопоставления с заказом на закупку, а значит, автоматизация преждевременна.
Лучшим результатом может оказаться вовсе не более сильный довод за или против ИИ, а двухнедельное измерение, после которого решение станет очевидным.
Три способа, которыми несогласие становится фальшивым
Модель выдумывает возражения
Не всякий контраргумент правдоподобен. Требуйте, чтобы возражение указывало, какое именно допущение или доказательство оно оспаривает.
Модель гонится за симметрией
Не всякий выбор сбалансирован. У одного из вариантов доказательства могут быть заметно сильнее. Не требуйте равного числа плюсов и минусов — требуйте существенных проблем.
Модель становится уверенно противоречащей
Промптом можно заставить модель возражать против всего подряд. Но противоречащий ответ — такой же сгенерированный ответ. Ему нужна та же проверка, что и покладистому.
Исследования зафиксировали подхалимство у ИИ-ассистентов и показали, как сигналы предпочтения могут влиять на ответы модели (исследование подхалимства Anthropic). Защита — не волшебная фраза, а процесс, который снижает сигналы предпочтения и делает доказательства видимыми.
Готовая последовательность для несогласия
Используйте её для важного решения:
Этап 1 — рамка
Переформулируйте задачу тремя существенно разными способами.
Не решайте её.
Этап 2 — доказательства
Разделите предоставленные факты, проверяемые факты, оценки, выводы и ценности.
Перечислите доказательства, способные перевернуть решение.
Этап 3 — обоснования
Постройте самое сильное обоснование для каждого варианта отдельно.
Назовите допущения и условия сбоя.
Этап 4 — разбор
Проведите узкие разборы по операциям, затронутым людям, безопасности/конфиденциальности и затратам.
Этап 5 — поддержка решения
Составьте реестр расхождений и предложите наименьший тест в реальных условиях.
Не принимайте окончательное решение.
О сбоях, ради которых выстроена эта последовательность, читайте в статье ваш ИИ слишком с вами соглашается: четыре сбоя партнёра по мышлению. Более общий рабочий процесс — в статье ИИ для лучших решений.
Честная граница возможностей
Вы можете добиться от ИИ несогласия. Но вы не можете сделать так, чтобы он знал, что вы не правы.
Модель может воспроизвести то же ошибочное допущение под другим углом. Может сослаться на устаревший источник. Может звучать независимо просто потому, что вы сменили название роли.
Относитесь к несогласию как к поисковому инструменту: оно выявляет допущения, забытые заинтересованные стороны и доказательства, которые стоит собрать. Финальное суждение по-прежнему принадлежит человеку, который понимает контекст и принимает на себя последствия.
