Просить ИИ ранжировать список людей кажется небольшим практическим удобством: чьё резюме сильнее, кто из команды внёс больший вклад, кому из друзей уделить больше внимания в этом месяце. Это также, структурно, тот самый паттерн, который регуляторы по всему миру назвали одним из самых значимых способов, которыми ИИ может причинить вред людям, — именно потому, что на входе он выглядит так буднично.
Почему регуляторы уделяют этому паттерну особое внимание
EU AI Act прямо запрещает определённую категорию «социального скоринга»: системы ИИ, которые оценивают или классифицируют людей на основе социального поведения или выводимых личных характеристик, когда полученный балл ведёт к неблагоприятному обращению в контексте, не связанном с тем, как были собраны данные, или к обращению, несоразмерному самому поведению (EU AI Act, Article 5(1)(c), Regulation (EU) 2024/1689). Это запрет и для государственного, и для частного сектора, а не правило, действующее только для органов власти: сопутствующая преамбула прямо указывает, что такой скоринг «может нарушать право на достоинство и недискриминацию» независимо от того, кто его применяет.
Скоринг в сфере занятости в некоторых юрисдикциях регулируется отдельно именно потому, что этот паттерн там повторяется особенно часто. Местный закон № 144 города Нью‑Йорка требует от работодателей и агентств занятости, использующих «автоматизированный инструмент принятия кадровых решений» для отбора или ранжирования кандидатов или сотрудников на позицию, расположенную в Нью‑Йорке, обеспечить проведение независимого аудита предвзятости в течение предыдущего года и опубликовать сводку результатов; отдельно кандидатов и сотрудников, являющихся жителями Нью‑Йорка, нужно уведомить не менее чем за десять рабочих дней до применения инструмента. Обратите внимание, что за что отвечает: обязанности по аудиту и публикации привязаны к местоположению рабочего места, а не к тому, где живёт кандидат (NYC Department of Consumer and Worker Protection, Local Law 144 FAQ). Закон существует потому, что массовое ранжирование людей без независимой проверки закономерно порождает предвзятость, которая остаётся невидимой, пока кто-то специально не начнёт её искать.
Это не гипотетический сценарий. В 2018 году агентство Reuters сообщило, что Amazon годами разрабатывала внутренний ИИ-инструмент для рекрутинга, который оценивал резюме, и к 2015 году обнаружила, что система сама научилась отдавать предпочтение мужчинам: она занижала оценку резюме, содержащих слово «women’s», и резюме выпускниц двух женских колледжей, — потому что обучалась на резюме за десять лет, поданных в отрасль, где преобладают мужчины. Инженеры Amazon попытались исправить найденные закономерности, но не смогли убедиться, что после исправлений не появятся новые, скрытые, и в итоге свернули проект; знакомые с этой работой люди рассказали Reuters, что рекрутеры смотрели на рекомендации инструмента, тогда как в Amazon заявили, что рекрутеры никогда не использовали его для оценки кандидатов (Reuters, “Amazon scraps secret AI recruiting tool that showed bias against women,” 2018). Это была компания с серьёзным опытом в машинном обучении, работавшая над проблемой осознанно, — и предвзятость всё равно проявлялась на протяжении нескольких лет разработки, пока проект не закрыли.
Почему «только для личного пользования» не делает это безопаснее
Приведённые выше регуляторные примеры касаются организаций, но сам механизм — модель, обученная на неизученных исторических закономерностях, выдаёт убедительно выглядящий балл, который незаметно закрепляет эти закономерности, — не требует корпоративного масштаба, чтобы причинить вред. Если попросить универсальный ИИ-инструмент оценить, кто из ваших подчинённых «наиболее перспективен», какой кандидат «лучше впишется в культуру» или кто из членов семьи «более разумен» в споре, вы получаете тот же риск в меньшем масштабе: гладко звучащее число или ранжирование, которое отражает паттерны в обучающих данных модели и то, как именно вы сформулировали промпт, и подаётся с уверенностью, за которой нет никакой реальной проверки. Отсутствие формального аудита не убирает предвзятость; оно лишь убирает единственный механизм, который мог бы её выявить.
Никогда не используйте сгенерированный ИИ балл, ранжирование или оценку человека как заявленную или негласную причину значимого решения о нём — приёма на работу, повышения, выставления оценки, решения об опеке или уходе, даже неформального суждения, на основании которого вы действуете, — без подотчётного человеческого процесса, который можно изучить, поставить под сомнение и отменить. Если вы не можете объяснить и обосновать критерии ранжирования перед человеком, которого оно затрагивает, не используйте его.
Чек-лист отказа
Прежде чем просить ИИ ранжировать, оценивать или выставлять баллы людям — при найме, оценке эффективности, выставлении школьных оценок, подборе пары или в любом повседневном контексте — пройдите эти проверки:
- Смогли бы вы спокойно объяснить точные критерии человеку, которого ранжируете? Если честный ответ в том, что критерии расплывчаты, непрозрачны или вообще не были заданы до того, как модель выдала число, остановитесь.
- Есть ли подотчётный человек, который отвечает за это решение и с которого можно за него спросить? Ранжирование, за которым не стоит конкретный человек, готовый отвечать за результат, — это неподотчётная система оценки, независимо от масштаба.
- Вы используете ИИ, чтобы упорядочить факты, или чтобы получить сам вердикт? Упорядочивание фактов, сроков и задокументированных критериев — разумное применение. Просьба к модели выдать по этому материалу «кто лучший» — нет: вердикт должен исходить от подотчётного человека, который опирается на упорядоченные факты.
- Выдержало бы это ранжирование аудит? Для повседневных решений формальный аудит не нужен, но вопрос, пережило бы оно проверку, — полезный ориентир для того, должно ли оно вообще существовать.
Полный чек-лист отказа от ранжирования людей разбирает это отдельно для найма, оценки эффективности, школьных оценок и неформальных повседневных сравнений, поскольку ставки и уместные меры предосторожности в них различаются.
В чём ИИ всё же может помочь
Всё сказанное не означает, что ИИ не может участвовать в подготовке решений, связанных со сравнением людей. Он может помочь вам:
- Составить единообразные, конкретные критерии оценки до того, как вы посмотрите на кого-либо из кандидатов или оцениваемых людей, — это снижает риск, что критерии подстроятся под того, кому вы уже отдаёте предпочтение.
- Свести задокументированные факты (посещаемость, конкретные результаты работы, датированную обратную связь) в аккуратную форму для сравнения, которую затем проверит человек.
- Проверить, одинаковы ли формулировки и стандарты в вашей собственной письменной оценке нескольких человек, и отметить места, где ваши формулировки заметно меняются для одного человека по сравнению с другими.
Чего он никогда не должен делать — брать этот упорядоченный материал и выдавать ранжированный список, балл или «победителя», которого человек затем принимает как само решение, а не как ещё один исходный материал, который человек проверил и за который отвечает.
Связь с работой и достоинством в более широком смысле
Отказ позволять ИИ ранжировать людей — конкретное применение более широкого принципа, рассмотренного в статье достоинство труда, когда машины могут делать больше: достоинство работника и кандидата требует, чтобы за значимыми решениями о людях оставался человек, которому можно задать вопросы и которого можно привлечь к ответственности, а не только процесс, который технически быстрее. Это также связано с тем, что не следует делегировать ИИ: ранжирование или оценка человека почти по определению не проходят проверку на «последствия» и «обратимость» в той системе координат, поскольку человек, отсеянный скрытым и никем не проверенным баллом, редко получает шанс оспорить стоящую за ним логику.
Распространённое заблуждение
Заблуждение в том, что ранжирование становится безопаснее, когда оно неформально: личная заметка о том, кто из команды кажется «наиболее надёжным», мысленная оценка того, кому из друзей уделить внимание, быстрое сравнение от ИИ, которое вы нигде официально не фиксируете. Неформальность убирает бумажный след, а не сам механизм. В описанном выше случае Amazon речь шла о формальной системе, где инженеры целенаправленно искали предвзятость, — и всё равно паттерн проявился лишь спустя годы; у неформального, незафиксированного ранжирования нет и такого шанса быть замеченным, потому что его вообще никто не ищет. Отсутствие формального процесса — не защита; скорее наоборот: оно убирает единственное, что могло бы выявить проблему.
Попробуйте сегодня
Посмотрите на любое недавнее или предстоящее решение, где вам хотелось попросить ИИ ранжировать, оценить или выставить баллы людям — кандидатам, членам команды, ученикам, даже в личном сравнении. Прогоните его через чек-лист отказа из четырёх вопросов. Если оно не проходит хотя бы один пункт, перестройте задачу: используйте ИИ, чтобы упорядочить критерии и факты, а само ранжирование или решение принимайте сами — в форме, которую вы могли бы объяснить и обосновать перед человеком, которого оно затрагивает.
