Просьба к ИИ ранжировать список людей кажется небольшой практической удобностью: какое резюме сильнее, какой член команды внес наибольший вклад, с кем из друзей стоит провести этот месяц. Указанные регуляторы ввели требования или запреты на определённые виды автоматического оценивания, поскольку непрозрачное ранжирование может повлиять на права и возможности людей.
Запрещён ли инструмент, относится ли он к категории высокого риска, требует ли аудита, раскрытия информации или обжалования, зависит от системы, цели, оператора, затронутых лиц и юрисдикции. Не делайте выводов о правовом соответствии на основе данной статьи.
Почему регуляторы уделяют этому паттерну особое внимание
Регламент ЕС об искусственном интеллекте запрещает определённую категорию «социального скоринга»: системы ИИ, которые оценивают или классифицируют людей по социальному поведению либо выведенным личным характеристикам, если такая оценка приводит к указанным формам неблагоприятного обращения (статья 5(1)(c) Регламента (ЕС) 2024/1689). Важны все элементы нормы и исключения; это не означает, что любое сравнение по рубрике или ранжирование автоматически незаконно.
Оценка для трудоустройства регулируется отдельными законами в некоторых юрисдикциях. Местный закон Нью-Йорка 144 возлагает обязанности по аудиту на предвзятость, публикации и уведомление на охваченные виды использования «автоматизированного инструмента принятия кадровых решений»; область применения и триггеры должны проверяться в соответствии с текущим правилом и официальным часто задаваемыми вопросами (Департамент защиты потребителей и работников Нью-Йорка, Местный закон 144). Это один местный режим, а не универсальный шаблон для каждого места или продукта.
Это не гипотетический сценарий. В 2018 году агентство Reuters сообщило, что Amazon годами разрабатывала внутренний ИИ-инструмент для рекрутинга, который оценивал резюме, и к 2015 году обнаружила, что система сама научилась отдавать предпочтение мужчинам: она занижала оценку резюме, содержащих слово «women’s», и резюме выпускниц двух женских колледжей, — потому что обучалась на резюме за десять лет, поданных в отрасль, где преобладают мужчины. Инженеры Amazon попытались исправить найденные закономерности, но не смогли убедиться, что после исправлений не появятся новые, скрытые, и в итоге свернули проект; знакомые с этой работой люди рассказали Reuters, что рекрутеры смотрели на рекомендации инструмента, тогда как в Amazon заявили, что рекрутеры никогда не использовали его для оценки кандидатов (Reuters, “Amazon scraps secret AI recruiting tool that showed bias against women,” 2018). Это была компания с серьёзным опытом в машинном обучении, работавшая над проблемой осознанно, — и предвзятость всё равно проявлялась на протяжении нескольких лет разработки, пока проект не закрыли.
Почему «только для личного пользования» не делает это безопаснее
Приведённые выше регуляторные примеры касаются организаций, но сам механизм — модель, обученная на неизученных исторических закономерностях, выдаёт убедительно выглядящий балл, который незаметно закрепляет эти закономерности, — не требует корпоративного масштаба, чтобы причинить вред. Если попросить универсальный ИИ-инструмент оценить, кто из ваших подчинённых «наиболее перспективен», какой кандидат «лучше впишется в культуру» или кто из членов семьи «более разумен» в споре, вы получаете тот же риск в меньшем масштабе: гладко звучащее число или ранжирование, которое отражает паттерны в обучающих данных модели и то, как именно вы сформулировали промпт, и подаётся с уверенностью, за которой нет никакой реальной проверки. Отсутствие формального аудита не убирает предвзятость; оно лишь убирает единственный механизм, который мог бы её выявить.
Никогда не используйте сгенерированный ИИ балл, ранжирование или оценку человека как заявленную или негласную причину значимого решения о нём — приёма на работу, повышения, выставления оценки, решения об опеке или уходе, даже неформального суждения, на основании которого вы действуете, — без подотчётного человеческого процесса, который можно изучить, поставить под сомнение и отменить. Если вы не можете объяснить и обосновать критерии ранжирования перед человеком, которого оно затрагивает, не используйте его.
Чек-лист отказа
Прежде чем просить ИИ ранжировать, оценивать или выставлять баллы людям — при найме, оценке эффективности, выставлении школьных оценок, подборе пары или в любом повседневном контексте — пройдите эти проверки:
- Смогли бы вы спокойно объяснить точные критерии человеку, которого ранжируете? Если честный ответ в том, что критерии расплывчаты, непрозрачны или вообще не были заданы до того, как модель выдала число, остановитесь.
- Есть ли подотчётный человек, который отвечает за это решение и с которого можно за него спросить? Ранжирование, за которым не стоит конкретный человек, готовый отвечать за результат, — это неподотчётная система оценки, независимо от масштаба.
- Вы используете ИИ, чтобы упорядочить факты, или чтобы получить сам вердикт? Упорядочивание фактов, сроков и задокументированных критериев — разумное применение. Просьба к модели выдать по этому материалу «кто лучший» — нет: вердикт должен исходить от подотчётного человека, который опирается на упорядоченные факты.
- Выдержало бы это ранжирование аудит? Для повседневных решений формальный аудит не нужен, но вопрос, пережило бы оно проверку, — полезный ориентир для того, должно ли оно вообще существовать.
Полный чек-лист отказа от ранжирования людей разбирает это отдельно для найма, оценки эффективности, школьных оценок и неформальных повседневных сравнений, поскольку ставки и уместные меры предосторожности в них различаются.
В чём ИИ всё же может помочь
Всё сказанное не означает, что ИИ не может участвовать в подготовке решений, связанных со сравнением людей. Он может помочь вам:
- Составить единообразные, конкретные критерии оценки до того, как вы посмотрите на кого-либо из кандидатов или оцениваемых людей, — это снижает риск, что критерии подстроятся под того, кому вы уже отдаёте предпочтение.
- Свести задокументированные факты (посещаемость, конкретные результаты работы, датированную обратную связь) в аккуратную форму для сравнения, которую затем проверит человек.
- Проверить, одинаковы ли формулировки и стандарты в вашей собственной письменной оценке нескольких человек, и отметить места, где ваши формулировки заметно меняются для одного человека по сравнению с другими.
Никогда не следует брать этот организованный материал и выдавать ранжированный список, оценку или «победителя» для использования человеком в качестве входных данных для принятия решения. Человеческий пересмотр после того, как модель выносит вердикт, не делает непрозрачные критерии ранжирования модели подотчётными.
Для кадровых решений в США основным текущим отправным пунктом является руководство EEOC по дискриминации при трудоустройстве и ИИ для работников: федеральные защиты от дискриминации при трудоустройстве сохраняют силу, когда работодатель использует ИИ. EEOC также подчёркивает, что критерии отбора должны быть связаны с работой, последовательно применяться и подтверждаться доказательствами. Эти правила США не определяют законность в других юрисдикциях.
Связь с работой и достоинством в более широком смысле
Отказ позволять ИИ ранжировать людей — конкретное применение более широкого принципа, рассмотренного в статье достоинство труда, когда машины могут делать больше: достоинство работника и кандидата требует, чтобы за значимыми решениями о людях оставался человек, которому можно задать вопросы и которого можно привлечь к ответственности, а не только процесс, который технически быстрее. Это также связано с тем, что не следует делегировать ИИ: ранжирование или оценка человека почти по определению не проходят проверку на «последствия» и «обратимость» в той системе координат, поскольку человек, отсеянный скрытым и никем не проверенным баллом, редко получает шанс оспорить стоящую за ним логику.
Распространённое заблуждение
Заблуждение в том, что ранжирование становится безопаснее, когда оно неформально: личная заметка о том, кто из команды кажется «наиболее надёжным», мысленная оценка того, кому из друзей уделить внимание, быстрое сравнение от ИИ, которое вы нигде официально не фиксируете. Неформальность убирает бумажный след, а не сам механизм. В описанном выше случае Amazon речь шла о формальной системе, где инженеры целенаправленно искали предвзятость, — и всё равно паттерн проявился лишь спустя годы; у неформального, незафиксированного ранжирования нет и такого шанса быть замеченным, потому что его вообще никто не ищет. Отсутствие формального процесса — не защита; скорее наоборот: оно убирает единственное, что могло бы выявить проблему.
Попробуйте сегодня
Посмотрите на любое недавнее или предстоящее решение, где вам хотелось попросить ИИ ранжировать, оценить или выставить баллы людям — кандидатам, членам команды, ученикам, даже в личном сравнении. Прогоните его через чек-лист отказа из четырёх вопросов. Если оно не проходит хотя бы один пункт, перестройте задачу: используйте ИИ, чтобы упорядочить критерии и факты, а само ранжирование или решение принимайте сами — в форме, которую вы могли бы объяснить и обосновать перед человеком, которого оно затрагивает.
