人のリストをAIに順位付けさせるのは、ちょっとした実務上の便利さに思えるかもしれません。どの履歴書が一番有望か、どのチームメンバーが最も貢献したか、今月はどの友人を優先するか。一方で、実在する規制当局は、自動採点の特定の用途に義務や禁止を設けてきました。不透明な順位付けが、人の権利や機会に影響し得るからです。
あるツールが禁止対象か、高リスクか、監査・開示・不服申立ての対象かは、システム、目的、運用者、影響を受ける人、法域によって変わります。この記事から法令遵守を推論しないでください。
なぜこのパターンを規制当局が特に注視するのか
EU AI Actは、定義されたカテゴリーの「ソーシャルスコアリング」を禁止しています。すなわち、社会的行動や推測された個人の特性に基づいて人を評価・分類するAIシステムのうち、そのスコアが、条文に定められた形の不利益な取扱いにつながるものです（EU AI Act, Article 5(1)(c), Regulation (EU) 2024/1689）。どの要件に当てはまり、どの例外が働くかは個別に重要です。これは、あらゆる比較・評価基準・順位付けが自動的に違法だという意味ではありません。
雇用採点は、一部の法域で専用の規制を受けます。ニューヨーク市のLocal Law 144は、対象となる「自動化された雇用決定ツール」の利用に、バイアス監査、結果の公開、通知の義務を課しています。適用範囲と発動条件は、現行の規則と公式情報に照らして確認する必要があります（NYC Department of Consumer and Worker Protection, Local Law 144）。これは一つの地域の制度であり、あらゆる場所や製品に当てはまる普遍的な雛形ではありません。
これは仮説ではありません。Reutersは2018年、Amazonが履歴書を採点する社内向けAI採用ツールを何年もかけて開発し、2015年までに、システムが男性候補を優先するよう学習していたことが判明したと報じました。男性の多い業界に過去十年間に提出された履歴書を学習データに使ったため、「women’s」という語を含む履歴書を不利に扱い、二つの女子大学の卒業生を格下げしていました。Amazonのエンジニアは見つけたパターンを修正しようとしましたが、修正後に別の隠れたパターンが生じないとは保証できず、最終的にプロジェクトを破棄しました。事情に詳しい関係者は、採用担当者がツールの推奨を参照していたとReutersに語った一方、Amazonは候補者の評価にツールを使ったことはないと述べました（Reuters, “Amazon scraps secret AI recruiting tool that showed bias against women,” 2018）。高度な機械学習の専門知識を持つ企業が問題に意図的に取り組んでも、開発中の数年間にバイアスが現れ、最終的に計画を断念した事例です。
「自分用だけ」では安全にならない理由
上の規制例は組織による利用を扱っていますが、根底にある仕組み、つまり、十分に検討されていない過去のパターンを学んだモデルが、そのパターンをひそかに取り込み、自信ありげなスコアを出すことは、企業規模のシステムでなくても害を生みます。汎用AIツールに、どの部下が「最も有望」か、どの候補が「企業文化に最も合いそう」か、争いの中でどの家族が「より合理的」かを順位付けさせれば、小さな規模でも同じリスクが生じます。モデルの学習データとプロンプトの言い回しを反映した、もっともらしい数字や順位が、実際には検証されていないのに自信たっぷりに示されるからです。正式な監査手続きがないからといってバイアスが消えるわけではなく、むしろ問題を発見できたかもしれない仕組みまで失われます。
AIが生成した人のスコア・順位・評価を、採用、昇進、成績、監護やケアの判断、あるいは実際の行動につながる非公式な判断など、その人に関する重大な決定の明示的・暗黙的な理由にしてはなりません。検証でき、異議を申し立てられ、覆すこともできる、説明責任のある人間の手続きがない限りです。順位付けの基準を影響を受ける本人に説明し、その正当性を示せないなら、使わないでください。
拒否チェックリスト
人を順位付け・採点・評定するようAIに頼む前に――採用、人事評価、採点、マッチング、あらゆる日常文脈で――次を通してください。
- 順位付けされる本人に、正確な基準を説明しても平気か。 正直な答えが「基準があいまい／不透明／モデルが数値を出す前に実際には特定していなかった」なら、やめてください。
- この決定に責任を持ち、質問に答えられる人がいるか。 責任者として名指しされ、質問に答えられる人がいない順位付けは、規模に関係なく説明責任のない採点システムです。
- AIを根拠の整理に使っているか、それとも最終判断そのものを出させているか。 事実、期限、文書化された基準の整理は妥当な使い方です。その材料から「誰がいちばん良いか」をモデルに出力させるのは別です。最終判断は、整理された根拠を使って、説明責任のある人が下さなければなりません。
- この順位付けは監査に耐えるか。 日常の判断に正式な監査は不要ですが、「精査に耐えうるか」と問うことは、そもそも存在すべきかの良い代理指標になります。
完全版の人を順位付けしないチェックリストでは、採用、人事評価、学校の採点、非公式な日常比較について、場面別に手順を示しています。影響の大きさと適切な安全策が、それぞれ異なるためです。
AIがまだ手伝えること
これは、人を比較する決定の近くにAIの役割がないという意味ではありません。次の助けになります。
- 候補者や人を見る前に、一貫した具体的な評価基準を下書きし、すでに気に入っている人に合わせて基準がずれる可能性を減らす。
- 文書化された根拠（出席、具体的な成果物、日付付きフィードバック）を、人が確認しやすい比較形式に整理する。
- 複数人への自分の文章評価が、全員にわたって一貫した言い回しと基準を使っているかを確認し、ある人だけ表現がずれている箇所を指摘する。
決してやらせてはならないのは、整理した材料から順位リスト、スコア、「勝者」を出力させ、人がそれを判断材料として使うことです。モデルが結論を出したあとに人が確認しても、その不透明な順位付け基準に説明責任が生まれるわけではありません。
米国の雇用に関する判断については、EEOCの働き手向けの雇用差別とAIの手引きが、現行の主要な出発点になります。雇用主がAIを使う場合でも、連邦の雇用差別に関する保護は引き続き適用されます。EEOCはまた、選考基準が職務に関連し、一貫して適用され、根拠に裏づけられているべきだと強調しています。これらの米国の規則が、他の国での適法性を決めるわけではありません。
仕事と尊厳という、より広い問題につながる
AIに人を順位付けさせないことは、機械が仕事の多くを担える時代の労働の尊厳で扱う、より広い原則の具体適用です。労働者と候補者の尊厳には、人に関する重大な決定に、技術的に速いだけのプロセスではなく、質問され説明責任を負える人が残ることが必要です。AIに委任してはいけないことにもつながります。人の順位付けやスコアリングは、その枠組みの「結果」と「可逆性」のテストに、ほとんど定義上失敗します。隠れた未監査のスコアで弾かれた人は、その背後の理由に異議を唱える機会をほとんど得られないからです。
よくある誤解
よくある誤解は、非公式なら順位付けも安全になるというものです。たとえば、どのチームメンバーが「最も信頼できる」かという私的なメモ、どの友人を優先するかという頭の中の点数、公式な記録には残さないAIによる手軽な比較です。非公式にしても記録が消えるだけで、順位付けの仕組みは残ります。上のAmazonの事例は、エンジニアが積極的にバイアスを探していた正式なシステムでさえ、パターンが表面化するのに何年もかかった例です。非公式で記録もされない順位付けには、問題を発見する同等の機会すらありません。そもそも誰も調べていないからです。正式な手続きがないことは安全策にはなりません。むしろ、問題を発見できたかもしれない唯一の仕組みを取り除いてしまいます。
今日やってみる
候補者、チームメンバー、学生、さらには個人的な比較で、人を順位付け・採点・評定するようAIに頼もうとした、最近またはこれから来る決定を見てください。4問の拒否チェックリストに通してください。一つでも失敗するなら、タスクを組み直してください。AIで基準と証拠を整理し、実際の順位や決定は自分で、影響を受ける人に説明し弁護できる形で下してください。
