KI eine Liste von Menschen ordnen zu lassen, wirkt wie eine kleine praktische Erleichterung: Welcher Lebenslauf ist am stärksten, welches Teammitglied hat am meisten beigetragen, welcher befreundeten Person sollte ich diesen Monat mehr Zeit widmen? Aufsichtsbehörden haben für bestimmte automatisierte Bewertungssysteme Vorgaben oder Verbote erlassen, weil undurchsichtige Rangfolgen Rechte und Chancen von Menschen beeinträchtigen können.
Ob eine Anwendung verboten oder als Hochrisikosystem eingestuft ist, geprüft oder offengelegt werden muss und angefochten werden kann, hängt vom konkreten System, Zweck, Betreiber, den betroffenen Personen und der Rechtsordnung ab. Leiten Sie aus diesem Artikel keine Aussage über die Rechtmäßigkeit eines Systems ab.
Warum dieses Muster die besondere Aufmerksamkeit der Aufsicht erhält
Die EU-KI-Verordnung verbietet eine bestimmte Form des „Social Scoring“: KI-Systeme, die Menschen anhand ihres Sozialverhaltens oder abgeleiteter persönlicher Merkmale bewerten oder klassifizieren, wenn die Bewertung zu bestimmten nachteiligen oder ungünstigen Behandlungen führt (EU AI Act, Artikel 5(1)(c), Verordnung (EU) 2024/1689). Entscheidend sind die genauen Tatbestandsmerkmale und Ausnahmen. Daraus folgt nicht, dass jeder Vergleich, jedes Bewertungsraster oder jede Rangfolge automatisch rechtswidrig ist.
Automatisierte Bewertungen im Beschäftigungskontext unterliegen in manchen Rechtsordnungen besonderen Regeln. New York Citys Local Law 144 sieht für bestimmte Anwendungen eines „automated employment decision tool“ Pflichten zu Prüfungen auf Verzerrungen, Veröffentlichung und Benachrichtigung vor. Anwendungsbereich und Voraussetzungen müssen anhand der aktuellen Regel und der offiziellen FAQ geprüft werden (NYC Department of Consumer and Worker Protection, Local Law 144). Es handelt sich um eine lokale Regelung und nicht um eine allgemeingültige Vorlage für jeden Ort oder jedes Produkt.
Das Problem ist dokumentiert. Reuters berichtete 2018, Amazon habe über Jahre ein internes KI-Werkzeug zur Bewertung von Lebensläufen entwickelt. Bis 2015 stellte das Unternehmen fest, dass das System männliche Bewerber bevorzugte: Es wertete Lebensläufe mit dem Wort „women’s“ ab und benachteiligte Absolventinnen zweier Frauenhochschulen, weil die Trainingsdaten aus einem Jahrzehnt von Bewerbungen in einer männerdominierten Branche stammten. Amazons Fachleute versuchten, die erkannten Muster zu korrigieren, konnten aber nicht ausschließen, dass neue verborgene Verzerrungen entstehen würden, und stellten das Projekt schließlich ein. Mit dem Vorhaben vertraute Personen erklärten gegenüber Reuters, Personalverantwortliche hätten die Empfehlungen angesehen. Amazon sagte dagegen, das Werkzeug sei nie zur Bewertung von Bewerbenden eingesetzt worden (Reuters, „Amazon scraps secret AI recruiting tool that showed bias against women,“ 2018). Trotz erheblicher Kompetenz im maschinellen Lernen trat die Verzerrung über Jahre der Entwicklung auf, bevor das Projekt beendet wurde.
Warum „nur für den eigenen Gebrauch“ es nicht sicherer macht
Die regulatorischen Beispiele betreffen Institutionen. Der zugrunde liegende Mechanismus setzt jedoch kein unternehmensweites System voraus: Ein auf ungeprüften historischen Mustern trainiertes Modell erzeugt eine selbstsicher wirkende Punktzahl, in der diese Muster unbemerkt fortwirken. Eine allgemein einsetzbare KI-Anwendung soll etwa entscheiden, welche Person im Team „am vielversprechendsten“ ist, welche Kandidatin oder welcher Kandidat „am besten ins Team passt“ oder welches Familienmitglied in einem Streit „vernünftiger“ ist. Auch im kleinen Maßstab kann daraus eine überzeugend präsentierte Rangfolge entstehen, die sowohl Trainingsmuster als auch die Formulierung des Prompts widerspiegelt, ohne tatsächlich überprüft zu sein. Das Fehlen eines formellen Prüfverfahrens beseitigt die Verzerrung nicht, sondern nur eine Möglichkeit, sie zu entdecken.
Nutzen Sie eine KI-generierte Punktzahl, Rangfolge oder Note niemals als ausdrücklichen oder unausgesprochenen Grund für eine folgenreiche Entscheidung über einen Menschen, etwa bei Einstellung, Beförderung, Benotung, Sorgerecht oder Betreuung. Das gilt auch für informelle Urteile, nach denen Sie handeln. Verwenden Sie solche Bewertungen nicht ohne einen verantwortbaren menschlichen Prozess, der geprüft, hinterfragt und korrigiert werden kann. Können Sie der betroffenen Person die Kriterien einer Rangfolge nicht erklären und sachlich vertreten, verwenden Sie sie nicht.
Die Ablehnungscheckliste
Bevor Sie KI bitten, Menschen in eine Rangfolge zu bringen, zu bewerten oder zu benoten, etwa bei Einstellungen, Leistungsbeurteilungen, Schulnoten, der Partnervermittlung oder in einem anderen Alltagskontext, gehen Sie diese Prüfungen durch:
- Könnte ich der bewerteten Person die genauen Kriterien erklären? Sind die Kriterien vage, undurchsichtig oder wurden sie vor der Ausgabe des Modells gar nicht festgelegt, brechen Sie die Bewertung ab.
- Trägt eine namentlich benannte Person die Verantwortung und kann dazu befragt werden? Eine Rangfolge ohne verantwortliche und ansprechbare Person ist unabhängig von ihrem Umfang ein Bewertungssystem ohne Rechenschaft.
- Nutze ich KI, um Belege zu ordnen, oder um das Urteil selbst zu erzeugen? Tatsachen, Fristen und dokumentierte Kriterien zu ordnen kann sinnvoll sein. Das Modell aus diesem Material bestimmen zu lassen, „wer am besten ist“, ist es nicht. Das Urteil muss von der verantwortlichen Person anhand der geordneten Belege getroffen werden.
- Würde diese Rangfolge einer Prüfung standhalten? Alltagsentscheidungen benötigen keine förmliche Überprüfung. Die Frage, ob die Rangfolge einer kritischen Prüfung standhalten könnte, zeigt jedoch, ob sie überhaupt erstellt werden sollte.
Die vollständige Checkliste gegen KI-Ranglisten von Menschen behandelt Einstellungen, Leistungsbeurteilungen, Schulnoten und informelle Alltagsvergleiche getrennt, weil sich Folgen und angemessene Schutzmaßnahmen unterscheiden.
Wobei KI weiterhin helfen kann
Das bedeutet nicht, dass KI bei Entscheidungen, in denen Menschen miteinander verglichen werden, keine Rolle spielen darf. Sie kann Ihnen helfen:
- Konsistente, konkrete Bewertungskriterien festzulegen, bevor Sie die einzelnen Kandidierenden oder andere betroffene Personen beurteilen. So sinkt das Risiko, dass Sie die Kriterien nachträglich an die bereits bevorzugte Person anpassen.
- Dokumentierte Belege wie Anwesenheit, konkrete Arbeitsergebnisse und datierte Rückmeldungen in ein klares Vergleichsformat für die menschliche Prüfung zu ordnen.
- Zu prüfen, ob Ihre schriftlichen Bewertungen mehrerer Personen durchgehend dieselbe Sprache und dieselben Maßstäbe verwenden, und auf Stellen hinzuweisen, an denen Ihre Formulierungen bei einer Person von diesem Maßstab abweichen.
Sie sollte aus diesem geordneten Material jedoch niemals eine Rangliste, Punktzahl oder einen „Gewinner“ erzeugen, die anschließend als Entscheidungsgrundlage dienen. Eine erst nach dem Urteil des Modells vorgenommene menschliche Prüfung schafft keine klare Verantwortlichkeit und macht die undurchsichtigen Kriterien des Modells nicht nachvollziehbar.
Für Beschäftigungsentscheidungen in den USA ist der Leitfaden der EEOC zu Beschäftigungsdiskriminierung und KI für Arbeitnehmende ein aktueller Ausgangspunkt: Der bundesrechtliche Schutz vor Beschäftigungsdiskriminierung gilt auch dann, wenn Arbeitgeber KI einsetzen. Die EEOC betont zudem, dass Auswahlmaßstäbe arbeitsplatzbezogen, einheitlich angewandt und durch Belege gestützt sein sollten. Diese US-Regeln bestimmen nicht die Rechtslage anderswo.
Der größere Zusammenhang zwischen Arbeit und Würde
KI keine Rangfolge von Menschen erstellen zu lassen, ist eine konkrete Anwendung des umfassenderen Prinzips aus dem Artikel Die Würde der Arbeit, wenn Maschinen mehr davon übernehmen: Die Würde von Beschäftigten und Bewerbenden verlangt, dass für folgenreiche Entscheidungen über Menschen weiterhin jemand persönlich verantwortlich ist, der befragt und zur Rechenschaft gezogen werden kann. Ein bloß technisch schnellerer Prozess reicht nicht. Das Thema hängt auch mit dem Delegationsaudit zusammen. Das Einstufen oder Bewerten eines Menschen scheitert in diesem Rahmen nahezu zwangsläufig an den Prüfungen zu Folgen und Umkehrbarkeit: Wer aufgrund einer verborgenen, ungeprüften Punktzahl aussortiert wird, kann die zugrunde liegende Begründung meist nicht anfechten.
Ein verbreitetes Missverständnis
Ein verbreitetes Missverständnis lautet, eine Rangfolge werde sicherer, sobald sie informell bleibt: eine private Notiz zum „zuverlässigsten“ Teammitglied, eine persönliche Wertung darüber, welcher befreundeten Person man Vorrang geben sollte, oder ein schneller KI-Vergleich, der nie offiziell festgehalten wird. Die Informalität beseitigt die Dokumentation, nicht den Mechanismus. Im Amazon-Fall suchten Fachleute in einem formellen System aktiv nach Verzerrungen, dennoch wurden die Muster erst nach Jahren sichtbar. Bei einer informellen und nicht protokollierten Rangfolge besteht noch weniger Aussicht, das Problem zu erkennen. Ein fehlender formeller Prozess ist keine Schutzmaßnahme, sondern nimmt gerade die mögliche Kontrolle.
Probieren Sie es heute
Denken Sie an eine kürzlich getroffene oder bevorstehende Entscheidung, bei der Sie KI Menschen einstufen, bewerten oder benoten lassen wollten, etwa Bewerbende, Teammitglieder, Schülerinnen und Schüler oder Personen in Ihrem privaten Umfeld. Prüfen Sie die Aufgabe anhand der vier Fragen der Ablehnungscheckliste. Fällt sie bei nur einer Frage durch, gestalten Sie die Aufgabe neu: Lassen Sie KI Kriterien und Belege ordnen, treffen Sie das eigentliche Urteil aber selbst und in einer Form, die Sie der betroffenen Person erklären und ihr gegenüber sachlich vertreten könnten.
