Att be AI rangordna människor kan kännas som en liten, praktisk bekvämlighet: Vilket cv är starkast? Vilken medlem i teamet har bidragit mest? Vilken vän ska jag prioritera den här månaden? Tillsynsmyndigheter har infört krav eller förbud för vissa former av automatiserad poängsättning eftersom ogenomskinliga rangordningar kan påverka människors rättigheter och möjligheter.
Om ett verktyg är förbjudet, klassat som högrisk, granskningspliktigt, måste redovisas eller kan överklagas beror på systemet, syftet, operatören, de berörda personerna och jurisdiktionen. Dra inga slutsatser om rättslig efterlevnad enbart utifrån den här artikeln.
Varför just detta användningssätt granskas särskilt
EU:s AI-förordning förbjuder en avgränsad kategori av »social poängsättning«: AI-system som bedömer eller klassificerar människor utifrån socialt beteende eller härledda personliga egenskaper när poängen leder till vissa former av skadlig eller ogynnsam behandling (EU AI Act, Article 5(1)(c), Regulation (EU) 2024/1689). De exakta rekvisiten och undantagen spelar roll. Det betyder inte att varje jämförelse, bedömningsmatris eller rangordning automatiskt är olaglig.
Poängsättning vid rekrytering regleras särskilt i vissa jurisdiktioner. New York Citys Local Law 144 ställer krav på granskning av snedvridningar, publicering och information vid vissa användningar av ett »automatiserat verktyg för anställningsbeslut«. Tillämpningsområdet och villkoren för när lagen gäller måste kontrolleras mot den aktuella regeln och den officiella vägledningen (NYC Department of Consumer and Worker Protection, Local Law 144). Det är en lokal reglering, inte en universell mall för alla platser eller produkter.
Det är inget hypotetiskt problem. Reuters rapporterade 2018 att Amazon under flera år hade utvecklat ett internt AI-verktyg som poängsatte meritförteckningar. År 2015 upptäckte företaget att systemet hade lärt sig att föredra manliga kandidater. Det missgynnade bland annat meritförteckningar som innehöll ordet »women’s« och nedvärderade examina från två kvinnohögskolor, eftersom det hade tränats på tio års ansökningar till en mansdominerad bransch. Amazons ingenjörer försökte rätta de mönster som de hittade, men kunde inte utesluta att andra dolda mönster fanns kvar och lade slutligen ned projektet. Personer med insyn berättade för Reuters att rekryterare hade tittat på verktygets rekommendationer, medan Amazon sade att verktyget aldrig användes av rekryterare för att bedöma kandidater (Reuters, “Amazon scraps secret AI recruiting tool that showed bias against women,” 2018). Företaget hade omfattande sakkunskap inom maskininlärning, men snedvridningen uppstod ändå under utvecklingen innan projektet övergavs.
Varför »bara för mitt eget bruk« inte gör det säkrare
Exemplen ovan gäller institutioner, men den bakomliggande mekanismen kräver inte ett system i företagsskala för att orsaka skada. En modell som har tränats på ogranskade historiska mönster kan producera en övertygande poäng som i tysthet återskapar dessa mönster. Samma risk finns i mindre skala när du ber ett AI-verktyg avgöra vilken medarbetare som är »mest lovande«, vilken kandidat som »passar bäst in i kulturen« eller vilken familjemedlem som är »rimligast« i en tvist. Resultatet kan bli en välformulerad poäng eller rangordning som speglar modellens träningsdata och hur du formulerade prompten, men som presenteras med större säkerhet än underlaget medger. Att en formell granskningsprocess saknas tar inte bort snedvridningen. Det tar bara bort den mekanism som möjligen hade kunnat upptäcka den.
Använd aldrig en AI-genererad poäng, rangordning eller bedömning av en person som det uttalade eller outtalade skälet till ett beslut med stora konsekvenser, exempelvis en anställning, befordran, ett betyg eller ett vårdnads- eller omsorgsbeslut. Detsamma gäller informella bedömningar som du handlar utifrån. Det måste finnas en mänsklig process med tydligt ansvar som kan granskas, ifrågasättas och omprövas. Om du inte kan förklara och försvara kriterierna för den person som påverkas ska du inte använda rangordningen.
Checklistan för när du ska säga nej
Innan du ber AI rangordna, poängsätta eller betygsätta människor, vid exempelvis rekrytering, prestationsbedömning, betygssättning, matchning eller i vardagen, ska du gå igenom följande frågor:
- Skulle jag vara bekväm med att förklara de exakta kriterierna för den person som rangordnas? Om det ärliga svaret är att kriterierna är vaga, ogenomskinliga eller aldrig faktiskt specificerades innan modellen producerade ett tal, stanna.
- Finns det en ansvarig person som äger beslutet och kan ifrågasättas och ställas till svars för det? En rangordning utan en namngiven person som kan svara för beslutet är ett poängsystem utan tydligt ansvar, oavsett skala.
- Använder jag AI för att ordna underlaget eller för att avkunna själva domen? Att ordna fakta, tidsfrister och dokumenterade kriterier är en rimlig användning. Att be modellen avgöra »vem som är bäst« utifrån materialet är det inte. Den ansvariga personen måste fatta beslutet med stöd av det ordnade underlaget.
- Skulle rangordningen tåla en granskning? Vardagsbeslut kräver ingen formell revision, men frågan är ett användbart sätt att pröva om rangordningen alls bör göras.
Den fullständiga checklistan för att säga nej till AI-rangordning av människor går igenom detta separat för rekrytering, prestationsbedömningar, skolbetyg och informella jämförelser i vardagen, eftersom konsekvenserna och lämpliga skyddsåtgärder skiljer sig åt.
Vad AI fortfarande kan hjälpa med
Inget av det här betyder att AI inte har någon roll nära beslut som involverar att jämföra människor. Den kan hjälpa dig:
- Formulera enhetliga och konkreta bedömningskriterier innan du tittar på någon kandidat eller person. Det minskar risken att kriterierna anpassas till den som du redan föredrar.
- Ordna dokumenterat underlag, som närvaro, konkreta leveranser och daterad återkoppling, i ett tydligt jämförelseformat som en människa kan granska.
- Kontrollera om din skriftliga bedömning av flera personer använder samma språk och normer för alla, och uppmärksamma när formuleringarna tycks förändras för en viss person.
Vad AI aldrig ska göra är att ta det ordnade materialet och lämna en rangordnad lista, en poäng eller en »vinnare« som sedan används som beslutsunderlag. Att en människa granskar resultatet efter att modellen har avgett sin dom gör inte modellens ogenomskinliga kriterier begripliga eller ansvarstagandet tydligt.
För anställningsbeslut i USA är EEOC:s vägledning för arbetstagare om diskriminering och AI en aktuell primär utgångspunkt: federala skydd mot diskriminering i arbetslivet gäller fortfarande när en arbetsgivare använder AI. EEOC betonar också att urvalskriterier ska vara arbetsrelaterade, tillämpas konsekvent och stödjas av belägg. De amerikanska reglerna avgör inte vad som är lagligt på andra platser.
Det här kopplar till arbete och värdighet mer brett
Att vägra låta AI rangordna människor är en konkret tillämpning av en bredare princip som behandlas i arbetets värdighet när maskiner kan göra mer av det. Arbetares och kandidaters värdighet kräver att beslut med stora konsekvenser fattas av en människa som kan ifrågasättas och hållas ansvarig, inte bara av en process som råkar vara snabbare. Det knyter också an till vad du inte ska delegera till AI. Att rangordna eller poängsätta en person klarar nästan per definition inte ramverkets test för »konsekvens« och »reversibilitet«, eftersom den som sorteras bort av en dold och ogranskad poäng sällan får möjlighet att invända mot resonemanget bakom den.
En vanlig missuppfattning
Missuppfattningen är att rangordningen blir säkrare när den är informell: en privat anteckning om vilken medlem i teamet som verkar »mest pålitlig«, en mental poäng för vilken vän du ska prioritera eller en snabb AI-genererad jämförelse som aldrig skrivs in i ett officiellt dokument. Det informella upplägget tar bort pappersspåret, inte mekanismen. Amazonfallet ovan gällde ett formellt system där ingenjörer aktivt letade efter snedvridningar, och ändå tog det flera år innan mönstret upptäcktes. En informell rangordning som inte dokumenteras har ännu mindre möjlighet att bli granskad, eftersom ingen letar efter problemen. Avsaknaden av en formell process är inget skydd. Den tar snarare bort det som möjligen hade kunnat upptäcka problemet.
Prova det i dag
Tänk på ett nyligen fattat eller kommande beslut där du frestades att be AI rangordna, poängsätta eller bedöma människor, exempelvis kandidater, medlemmar i ett team, studenter eller personer i ditt privatliv. Pröva beslutet mot checklistans fyra frågor. Om svaret på någon fråga är nej ska du formulera om uppgiften: använd AI för att ordna kriterier och underlag, men fatta själv beslutet i en form som du kan förklara och försvara inför den person som påverkas.
