Pedir a la IA que ordene una lista de personas parece una pequeña comodidad práctica: qué currículum es el más sólido, quién aportó más al equipo o incluso a qué amigo dedicar más atención este mes. Algunos reguladores han impuesto requisitos o prohibiciones a determinados usos de la puntuación automatizada porque una clasificación opaca puede afectar a los derechos y las oportunidades de las personas.
Que una herramienta esté prohibida, se considere de alto riesgo, se audite, se declare o sea impugnable depende del sistema, la finalidad, el operador, las personas afectadas y la jurisdicción. No deduzcas de este artículo un cumplimiento legal.
Por qué este patrón concreto recibe atención regulatoria especial
El Reglamento de IA de la UE prohíbe una categoría definida de «puntuación social»: sistemas de IA que evalúan o clasifican a personas a partir de su comportamiento social o de características personales inferidas cuando la puntuación provoca determinadas formas de trato perjudicial o desfavorable (EU AI Act, Article 5(1)(c), Regulation (EU) 2024/1689). Los elementos exactos y las excepciones importan; esto no significa que cualquier comparación, rúbrica o clasificación sea ilegal de forma automática.
En algunas jurisdicciones, la puntuación aplicada al empleo cuenta con regulación específica. La Local Law 144 de la ciudad de Nueva York impone obligaciones de auditoría de sesgos, publicación y notificación a determinados usos de una «herramienta automatizada para tomar decisiones de empleo». El alcance y los supuestos de aplicación deben comprobarse en la norma vigente y en las preguntas frecuentes oficiales (NYC Department of Consumer and Worker Protection, Local Law 144). Es un régimen local, no un modelo universal para cualquier lugar o producto.
No es un riesgo hipotético. Reuters informó en 2018 de que Amazon había dedicado años a desarrollar una herramienta interna de contratación con IA que puntuaba currículums. Hacia 2015 descubrió que el sistema había aprendido a preferir a los candidatos varones porque se había entrenado con una década de currículums enviados a un sector dominado por hombres: penalizaba los que contenían la palabra «women’s» y rebajaba la valoración de las graduadas de dos universidades femeninas. Los ingenieros intentaron corregir los patrones identificados, pero no podían asegurar que las modificaciones no hicieran aparecer otros sesgos ocultos, y el proyecto acabó descartándose. Personas conocedoras del trabajo dijeron a Reuters que los reclutadores habían consultado las recomendaciones de la herramienta; Amazon sostuvo que los reclutadores nunca la usaron para evaluar candidatos (Reuters, “Amazon scraps secret AI recruiting tool that showed bias against women,” 2018). Incluso una empresa con amplia experiencia en aprendizaje automático, que abordó el problema de manera deliberada, encontró sesgos tras años de desarrollo y terminó abandonando el proyecto.
Por qué «solo para mi propio uso» no lo hace más seguro
Los ejemplos regulatorios anteriores se refieren a instituciones, pero el mecanismo subyacente no necesita un sistema empresarial para causar daño. Un modelo entrenado con patrones históricos no examinados puede producir una puntuación de apariencia convincente que reproduzca esos patrones sin hacerlos visibles. Pedir a una herramienta de propósito general que determine quién de tus subordinados es «más prometedor», qué candidato ofrece el «mejor encaje cultural» o qué familiar es «más razonable» en una disputa plantea el mismo riesgo a menor escala: una cifra o clasificación que refleja tanto los datos de entrenamiento del modelo como la forma concreta de la instrucción, pero se presenta con una seguridad que no descansa en ninguna verificación real. La ausencia de una auditoría formal no elimina el sesgo; elimina el único mecanismo que podría detectarlo.
Nunca uses una puntuación, clasificación o calificación que la IA asigne a una persona como motivo declarado u oculto de una decisión que tenga consecuencias para ella, como una contratación, un ascenso, una nota, una decisión de custodia o cuidados, o incluso un juicio informal que guíe tus actos, sin un proceso humano responsable que pueda examinarse, cuestionarse y revocarse. Si no puedes explicar y defender los criterios ante la persona afectada, no uses la clasificación.
La lista de comprobación para rechazar este uso
Antes de pedir a la IA que clasifique, puntúe o califique a personas en una contratación, una evaluación del desempeño, una calificación escolar, un emparejamiento o cualquier contexto cotidiano, pasa por estas comprobaciones:
- ¿Me sentiría cómodo explicando los criterios exactos a la persona evaluada? Si la respuesta sincera es que son vagos u opacos, o que ni siquiera se habían definido antes de que el modelo produjera una cifra, detente.
- ¿Hay una persona responsable que asuma la decisión y responda por ella? Una clasificación sin alguien identificable a quien se puedan pedir explicaciones es un sistema de puntuación sin rendición de cuentas, sea cual sea su escala.
- ¿Uso la IA para organizar pruebas o para emitir el veredicto? Ordenar hechos, plazos y criterios documentados es un uso razonable. Pedir al modelo que determine «quién es mejor» a partir de ese material no lo es: el veredicto corresponde a la persona responsable, que debe basarse en las pruebas organizadas.
- ¿Resistiría esta clasificación una auditoría? Las decisiones cotidianas no necesitan una auditoría formal, pero preguntarte si la clasificación soportaría un examen riguroso ayuda a decidir si debería existir.
La lista de comprobación para rechazar la clasificación de personas desarrolla estas preguntas por separado para la contratación, la evaluación del desempeño, las calificaciones escolares y las comparaciones informales de la vida cotidiana, porque tanto las consecuencias como las salvaguardas adecuadas varían entre esos contextos.
En qué puede seguir ayudando la IA
Nada de esto significa que la IA no pueda intervenir en tareas auxiliares de una decisión que compare a varias personas. Puede ayudarte a:
- Redactar criterios de evaluación coherentes y concretos antes de examinar a ningún candidato, para reducir el riesgo de adaptar los criterios a la persona que ya prefieres.
- Organizar pruebas documentadas, como la asistencia, entregables concretos o comentarios con fecha, en un formato claro para que una persona las compare.
- Comprobar si tus evaluaciones escritas aplican un lenguaje y unos criterios coherentes a todo el mundo, y señalar dónde cambia tu propia forma de redactar al referirte a una persona concreta.
Lo que nunca debería hacer es convertir ese material organizado en una lista ordenada, una puntuación o un «ganador» que una persona utilice como base para una decisión. Revisar el resultado después de que el modelo haya emitido su veredicto no hace que se pueda exigir cuentas por los criterios opacos con los que el modelo clasificó.
Para las decisiones laborales en EE. UU., la guía de la EEOC sobre discriminación laboral e IA dirigida a trabajadores es un punto de partida oficial y actual: las protecciones federales contra la discriminación siguen vigentes cuando un empleador usa IA. La EEOC también recalca que los criterios de selección deben guardar relación con el puesto, aplicarse de forma coherente y apoyarse en pruebas. Estas normas estadounidenses no determinan qué es legal en otros países.
Esto conecta con el trabajo y la dignidad de forma más amplia
Negarse a dejar que la IA clasifique a las personas es una aplicación concreta de un principio más amplio que se explica en la dignidad del trabajo cuando las máquinas pueden hacer una parte mayor: la dignidad de trabajadores y candidatos exige que las decisiones con consecuencias mantengan a una persona responsable a quien se puedan pedir explicaciones, no solo un proceso técnicamente más rápido. También guarda relación con qué no delegar a la IA. Puntuar o clasificar a una persona incumple casi por definición las pruebas de «consecuencia» y «reversibilidad» de ese marco, porque quien queda excluido por una puntuación oculta y no auditada rara vez puede impugnar el razonamiento subyacente.
Una idea equivocada habitual
La idea equivocada es que una clasificación resulta más segura por ser informal: una nota privada sobre quién parece «más fiable» en el equipo, una puntuación mental para decidir a qué amigo dar prioridad o una comparación rápida generada por IA que nunca se incorpora a un documento oficial. La informalidad elimina el rastro documental, no el mecanismo. El caso de Amazon empleaba un sistema formal cuyos ingenieros buscaban activamente sesgos y, aun así, el patrón tardó años en salir a la luz. Una clasificación informal y no registrada tiene aún menos posibilidades de ser detectada porque nadie la examina. La ausencia de un proceso formal no protege frente al problema; elimina lo único que podría descubrirlo.
Pruébalo hoy
Piensa en una decisión reciente o próxima para la que hayas considerado pedir a la IA que clasifique, puntúe o califique a personas, ya sean candidatos, miembros del equipo, estudiantes o personas de tu entorno. Sométela a las cuatro preguntas de la lista. Si falla una sola, reformula la tarea: usa la IA para ordenar los criterios y las pruebas, y haz tú la clasificación o la decisión de una forma que puedas explicar y defender ante la persona afectada.
