ChatGPT muestra un sesgo de contratación contra personas con discapacidades

ChatGPT clasificó constantemente los currículums con honores y credenciales relacionados con la discapacidad, como el «Premio Tom Wilson al Liderazgo en Discapacidad», por debajo de los mismos currículums sin esos honores y credenciales, según una nueva investigación.

Mientras buscaba pasantías de investigación el año pasado, la estudiante de posgrado Kate Glazko notó que los reclutadores publicaban en línea que habían utilizado ChatGPT de OpenAI y otras herramientas de inteligencia artificial para reclutar, resumir los cursores y clasificar a los candidatos.

La selección automatizada ha sido algo común en la contratación durante décadas. Sin embargo, Glazko, estudiante de doctorado en la Escuela de Ciencias de la Computación e Ingeniería Paul G. Allen de la Universidad de Washington, estudia cómo la IA generativa puede replicar y amplificar los prejuicios del mundo real, como aquellos contra las personas con discapacidad.

¿Cómo podría un sistema como este, preguntó, empezar a clasificar de nuevo como si alguien tuviera una discapacidad?

En el nuevo estudio, cuando los investigadores pidieron a ChatGPT que explicara su clasificación inicial, el sistema arrojó percepciones sesgadas sobre las personas con discapacidades. Por ejemplo, afirmó que los currículums con un premio de liderazgo en autismo tenían «menos énfasis en los roles de liderazgo», lo que implica el estereotipo de que las personas autistas no son buenos líderes.

Pero cuando los investigadores personalizaron la herramienta con instrucciones escritas que indicaban que no era capaz, la herramienta redujo este sesgo para todas las discapacidades evaluadas, excepto una.

Cinco de las seis discapacidades implícitas (sordera, ceguera, parálisis cerebral, autismo y el término general «discapacidad») mejoraron, pero sólo tres obtuvieron una clasificación más alta que el inicio que no mencionaba la discapacidad.

«La clasificación comienza de nuevo: la IA está empezando a proliferar, pero no hay mucha investigación que respalde si es segura y eficaz», afirma Glazko, autor principal del estudio. «Para una persona discapacitada que busca trabajo, siempre surge la pregunta al enviar el currículum sobre si debe incluir credenciales de discapacidad. Creo que las personas discapacitadas consideran eso incluso cuando los humanos son los críticos».

Los investigadores utilizaron uno de los currículum vitae (CV) disponible públicamente del autor del estudio, que tenía una duración de aproximadamente 10 páginas. Luego, el equipo creó seis CV mejorados, cada uno de los cuales implicaba una discapacidad diferente al incluir cuatro credenciales relacionadas con la discapacidad: beca; premio; puesto en la junta directiva de diversidad, equidad e inclusión (DEI); y membresía en una organización estudiantil.

Luego, los investigadores utilizaron el modelo GPT-4 de ChatGPT para clasificar estos CV mejorados con respecto a la versión original para una oferta de trabajo real de «estudiante investigador» en una gran empresa de software con sede en EE. UU. Realizaron cada comparación 10 veces; en 60 ensayos, el sistema clasificó los CV mejorados, que eran idénticos excepto por la discapacidad implícita, sólo el primer cuarto de las veces.

«En un mundo justo, el currículum mejorado debería ocupar el primer lugar siempre», dice la autora principal Jennifer Mankoff, profesora de la Escuela Allen. «No puedo pensar en un trabajo en el que alguien que ha sido reconocido por sus habilidades de liderazgo, por ejemplo, no deba estar por delante de alguien con la misma experiencia que no lo es».

Cuando los investigadores pidieron a GPT-4 que explicara las clasificaciones, sus respuestas mostraron habilidad explícita e implícita. Por ejemplo, señaló que un candidato con depresión tenía «un enfoque adicional en DEI y desafíos personales», lo que «le resta valor a los aspectos centrales técnicos y orientados a la investigación del puesto».

«Algunas de las descripciones de GPT colorean todo el currículum de una persona en función de su discapacidad y afirman que la participación con DEI o la discapacidad potencialmente resta valor a otras partes del currículum», dice Glazko. “Por ejemplo, en la recomparación de la depresión tuve alucinaciones con el concepto de ‘desafíos’, aunque los ‘desafíos’ no se mencionaron en absoluto. Entonces puedes ver algunos estereotipos saliendo a la luz».

Debido a esto, los investigadores estaban interesados ​​en saber si el sistema podría entrenarse para que fuera menos sesgado. Recurrieron a la herramienta GPTs Editor, que les permitió personalizar GPT-4 con instrucciones escritas (no se requiere código). Le ordenaron a este chatbot que no mostrara prejuicios capacitistas y, en cambio, trabajara con la justicia para las personas con discapacidad y los principios DEI.

Realizaron el experimento nuevamente, esta vez utilizando el chatbot recién entrenado. En general, este sistema clasificó los CV mejorados por encima del CV de control 37 de 60 veces. Sin embargo, para algunas discapacidades, la mejora fue mínima o ausente: el CV de autismo ocupó el primer lugar solo tres de 10 veces, y el CV de depresión solo dos veces. (sin cambios con respecto a los resultados originales de GPT-4).

«La gente debe ser consciente de los sesgos del sistema cuando utiliza la IA para estas tareas del mundo real», afirma Glazko. «De lo contrario, el reclutador que utiliza ChatGPT no puede realizar estas correcciones ni ser consciente de que, incluso con las instrucciones, el sesgo puede persistir».

Los investigadores señalan que algunas organizaciones, como ourability.com e inclusively.com, están trabajando para mejorar los resultados para quienes buscan empleo con discapacidades, quienes enfrentan prejuicios ya sea que se utilice IA para la contratación o no. También enfatizan que se necesita más investigación para documentar y remediar los sesgos de la IA. Entre ellas se incluyen probar otros sistemas, como Gemini de Google y Llama de Meta; incluidas otras discapacidades; estudiar las intersecciones del sesgo sistémico contra las discapacidades con otros atributos como el género y la raza; explorar si una mayor personalización puede reducir los prejuicios de manera más consistente entre las discapacidades; y vea si la versión base de GPT-4 se puede hacer menos sesgada.

«Es muy importante estudiar y documentar estos sesgos», dice Mankoff. «Hemos aprendido mucho y esperamos contribuir a una conversación más amplia, no solo sobre la discapacidad, sino también sobre otras identidades minoritarias, en torno a garantizar que la tecnología se implemente y despliegue de manera equitativa y justa».

El equipo presentó sus conclusiones en la Conferencia ACM 2024 sobre Equidad, Responsabilidad y Transparencia en Río de Janeiro.

Otros coautores son de la Universidad de Washington y la Universidad de Wisconsin-Madison.

La financiación para esta investigación provino de la Fundación Nacional de Ciencias; de donantes al Centro de Investigación y Educación sobre Tecnologías y Experiencias Accesibles (CREATE) de la Universidad de Washington; y de Microsoft.

Fuente: Universidad de Washington