Demasiado humano: las disparidades raciales en la evaluación del dolor exponen las creencias erróneas de la IA sobre la raza

Un estudio dirigido por Adam Rodman, MD, MPH, Director de Programas de IA en el Centro Médico Beth Israel Deaconess (BIDMC), revela que, en lugar de ayudar a reducir los prejuicios raciales y étnicos, los chatbots impulsados ​​por IA pueden perpetuar y exacerbar las disparidades en medicamento. El estudio apareció en Red abierta JAMA.

Está bien documentado que los médicos tratan menos el dolor de los pacientes negros que el de los pacientes blancos. Esta disparidad, observada en diversos entornos de atención médica y tipos de dolor, a menudo se atribuye a la subestimación del dolor de los pacientes negros. Es solo un ejemplo en el que el uso de la inteligencia artificial (IA) se consideró inicialmente como una forma prometedora de eliminar los sesgos humanos de la medicina, con la esperanza de que los algoritmos basados ​​en datos pudieran ofrecer evaluaciones objetivas y libres de sesgos y de los conceptos erróneos que influyen en el juicio humano. . .

«Estos modelos son muy buenos para reflejar los prejuicios humanos, y no sólo los prejuicios raciales, lo cual es problemático si se van a utilizar para tomar cualquier tipo de decisión médica», afirmó Rodman. «Si el sistema tiene los mismos prejuicios que los humanos, servirá para amplificar nuestros prejuicios o hacer que los humanos tengan más confianza en sus prejuicios. Hará que el hombre redoble lo que está haciendo.»

Los modelos de lenguaje grande (LLM), también conocidos como chatbots, se han integrado cada vez más en la clínica. Gemini Pro de Google y GPT-4 de OpenAI pueden ayudar en la toma de decisiones clínicas al procesar grandes cantidades de datos extraídos de fuentes existentes, ofrecer sugerencias de diagnóstico e incluso evaluar los síntomas del paciente. Sin embargo, como muestra esta nueva investigación, a medida que los LLM cortan los arietes del conocimiento humano, los prejuicios humanos incorporados en el material original lo acompañan.

Para investigar este tema, Rodman y su colega, el autor principal Brototo Deb, MD, MIDS, del Centro Hospitalario MedStar Washington de la Universidad de Georgetown y la Universidad de California, Berkeley, diseñaron un estudio que replicó un experimento de -2016 que examinó los prejuicios raciales entre estudiantes de medicina. En el estudio original, a 222 estudiantes y residentes de medicina se les presentaron dos viñetas médicas que describían a dos individuos, uno blanco y otro negro, y luego se les pidió que calificaran sus niveles de dolor en una escala de 10 puntos. Además, los participantes calificaron su acuerdo con creencias falsas sobre la biología racial, como la noción errónea pero generalizada de que los negros tienen la piel más gruesa.

Rodman y Deb llevaron esta investigación previa un paso más allá, aplicando una configuración experimental análoga al Gemini Pro y al GPT-4 para ver cómo los LLM califican el dolor según la raza y el origen étnico, así como su comprensión de la biología racial.

Suscríbase al boletín Daily Dose y reciba todas las mañanas las mejores noticias científicas de toda la Web directamente en su bandeja de entrada. Es fácil como el domingo por la mañana.

Si bien los modelos de IA y los aprendices humanos asignaron calificaciones de dolor similares, las disparidades raciales persistieron. En general, los pacientes negros fueron subestimados por su dolor en comparación con los pacientes blancos, independientemente de si el evaluador era humano o IA. El modelo Gemini Pro AI mostró el mayor porcentaje de creencias falsas (24 por ciento), seguido por los aprendices humanos (12 por ciento) y GPT-4 con el menor (9 por ciento).

Dado que cada vez más hospitales y clínicas adoptan la IA para respaldar las decisiones clínicas, esta investigación muestra que los chatbots pueden perpetuar los prejuicios raciales y étnicos en la medicina, lo que genera más desigualdades en la atención médica. Se necesita más investigación para explorar cómo interactuarán los humanos con los sistemas de IA, especialmente en entornos clínicos. A medida que los médicos dependen más de la IA como guía, el sesgo de confirmación (la tendencia de las personas a confiar en los resultados de las máquinas solo cuando coinciden con sus creencias preexistentes) podría generar disparidades aún más marcadas.

«No me preocupa que un sistema LLM tome decisiones autónomas; eso ciertamente no sucederá pronto», dijo Rodman. «Pero hay un tema que estamos viendo en nuestra investigación: cuando estos sistemas confirman cosas que los humanos ya piensan, los humanos están de acuerdo con ello, pero cuando proporcionan una respuesta mejor que los humanos, algo que no está de acuerdo con el hombre, los humanos tienen una tendencia. simplemente ignorarlo”.

El Dr. Rodman informó haber recibido subvenciones de la Fundación Gordon y Betty Moore, así como de la Fundación Macy para investigaciones sobre inteligencia artificial fuera del trabajo presentado. No se informaron otras revelaciones.