Regreso al futuro: lo que el soporte de decisiones predictivas puede aprender de los DeLoreans y The Big Short

En el tercer blog de nuestra serie sobre modelos predictivos (herramientas o software de análisis de datos) impulsados ​​por inteligencia artificial (IA) y aprendizaje automático (ML) en el sector sanitario, analizamos algunos riesgos potenciales (a veces llamados fallos del modelo) relacionados con estas tecnologías emergentes y cómo Estos riesgos pueden generar impactos o resultados negativos. Debido a estos riesgos potenciales, algunos se han preguntado si pueden confiar en el uso de estas tecnologías en la atención sanitaria.

Nos alienta ver que algunas partes interesadas están demostrando que un modelo predictivo es justo, apropiado, válido, eficaz y seguro (FAVES), en lugar de amplificar los sesgos o los daños. Algunas partes interesadas lo indican a través de descripciones de los procesos utilizados para desarrollar el modelo y minimizar los riesgos, la evaluación del desempeño del modelo (a menudo descrita en literatura revisada por pares y de acuerdo con pautas de presentación de informes que apenas están comenzando) y una descripción clara de cómo y cuándo se debe utilizar el modelo. Sin embargo, a menudo esta información no está disponible para los compradores, implementadores y usuarios. Como resultado, la información necesaria para evaluar la calidad de los modelos predictivos no está disponible, incluso cuando estos modelos están incorporados o integrados con TI sanitaria certificada.

Vemos esta falta de disponibilidad de información consistente (o asimetría de información) como un desafío definitorio que inhibe la optimización de las intervenciones predictivas de apoyo a las decisiones (IDS) en la atención médica. Para los estudiantes de economía, este tipo de información insuficiente o «incertidumbre sobre la calidad» es una de las formas más famosas de falla del mercado, a menudo llamado coloquialmente «mercado de limón», como en la antigua jerga se refiere a los autos usados ​​que no funcionan bien. Un «mercado de limones» puede generar varias dinámicas negativas que analizaremos brevemente.

¿Estamos viendo un mercado para los limones en los modelos predictivos en algunas áreas de la atención sanitaria?

Hay tres dinámicas clásicas que esperamos ver en un «mercado del limón», y estamos buscando señales de cada una de ellas en el mercado de modelos predictivos en atención médica:

1. El comprador o usuario obtiene limones reales: Los compradores potenciales o usuarios de modelos no están seguros de si un modelo es de buena calidad y, por lo tanto, terminan usando malos modelos o usando modelos de manera inapropiada (por ejemplo, usando un modelo fuera del entorno para el cual fue diseñado o incorrecto). adecuado para una tarea o contexto particular). Es famoso que el mal uso de los modelos y la apreciación insuficiente de los riesgos de los mismos llevaron a una excesiva dependencia de los modelos para estimar los riesgos de incumplimiento de los valores respaldados por hipotecas y contribuyeron directamente a la crisis financiera de 2008 en Estados Unidos. En los últimos años, hemos visto casos destacados en el sector sanitario en los que los usuarios descubrieron, sólo tardíamente, que los modelos que utilizaban o adquirían eran inexactos o estaban sesgados.
2. Incertidumbre e incapacidad para determinar lo «bueno» de lo «malo» Modelos de predicción no comprados: Los usuarios potenciales simplemente no compran nada porque no están seguros de si lo que se les ofrece es efectivo, aceite de serpiente o, como en el mercado del automóvil, una trampa. Los grupos de médicos compartieron que los médicos simplemente no tienen la información que necesitan para saber si la herramienta funcionará en su práctica. También hemos visto el uso continuo de modelos excepcionalmente simples, desarrollados hace décadas, cuando existen alternativas más avanzadas, como los modelos predictivos. Una razón por la que los modelos más avanzados no han reemplazado a estos modelos simples puede deberse a la incertidumbre fundamental sobre la calidad de las alternativas más avanzadas, algunas de las cuales, pero no todas, probablemente sean más efectivas (alta calidad) que los modelos más antiguos y simples. .
3. Los productores o proveedores de modelos de alta calidad pueden salir del mercado sanitario: Los productores de modelos de alta calidad abandonan el mercado, especialmente si la alta calidad tiene un coste elevado. Si los compradores no pueden distinguir un buen modelo de uno malo, no querrán pagar más por un modelo «bueno» y caro que por uno de mala calidad. Los productores de alta calidad terminan siendo financieramente inviables y abandonan el mercado, dejando atrás sólo malas opciones. Quizás esté familiarizado con el concepto de «espiral de muerte por selección adversa» de otra parte de la industria del cuidado de la salud. Actualmente, estamos viendo una enorme entrada y salida del mercado de modelos en el sector sanitario, y somos conscientes de que la falta de información de calidad puede inhibir el surgimiento de un mercado saludable para los modelos.

¿Qué se puede hacer con un modelo de pronóstico del mercado de limones?

La buena noticia es que la información de calidad limitada que impulsa el mercado de los limones puede resolverse y, con suerte, conducir a un mercado más sólido en el que se identifique y recompense a los desarrolladores de alta calidad.

Hay dos cosas clásicas que se pueden hacer con respecto a un «mercado de limón»:

Una opción es crear una certificación de calidad, de modo que los compradores tengan cierta confianza en la calidad subyacente de lo que están comprando, particularmente en circunstancias en las que al comprador le resulta difícil determinar la calidad y las implicaciones de calidad bajas son potencialmente desastrosas. Por ejemplo, se crearon juntas de licencias médicas para dar a los pacientes la confianza de que su médico tenía la formación adecuada y no un vendedor de aceite de serpiente. Otro ejemplo proviene de la Administración de Alimentos y Medicamentos (FDA), que, por supuesto, ha aprobado muchos medicamentos y otras terapias como seguros, eficaces y adecuados para su distribución comercial. La FDA también ha aprobado unos 300 tipos de dispositivos médicos habilitados para IA/ML, «explotando» el uso de estos dispositivos en función de la evidencia de que son seguros y eficaces para el uso previsto, y de que el desarrollador de estos dispositivos puede fabricarlos. de acuerdo con los estándares de calidad federales.

La segunda opción es exigir transparencia para que sea más fácil para los usuarios potenciales determinar la calidad o idoneidad de un producto. Esa es quizás la respuesta más famosa al «mercado del limón» del mismo nombre: los informes del historial de vehículos de CARFAX, elaborados a partir de reservas de datos públicos, incluidos los resultantes de Truth in Mileage y los informes de daños por accidentes, lo que hace que sea mucho más difícil cobrar de más. para un barril oxidado. Otros ejemplos de este enfoque incluyen las etiquetas de información nutricional de los alimentos y las etiquetas de datos de los medicamentos que pueden venderse, que brindan información sobre lo que contiene un producto, qué se supone que debe hacer y quién lo ha usado (y en algunos casos, no debería). y cómo debe usarse.

Para los DSI predictivos en el sector sanitario, se puede generar información como una «etiqueta de hecho» del modelo aplicando varias pruebas al modelo en un proceso llamado validación del modelo. Sin embargo, la experiencia de la industria de servicios financieros pone de relieve que la información de validación puede no ser suficiente para garantizar que los modelos sean de alta calidad y se utilicen adecuadamente por sí solos. En 2000, la Oficina del Contralor de la Moneda (OCC) del Departamento del Tesoro de EE. UU. publicó una Guía de validación de modelos para describir los principios de validación de modelos. Durante la siguiente década, impulsado por el papel de los modelos en la crisis financiera de 2008 en los Estados Unidos, el enfoque de la orientación de la OCC se amplió para incluir la gestión de riesgos y la gobernanza que reflejan no solo la validación de modelos sino también las competencias y prácticas organizacionales. En particular, la guía conjunta de la OCC y la Junta de Gobernadores del Sistema de la Reserva Federal de EE. UU., denominada SR 11-7, señala que los aspectos clave de un modelo de marco de gestión de riesgos eficaz incluyen «el desarrollo, la implementación y el uso de un modelo sólido; validación efectiva, y gobernanza, políticas y controles sólidos».

Para ayudar a las organizaciones a gestionar los riesgos empresariales y sociales relacionados con el diseño, desarrollo, implementación, evaluación y uso de sistemas de IA, los Institutos Nacionales de Estándares y Tecnología publicaron recientemente un segundo borrador del marco de gestión de riesgos de IA (AI RMF). El marco tiene como objetivo «proporcionar un proceso flexible, estructurado y mensurable para abordar de forma proactiva y continua los riesgos de la IA durante todo el ciclo de vida de la IA».

Tanto la guía SR 11-7 como la AI RMF también llaman la atención sobre la importancia de las competencias organizacionales en la gestión de riesgos para modelos y tecnologías relacionados con AI/ML. Esas orientaciones y ese marco pueden ayudar a cultivar la confianza tanto en productos para el cual se gestiona el riesgo y el organizaciones y el de ellos practicas utilizados para gestionar estos riesgos.

Si bien somos conscientes de muchos esfuerzos existentes y emergentes para establecer pautas, marcos y principios para fomentar la optimización de los modelos predictivos en la atención médica, incluido el reciente reconocimiento de la industria de la necesidad de evaluación, monitoreo y barreras de seguridad, también sabemos que se desarrollaron modelos de ML comúnmente utilizados. Los desarrolladores o usuarios de TI de salud a menudo no cumplen con dichas pautas.

En el próximo y último blog de nuestra serie, discutiremos algunas direcciones potenciales que la ONC podría tomar para ayudar a mejorar la asimetría de la información en esta área, permitiendo a los usuarios determinar si los DSI de las predicciones son FAVORES, y los pasos que todos podemos tomar para optimizar el uso. . de algoritmos en el cuidado de la salud.