El papel de ChatGPT en la detección de deepfake: un estudio

Cuando la mayoría de la gente piensa en inteligencia artificial, probablemente esté pensando (y preocupándose) por ChatGPT y los deepfakes. El texto y las imágenes generados por IA dominan nuestras redes sociales y otros sitios web que visitamos, a veces sin nuestro conocimiento, y a menudo se utilizan para difundir información engañosa y poco confiable.

Pero, ¿qué pasaría si los modelos de generación de texto como ChatGPT pudieran detectar imágenes ultrafalsas?

Un equipo de investigación dirigido por la Universidad de Buffalo aplicó grandes modelos de lenguaje (LLM), incluidos ChatGPT de OpenAI y Gemini de Google, para detectar falsificaciones profundas de rostros humanos. Suyo estudiarpresentado la semana pasada en la Conferencia IEEE/CVF sobre Visión por Computadora y Reconocimiento de Patrones, encontró que el rendimiento de los LLM estaba por detrás del de los algoritmos avanzados de detección de deepfake, pero su procesamiento del lenguaje natural puede convertirlos en una herramienta de detección más práctica en el futuro.

«Lo que distingue a los LLM de los métodos de detección existentes es la capacidad de explicar sus hallazgos de una manera comprensible para los humanos, como identificar una sombra incorrecta o aretes que no coinciden», dice el autor principal del estudio, Siwei Lyu, PhD, profesor de Innovación SUNY Empire. en el Departamento de Ciencias e Ingeniería Informática de la Facultad de Ingeniería y Ciencias Aplicadas de la UB. «Los LLM no fueron diseñados ni capacitados para la detección de deepfake, pero su conocimiento semántico los hace muy adecuados para ello, por lo que esperamos ver más esfuerzos hacia esta aplicación».

Los colaboradores en el estudio incluyen la Universidad de Albany y la Universidad China de Hong Kong, Shenzhen. El trabajo fue apoyado por la Fundación Nacional de Ciencias.

ChatGPT, entrenado en gran parte del texto disponible en Internet (que asciende a unos 300 mil millones de palabras), encuentra tendencias estadísticas y relaciones entre palabras para generar respuestas.

Las últimas versiones de ChatGPT y otros LLM también pueden analizar imágenes. Estos LLM multimodales utilizan grandes bases de datos de fotografías subtituladas para encontrar relaciones entre palabras e imágenes.

“Los humanos también hacen esto. Ya sea una señal de alto o un meme viral, constantemente asignamos una descripción semántica a la imagen”, dice el primer autor del estudio, Shan Jai, subdirector del Laboratorio de Medios Forenses de la UB. «De esta manera, las imágenes se convierten en su propio lenguaje.»

El equipo de Media Forensics Lab decidió probar si GPT-4 con visión (GPT-4V) y Gemini 1.0 pueden distinguir entre rostros reales y rostros generados por IA. Le dieron miles de imágenes de rostros reales y falsos y le pidieron que identificara posibles signos de manipulación o artefactos sintéticos.

Ventajas ChatGPT

ChatGPT fue preciso el 79,5% de las veces al detectar artefactos sintéticos en imágenes generadas por difusión oculta y el 77,2% de las veces en imágenes generadas por StyleGAN.

«Esto es comparable a los métodos anteriores de detección de deepfake, por lo que con la orientación adecuada y rápida, ChatGPT puede hacer un trabajo bastante decente al detectar imágenes generadas por IA», dice Lyu, quien también es codirector del Centro para la Integridad de la Información de la UB.

Más importante aún, ChatGPT puede explicar su toma de decisiones en un lenguaje sencillo. Cuando se le proporcionó una foto generada por IA de un hombre con gafas, la modelo señaló correctamente que «el cabello en el lado izquierdo de la imagen está un poco borroso» y «la transición entre la persona y el fondo es un poco abrupta y le falta profundidad.»

«Los modelos de detección de deepfake existentes nos dirán la probabilidad de que una imagen sea real o falsa, pero rara vez nos dicen por qué llegaron a esta conclusión. E incluso si miramos los mecanismos subyacentes del modelo, habrá características que simplemente no podemos comprender», afirma Lyu. «Mientras tanto, todo lo que genera ChatGPT es comprensible para los humanos».

Esto se debe a que ChatGPT basa su análisis únicamente en conocimiento semántico. Si bien los algoritmos tradicionales de detección de deepfake distinguen lo real de lo falso entrenando en grandes conjuntos de datos de imágenes etiquetadas como reales o falsas, las habilidades de lenguaje natural de los LLM les brindan una comprensión de la realidad con sentido común, al menos cuando no están alucinando, incluida la simetría típica de rostros humanos y el aspecto de fotografías reales.

«Una vez que el componente de visión de ChatGPT entiende una imagen como un rostro humano, el componente de lenguaje puede hacer la inferencia de que un rostro normalmente tiene dos ojos, y así sucesivamente», dice Lyu. «El componente lingüístico proporciona una conexión más profunda entre los conceptos visuales y verbales».

El conocimiento semántico y el procesamiento del lenguaje natural de ChatGPT lo convierten en una herramienta de deepfake más fácil de usar tanto para usuarios como para desarrolladores, concluyó el estudio.

“Normalmente, tomamos conocimientos sobre la detección de deepfakes y los convertimos en un lenguaje de programación. Ahora, todo este conocimiento está presente en un modelo y solo necesitamos usar el lenguaje natural para extraer ese conocimiento”, dice Lyu.

Desventajas de ChatGPT

El rendimiento de ChatGPT estuvo muy por debajo de los últimos algoritmos de detección de deepfake, que tienen tasas de precisión de entre 90 y 90.

Esto se debió en parte a que los LLM no pueden capturar diferencias estadísticas en el nivel de la señal que son invisibles para el ojo humano, pero que a menudo los algoritmos de detección los utilizan para identificar imágenes generadas por IA.

«ChatGPT sólo se centró en anomalías a nivel semántico», dice Lyu. «De esta manera, la intuición semántica de los resultados de ChatGPT puede ser en realidad un arma de doble filo para la detección de deepfake».

Y es posible que otros LLM no sean tan eficaces para explicar su análisis. A pesar del desempeño comparativo con ChatGPT al adivinar la presencia de artefactos sintéticos, la evidencia de respaldo de Gemini a menudo no tenía sentido, como indicar lunares inexistentes.

Otra desventaja es que los LLM a menudo se negaban a analizar imágenes. Cuando se le preguntó directamente si una foto fue generada por IA, ChatGPT generalmente respondió: «Lo siento, no puedo ayudar con esa solicitud».

«El modelo está programado para no responder cuando no alcanza un cierto nivel de confianza», dice Lyu. «Sabemos que ChatGPT tiene información relevante para la detección de deepfake, pero, nuevamente, se necesita un operador humano para fomentar esa parte de su base de conocimientos. La ingeniería rápida es efectiva, pero no muy eficiente, por lo que el siguiente paso es bajar un nivel y, de hecho, ajustar los LLM para esta tarea específicamente «.