El nuevo modelo de IA puede simular ‘Super Mario Bros.’ Después de ver vídeos de juegos

El mes pasado, Google El modelo GameNGen AI ha demostrado que se pueden utilizar técnicas generalizadas de difusión de imágenes para generar una versión aceptable y jugable. Condenar. Ahora, los investigadores están utilizando algunas técnicas similares con un modelo llamado MarioVGG para ver si la IA puede generar videos plausibles de Súper Mario Bros. en respuesta a las aportaciones de los usuarios.

Los resultados del modelo MarioVGG, disponible como un artículo preimpreso publicado por Virtuals Protocol, la empresa de inteligencia artificial adyacente a las criptomonedas, todavía muestran muchos fallos aparentes y es demasiado lento para cualquier cosa que se acerque a un juego en tiempo real. Pero los resultados muestran cómo incluso un modelo limitado puede deducir algunas físicas y dinámicas de juego impresionantes con sólo estudiar un poco de vídeo y datos de entrada.

Los investigadores esperan que esto represente el primer paso hacia «producir y demostrar un generador de videojuegos confiable y controlable» o posiblemente incluso «reemplazar el desarrollo de juegos y los motores de juegos utilizando completamente modelos de generación de video» en el futuro.

Vemos 737.000 fotogramas de Mario

Para entrenar su modelo, los investigadores MarioVGG (los usuarios de GitHub erniechew y Brian Lim figuran como contribuyentes) comenzaron con un conjunto de datos públicos de Súper Mario Bros. juego que contiene 280 ‘niveles’ de datos de entrada e imágenes organizados para fines de aprendizaje automático (el nivel 1-1 se eliminó de los datos de entrenamiento para que las imágenes del mismo pudieran usarse en la evaluación). Los más de 737.000 cuadros individuales en ese conjunto de datos fueron «preprocesados» en trozos de 35 cuadros para que el modelo pudiera comenzar a aprender cómo se veían en general los resultados inmediatos de varias entradas.

Para «simplificar la situación del juego», los investigadores decidieron centrarse sólo en dos posibles entradas del conjunto de datos: «correr bien» y «correr recto y saltar». Sin embargo, incluso este conjunto de movimiento limitado presentó algunas dificultades para el sistema de aprendizaje automático, ya que el preprocesador tuvo que mirar hacia atrás unos cuantos fotogramas antes de un salto para determinar si comenzó la «ejecución» y cuándo. Cualquier salto que incluyera ajustes en el aire (es decir, el botón «izquierdo») también tuvo que ser descartado porque «esto introduciría ruido en el conjunto de datos de entrenamiento», escriben los investigadores.

Después del preprocesamiento (y aproximadamente 48 horas de entrenamiento en una sola tarjeta gráfica RTX 4090), los investigadores utilizaron un proceso estándar de convolución y eliminación de ruido para generar nuevos cuadros de video a partir de una imagen estática de inicio del juego y una entrada de texto (ya sea «ejecutar» o «saltar»). en este caso limitado). Si bien estas secuencias generadas solo duran unos pocos cuadros, el último cuadro de una secuencia se puede usar como el primero de una nueva secuencia, creando videos de juego de cualquier duración que aún muestren «un juego coherente y consistente», según los investigadores.

Súper Mario 0.5

Incluso con toda esta configuración, MarioVGG no genera exactamente videos fluidos e indistinguibles de un juego real de NES. Para mayor eficiencia, los investigadores reducen los fotogramas de salida de la resolución de 256 × 240 de la NES a una resolución mucho más confusa de 64 × 48. También condensan 35 fotogramas de vídeo en sólo siete fotogramas generados que se distribuyen «a intervalos iguales», creando un vídeo de «juego» que es mucho más tosco que el resultado real del juego.

A pesar de esas limitaciones, el modelo MarioVGG todavía tiene dificultades para acercarse incluso a la generación de vídeo en tiempo real, en este momento. El único RTX 4090 utilizado por los investigadores tardó seis segundos completos en generar una secuencia de vídeo de seis fotogramas, lo que representa poco más de medio segundo de vídeo, incluso a una velocidad de fotogramas extremadamente limitada. Los investigadores admiten que esto «no es práctico ni fácil para los videojuegos interactivos», pero esperan que futuras optimizaciones en la cuantificación del peso (y tal vez el uso de más recursos informáticos) puedan mejorar esta tasa.

Sin embargo, con esos límites en mente, MarioVGG puede crear algún video pasablemente creíble de Mario corriendo y saltando desde una imagen inicial estática, similar al creador de juegos Genie de Google. El modelo fue incluso capaz de «aprender la física del juego únicamente a partir de fotogramas de vídeo en los datos de entrenamiento sin reglas explícitas codificadas», escriben los investigadores. Esto incluye inferir comportamientos como que Mario caiga por el borde de un acantilado (con una gravedad creíble) y (en general) detener el movimiento hacia adelante de Mario cuando está cerca de un obstáculo, escriben los investigadores.

Si bien MarioVGG se centró en simular los movimientos de Mario, los investigadores descubrieron que el sistema puede efectivamente alucinar nuevos obstáculos para Mario a medida que el video avanza a través de un nivel imaginado. Estos obstáculos «son coherentes con el lenguaje gráfico del juego», escriben los investigadores, pero actualmente no pueden ser influenciados por las indicaciones del usuario (por ejemplo, colocar un hoyo frente a Mario y hacerlo saltar sobre él).

Sólo invéntalo

Sin embargo, como todos los modelos probabilísticos de IA, MarioVGG tiene una tendencia frustrante a producir en ocasiones resultados completamente inútiles. A veces, esto significa simplemente ignorar las indicaciones de entrada del usuario («observamos que el texto de acción de entrada no se obedece todo el tiempo», escriben los investigadores). Otras veces, esto significa alucinar fallas visuales obvias: Mario a veces aterriza dentro de obstáculos, corre a través de obstáculos y enemigos, muestra diferentes colores, se encoge o crece de un cuadro a otro o desaparece por completo durante varios cuadros antes de reaparecer.

Un video particularmente absurdo compartido por los investigadores muestra a Mario cayéndose del puente, convirtiéndose en un Cheep-Cheep, luego volando de regreso por los puentes y transformándose nuevamente en Mario. Ese es el tipo de cosas que esperamos ver de Wonder Flower, no un vídeo de IA del original. Súper Mario Bros.

Los investigadores plantean la hipótesis de que entrenar durante más tiempo con «datos de juego más diversos» puede ayudar con estos problemas importantes y ayudar a su modelo a simular algo más que simplemente correr y saltar inexorablemente hacia la derecha. Aun así, MarioVGG es una divertida prueba de concepto de que incluso los datos y algoritmos de entrenamiento limitados pueden crear algunos modelos iniciales decentes de juegos básicos.

Esta historia apareció originalmente en Ars Técnica.