Stability AI estrena una versión abierta de su herramienta generadora de música Stable Audio

La startup de inteligencia artificial generativa Stability AI Ltd., mejor conocida por su herramienta de generación de imágenes Stable Diffusion, se está expandiendo al ámbito de la generación de audio con su último modelo abierto de IA para la creación de sonidos y música.

La compañía presentó Stable Audio Open en una publicación de blog hoy, diciendo que está completamente entrenado con música libre de derechos y puede tomar una descripción textual y transformarla en una grabación de hasta 47 segundos de duración. Para demostrar de lo que es capaz, la compañía ha proporcionado grabaciones de ejemplo basadas en indicaciones como «canción de Blackbird, verano, anochecer en el bosque» y «ritmo de rock tocado en un estudio tratado, sesión de batería en un kit acústico».

Stable Audio Open se basa en la herramienta comercial de generación de texto a audio de la compañía, Stable Audio, que debutó en septiembre. La compañía siguió con una herramienta mejorada, Stable Audio 2.0 en abril, agregando más claridad a sus salidas de audio y extendiendo su duración.

A diferencia de ese modelo, que se basa en fuentes de música protegidas por derechos de autor, Stable Audio Open solo se entrenó en 486.000 muestras de bibliotecas de música gratuitas como Free Music Archive y FreeSound, por lo que es poco probable que las grabaciones ir sean de la misma calidad.

AI Stability dijo que está diseñado para músicos y cineastas que necesitan crear ritmos de batería, riffs de instrumentos, sonidos ambientales y elementos de producción. Además, la herramienta también puede editar canciones existentes o aplicar un nuevo estilo, como smooth jazz, a una canción de un estilo diferente.

Un beneficio interesante de Stable Audio Open es que los usuarios pueden ajustar la plantilla con su propio audio, de modo que un músico puede cargar ejemplos de sus propias grabaciones de batería o riffs de guitarra, para generar nuevos sonidos en su propio estilo.

Sin embargo, la naturaleza abierta de Stable Audio Open limita su utilidad hasta cierto punto. La compañía explica que el objetivo del modelo no es crear canciones completas, sino crear bytes de sonido más cortos que puedan usarse como efectos musicales. No puede producir canciones completas ni voces. Aquellos que quieran hacerlo harían mejor en utilizar el servicio premium Stable Audio 2.0, que puede generar música más larga y coherente de más de tres minutos de duración, o una alternativa como la plataforma de Suno Inc.

Stability AI también admitió que el modelo no funciona tan bien cuando las personas lo activan en idiomas distintos del inglés, una falla que la compañía atribuye a la falta de datos de capacitación adecuados. Además, aunque se dice que Stable Audio Open es de código abierto, está disponible bajo una licencia restrictiva del acuerdo comunitario de investigación no comercial de Stability AI, que prohíbe el uso comercial de cualquier sonido generado.

Controversia musical de IA

La decisión de lanzar una variante abierta de su herramienta de generación de audio es interesante, ya que se produce poco después de la renuncia del vicepresidente de audio generativo de Stability AI, Ed Newton-Rex, quien abandonó la empresa debido a su política de utilizar derechos de autor. trabajar para entrenar sus modelos.

Los derechos de autor se han convertido en uno de los temas más polémicos en torno a la IA a medida que la tecnología crece en popularidad. Muchos músicos –y muchos otros trabajadores creativos, como artistas y escritores– temen que algún día puedan ser reemplazados por los mismos modelos de IA que se entrenan en sus obras.

Stability AI afirma que el uso de música protegida por derechos de autor para entrenar sus modelos de IA es aceptable según la doctrina del «uso justo», pero existe un debate sobre qué constituye exactamente «uso justo». En su carta de renuncia, Newton-Rex argumentó que entrenar IA en trabajos protegidos por derechos de autor no podría considerarse uso legítimo debido a su efecto sobre el valor de mercado potencial de ese contenido. «Los modelos de IA generativa actuales pueden claramente utilizarse para crear obras que compitan con las obras protegidas por derechos de autor en las que están entrenados», afirmó. «Así que no veo cómo el uso de obras protegidas por derechos de autor para entrenar modelos generativos de IA de esta naturaleza pueda considerarse un uso legítimo».

Muchos músicos comparten esa opinión. En abril, más de 200 de los artistas más importantes del mundo firmaron una carta abierta denunciando el uso «depredador» de la IA en la música y pidiendo que se detenga antes de que se salga de control. La carta, firmada por Stevie Wonder, Smokey Robinson, Billie Eilish, Jon Bon Jovi, REM, Katy Perry, Pearl Jam, los herederos de Bob Marley y muchos otros, calificaba a la IA como un «asalto a la creatividad humana» y decía que eventualmente intentará sustituir el trabajo de los humanos, con consecuencias «catastróficas» para muchos.

Algunos legisladores también adoptan la misma posición. En marzo, por ejemplo, el estado de Tennessee firmó una nueva ley que tiene como objetivo proteger las obras de los músicos contra el abuso de la IA.

Imagen: SiliconANGLE/Microsoft Designer