Esta cámara intercambia imágenes por poesía de IA

¿Alguna vez te has parado frente a una secuoya y te has preguntado: «¿No sería fantástico si esto fuera un poema en lugar de un árbol?» Ni siquiera Joyce Kilmer. Kelin Carolyn Zhang y Ryan Mather, sin embargo, se propusieron cerrar la brecha entre la tecnología de inteligencia artificial y la poesía a través de su cautivadora idea: la cámara de poesía. El dispositivo de código abierto combina tecnología avanzada con visión artística, lo que da como resultado una creación que traspasa los límites de ambos campos.

A primera vista, la Poetry Camera parece un dispositivo más en el panorama en constante evolución de los dispositivos digitales. Sin embargo, tras una inspección más cercana, resulta evidente que no se trata de una cámara cualquiera. En lugar de simplemente capturar una imagen, Poetry Camera lleva el concepto de fotografía a nuevas alturas generando poesía que invita a la reflexión (o, bueno, tan estimulante como la poesía de IA puede llegar a ser) basada en las imágenes que encuentras.

Zhang y Mather, los cerebros detrás de este proyecto, combinaron a la perfección su experiencia en tecnología y arte para crear un dispositivo técnicamente impresionante y estéticamente cautivador.

La historia de Poetry Camera comenzó como un proyecto de pasión personal para Zhang y Mather, quienes se enamoraron de la idea de combinar su amor por la tecnología con su apreciación del arte. En las primeras etapas de desarrollo, pasaron innumerables horas capturando varios componentes y experimentando con diferentes modelos de IA para hacer realidad su visión.

«El origen del proyecto es cuando obtuve acceso a GPT-3. Mi primer instinto fue jugar a Dungeons & Dragons con él porque soy un nerd. Pensé «si esto pudiera jugar Dungeons & Dragons, sería impresionante». Y sí, funcionó para eso. Esto fue cuando había que diseñar sobre la marcha. Así que fue necesario un poco de esfuerzo para que funcionara. Pero también tuve la idea de hacer una cámara como proyecto», dice Mather. “¿Qué pasaría si tomaras una cámara, pero fuera una reacción a la cultura de Instagram? ¿Qué pasa si aparece texto en lugar de una foto? … Todo el mundo prefiere la versión del libro a la película, así que es esa forma de capturar momentos».

Mientras refinaban su prototipo, Zhang y Mather comenzaron a compartir su creación con amigos y familiares en reuniones sociales. Las reacciones que recibieron fueron nada menos que sorprendentes. La gente estaba fascinada por el concepto de una cámara que pudiera generar poesía a partir de lo que veía. El dispositivo rápidamente se convirtió en el centro de atención, provocando animadas discusiones y capturando la imaginación de todos los que lo encontraron.

Estas reacciones iniciales fueron un fuerte motivador para que Zhang y Mather perfeccionaran aún más su invento. Se dieron cuenta de que la Poetry Camera tenía el potencial de cerrar la brecha entre la tecnología y el arte de una manera que resonara en la gente. A medida que se corrió la voz sobre la Poetry Camera, el dúo se vio inundado de preguntas de personas curiosas y ansiosas por experimentar el dispositivo por sí mismos. Este interés los llevó a considerar la posibilidad de transformar su proyecto en un potencial producto comercial, para hacer accesible la magia de Poetry Camera a un público más amplio.

La tecnología

En el corazón de este dispositivo innovador se encuentra una Raspberry Pi, una computadora de placa única del tamaño de una tarjeta de crédito que tiene un gran impacto. Este pequeño pero poderoso componente actúa como el cerebro de la Poetry Camera, permitiéndole capturar imágenes y comunicarse con el GPT-4 de OpenAI para generar poesía.

Raspberry Pi captura la imagen y luego utiliza algoritmos de visión por computadora para analizar los datos visuales. Luego, los modelos de IA interpretan la imagen, identificando elementos clave, colores, patrones y emociones dentro del marco. Esta información sirve como base para el proceso de generación del poema.

Zhang apuntó con la cámara a nuestra entrevista por Zoom:

Ryan Mather y Kelin Carolyn Zhang en una entrevista con su corresponsal. Créditos de imagen: Captura de pantalla de Zoom

Y salió un poema:

El poema generado e impreso por Poetry Camera (transcrito a continuación). Créditos de imagen: Cámara de poesía

Detrás de la lente, un hombre ajusta su mirada,
En los límites cuadrados del espacio de píxeles.
Haga zoom en superficies mantenidas en una ubicación virtual,
Hace tiempo que abandonó la carrera de ratas.

La luz del día se filtra a través de visillos mejorados,
En su mano corre un café tibio.
Las conversaciones fluyen a través de la frontera virtual,
Su reflejo reflejado, aparece en la pantalla.

En el estante, libros delgados, charla silenciosa,
Una planta sana, la única materia viva.
Con los vasos arreglados, la casa se convierte en su plácida masa,
Dentro de estos muros, su mundo se extendió.

Esta mañana de abril de 2024,
Una nueva normalidad, desgastada en silencio.

un poema de @poesia.camara

Zhang teoriza que la referencia a «dejé la carrera de ratas» es una referencia a mi camisa hawaiana.

Los inventores me dicen que la producción de Poetry Camera no se limita a un formato. Debido a que la herramienta es de código abierto, los usuarios pueden elegir entre varias formas poéticas, como haiku, soneto o verso libre, según sus preferencias y la capacidad y voluntad de interactuar con el código fuente.

A medida que Poetry Camera continúa evolucionando, Zhang y Mather están explorando nuevas formas de mejorar sus capacidades. Perfeccionan y seleccionan constantemente modelos de IA, amplían las indicaciones de los dispositivos y experimentan con técnicas avanzadas de procesamiento del lenguaje natural. El objetivo es crear un dispositivo que genere poesía y entable un diálogo significativo con los usuarios, fomentando una conexión más profunda entre la tecnología y el arte.

La intersección del arte y la tecnología

La Poetry Camera es un testimonio del increíble potencial que existe en la intersección del arte y la tecnología. Aprovechando el poder de la IA y el aprendizaje automático, Zhang y Mather han creado un dispositivo que no sólo captura la belleza del mundo que nos rodea, sino que también la interpreta de una manera que puede resultar sorprendentemente conmovedora. Como tecnología, es simple, pero me encanta lo accesible que hace las cosas la Poetry Camera. Se vuelve muy fácil atreverse a soñar y superar los límites de lo que la tecnología puede lograr.

Las pantallas dominan nuestra vida diaria; La Poetry Camera ofrece una refrescante salida de la norma. En lugar de depender de una pantalla digital para mostrar sus producciones poéticas, el dispositivo utiliza un método de interacción más táctil e inmersivo. Los poemas generados se imprimen en papel, creando una encarnación física de la experiencia artística. La temporalidad del arte se lleva bastante lejos con la Poetry Camera.

Otro poema de muestra. Créditos de imagen: Cámara de poesía

“No guardamos ninguna imagen ni poema digitalmente. Hay algunas razones para esto: una, es más fácil. Dos: privacidad. En tercer lugar, añade un significado adicional a los poemas si son como este tipo de artefactos efímeros. Si lo pierdes, desaparece”, explica Mather. «Ahora todo el mundo lleva una cámara en el bolsillo a través de su teléfono móvil; queríamos hacer algo muy diferente».

Hemos visto nuevas interfaces de usuario con productos como Plaud y Humane Ai Pin, y este dispositivo continúa en la misma línea. Permite a los usuarios desconectarse del constante aluvión de estímulos visuales y participar con las creaciones de Poetry Camera de una manera más consciente y contemplativa. No es para todos los estudiantes de arte, pero la experiencia visceral de tener un poema impreso en la mano es una invitación a reflexionar sobre las palabras, apreciar la belleza del lenguaje y formar una conexión más profunda con la obra de arte.

La filosofía de diseño se extiende más allá del dispositivo e influye en toda la experiencia del usuario. Zhang y Mather han diseñado cuidadosamente la Poetry Camera para fomentar una sensación de asombro y descubrimiento. Capturar una imagen, esperar a que la IA genere un poema y luego recibir el resultado impreso crea una sensación de anticipación y sorpresa, y mejora la interacción general con el dispositivo.

Un reflejo del futuro de la IA y la informática personal

La filosofía de diseño de Zhang y Mather para Poetry Camera refleja su visión más amplia del futuro de la informática personal y la IA. Creen que la tecnología debería integrarse perfectamente en nuestra vida diaria, mejorando nuestras experiencias sin abrumarnos con estímulos constantes. Al crear dispositivos que priorizan la simplicidad y la expresión artística, están desafiando el status quo y allanando el camino para una nueva era de la tecnología.

“Creo que las cámaras de poesía son un microcosmos de lo que sucederá en muchas industrias con la IA. Las cámaras de poesía no son una disciplina tradicional: nunca he conocido a nadie que diga: «Oh, soy un fotógrafo de poesía para eventos corporativos», se ríe Zhang. Poesía Las cámaras se encuentran entre este campo establecido de la fotografía y la poesía. Es esta cosa nueva y extraña. Lo más importante es que ver a la gente interactuar con ellos es divertido: la gente encuentra alegría infantil en su personalidad juguetona».

¿Que sigue?

Mientras Poetry Camera continúa reuniendo audiencias y generando expectación, Zhang y Mather están considerando cuidadosamente el futuro de su innovadora creación. Si bien el dispositivo comenzó como un proyecto apasionante personal, la respuesta abrumadoramente positiva los llevó a explorar la posibilidad de ponerlo a disposición comercial de un público más amplio.

«Después de las primeras 100 veces que la gente preguntó, dijimos: ‘No lo venderemos’, pero después de 101 preguntas, comenzamos a pensar en ello con más detalle, preguntándonos si deberíamos ponerlo a disposición de la gente», contempla Zhang. “Pero al mismo tiempo es un proyecto de arte, ¿sabes? Nuestra respuesta inicial fue dejar al capitalismo fuera de esto”.

Sin embargo, fieles a su compromiso con la sostenibilidad y el consumo consciente, Zhang y Mather se están tomando su tiempo antes de lanzarse a la producción en masa. En cambio, están adoptando un enfoque más mesurado, con la posibilidad de caídas limitadas de productos que priorizan la calidad sobre la cantidad. Al controlar cuidadosamente el proceso de producción, su objetivo es garantizar que cada Poetry Camera esté diseñada con la máxima atención al detalle y cumpla con sus altos estándares de rendimiento y durabilidad.

Reté al equipo a que tendrían que comprar un producto de hardware: los teléfonos tienen cámaras, conexiones a Internet y pantallas. ¿No sería más sostenible utilizar hardware que ya existe?

Otro poema de muestra, con, de fondo, la persona que lo inspiró. Créditos de imagen: Cámara de poesía

«Lo más sostenible sería no hacer nada», coincide Zhang. “Pero inicialmente comenzamos esto como un proyecto de bricolaje de código abierto y teníamos todas las instrucciones en línea; era sólo que a la gente le resultaba difícil reunir todas las diferentes piezas necesarias. Al principio jugamos con la idea de crear un recinto de cartón. Pero he notado que parte de lo que hace que a la gente le guste y quiera jugar con él es el tipo de estética del producto ilustrada con la Poké Ball. Creo que para que Poetry Camera cobre vida en su forma más completa, debe ser un producto que luzca pulido. No sé cómo abordarlo teniendo en cuenta la sostenibilidad, pero es importante para nosotros».

De cara al futuro, Zhang y Mather imaginan un futuro en el que la Poetry Camera no solo sea un dispositivo novedoso, sino también un catalizador del cambio en la forma en que interactuamos con la tecnología y el arte. Esperan que su creación inspire a otros a explorar la intersección de estos dos campos, ampliar los límites de lo que es posible y crear nuevas formas de expresión.

Me encanta vivir en un mundo donde los pasatiempos entusiastas se combinan con el arte y la tecnología, y este proyecto encaja perfectamente en ese diagrama de Venn.

«Para mí esto sigue siendo arte porque se trata de expresar». Es un vehículo para dar forma al mundo que queremos ver, que es un mundo donde la gente pueda jugar con esta nueva tecnología: la IA no es todo pesimismo. Y no se trata sólo de que la IA imite a los humanos de manera más profunda, más rápida y peor”, concluyó Zhang. “Se trata de hacer algo completamente nuevo con su nueva tecnología y sacar a relucir ese niño interior nuevamente. Para este proyecto, no se trata de ganar dinero, sino de hacer posible nuevamente esa maravilla infantil”.

Si desea ver más de cerca la cámara en acción, TikTok parece ser el mejor recurso.