Relevo de España aumenta la participación en la página de inicio en un tercio con codificación impulsada por IA

Relevo, un sitio web español de noticias deportivas, conocido por su innovadora página de inicio móvil que imita la apariencia de los reels de TikTok o Instagram, se lanzó en octubre de 2022. Aunque su objetivo es construir una audiencia cruzada de fanáticos de los deportes, está enfocado. sobre la Generación Z y los Millennials, que se sienten desconectados o desilusionados con la cobertura deportiva tradicional.

Para aprovechar al máximo la interfaz innovadora y medir el éxito, la sala de redacción introdujo una nueva métrica ad hoc y codificación de software compatible con IA. Esto mejoró el interacción con la página de inicio de terceros en apenas dos meses.

El proyecto también demostró que los miembros del equipo que no eran programadores podían utilizar eficazmente la IA generativa para crear herramientas de software básicas para enfrentar los desafíos de una sala de redacción digital basada en datos.

Desde el lanzamiento de Relevo, los miembros del equipo han discutido activamente la longitud ideal de los títulos de la página de inicio. La sala de redacción gravitaba hacia títulos más largos, de 100 caracteres o más. El equipo de producto consideró que esto suponía demasiada carga cognitiva para los usuarios, lo que contradecía el atractivo de la interfaz para deslizar rápidamente. Pronto surgió un contraargumento: deslizar el dedo rápidamente impulsado por titulares más cortos podría disuadir a los usuarios de hacer clic en los titulares, lo que a su vez podría ser perjudicial. la métrica más sagrada de todas: páginas vistas.

Y así, el equipo de cuatro personas centró su atención en el objetivo: ¿cuál era el caso de uso ideal que imaginaban para su nuevo producto? Sólo entonces podrían discutir las métricas de manera significativa, dijo Germán Frassa, Director de Estrategia Digital.

Creando la métrica de Pringles

El caso de uso que acordó la redacción fue el de un usuario que navega diariamente a la página de inicio de Relevo en su teléfono móvil. teléfonos, deslizando el dedo hasta encontrar un titular para capturarlos atención, haces clic para leer el artículo, regresas, vuelves a hacer clic, luego haga clic, etc. Al hacer este ejercicio, el equipo entendió que «deslizamientos versus clics» era un falso dilema. Van de la mano. Uno lleva al otro.

No existe una unidad lista para usar para medir tanto el deslizamiento como el clics, por lo que Relevo diseñó su propia métrica híbrida combinando deslizamientos y clics. la llamaron «resbaloso» (deslizar + hacer clic).

La fórmula es: (deslizamientos/visita) 10 + (clics/visita) 100

El equipo lo modeló pensando en los editores, por lo que tenía más más que ver con la psicología cognitiva que con las matemáticas duras. para hacer la figura más grande, más redondo y más fácil de recordar, multiplica los dos golpes y clics. En el caso de los clics, el factor es mayor porque son son menos frecuentes que los golpes y querían que los dos componentes fueran más o menos similares en magnitud.

Este estudio de caso es parte de un informe de investigación más profundo titulado «IA en acción: 10 casos de uso global». Descarga aquí.

Utilice IA para medir noticias

El objetivo del proyecto era romper la línea de discusión entre la sala de redacción y los equipos de producto mediante:

• La definición de una nueva métrica (la «slick» mencionada anteriormente) que puede moldear adecuadamente el comportamiento deseado del usuario que Relevo busca con esta nueva interfaz de página de inicio.
• Utilice esta métrica para formular una hipótesis sobre la longitud de los titulares: cuanto más cortos sean los titulares, más slicks habrá.
• Probar esta hipótesis para llegar a un acuerdo sobre la mejor manera de aumentar la participación de los usuarios, para lo cual el uso de IA para hackear el software necesario fue crucial.

Calcular la nueva métrica fue simple. Utilizaron Adobe Analytics para definir sus métricas. Sin embargo, medir las noticias era un asunto diferente. «Nuestros desarrolladores web estaban ocupados con otras iniciativas y sentimos que necesitábamos ser muy ágiles en el desarrollo de una solución para involucrar a todas las partes y captar su atención mientras el tema aún se estaba discutiendo», dijo Frassa.

A mediados de 2023, el equipo había estado utilizando herramientas de inteligencia artificial durante algún tiempo a nivel individual para brindar soporte en diversas tareas editoriales y de productos, como resumir, traducir y definir casos de uso. “Pero sabíamos que la IA generativa también es bastante buena para escribir código de software. Y, como ocurre en muchas redacciones, pocas personas de nuestro equipo tienen conocimientos básicos de programación”, señaló.

Y por lo tanto: ¿Qué pasaría si usaran IA para codificar una herramienta de raspado para extraer y medir noticias de la página de inicio?

En julio de 2023, el equipo comenzó a medir la longitud promedio de los caracteres del título. Usamos ChatGPT Plus para desarrollar un script de Python que extrae la página de inicio cada 15 minutos, mide las noticias y guarda los datos en un archivo csv.

El valor típico para los primeros cinco meses de medición fue 90 caracteres por título. La tendencia aumentaba aproximadamente uno o dos caracteres por mes, con un mínimo de 87 en julio y pico de 93 en noviembre. (Las palabras tienden a ser más largas en español que en inglés).

Mientras tanto, el índice hábil del período fue 119. La mejor marca (132) se registró en septiembre, cuando Relevo saltó a la relevancia internacional gracias a primicias en la cobertura del «caso Rubiales».

“Calculamos retroactivamente el índice de irregularidad hasta la fecha de lanzamiento y descubrimos que era aún más bajo: solo 93, en promedio, durante la primera mitad de 2023. Y aunque antes de julio no teníamos datos de la duración de los títulos, todos teníamos la impresión de que era incluso más larga», afirma Frassa.

Hacer visibles los datos

Aquí, una vez más, surgió la hipótesis sensata: cuanto más corto es el título, más slicks hay.

Pero los datos deben ser visibles para poder actuar en consecuencia, y Relevo quería que sus editores estuvieran al tanto de estas cifras. ¿Cómo podrían hacer esto sin tener que montar ninguna infraestructura? Una extensión del navegador Chrome fue la respuesta. Recurrieron a ChatGPT y rápidamente descubrieron que era competente en la creación de extensiones de Chrome.

La extensión (cuyo nombre en código es «Pringles» porque Relevo quería que sus novedades fueran pequeñas y con formas uniformes, como las famosas patatas fritas) inyecta caja morada en la página con datos de noticias actuales, incluida la longitud de los caracteres. El equipo también creó un panel móvil en Adobe Analytics para que los datos sobre slicks estén disponibles para todos.

Con ambas herramientas impulsadas por IA en funcionamiento, en diciembre de 2023 se promulgó una política editorial para publicar noticias más breves.

Resultados y lecciones aprendidas

Tres meses después del lanzamiento, las cifras parecieron confirmar la hipótesis: a medida que las noticias se acortaban, el índice de resbaladiza mejorado a 142 de 107 en 2023 – un aumento del 32,7%.. En una escala de -1 a 1, existe una Coeficiente de correlación de Pearson de -0,7 entre la longitud de los títulos y las slicks. «Aunque las estadísticas siempre nos recuerdan que la correlación no implica causalidad, sin otras variables obvias en juego, la tendencia sugiere fuertemente que cuanto más corto sea el titular, mejor será el compromiso», dijo Frassa.

Las métricas estándar también han mejorado significativamente, con Aumento del 19% en visitas a la página de inicio por visitantey 26% más visitas a la página de inicio para cada visitante.

Frassa resumió las lecciones aprendidas:

• Las métricas no son un fin, sino sólo un proxy para verificar la interacción humana con los productos digitales.
• Vale la pena hacer sus propias mediciones para asegurarse de alcanzar su objetivo.
• La IA es una herramienta poderosa para respaldar roles híbridos en la sala de redacción y los equipos de productos.
• Las personas con conocimientos básicos de programación pueden convertirse en desarrolladores de software de pleno derecho con la ayuda de la IA.
• Este nuevo «superpoder» puede ayudar al lado no técnico del equipo a configurar rápidamente iniciativas pequeñas y medianas basadas en software sin interrumpir los recursos de ingeniería.