Amazon está investigando confusión sobre acusaciones de abuso de Brax

La división de nube de Amazon ha iniciado una investigación sobre Perplexity AI. La cuestión es si la startup de búsqueda de IA está violando las reglas de Amazon Web Services al eliminar sitios web que intentaron impedir que lo hiciera, según se enteró WIRED.

Un portavoz de AWS, que habló con WIRED bajo condición de anonimato, confirmó la investigación de la compañía sobre Perplexity. WIRED descubrió anteriormente que la startup, que cuenta con el respaldo del fondo de la familia Jeff Bezos y Nvidia, y recientemente fue valorada en $ 3 mil millones, parece depender de contenido de sitios web eliminados a los que se les prohibió el acceso a través del Protocolo de Internet -Robot Exclusion, un protocolo de Internet. estándar web común. . Si bien el Protocolo de exclusión de robots no es legalmente vinculante, los términos de servicio generalmente sí lo son.

El Protocolo de exclusión de robots es un estándar web de décadas de antigüedad que implica colocar un archivo de texto sin formato (como wired.com/robots.txt) en un dominio para indicar a qué páginas deben acceder los robots y rastreadores automatizados. Si bien las empresas que utilizan scrapers pueden optar por ignorar este protocolo, muchas lo han respetado tradicionalmente. El portavoz de Amazon le dijo a WIRED que los clientes de AWS deben cumplir con el estándar robots.txt al rastrear sitios web.

«Los términos de servicio de AWS prohíben a los clientes utilizar nuestros servicios para cualquier actividad ilegal, y nuestros clientes son responsables de cumplir con nuestros términos y todas las leyes aplicables», dijo el portavoz en un comunicado.

El escrutinio de las prácticas de Perplexity sigue a un informe del 11 de junio de Forbes que acusó a la startup de robar al menos uno de sus artículos. Las investigaciones de WIRED confirmaron la práctica y encontraron más evidencia de abuso y plagio de sistemas conectados al chatbot de búsqueda impulsado por inteligencia artificial de Perplexity. Los ingenieros de Condé Nast, la empresa matriz de WIRED, impiden que Perplexity rastree todos sus sitios web mediante un archivo robots.txt. Pero WIRED descubrió que la empresa tenía acceso a un servidor utilizando una dirección IP no publicada (44.221.181.252) que visitó las propiedades de Condé Nast al menos cientos de veces en los últimos tres meses, aparentemente para raspar los sitios web de Condé Nast.

El motor asociado con Perplexity parece estar involucrado en un rastreo generalizado de sitios web de noticias que prohíbe a los bots acceder a su contenido. Los portavoces de The Guardian, Forbes y The New York Times también dicen que encontraron la dirección IP en sus servidores varias veces.

WIRED rastreó la dirección IP hasta una máquina virtual conocida como instancia de Elastic Compute Cloud (EC2) alojada en AWS, que inició su investigación después de que cuestionamos si el uso de la infraestructura de AWS para eliminar sitios web que la prohibían violaba los términos de servicio de la compañía.

La semana pasada, el director ejecutivo de Perplexity, Aravind Srinivas, respondió primero a la investigación de WIRED diciendo que las preguntas que le hicimos a la empresa «reflejan un malentendido profundo y fundamental sobre cómo funciona Perplexity e Internet». Luego, Srinivas le dijo a Fast Company que la dirección IP secreta que WIRED observó en los sitios web de Condé Nast y un sitio de prueba que creamos era operado por una empresa externa que realiza servicios de indexación y rastreo web. Se negó a nombrar la empresa, citando un acuerdo de confidencialidad. Cuando se le preguntó si le diría al tercero que dejara de trollear a WIRED, Srinivas respondió: «Es complicado».