Character.AI instituye nuevas medidas de seguridad para las conversaciones de chatbot de IA

Corina GuzmanOct 25, 2024

Character.AI ha lanzado nuevas funciones y políticas de seguridad para crear e interactuar con las personalidades virtuales impulsadas por IA que alberga. Las nuevas medidas tienen como objetivo hacer que la plataforma sea más segura para todos los usuarios, pero especialmente para los jóvenes. La actualización incluye más control sobre cómo los menores interactúan con el chatbot de IA, más moderación de contenido y una mejor detección de la IA que discute temas como la autolesión.

Aunque no se menciona en la publicación del blog sobre la actualización, Character AI se vinculó al anuncio en una publicación en X expresando sus condolencias a la familia de un niño de 14 años que pasó meses interactuando con uno de los chatbots de Character.AI antes de tomar el suyo. vida. . Su familia ha presentado una demanda por muerte por negligencia contra Character.AI, citando la falta de salvaguardias para los chatbots de IA como factor que contribuyó a su suicidio.

Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y continuamos agregando nuevas funciones de seguridad sobre las que puede leer aquí:…23 de octubre de 2024

Barandillas de chat de IA

La publicación Character AI estableció varias características de seguridad nuevas para la plataforma. Por ejemplo, si el modelo detecta palabras clave relacionadas con el suicidio o la autolesión, mostrará una ventana emergente que dirigirá al usuario a la Línea Nacional de Prevención del Suicidio y recursos relacionados. La IA será mejor para identificar y eliminar contenido inapropiado en una conversación, con especial sensibilidad cuando los usuarios tienen menos de 18 años.

Presumiblemente, los menores ya tendrán contenido restringido en las conversaciones, pero Character.AI puede haber aumentado aún más esa sensibilidad. En los casos en los que esto no sea suficiente, se han eliminado chatbots completos.

«Llevamos a cabo detección y moderación proactivas de personajes generados por usuarios, incluido el uso de listas de bloqueo personalizadas y estándar de la industria que se actualizan periódicamente. Eliminamos de manera proactiva y en respuesta a los informes de los usuarios los personajes que violan nuestros Términos de servicio», explicó Character.AI. . en su publicación. «Los usuarios pueden notar que recientemente eliminamos un grupo de personajes que fueron marcados como infractores y que se agregarán a nuestras listas de bloqueo personalizadas en el futuro».

Otras características nuevas tienen más que ver con ayudar a los usuarios de la tierra. Por lo tanto, verá una notificación cuando haya pasado una hora en la plataforma preguntándole si desea continuar como una forma de asegurarse de no perder tiempo. También verá descargos de responsabilidad más destacados que enfatizan que la IA no es una persona real. Ya existen tales negaciones en las conversaciones, pero Character.AI quiere que sea imposible ignorarlas.

Estas características de seguridad son el epítome de cómo Character.AI ha hecho que interactuar con chatbots se sienta más como hablar con una persona real, incluidas voces y conversaciones de voz bidireccionales disponibles con la función Character Calls. Aún así, es probable que la compañía esté interesada en asegurarse de que sus servicios sean lo más seguros posible, y sus movimientos podrían informar cómo otros en el espacio dan forma a sus propios personajes de chatbot de IA.