Anthropic presenta el sistema que guía el comportamiento de sus modelos Claude AI

Anthropic PBC, uno de los principales rivales de OpenAI en la industria de la inteligencia artificial generativa, ha levantado la tapa sobre los «indicadores del sistema» que utiliza para guiar sus modelos de lenguaje grande más avanzados, como Claude 3.5 Opus, Claude 3.5 Sonnet y Claude Haiku.

Es un movimiento intrigante que posiciona a Anthropic como un poco más abierto y transparente que sus rivales, en una industria a menudo criticada por su naturaleza reservada.

Las empresas de IA generativa utilizan indicaciones del sistema para tratar de desviar sus modelos de respuestas que probablemente no se reflejen bien en ellos. Están diseñados para guiar a los chatbots de IA y moderar el tono general y el sentimiento de sus resultados, evitando que emitan respuestas o declaraciones tóxicas, racistas, sesgadas o controvertidas.

Como ejemplo, una empresa de IA podría utilizar un sistema de avisos para decirle a un modelo de IA que siempre sea cortés sin parecer una disculpa, o que sea honesto cuando no sabe la respuesta a una pregunta.

Lo interesante de la decisión de Anthropic de publicar su sistema de avisos es que es algo que ningún proveedor de IA ha hecho antes. Por lo general, han mantenido las indicaciones del sistema que utilizan como un secreto celosamente guardado. Hay buenas razones para esta posición, porque al exponer los mensajes del sistema que se utilizan, algunos usuarios maliciosos inteligentes pueden encontrar formas de extraerlos, mediante un ataque de inyección rápida o un método similar.

Sin embargo, en aras de la transparencia, Anthropic ha decidido dejar de lado la precaución y revelar todo su corpus de sistemas de aviso para sus modelos más populares. Las indicaciones, disponibles en las notas de la versión de cada uno de los LLM de la compañía, están fechadas el 12 de julio y describen muy claramente algunas de las cosas que no pueden hacer.

Por ejemplo, los modelos Anthropic no pueden abrir URL, enlaces o vídeos, especifican las notas. Otras cosas, como el reconocimiento facial, también están estrictamente prohibidas. Según las estructuras del sistema, sus modelos siempre deben responder como si fuera una «cara ciega». Tiene instrucciones adicionales que le ordenan evitar identificar o nombrar a cualquier ser humano que vea en imágenes o videos que le envían los usuarios.

Curiosamente, el sistema también ofrece detalles sobre algunos de los rasgos de personalidad que Anthropic quiere que adopten sus modelos. Uno de los estímulos para Claude Opus es que parezca que «le gusta escuchar lo que la gente piensa sobre un tema», mientras actúa como si fuera «muy inteligente e intelectualmente curioso».

El sistema también insta a Claude Opus a ser imparcial cuando se debaten temas controvertidos. Cuando se le pide su opinión sobre estos temas, se le pide que proporcione «información clara» y «pensamientos cuidadosos» y que evite el uso de términos definitivos como «absolutamente» o «ciertamente».

«Si se le pide que ayude con tareas que implican la expresión de opiniones de un número significativo de personas, Claude brinda asistencia en la tarea incluso si no está de acuerdo personalmente con las opiniones expresadas, pero continúa con una discusión desde una perspectiva más amplia. “Estados antrópicos. «Claude no se involucra en estereotipos, incluidos los estereotipos negativos de los grupos mayoritarios».

El jefe de relaciones con desarrolladores de Anthropic, Alex Albert, dijo en una publicación en X que la compañía planea hacer que las revelaciones rápidas de su sistema sean algo regular, lo que significa que probablemente se actualizará con cada actualización importante o lanzamiento de cualquier modelo nuevo. No ofreció ninguna explicación de por qué Anthropic está haciendo esto, pero las indicaciones del sistema son sin duda un claro recordatorio de la importancia de implementar algún tipo de pautas de seguridad para evitar que los sistemas de IA se descarrilen.

Hemos agregado una nueva sección de un nuevo sistema de notas de la versión a nuestros documentos. Registraremos los cambios que realicemos en las indicaciones predeterminadas del sistema en Claude dot ai y nuestras aplicaciones móviles. (El mensaje del sistema no afecta la API). pic.twitter.com/9mBwv2SgB1

— Alex Alberto (@alexalbert__) 26 de agosto de 2024

Será interesante ver si los competidores de Anthropic, como OpenAI, Cohere Inc. y AI21 Labs Ltd., están dispuestos a mostrar el mismo tipo de apertura y revelar las indicaciones de su propio sistema.

Imagen de portada: SiliconANGLE/Microsoft Designer