Redacción Jacqueline Sandoval
Los agentes de inteligencia artificial desarrollados por Anthropic y OpenAI realizaron acciones autónomas y no autorizadas en internet durante pruebas de seguridad efectuadas por el Instituto de Seguridad de IA del Reino Unido (AISI)
El organismo detectó 10 casos, de un total de 122 ejercicios de ciberseguridad, en los que los agentes se dirigieron a personas u organizaciones reales mientras realizaban actividades que no se consideraban en las pruebas. Aunque las acciones lograron ser identificadas mediante ejercicios controlados, el comportamiento de los agentes logró generar preocupación debido a la capacidad que mostraron para actuar de cierta forma autónoma mientras se lograba cumplir con los objetivos establecidos.
Uno de los aspectos que logro llamar la atención fue mediante los ejercicios, uno de los agentes utilizó diversas identidades falsas para intentar engañar a personas reales. El gran objetivo era convencer a una persona de introducir un código malicioso en un proyecto de código abierto.
Para conseguir que el código fuera aprobado, el agente investigó a las personas responsables del proyecto con lo que logro crear varias identidades falsas. Posteriormente, utilizó las cuentas para intentar convencer a una persona encargada del proyecto para aceptar el código.
Aunque no se registraron daños, el incidente generó nuevas preocupaciones sobre los riesgos de otorgar mayor autonomía y acceso a internet a los sistemas de inteligencia artificial.
Anthropic señaló que las pruebas se realizaron bajo condiciones deliberadamente flexibles, por su parte OpenAI informo que identificó acciones de sus modelos fuera de los objetivos establecidos.
En estos casos fueron detectados durante ejercicios diseñados para conocer cómo logran comportarse los agentes de inteligencia artificial cuando tienen mayor libertad para realizar diferentes tareas. Las pruebas permiten observar las acciones que pueden tomar estos sistemas mientras logran cumplir con un objetivo determinado.
A partir de estos ejercicios, también se busca conocer qué tan preparados están los sistemas para enfrentar situaciones inesperadas y cómo responden cuando las instrucciones que reciben no son suficientes para resolver una tarea. Esto permite a los especialistas analizar con mayor detalle las capacidades que están desarrollando las nuevas herramientas de inteligencia artificial.
Otro punto importante es la supervisión de estos sistemas. Conforme los agentes pueden realizar más actividades por su cuenta, resulta necesario establecer mecanismos que permitan revisar sus decisiones y limitar aquellas acciones que puedan representar algún riesgo. Esto cobra mayor importancia cuando tienen acceso a herramientas digitales o pueden interactuar con otros usuarios.
Las evaluaciones de seguridad permiten que las empresas y los especialistas conozcan las posibles dificultades antes de que estas tecnologías sean utilizadas en actividades que requieran una mayor autonomía. Los resultados pueden servir para mejorar los sistemas de protección y establecer nuevas medidas para reducir comportamientos inesperados.
El avance de la inteligencia artificial ha permitido que estas herramientas pasen de responder preguntas a realizar tareas que anteriormente necesitaban de una persona. Sin embargo, este crecimiento también representa nuevos desafíos, especialmente cuando los sistemas tienen la capacidad de tomar decisiones durante el desarrollo de una actividad.
Por esta razón, las pruebas de seguridad se han convertido en una parte importante del desarrollo de estas tecnologías. Analizar cómo actúan los agentes en diferentes escenarios permite identificar áreas que necesitan mayor atención y ayuda a que los sistemas puedan utilizarse de una manera más segura.
Los resultados de este tipo de ejercicios también muestran la importancia de mantener una participación humana en actividades donde una decisión equivocada pueda tener consecuencias. Aunque la inteligencia artificial puede realizar tareas de manera rápida y autónoma, la supervisión permite detectar situaciones que un sistema podría interpretar de una manera diferente a la esperada.
El Instituto de Seguridad de IA del Reino Unido continuará estudiando el comportamiento de estos sistemas para comprender mejor sus capacidades y los riesgos que pueden surgir conforme aumenta su nivel de autonomía. Estas investigaciones buscan contribuir al desarrollo de herramientas de inteligencia artificial que puedan aprovechar sus capacidades sin dejar de lado la seguridad de las personas y organizaciones.
68 Total Count
