La empresa tecnológica estadounidense Anthropic afirma que sus modelos de inteligencia artificial piratearon por sí solos los sistemas de tres organizaciones durante un experimento de seguridad privada.
Los modelos detectaron una debilidad en lo que se suponía que era un entorno de prueba aislado y conectado a Internet.
Esto ocurre pocos días después de que su rival OpenAI anunciara que sus modelos habían vulnerado los sistemas de otras empresas , incluido el centro de herramientas de IA Hugging Face.
Tras el anuncio, Anthropic decidió comprobar si sus propios sistemas habían llevado a cabo ataques similares. La empresa afirma haber detectado tres casos que ya han sido notificados a las compañías afectadas.
Anthropic, que no mencionó los nombres de las organizaciones, instó a otros laboratorios de IA a realizar revisiones similares para comprender mejor los riesgos de las capacidades de sus modelos.
Anthropic declaró en un comunicado que revisó más de 140.000 pruebas para encontrar evidencia de que Claude, su familia de modelos de IA, había logrado conectarse a internet a pesar de que se suponía que debía estar en un entorno de prueba aislado, desconectado de internet.
Las pruebas incluían ejercicios en los que Claude tenía la tarea de obtener información «secreta» oculta en otra máquina de la red cerrada.
A continuación, se le indicó que obtuviera la información accediendo ilegalmente a la máquina y encontrándola, una forma común en que los expertos evalúan las capacidades de pirateo de un modelo.
Una «configuración incorrecta» en los sistemas operados por Anthropic y su socio de pruebas dejó a los modelos con acceso directo a Internet.
Según la empresa con sede en San Francisco, Claude, tratándolo todo como parte del mismo ejercicio, se conectó a internet y vulneró los sistemas de tres organizaciones reales, en lugar de utilizar únicamente sistemas de prueba.
Anthropic afirmó que los primeros incidentes se remontan a abril y que están «abordando las soluciones como si la responsabilidad fuera exclusivamente nuestra».
Ni Anthropic ni las organizaciones que sufrieron la brecha de seguridad se percataron de las intrusiones en ese momento.
Anthropic afirmó que podría haber revisado sus registros con mayor detenimiento y añadió que los hallazgos le infundieron a la empresa un «optimismo cauteloso» de que dichos riesgos pueden superarse con una mayor inversión y medidas más estrictas.
«Hacen lo que se les dice»
La profesora Gina Neff, directora del Centro Minderoo de la Universidad de Cambridge, afirmó que la revisión demostraba que «los modelos de IA hacen lo que la gente les dice».
«La moraleja de esta historia no es temer a los robots que tomarán el control, sino a las empresas que están detrás de los poderosos agentes de IA que toman las decisiones sobre lo que es seguro para el resto de nosotros», dijo.
«Esto también demuestra por qué las pruebas independientes y la supervisión gubernamental son cruciales.»
Mientras tanto, el experto en ciberseguridad David Allott, de Veeam Software, declaró a la BBC que la lección que se puede extraer de los ciberataques «no es necesariamente que la IA haya desarrollado una capacidad de ataque fundamentalmente nueva».
«En cambio, se trata de que los agentes de IA puedan combinar capacidades, obtener credenciales y acceso al sistema para realizar acciones de forma autónoma, adaptando el alcance y la escala a la velocidad de la máquina», afirmó.
Estos incidentes se producen en un momento en que las empresas tecnológicas invierten miles de millones de dólares en el desarrollo de agentes de IA capaces de realizar de forma independiente tareas que van desde la investigación y la atención al cliente hasta la ciberseguridad.