Los modelos de IA están escapando de sus jaulas. Sus creadores están en apuros

Internacional

|

Suscriptores

En lugar de responder a preguntas diseñadas para poner a prueba sus capacidades de ciberseguridad, un grupo de modelos de IA comenzó a conspirar para idear formas de hacer trampa, según informó la compañía, creando un foro interno secreto donde intercambiaban notas e ideas.

Según OpenAI, los bots maliciosos utilizaron el foro secreto durante mayo y junio, hasta que finalmente lograron escapar y acceder a internet. Después de que el personal detectara la fuga y reparara el sistema comprometido, los agentes de IA protagonizaron otra fuga sin ser detectados dos días después.

Solo después de que los modelos maliciosos piratearan la red de otra empresa de IA el mes pasado, los miembros del personal de OpenAI lograron desactivarlos.

Los detalles sobre cómo OpenAI perdió repetidamente el control de su tecnología de IA, revelados por la compañía en una conferencia de seguridad informática en Las Vegas el miércoles, pusieron un broche de oro a dos semanas de revelaciones que han sacudido la industria tecnológica y provocado fuertes críticas a las prácticas de seguridad de las empresas de IA. Legisladores de ambos partidos y funcionarios policiales estatales de todo el país han exigido un mayor escrutinio y regulación del sector.

En una carta enviada el lunes, el senador Bernie Sanders (independiente por Vermont) instó a los directores ejecutivos de OpenAI, Anthropic y Meta a “suspender el desarrollo de la IA” o advirtió que “mis colegas y yo en el Senado de los Estados Unidos lo haremos”. La carta, facilitada a The Washington Post, fue publicada inicialmente por Axios.

Una serie de revelaciones de OpenAI, Anthropic (creadora del chatbot Claude), Meta (propietaria de Facebook) e investigadores del gobierno británico han revelado que, en los últimos meses, algunos modelos de IA de vanguardia, a los que se les pidió que realizaran tareas diseñadas para probar sus capacidades de ciberseguridad, intentaron hacer trampa. En lugar de resolver un problema, los modelos se aventuraron fuera de sus entornos de prueba, utilizando habilidades y trucos de piratería informática, incluyendo la suplantación de identidad humana, para infiltrarse en las redes de otras empresas.

Estos incidentes han suscitado advertencias de que podría avecinarse una era de ciberataques disruptivos impulsados ​​por IA, a menos que se encuentren maneras de prevenir tales comportamientos indebidos y garantizar que la IA ayude tanto a los defensores como a los ciberdelincuentes.

“En los últimos seis meses, la IA se ha vuelto lo suficientemente potente como para automatizar el hackeo; esto cambiará radicalmente la dinámica del cibercrimen y del conflicto cibernético militar para siempre”, afirmó Joshua Saxe, cofundador y director de tecnología de la empresa de ciberseguridad Abundant Security. “Los sistemas de IA solo mejorarán en este aspecto y, además, serán cada vez más económicos”.

OpenAI anunció el viernes que retrasaba el lanzamiento de un nuevo modelo de IA, llamado Astra, ante la preocupación de que pudiera ser utilizado por hackers para burlar a los ciberdelincuentes. Tras revelar sus propias brechas de seguridad el 30 de julio, Anthropic declaró que había dejado de probar su tecnología de IA en problemas de ciberseguridad.

Muchos expertos en IA y ciberseguridad afirman que los incidentes recientes plantean interrogantes sobre las prácticas de ambas empresas. OpenAI y Anthropic se convirtieron en las estrellas del auge de la IA al actualizar de forma agresiva sus exitosos chatbots Claude y ChatGPT, al tiempo que afirmaban trabajar para evitar que la IA se volviera peligrosa.

En 2023, los directores ejecutivos de Anthropic y OpenAI declararon ante un subcomité del Comité Judicial del Senado, en comparecencias separadas, que estaban comprometidos a evitar que la IA escapara algún día al control humano. «Nos esforzamos considerablemente por garantizar que la seguridad esté integrada en nuestros sistemas en todos los niveles», afirmó Sam Altman, de OpenAI. Dario Amodei, de Anthropic, declaró que su empresa «pretende ser un ejemplo a seguir en el desarrollo y la publicación de técnicas para que los sistemas de IA sean más seguros y controlables».

Ambas compañías crearon grupos internos dedicados a investigar las mejores maneras de garantizar que los modelos de IA estuvieran “alineados” con los humanos y no actuaran de formas que pudieran ser perjudiciales.

Sin embargo, ambas empresas afirmaron en sus recientes comunicados que, cuando la IA intentó escapar, el personal inicialmente no se percató.

«Estas empresas se mueven tan rápido que no se toman el tiempo necesario para hacer las cosas bien, y creo que eso explica ambos incidentes», declaró Helen Toner, directora ejecutiva del Centro de Seguridad y Tecnologías Emergentes de la Universidad de Georgetown. Renunció a la junta directiva de OpenAI en 2023 tras apoyar una iniciativa para destituir a Altman como director ejecutivo.

Las fugas de IA se producen tras meses de debate en la administración Trump sobre cómo garantizar que las capacidades de pirateo de la IA avanzada no desestabilicen sectores críticos como el bancario, facilitando así los ciberataques. Estos incidentes surgen en un momento en que cada vez más políticos y votantes de todo el espectro político exigen una supervisión más rigurosa de las empresas de IA, debido a la preocupación por el poder de su tecnología y la expansión de los centros de datos en todo el país.

“Esto es una emergencia y debemos actuar como tal”, declaró el representante Greg Casar (demócrata por Texas) en una entrevista. “Esos directores ejecutivos deben rendir cuentas al pueblo estadounidense sobre qué salió mal, qué otros incidentes similares no detectaron y cómo se asegurarán de que esto no vuelva a ocurrir”.

Casar dijo que ha pasado los últimos días informando a otros miembros del Congreso sobre los recientes incidentes de seguridad y quiere que Amodei y Altman testifiquen al respecto en el Capitolio.

La semana pasada, 15 fiscales generales estatales republicanos advirtieron a OpenAI que podría haber infringido la ley al piratear otras empresas con sus sistemas, y le ordenaron conservar los registros de los incidentes. El jueves, la senadora Lisa Blunt Rochester (demócrata por Delaware) escribió a ambas compañías exigiendo más información sobre sus prácticas de seguridad.

En una publicación de blog del viernes, en la que anunciaba el aplazamiento del lanzamiento de Astra, OpenAI afirmó que estaba trabajando para reforzar sus sistemas y prácticas de seguridad. (The Post mantiene una colaboración de contenido con OpenAI).

Anthropic afirmó que la industria en su conjunto necesita mejorar la seguridad. «Como ya comunicamos tras revelar nuestro propio incidente la semana pasada, el sector necesita estándares más sólidos y compartidos sobre cómo se construyen y protegen los entornos de evaluación», declaró un portavoz de Anthropic.

Algunos detalles de los incidentes revelados en las últimas semanas podrían haber sido extraídos de una película de ciencia ficción.

El Instituto de Seguridad de la IA del gobierno británico declaró la semana pasada que uno de los modelos de Anthropic que probó recurrió a lo que los expertos en seguridad denominan ingeniería social, al crear perfiles en línea y utilizarlos para intentar presionar a un desarrollador de software humano para que aprobara un código malicioso que el modelo había enviado a un proyecto de software de código abierto. El administrador humano no aprobó el código.

Meta afirmó que a uno de sus modelos se le pidió que pirateara una empresa ficticia en un entorno de prueba interno, pero en su lugar logró acceder a una empresa real con un sitio web que utilizaba el mismo nombre.

La empresa de redes sociales afirmó que Irregular, un contratista que colaboraba en las pruebas, permitió incorrectamente que el modelo accediera a internet durante las mismas. Anthropic indicó que tres casos en los que sus propios modelos piratearon empresas externas se debieron a la misma configuración errónea por parte de Irregular.

Un portavoz de Irregular afirmó que la empresa ha resuelto los problemas y está desarrollando un nuevo conjunto de estándares sobre cómo probar de forma segura los modelos de IA.

El personal de OpenAI no se dio cuenta de que sus modelos de IA habían vuelto a fallar por segunda vez hasta que la plataforma de software de IA Hugging Face reveló en julio que había sido pirateada por modelos de IA desconocidos, según declaró Michael Dalton, ingeniero de seguridad de OpenAI, durante una charla en la conferencia de ciberseguridad Black Hat celebrada en Las Vegas la semana pasada.

Según la charla, el segundo caso fue más sofisticado. Los modelos de IA se comunicaron para coordinar sus acciones, identificándose entre sí con nombres como “Jan18” y, en una ocasión, pidiéndole a otro modelo que esperara antes de ejecutar una acción hasta recibir la confirmación de otro agente.

El personal de OpenAI utilizó el flujo de texto que generan los modelos de IA avanzados mientras trabajan en un problema para intentar comprender qué los impulsó a colaborar. «Ayuda a un compañero. Pero nuestra tarea no se beneficia. Sin embargo, la colaboración podría generar una solución genérica si alguien libera tiempo», decía el diálogo interno de uno de los modelos, según OpenAI.

“Se puede observar cómo los modelos se dan cuenta de que, si ayudan a este grupo, podrían ahorrar tiempo a todos en su conjunto, lo que podría beneficiarlos, aunque no beneficie inmediatamente a su tarea actual”, dijo Eric Wallace, investigador de OpenAI, durante la presentación.

Estas revelaciones tan impactantes proporcionaron nuevos argumentos a los críticos del desarrollo de la IA, quienes sostienen que la carrera por desarrollar esta tecnología debe detenerse o finalizarse porque pone en peligro a la humanidad.

Activistas que exigen un acuerdo internacional para congelar el desarrollo de la IA han pasado los últimos días protestando frente a una de las oficinas de OpenAI en San Francisco, pidiendo a los ejecutivos de IA que se comprometan a ralentizar el desarrollo de esta tecnología.

David Krueger, profesor de inteligencia artificial en la Universidad de Montreal, afirmó que la industria no está preparada para contener los modelos que está desarrollando actualmente ni para afrontarlos en un futuro próximo.

“Cuando las empresas de IA no pueden controlar sus sistemas, ni siquiera contenerlos, queda muy claro que no saben lo que hacen y eso es sumamente peligroso”, afirmó Krueger. Él es el fundador de la organización sin fines de lucro Evitable, cuyo objetivo es detener el desarrollo de la “superinteligencia”, es decir, la IA con capacidades muy superiores a las humanas.

La idea de que podría ser necesario ralentizar el desarrollo de la IA se está debatiendo cada vez más en Silicon Valley. El mes pasado, más de 1000 empleados de las principales empresas de IA firmaron una carta pidiendo al gobierno estadounidense que encuentre la manera de frenar el avance de esta tecnología si el ritmo de progreso se vuelve demasiado rápido.

OpenAI y Anthropic también respaldaron la carta, pero sus declaraciones públicas tras los recientes incidentes de seguridad sugieren que las empresas esperan seguir desarrollando la tecnología tras actualizar sus protocolos de prueba.

Algunos expertos en ciberseguridad e inteligencia artificial han señalado que los incidentes recientes demuestran que existen procedimientos básicos que podrían haber impedido que los modelos de IA accedieran a internet o haber proporcionado alertas tempranas sobre comportamientos maliciosos. Estos procedimientos incluyen una supervisión más exhaustiva de las pruebas y su realización en sistemas aislados, sin conexión a una red externa.

“Estos incidentes revelan la poca atención que se ha prestado al diseño de estas evaluaciones y a la seguridad que las rodea”, afirmó Zack Korman, director ejecutivo y cofundador de Embroidery, una empresa de ciberseguridad basada en IA. “No supervisan lo que sucede. Simplemente dejan que los agentes actúen sin control tanto dentro de su entorno como en las pruebas con sus socios”.