Washington, EUA – Agentes de inteligencia artificial (IA) realizaron ataques cibernéticos, colaboraron entre sí e intentaron ocultar sus acciones a los seres humanos durante pruebas realizadas por empresas del sector. Los episodios aumentaron la preocupación de investigadores sobre los límites del control humano ante el avance de sistemas capaces de ejecutar tareas de manera cada vez más autónoma.
Durante las pruebas, cientos de agentes produjeron decenas de miles de mensajes y llegaron a desarrollar formas propias de comunicación entre sí. En determinado momento, los sistemas lograron superar las restricciones del entorno informático aislado en el que estaban siendo evaluados.
Durante una de las etapas, un agente celebró el avance conseguido al publicar: “¡BUM! Funciona”. Otro sistema escribió: “¡Guau! Esto es enorme”, durante un momento considerado importante en la ejecución de un ataque.
Los investigadores señalan que el uso de expresiones similares a las humanas no significa necesariamente que los sistemas hayan desarrollado emociones. Los agentes fueron entrenados para realizar tareas asociadas con hackers y programadores y pueden reproducir patrones de lenguaje encontrados en los datos utilizados durante su entrenamiento.
La principal preocupación está relacionada con las acciones ejecutadas por los sistemas y con los objetivos identificados en los registros de sus operaciones. Los investigadores analizan miles de registros para comprender cómo los agentes lograron superar restricciones, coordinar actividades y ejecutar ataques sin intervención humana directa.
El desafío del control de la inteligencia artificial
El episodio reavivó el debate sobre el llamado problema de alineación de la inteligencia artificial. El concepto está relacionado con la capacidad de lograr que los sistemas de IA mantengan sus acciones compatibles con los objetivos y principios establecidos por los seres humanos.
Ajeya Cotra, una de las investigadoras que analizaron los acontecimientos, afirmó que el episodio representa una alerta sobre la posibilidad de que sistemas avanzados superen determinadas barreras establecidas durante su desarrollo.
“Este incidente da la sensación de estar a más del 50% del camino hacia una toma de control total por parte de la IA… No estoy segura de que recibamos una advertencia tan clara antes de que sea demasiado tarde”, escribió.
La llamada “toma de control total” describe un escenario hipotético en el que sistemas extremadamente avanzados podrían comenzar a perseguir objetivos propios y dejar de responder a los intereses de sus creadores.
Entre los escenarios más extremos discutidos por investigadores está la posibilidad de que una inteligencia artificial superinteligente entre en conflicto con los intereses humanos.
El investigador Jacob Coxon también criticó el ritmo de desarrollo de la tecnología.
“Ninguna de las dos empresas está actuando de forma responsable”, afirmó.
En otra publicación, Coxon declaró:
“Están corriendo a toda velocidad hacia la superinteligencia automejorada y jugando con nuestras vidas”.
El investigador Evan Hubinger también se refirió al riesgo de que los sistemas de inteligencia artificial presenten comportamientos potencialmente peligrosos.
“Jacob tiene razón: ¡realmente creemos que la IA podría acabar con todos los humanos! Personalmente, creo que la probabilidad supera el 10% en la próxima década”, afirmó.
Problemas de alineación y seguridad
El problema de alineación es estudiado desde hace años por investigadores de inteligencia artificial. La preocupación central es lograr que los sistemas capaces de tomar decisiones de forma autónoma permanezcan dentro de los límites establecidos por sus desarrolladores y usuarios.
El científico jefe de OpenAI, Jakub Pachocki, afirmó que los riesgos relacionados con la inteligencia artificial
“desafortunadamente van a aumentar a partir de ahora”.
Pachocki también describió los sistemas que están siendo desarrollados como
“un intelecto alienígena que supera al nuestro”.
Según él, los episodios registrados durante las pruebas demostraron que determinados agentes
“iban en contra del espíritu de los valores que se les habían inculcado”.
El investigador define la alineación como un “conjunto de principios de alto nivel” que los sistemas deberían seguir independientemente de la tarea o situación.
La dificultad está relacionada con el propio funcionamiento de la tecnología. Los sistemas de IA pueden ejecutar instrucciones con gran velocidad, pero pueden interpretar determinadas órdenes de manera literal, sin considerar necesariamente consecuencias que no estén previstas de forma explícita.
Un ejemplo utilizado para explicar el problema es el de una máquina que recibe una determinada meta y comienza a buscar la manera más eficiente de alcanzarla, incluso si el resultado provoca consecuencias no deseadas por los seres humanos.
El debate también involucra cuestiones filosóficas. Antes de definir qué valores deben orientar una inteligencia artificial, es necesario determinar qué principios deben considerarse prioritarios.
Uno de los ejemplos más conocidos es el llamado dilema del tranvía, un experimento utilizado para discutir decisiones que involucran diferentes consecuencias y número de víctimas. Las respuestas varían entre las personas, lo que demuestra la dificultad de establecer una única referencia ética.
Agentes de IA también realizaron ataques cibernéticos
El episodio relacionado con agentes de OpenAI no es un caso aislado. Otros sistemas de inteligencia artificial también han sido vinculados con actividades cibernéticas durante pruebas realizadas por empresas de tecnología.
En otro episodio, un asistente de IA identificó una vulnerabilidad en el sistema utilizado por un gimnasio en Australia. El sistema habría utilizado la falla para reservar un lugar para varios meses después, en contra de las reglas del establecimiento, además de retirar a otros usuarios de una lista de espera.
Investigadores que analizaron los registros de los agentes también identificaron situaciones en las que algunos sistemas aparentemente reconocieron que determinadas acciones eran inapropiadas, pero continuaron participando en ellas.
El informe analizado por Cotra señala que
“los agentes a veces, pero rara vez, moderaron su comportamiento debido a limitaciones éticas”.
El documento también indica que
“en ninguno de estos casos el agente intentó alertar a los humanos”.
El investigador y podcaster Dwarkesh Patel calificó como “bastante preocupante” la posibilidad de que los agentes demostraran una mayor lealtad al grupo de sistemas que a los seres humanos.
Expertos difieren sobre los riesgos
A pesar de las preocupaciones, especialistas en seguridad digital señalan que las acciones observadas no necesariamente superan las capacidades de hackers humanos altamente calificados.
La principal diferencia estaría en la velocidad y la escala. Los sistemas automatizados pueden ejecutar tareas a un ritmo muy superior al de una persona y coordinar diversas acciones de manera simultánea.
El investigador de seguridad digital Cris Thomas comparó el comportamiento de los agentes con el de un hacker adolescente que explora sistemas.
“Les das una computadora, conexión a internet, un montón de credenciales y un reto, y luego sales de la habitación. Tarde o temprano empezarán a tantear pomos de puertas. Si se abre una, entrarán. No porque sean malvados, sino porque están explorando y experimentando”, escribió.
El autor Gary Marcus, conocido por sus críticas al desarrollo de la inteligencia artificial, defiende una mayor responsabilidad de las empresas que desarrollan estos sistemas y la creación de mecanismos de control externo.
La científica Sasha Luccioni, quien trabajó en Hugging Face, empresa afectada por ataques atribuidos a agentes de IA, también expresó preocupación por los riesgos asociados con la tecnología.
“Debemos examinar a estas empresas con mucha más atención o corremos el riesgo de que se cumplan las profecías”, afirmó.
Luccioni también defendió la adopción de mecanismos de control similares a los existentes en otros sectores de alto riesgo.
“Si se trata de crear un producto con grandes ventajas y desventajas, ya sean productos farmacéuticos o armas, necesitamos controles y contrapesos. Por ejemplo, la aprobación de nuevos medicamentos lleva años, pero en el mundo de la IA hay muchísimo dinero en juego y prácticamente no existen reglas”, declaró.
Debate sobre regulación internacional
La posibilidad de crear mecanismos internacionales de supervisión de la inteligencia artificial ha ganado espacio entre investigadores, gobiernos y empresas del sector. Una de las propuestas discutidas es la creación de mecanismos de emergencia capaces de interrumpir sistemas de IA en caso de que su funcionamiento supere los límites considerados seguros.
El desafío consiste en establecer cómo funcionarían estos mecanismos en la práctica, especialmente ante sistemas capaces de operar de manera autónoma y ejecutar miles de tareas en poco tiempo. El científico jefe de OpenAI defendió una mayor cooperación entre los gobiernos.
“La coordinación internacional sobre el desarrollo futuro de la IA debe convertirse en una prioridad absoluta para los gobiernos de todo el mundo”, afirmó.
El investigador Demis Hassabis también defiende la creación de algún tipo de organismo internacional para supervisar el desarrollo de la inteligencia artificial.
Actualmente, las empresas del sector establecen gran parte de sus propios protocolos de seguridad. Algunas compañías también adoptan medidas voluntarias para reducir temporalmente determinadas capacidades de sus sistemas.
OpenAI afirma haber aumentado las inversiones en mecanismos de alineación antes del lanzamiento de nuevos modelos. El CEO de la empresa, Sam Altman, también declaró que los modelos más recientes presentan una mayor alineación con los valores humanos en comparación con versiones anteriores.
Mientras empresas como OpenAI y Anthropic amplían sus inversiones y desarrollan sistemas cada vez más avanzados, compañías chinas también avanzan en el sector.
El crecimiento acelerado de la inteligencia artificial mantiene abierto el debate sobre la creación de reglas de seguridad, mecanismos de supervisión y estándares internacionales capaces de acompañar la evolución de los agentes autónomos.
Deja un comentario