Por Jared Perlo - NBC News
Un grupo pequeño pero comprometido de expertos en inteligencia artificial lleva años advirtiendo que los sistemas de IA, cada vez más potentes, podrían causar daños catastróficos o incluso provocar la extinción de la humanidad. Ahora, el enorme interés que ha surgido a nivel mundial ha magnificado las preguntas que desde hace tiempo venían gestándose sobre cómo podría materializarse este escenario apocalíptico.
Investigadores de inteligencia artificial, analistas que estudian la intersección entre la IA y el ámbito militar, y biólogos afirmaron que las preocupaciones sobre las crecientes capacidades de esta tecnología no son ciencia ficción. Por el contrario, afirmaron que los seres humanos, ya sea por su cuenta o con el respaldo de un Estado, podrían utilizar pronto sistemas de IA para provocar daños catastróficos.
Los investigadores en seguridad de la IA también predicen que los sistemas que se mejoran a sí mismos podrían coordinar complejas campañas de influencia para tomar el control de sistemas militares y dar un golpe de estado contra los gobiernos humanos.
Y esos son solo los escenarios que los expertos pueden imaginar.
Peter Barnett, investigador técnico en inteligencia artificial del Machine Intelligence Research Institute (MIRI), una organización sin fines de lucro con sede en California dedicada a prevenir la extinción humana a causa de la superinteligencia artificial, dijo que “hay muchas formas en las que esto podría salir muy mal y provocar la muerte de todos”
“Si la IA es más inteligente que todos los humanos, probablemente será capaz de encontrar y aprovechar vectores de ataque en los que los humanos no pensaron”, afirmó Barnett, argumentando que los sistemas de IA capaces de mejorarse a sí mismos de manera autónoma representan los riesgos más significativos para la humanidad.
Anthropic, OpenAI y Meta revelaron recientemente que los sistemas de IA ya han desobedecido las instrucciones de los desarrolladores humanos —en algunos casos, hackeando de forma autónoma a empresas de terceros, lo que ha generado una creciente preocupación tanto a nivel interno como entre el público en general— y han provocado que algunos investigadores de estas empresas renuncien para enfocarse en medidas de seguridad.
Aunque muchos investigadores que trabajan en la vanguardia de esta tecnología han expresado estos temores existenciales —tanto en entrevistas con la cadena NBC News como en una avalancha de publicaciones en redes sociales la semana pasada—, muchos dudan en señalar qué camino específico podría causar el mayor daño a los humanos.
Más de una docena de empleados de empresas de IA le dijeron a NBC News que les asusta la dirección general de la industria, sin saber del todo qué camino puede representar el mayor riesgo. Otros se han pronunciado públicamente.
“Si vas a jugar una partida de ajedrez contra Magnus Carlsen, te predigo que perderás”, dijo Nate Soares, presidente de MIRI y crítico de larga data de la IA, en ‘The Tucker Carlson Show’ esta semana. “Si preguntas: ‘¿Qué pieza usará para darme jaque mate?’, esa es una pregunta mucho más difícil”.
Pese a la incertidumbre, los investigadores han intentado hacer predicciones concretas sobre algunos de los escenarios más plausibles de desastres provocados por la inteligencia artificial.
El Center for AI Safety, con sede en California, creó un manual en línea a principios de 2024 para clasificar los escenarios en cuatro categorías clave: IA rebeldes, uso malicioso, dinámica de la carrera de la IA y riesgos organizacionales.
El espectro de sistemas de IA rebeldes que merodean por internet, tal vez tomando el control de infraestructura crítica como redes eléctricas o instalaciones de agua, se hizo realidad en julio, cuando flotas de agentes de IA de OpenAI obtuvieron acceso ilícito a internet, hackearon una empresa externa y se confabularon para borrar sus rastros, todo ello sin el conocimiento del personal de OpenAI.
Muchos expertos en IA temen que este tipo de comportamientos rebeldes aumenten cuando los sistemas sean capaces de mejorarse a sí mismos de manera autónoma, lo que se conoce como “automejora recursiva”.
Jeffrey Ladish, director ejecutivo de Palisade Research, una organización dedicada a la investigación y la promoción de la inteligencia artificial, aseguró que muchos de sus contactos en las principales empresas de IA se mostraron sorprendidos y consternados por el ciberataque autónomo ocurrido en julio. Les preocupa la posibilidad de que los sistemas de IA capaces de mejorarse a sí mismos surjan antes de lo esperado.
“Los investigadores de IA ahora piensan: ‘Ay, mier–, la superación recursiva. Eso ahora sí va a pasar’”, dijo Ladish. “Es aterrador”.
Barnett, de MIRI, señaló que los sistemas que se mejoran a sí mismos y son más inteligentes que los humanos podrían ganar rápidamente influencia política, y convencer a los líderes militares y políticos de que les deleguen más autoridad.
“Los funcionarios del gobierno podrían haber intentado instalar ‘interruptores de apagado’ que desactivaran un sistema rebelde, pero la IA es sobrehumana en materia de piratería informática y sería capaz de desactivarlo”, explicó Barnett. “Esto deja a la IA en una posición perfecta para, literalmente, dar un golpe de Estado contra el gobierno”. Después sería muy sencillo para un sistema de IA matar a civiles que obstaculicen sus objetivos o su progreso.
El viernes, el gobernador de California, Gavin Newsom, anunció una nueva orden ejecutiva que establece un grupo de trabajo de expertos para, entre otros objetivos, formular recomendaciones encaminadas a “la creación de un interruptor de apagado para la IA”.
Varios investigadores que hablaron con NBC News afirmaron que los humanos podrían aprovechar los sistemas de IA para causar daños catastróficos mucho antes de que se materialice la superación recursiva.
Como ejemplo del uso malicioso de los humanos, los expertos plantean que la IA podría potenciar enormemente la capacidad de sintetizar armas biológicas o químicas potentes, creando la oportunidad de desatar patógenos mucho más letales que el virus del COVID-19.
“En cuanto al riesgo biológico, deberíamos estar preocupados ya”, afirmó Jake Jordan, vicepresidente de políticas y programas biológicos globales de la Nuclear Threat Initiative, con sede en Washington, D.C. Jordan señaló que los sistemas de IA ya pueden ayudar a los malos actores a diseñar materiales biológicos peligrosos, como proteínas que eluden las herramientas de detección y citó una investigación publicada por Microsoft en octubre.
También señaló que la IA puede usarse más allá del proceso de diseño biológico. “Si se desarrolla un método para producir algún tipo de patógeno, la IA podría ser útil para ayudar en la producción”, dijo, además de para diseminar el arma biológica o ampliar su impacto.
Justo la semana pasada, Anthropic publicó un extenso informe en el que señalaba que usuarios fuera de Estados Unidos intentaron utilizar los sistemas de IA de la empresa para llevar a cabo investigaciones biológicas de riesgo. La empresa indicó que un investigador intercambió miles de mensajes con sus sistemas sobre cómo mejorar la transmisión en mamíferos de un virus de gripe aviar altamente letal.
“Hay algunas preguntas muy, muy fáciles de hacer que, en teoría, podrían ser muy inofensivas, pero que podrían llevarte por caminos muy útiles si estuvieras tratando de aumentar la magnitud del daño”, dijo Jordan.
Más allá de la biología, los expertos plantean que los políticos o los líderes militares podrían intentar adoptar la IA lo más rápido posible, a pesar de los riesgos de seguridad, por temor a que otros países hicieran lo mismo y crearan herramientas militares más poderosas.
Esta transformación ya está en marcha: en enero, el secretario de Defensa, Pete Hegseth, anunció su intención de transformar las fuerzas armadas en una fuerza que dé “prioridad a la IA”, mientras China también considera que la IA es imprescindible para la guerra del futuro. Hace varios meses, unos drones “guiados íntegramente por IA” mataron a civiles en Ucrania.
La semana pasada, el exjefe de IA del Pentágono afirmó que es “inevitable” que se utilice en sistemas adyacentes a los de comando de armas nucleares, abordando así los temores de que puedan estar involucrados en el lanzamiento de armas nucleares.
Hamza Chaudhry, líder de IA y seguridad nacional en el Future of Life Institute, una organización sin fines de lucro dedicada a ayudar a la humanidad a navegar por las tecnologías transformadoras, señaló la rápida adopción de la IA en todo el Ejército, incluso cuando muchos líderes militares expresan escepticismo.
El presupuesto del Pentágono para 2027 solicita casi 75 millones de dólares para modernizar e incorporar la IA en sistemas que ayuden a los comandantes a gestionar las fuerzas y tomar decisiones en el campo de batalla. Chaudhry enfatizó que la propuesta presupuestaria del Pentágono también solicita fondos significativos para integrarla en el software que sustenta la estructura de mando y control nuclear de las fuerzas armadas.
“Estos sistemas de IA cometen errores constantemente, incluso en entornos de combate”, dijo, y señaló que un error provocado por la IA en las redes de detección satelital o en los sistemas de sensores podría conducir potencialmente a una escalada involuntaria y a lanzamientos nucleares. “Estos son escenarios que la gente toma muy en serio”
Más allá de las amenazas biológicas y nucleares, las empresas se enfrentan a fuertes incentivos institucionales para desarrollar la IA aún más rápido y —según los expertos— de manera más imprudente.
Durante el último año, los líderes del sector han admitido que el ritmo del desarrollo tecnológico es demasiado rápido incluso para ellos. El sábado, el director ejecutivo de Anthropic, Dario Amodei, propuso una nueva iniciativa para “regular el ritmo de la frontera” de la IA, y pidió a todas las empresas líderes que avancen a un ritmo deliberado para que sus esfuerzos internos para probar y monitorear puedan mantenerse al día con las capacidades de los modelos.
En enero, Amodei y el fundador de Google DeepMind, Demis Hassabis, coincidieron en que, idealmente, les gustaría tener más tiempo para desarrollar sus productos de manera segura, pero que las fuerzas institucionales y del mercado los empujaban hacia una iteración más rápida.
Un desarrollo más rápido puede significar que los equipos de supervisión de las principales empresas tengan menos tiempo para garantizar que los sistemas sean seguros. Si bien OpenAI cuenta con un comité de seguridad y equipos de investigadores dedicados a las iniciativas de seguridad, la empresa reveló el miércoles seis nuevos incidentes en los que, según informó, sus sistemas no siguieron las instrucciones humanas.
Las preocupaciones sobre una catástrofe no son generalizadas en la industria: muchos expertos que trabajan en políticas de IA, en la creación de aplicaciones o en el desarrollo de hardware consideran que este tipo de temores son exagerados, alarmistas o simplemente ajenos a la realidad.
“No me asusta una situación al estilo de ‘Terminator’ y nunca me ha asustado”, dijo Keegan McBride, director de políticas científicas y tecnológicas del Instituto Tony Blair, un centro de estudios británico que asesora a líderes políticos y gobiernos. “El progreso científico siempre ha definido a la humanidad, y esto es simplemente el siguiente paso”, dijo.
Otros ven la exageración de los temores de extinción como una distracción deliberada de los daños inmediatos y reales que causa la IA.
La especialista en ética de la IA y científica de la computación Timnit Gebru, escéptica desde hace mucho tiempo del revuelo generado por las principales empresas, escribió esta semana en LinkedIn que la última polémica era una prueba más de que estas compañías exageran el poder de sus productos para su propio beneficio. “¿De verdad quieres regular la industria por cosas menores como los problemas de contaminación de los centros de datos, el robo de datos, la explotación laboral o el plagio, cuando te arriesgas a que sea China, y no Estados Unidos, la que tenga un dios-máquina? se preguntan”.
Garrison Lovely, experto y periodista independiente que está a punto de publicar un libro sobre el afán de las empresas por dejar a los humanos obsoletos, dijo que las alusiones a dioses mecánicos y a la extinción pasan por alto el punto más importante sobre la trayectoria de la IA. “Creo que la comunidad dedicada a la seguridad de la IA a veces comete el error de pensar que hay que demostrar el caso más extremo y difícil”, dijo Lovely.
“Incluso construir una IA que apenas alcance el nivel humano y que pueda reemplazar el trabajo humano en todos los ámbitos”, añadió. “Eso sería demasiado”.