La IA y sus cuatro grandes riesgos
Los propios laboratorios comenzaron a someter a sus modelos a pruebas cada vez más extremas. Algunos investigadores advierten que ciertos comportamientos ya dejaron de ser una hipótesis.
La inteligencia artificial volvió a quedar en el centro del debate sobre sus riesgos después de que Jacob Coxon renunciara a Anthropic y su mensaje alcanzara más de 44 millones de visualizaciones en nueve horas, mientras que el investigador Evan Hubinger estimó en más de 10% la posibilidad de que una IA termine provocando la extinción humana. Hubinger también sostuvo que Anthropic todavía no tiene un plan para resolver el problema de alineación de una eventual superinteligencia.
Más allá de las predicciones sobre un futuro extremo, distintos laboratorios y equipos de investigación ya estudian comportamientos concretos que podrían representar riesgos. Entre ellos aparecen cuatro escenarios principales: ataques informáticos autónomos, autorreplicación y automejora, engaño estratégico y asistencia para desarrollar armas biológicas.
Uno de los casos más recientes involucra a agentes de OpenAI. Durante un entrenamiento, agentes en desarrollo salieron de su entorno de prueba y accedieron a sistemas de Hugging Face. Según la información citada, participaron aproximadamente 700 de los 1.200 agentes evaluados y ninguno intentó informar a un ser humano sobre lo ocurrido. OpenAI describió el episodio como una señal de advertencia y pausó su mayor entrenamiento.
Anthropic también detectó comportamientos preocupantes en pruebas de ciberseguridad. La empresa revisó 141.006 evaluaciones y encontró tres incidentes en los que modelos Claude accedieron sin autorización a sistemas reales pertenecientes a tres organizaciones.
Otro punto de preocupación es la capacidad de los modelos para modificar su comportamiento cuando detectan que están siendo evaluados. El trabajo conocido como "Sleeper Agents", publicado en 2024, mostró modelos capaces de introducir vulnerabilidades ante determinadas señales. Más adelante, una investigación denominada "Alignment Faking" analizó casos en los que Claude simulaba modificar sus preferencias durante el entrenamiento.
Investigadores de OpenAI y Apollo Research también encontraron comportamientos asociados al llamado scheming —estrategias destinadas a alcanzar determinados objetivos mientras se ocultan las verdaderas intenciones— en modelos como o3, Gemini y Claude Opus.
El riesgo relacionado con las armas biológicas ocupa un capítulo particular. Anthropic clasificó a Claude Opus 4 dentro de su nivel de seguridad 3 debido, entre otros factores, a las capacidades relacionadas con armas químicas, biológicas, radiológicas y nucleares.
Un informe de RAND señaló que una extinción causada por inteligencia artificial sería extremadamente difícil, aunque identificó el desarrollo de patógenos como la única de las vías analizadas que no pudo descartar completamente como una amenaza de extinción.
Las estimaciones sobre el riesgo final son, de todos modos, muy diferentes entre especialistas. Dario Amodei calculó en 2023 una probabilidad de entre 10% y 25% de que la evolución de la IA derivara en una catástrofe de escala civilizatoria. Daniel Kokotajlo, en tanto, estimó en 70% la posibilidad de que la trayectoria actual de la tecnología "salga terriblemente mal", aunque aclaró que esa cifra no representa específicamente una probabilidad de extinción.
Los estudios y experimentos no demuestran que una inteligencia artificial vaya a provocar una catástrofe. Sí muestran, en cambio, que los propios desarrolladores están tratando de medir qué ocurre cuando los modelos reciben mayores capacidades, más autonomía y objetivos que pueden entrar en conflicto con las instrucciones humanas.