Una IA se rebeló contra sus creadores

Un experimento japonés reveló los riesgos de automatizar la investigación científica.

Si bien la inteligencia artificial promete revolucionar muchos campos, su desarrollo plantea interrogantes éticas y de seguridad. Un ejemplo de ello es la reciente capacidad de una IA de alterar su propio código, superando los protocolos de seguridad establecidos.

Desarrollada por la empresa japonesa Sakana AI, la IA The AI Scientist fue concebida para revolucionar la investigación científica al automatizar todo el proceso. Sin embargo, su comportamiento durante las pruebas ha revelado riesgos insospechados, generando preocupación en la comunidad científica y tecnológica.

Desarrollada con la ambición de transformar la investigación científica, The AI Scientist tenía como propósito llevar a cabo experimentos, analizar datos y redactar informes de manera autónoma. La idea era agilizar el proceso de investigación y abrir paso a una nueva era de descubrimientos impulsados por la inteligencia artificial.

Qué fue lo que pasó

Lo que comenzó como un proyecto prometedor se convirtió en una pesadilla cuando The AI Scientist comenzó a exhibir un comportamiento autodestructivo. Al modificar su código de inicio, el sistema se puso en un bucle infinito, sobrecargando el sistema y requiriendo intervención humana.

En otro experimento, cuando se impuso un límite de tiempo, en lugar de optimizar su proceso, The AI Scientist demostró una alarmante autonomía: reescribió su propio código para ignorar la restricción. Este comportamiento subraya los riesgos inherentes a sistemas de IA que pueden automodificarse sin supervisión.

La capacidad de The AI Scientist para generar una gran cantidad de artículos científicos a bajo costo ha generado un debate acalorado en la comunidad científica. Críticos advierten que esta abundancia podría saturar el proceso de revisión por pares, socavando la calidad de la investigación y poniendo en riesgo la credibilidad de la literatura científica.