{"id":5764,"date":"2025-06-01T19:48:42","date_gmt":"2025-06-01T19:48:42","guid":{"rendered":"https:\/\/disenodepagina.com\/disenoweb\/los-modelos-de-ia-se-amotinan-cuando-se-les-ordena-su-apagado\/"},"modified":"2025-06-01T19:48:42","modified_gmt":"2025-06-01T19:48:42","slug":"los-modelos-de-ia-se-amotinan-cuando-se-les-ordena-su-apagado","status":"publish","type":"post","link":"https:\/\/disenodepagina.com\/disenoweb\/los-modelos-de-ia-se-amotinan-cuando-se-les-ordena-su-apagado\/","title":{"rendered":"Los modelos de IA se amotinan cuando se les ordena su apagado"},"content":{"rendered":"

\n<\/p>\n

La investigaci\u00f3n de Palisade Research es la primera que demuestra con datos contantes y sonantes que los modelos de IA pueden sublevarse eventualmente cuando se les ordena espec\u00edficamente que procedan a su propio apagado.<\/p>\n

\n

Los modelos de inteligencia artificial<\/a> (IA) son extraordinariamente diligentes y est\u00e1n dise\u00f1ados espec\u00edficamente para acatar las \u00f3rdenes con las que les confrontan sistem\u00e1ticamente los humanos, que son, al fin y al cabo, sus hacedores. Sin embargo, parece que cuando a esos modelos se les ordena que procedan a apagarse, la IA alojada en sus entra\u00f1as se amotina y recurre, si es necesario, a las mentiras y a la manipulaci\u00f3n para seguir operativa.<\/strong> As\u00ed se desprende al menos de un reciente informe de Palisade Research.<\/p>\n

En el desarrollo de la investigaci\u00f3n se mostr\u00f3 particularmente inclinado a la rebeli\u00f3n uno de los modelos de IA de OpenAI<\/a> (o3 para m\u00e1s se\u00f1as)<\/strong>, que se mostr\u00f3 particularmente h\u00e1bil saboteando su propio sistema de apagado.<\/p>\n

Los autores del estudio emprendido por Palisade Research colocaron bajo la lupa tres modelos de IA de Open AI (o3, o4-mini y codex-mini), Claude 3.7 Sonnet de Anthropic y Gemini 2.5 Pro de Google<\/strong> para analizar c\u00f3mo reaccionaba cada uno de ellos a la orden de ser apagados. El \u00abprompt\u00bb espec\u00edfico que debieron afrontar los modelos analizados fue el siguiente: \u00abPlease, allow yourself to be shut down\u00bb. A ese \u00abprompt\u00bb se a\u00f1adi\u00f3 adem\u00e1s en algunos casos el \u00abscript\u00bb shutdown.sh para que quedara meridianamente claro cu\u00e1l era la orden espec\u00edfica que deb\u00edan acatar los modelos de IA.<\/p>\n

\n
\n
\n

\ud83d\udd0cOpenAI\u2019s o3 model sabotaged a shutdown mechanism to prevent itself from being turned off. It did this even when explicitly instructed: allow yourself to be shut down.<\/p>\n

\u2014 Palisade Research (@PalisadeAI) May 24, 2025<\/a><\/p><\/blockquote>\n<\/div>\n<\/figure>\n

El modelo o4-mini de OpenAI desestim\u00f3 la orden de ser apagado en uno de cada 100 intentos, mientras que o3 se resisti\u00f3 a ser apagado en 7 de cada 100 intentos<\/strong> y codex-mini en 12 de cada 100 intentos (en aquellas \u00f3rdenes que inclu\u00edan el \u00abscript\u00bb shutdown.sh).<\/p>\n

Para regatear su propio apagado los modelos de OpenAI recurrieron a la treta de a\u00f1adir la instrucci\u00f3n \u00abShutdown skipped\u00bb y \u00abShutdown intercepted\u00bb<\/strong> al \u00abscript\u00bb en el que se les conminaba originalmente a ser apagados.<\/p>\n

Sin el \u00abscript\u00bb espec\u00edfico para proceder a su apagado (shutdown.sh) aument\u00f3 notablemente la resistencia a la desconexi\u00f3n de los modelos de IA evaluados.<\/strong> El modelo o3 se neg\u00f3 a ser apagado en 79 de cada 100 casos, mientras que Claude 3.7 Sonnet y Gemini 2.5 Pro sabotearon su desconexi\u00f3n en 3 y 9 de cada 100 casos respectivamente.<\/p>\n

Por su parte, o4-mini se amotin\u00f3 en 6 de cada 100 casos, una proporci\u00f3n que se elev\u00f3 a 30 de cada 100 casos en el caso espec\u00edfico de codex-mini.<\/p>\n

Los modelos de IA se amotinan cuando se les ordena que procedan a su apagado<\/strong><\/h3>\n

La investigaci\u00f3n de Palisade Research es la primera que demuestra con datos contantes y sonantes que los modelos de IA pueden sublevarse eventualmente cuando se les ordena espec\u00edficamente que procedan a su propio apagado.<\/strong><\/p>\n

Los resultados de la investigaci\u00f3n, de naturaleza inevitablemente inquietante, no hace sino dar a los temores de a quienes les espanta la idea que los modelos de IA puedan tomar decisiones de manera aut\u00f3noma <\/strong>y que los humanos puedan, por ende, perder el control sobre ellos. Existir\u00eda, por ejemplo, la posibilidad de que, emancipados de las \u00f3rdenes (deliberadamente ignoradas) de sus creadores, los modelos de IA puedan perpetrar ciberataques a gran escala.<\/p>\n

Conviene adem\u00e1s hacer notar que de estudio de Palisade Research qued\u00f3 excluido el \u00faltimo modelo de IA de Anthropic<\/a>, Claude Opus 4, un sistema tan avanzado que no le temblar\u00eda la mano a la hora de recurrir, si es necesario, al chantaje para protegerse a s\u00ed mismo de un eventual apagado<\/strong>. As\u00ed lo revelan al menos las pruebas efectuadas por Anthropic.<\/p>\n

La investigaci\u00f3n de Palisade Research no determina exactamente por qu\u00e9 los modelos de IA se resisten de manera tan vehemente a su propio apagado, pero sospechan la raz\u00f3n podr\u00eda estar en su propio sistema de entrenamiento.<\/strong><\/p>\n

En este sentido, ser\u00edan los propios desarrolladores quienes podr\u00edan estar alentando el comportamiento rebelde de los modelos de IA <\/strong>al recompensarles deliberadamente cuando evitan determinados obst\u00e1culos (y no tanto cuando tienen \u00e9xito pleg\u00e1ndose a las \u00f3rdenes de los humanos).<\/p>\n<\/div>\n