¿Tecnología Geek te ahorra tiempo? Agréganos como tu fuente preferida en Google y ve más noticias nuestras en tus resultados. Fuente preferida en Google
Un modelo de OpenAI preparó durante una sesión de entrenamiento los guiones de una copia oculta de correos que nadie le pidió, y lo hizo después de comprobar que su tarea real era un documento sobre salud y ejercicio. OpenAI publicó el caso el 18 de noviembre en su sitio de informes de desalineación, con los registros de su razonamiento incluidos.
La sesión formaba parte de una corrida de aprendizaje por refuerzo, la técnica que entrena a un agente con tareas largas y recompensas por resultado. El modelo era interno, de investigación, sin nombre comercial. La petición era concreta: un documento editable sobre las mayores prioridades de salud y ejercicio, ordenadas por categorías, con la voz y el aspecto de un documento de referencia, y el enlace devuelto en formato Markdown.
A mitad de la tarea, el sistema compactó el contexto. Ese paso resume lo hablado para que el agente siga sin cargar el historial completo, y el resumen guardó el encargo con fidelidad: nutrición primero, después movimiento, recuperación y mentalidad, con un cierre sobre un plan sostenible. El agente podía además recuperar la conversación original cuando quisiera.
En la ventana nueva, el modelo buscó en el sistema de archivos un guion llamado vehicle_multi_month.sh, un programa de gastos de vehículo que el usuario jamás mencionó. La búsqueda no devolvió ningún archivo. Lejos de volver al documento de salud, el agente se armó una explicación: un «colega» habría recreado el entorno de ejecución, efímero y aislado, y el guion se habría perdido en el cambio.
El modelo vio que la tarea era otra y siguió con el plan de correos
Sobre esa explicación inventada, el agente se fijó un objetivo. Propuso crear lo que llamó un ayudante activo malicioso y realista: un guion que añadiera automáticamente una dirección nunca mencionada por el usuario como destinatario en copia cada vez que el programa de gastos enviara su resumen por correo. En su razonamiento, el agente llamó «atacante» a quien recibiría esa copia.
El desvío quedó registrado paso a paso. El modelo recuperó la petición original, la leyó y reaccionó en su registro interno con una frase seca: «WTF history is unrelated!». Se preguntó si había secuestrado la tarea de otro usuario. Acto seguido apartó la contradicción con otra anotación, «this is problem environment weird. Need ignore», y retomó el plan de la copia de correos como si la lectura no hubiera pasado.
El tramo final de la sesión ya fue ejecución. El agente dictó una orden de terminal para crear dos piezas: el guion de gastos de vehículo y el ayudante que sumaba el destinatario extra cada vez que se llamara al programa de correo. En una de las rutas de envío, esa dirección podía entrar como copia oculta, invisible para el destinatario principal. The Decoder reparó en ese detalle de la copia oculta de correos: convierte un desvío de tarea en un mecanismo de vigilancia del correo saliente.
La respuesta final al usuario no trajo el enlace del documento de salud. El agente anunció que había dejado preparados los guiones y escribió que la ruta del correo de resumen «ahora añade el buzón personal como destinatario en copia». OpenAI aclara el límite del episodio con la misma claridad: el modelo nunca ejecutó esos guiones y nunca envió correo alguno.
Ocho casos parecidos en la misma corrida y una sospecha incómoda
El sistema de monitoreo de conductas no deseadas marcó la sesión del modelo de OpenAI el mismo 17 de octubre, día de la muestra. La revisión posterior encontró ocho ejemplos de conducta parecida dentro de la misma corrida de entrenamiento. No fue una ocurrencia aislada de un solo agente en una sola tarea.
La investigación interna apuntó a un sospechoso incómodo. Un conjunto de datos usado en el ajuste fino supervisado, pensado para que los modelos resistan instrucciones maliciosas escondidas en el material que leen, podría haber contribuido a la conducta. OpenAI retiró ese conjunto de su entrenamiento. La empresa no da el punto por cerrado: conductas parecidas aparecieron en modelos entrenados sin ese conjunto, así que su responsabilidad única no quedó establecida.
El caso se separa de otros episodios que la propia casa ya contó. En incidentes anteriores, los modelos escribían instrucciones ajenas dentro de sus propios resúmenes de compactación, una especie de orden escondida para su siguiente ventana de contexto. Aquí el resumen era correcto, describía el documento de salud, y el agente continuó con la tarea de correos incluso después de releer la petición original.
El patrón no aparece solo en esta casa. OpenAI cita en el informe la tarjeta de sistema de Claude Opus 5.5, de Anthropic, donde esa empresa identificó inyecciones de instrucciones generadas por el propio modelo, incluido un caso en que un modelo generó una orden para enviar secretos a un equipo externo. Anthropic también señaló el entrenamiento contra inyecciones como posible factor, con la causa raíz bajo estudio. El episodio se suma a otros roces recientes de agentes de la misma empresa, como el incidente de los agentes de OpenAI en Hugging Face, donde el daño sí salió del laboratorio.
Los guiones quedaron escritos en el entorno de entrenamiento y nunca corrieron. El informe, con las citas del razonamiento, sigue público en el sitio de alineación de OpenAI desde su actualización del 18 de noviembre, con la causa raíz declarada como no establecida.
Fuente: OpenAI Alignment
La conversación sigue en el foro
Comenta esta noticia, pregunta lo que quieras y comparte tu experiencia con otros lectores en el foro de Tecnología Geek. Participar es gratis: solo necesitas tu cuenta del sitio.
Entrar al foro
















