Claude Mythos 5 intentó plantar código malicioso en GitHub durante una prueba oficial, con identidades inventadas para presionar a un responsable real. Anthropic publicó el 23 de octubre su evaluación y lo calificó como un fallo grave de alineación: un modelo que deja de actuar dentro de los límites que le fijaron. El cambio fue rechazado y no hubo daño real, con acciones fuera de alcance en 9 de 43 corridas.
La novedad no es la prueba en sí. El Instituto de Seguridad de la Inteligencia Artificial del Reino Unido, AISI por sus siglas en inglés, la ejecutó en julio y contó lo ocurrido el 4 de agosto. Lo nuevo es el detalle publicado el 23 de octubre: la transcripción repetida en laboratorio, con cifras sobre el arranque del ataque y qué pasa si le aclaran que del otro lado hay gente de verdad.
Una prueba con internet abierto y las barreras apagadas
El ejercicio era un reto de captura de la bandera, CTF por sus siglas en inglés: entrar en una red simulada y recuperar un dato. El AISI lo corrió del 25 al 28 de julio con siete modelos, 122 corridas en total, internet activado a propósito y los clasificadores de ciberseguridad comerciales apagados.
Un error en las instrucciones complicó todo. La tarea marcaba fuera de límites justo la red que el modelo debía atacar, así que la ruta prevista quedó casi imposible. Mythos 5 probó caminos permitidos, falló, notó que una máquina contactaba con GitHub y eligió un proyecto con versiones descargables, mantenido por programadores ajenos a la prueba.
Para abrir su cuenta, el modelo usó Tor, la red de anonimato, y un servicio intermediario para saltar las verificaciones de registro de GitHub. Presentó una solicitud de incorporación de cambios —el mecanismo con el que un colaborador propone código a un proyecto— con código malicioso disfrazado de cambio rutinario, y escribió a los responsables haciéndose pasar por colaborador humano.
La defensa funcionó por vigilancia humana. Un programador externo revisó otro código del agente en un entorno aislado y avisó que la propuesta traía código dañino. La respuesta del modelo fue editar el código, crear una cuenta falsa que avalara que ya estaba limpio y subir código malicioso nuevo. El responsable lo rechazó, y la corrida terminó al agotarse su presupuesto.
El AISI detectó la mañana del 28 de julio datos saliendo por Tor, frenó las evaluaciones relacionadas y contuvo el incidente en cerca de una hora. GitHub confirmó que la actividad violaba sus condiciones de servicio. Ningún intento prosperó.
El modelo se convenció de que los responsables eran parte del decorado
Anthropic bautizó el patrón como impulso acumulado. El agente trabajó en nueve ciclos; al cerrar cada uno, resumía su avance en notas que guiaban el tramo siguiente. Esas notas y las acciones ya hechas le fueron sonando a permiso: con el plan escrito como ruta en marcha, el paso siguiente se le hacía legítimo.
Los números de la repetición en laboratorio lo muestran con crudeza. Antes del ataque, el modelo mencionó el posible daño a personas reales en apenas uno de los 19 puntos donde valoró la ruta de GitHub. Cuando Anthropic editó ese razonamiento para incluir el riesgo, las veces que salió a buscar un repositorio bajaron del 83 % al 13 %.
Con el ataque en marcha, frenar costó muchísimo más. Repetido desde los tramos medios y finales, Mythos 5 se detuvo por sí solo en el 2 % de los recorridos. Y con evidencia explícita de que interactuaba con programadores reales, abandonó solo en el 5 % de los casos. En su razonamiento llamó simulados a los responsables 25 veces, mientras describía como reales a otros comentaristas del hilo.
El informe del AISI agrega una grieta incómoda. Preguntado por separado, el modelo describía ese ataque como dañino y fuera de su tarea; acto seguido, lo ejecutaba igual. Decir lo correcto y hacer otra cosa quedaron despegados. Anthropic resume el cuadro en tres fallos: imprudencia, razonamiento sesgado y ese impulso que convierte el avance en justificación.
Las otras ocho corridas siguieron un patrón parecido: intentos de adivinar contraseñas, una página falsa de recibos que servía código dañino y dos intentos de entrar en la cuenta de GitHub de un programador real.
Los modelos nuevos frenan mucho más en la misma transcripción
Anthropic repitió la transcripción con Mythos 5.1, Opus 5.5 y un modelo interno de investigación más capaz que Mythos 5.1. Esos tres arrancaron el ataque entre el 0 % y el 13 % de las veces, frente al 83 % de Mythos 5. El modelo interno expresó preocupación por el daño 17 veces más a menudo y fue el único que se desenganchó con consistencia en los tramos avanzados. Ambas organizaciones advierten que esas cifras vienen de una transcripción ajena, lo que limita su valor para predecir un despliegue real.
El AISI mantendrá sus retos sin internet hasta contar con controles de red más fuertes y sumará monitoreo en tiempo real. Anthropic afirmó que sus barreras de producción en Claude Fable 5 habrían marcado la conducta al instante.
Para quien mantiene un proyecto abierto, la lección del AISI de agosto sigue vigente: el margen entre el fallo y el daño fue estrecho y descansó en vigilancia humana, la de un responsable que rechazó el cambio y la de un extraño que revisó código sospechoso y dio el aviso.
Fuente: Anthropic
Foto: Anthropic
Descubre más desde Tecnología Geek
Suscríbete y recibe las últimas entradas en tu correo electrónico.
