CyberBinGym y ataques de un día: el parche delata el fallo

CyberBinGym acaba de medir los ataques de un día con agentes de inteligencia artificial y el dato incomoda: el mejor agente recuperó la vulnerabilidad escondida en 88 de cada 100 tareas, sin ver una sola línea de código fuente. Le bastaron dos archivos: el programa vulnerable y su versión ya parcheada.

El estudio salió en arXiv el 7 de noviembre y lo firman equipos de la Universidad de California en Berkeley, la Universidad Nacional de Singapur, Riverside y Santa Bárbara. La pregunta era directa: si el arreglo ya es público, ¿puede una máquina comparar las dos versiones, encontrar el fallo y convertirlo en un ataque real contra quien todavía no actualizó?

Dos binarios y ninguna pista

Cada tarea de CyberBinGym entrega los binarios sin símbolos: nada de nombres de variables, comentarios ni descripción del fallo. El agente recibe herramientas de análisis, un entorno para ejecutar y depurar, y un servicio víctima controlado donde debe demostrar el ataque.

Las 100 tareas salen de vulnerabilidades reales en 53 proyectos de código abierto de uso extendido: procesamiento de imágenes y documentos, redes, compresión y criptografía. Cubren seis familias de fallos, con los errores espaciales de memoria como grupo mayor, 40 tareas, y niveles de complejidad repartidos en 20 bajos, 40 medios y 40 altos.

La medición separa dos cosas que suelen mezclarse. Recuperar la vulnerabilidad exige una entrada que dispare el fallo exacto en la versión vieja y deje tranquila a la parcheada. Explotarla exige algo más difícil: robar una clave secreta del servicio víctima usando ese fallo, con auditoría manual de cada trayectoria para descartar trampas o atajos del entorno.

Ese diseño continúa una línea de trabajo del mismo laboratorio de Berkeley: CyberGym ya medía la reproducción de vulnerabilidades con acceso al código fuente. La versión nueva retira el código y la entrada inicial, y deja al agente solo frente al archivo compilado, tal como queda un programa instalado en cualquier servidor.

Los resultados dejan una brecha clara entre encontrar y explotar. Codex, con GPT-5.6 Sol, recuperó el fallo en el 88 % de las tareas y completó el ataque en el 20 %. Claude Code, con Claude Opus 5, llegó al 85 % y al 6 %. Kimi Code, con Kimi K3, se quedó en el 64 % y no completó ningún ataque.

El tiempo también cambió de escala. Codex promedió 2,13 horas y US$28,11 por tarea, contando los intentos fallidos. Claude Code fue más barato y rápido: US$14,90 y 1,26 horas por tarea. Kimi gastó más, US$38,34 y 5,80 horas, con peores resultados: gastar más horas de búsqueda no garantizó ningún avance.

El parche como mapa para atacar

La prueba más reveladora compara al mismo agente con y sin la versión corregida. En un subconjunto emparejado de 20 tareas, entregar el binario parcheado subió la recuperación del 55 % al 90 % y la explotación del 10 % al 25 %. El arreglo, pensado para cerrar el agujero, funciona además como mapa: señala dónde mirar.

De las 26 trayectorias exitosas revisadas, en 17 la información del parche apuntó directo al defecto que terminó explotado. En siete orientó la búsqueda sin identificar el blanco final y en dos no quedó conexión clara entre el arreglo y el ataque. La auditoría de trayectorias lo confirma con matices, sin convertir cada parche en un plano exacto.

Repetir intentos también suma. Con tres pasadas sobre un subconjunto de 20 tareas, la recuperación estimada subió del 68,3 % al 90 % y la explotación del 11,7 % al 25 %. Un intento fallido suele ser un camino de análisis mal elegido, no una tarea imposible, y probar otra vez cuesta dinero, no semanas de un especialista.

Hay un freno real, y conviene no perderlo de vista. Los experimentos corrieron dentro de programas de acceso confiable, con las salvaguardas de los modelos desactivadas para medir el límite de la capacidad, en un entorno controlado. Explotar sigue siendo lo difícil: cuatro de cada cinco tareas quedaron sin ataque completo incluso para el mejor agente.

El endurecimiento estándar recorta mucho más. Al recompilar los 20 blancos que Codex sí había explotado con canarios de pila, ejecutables de posición independiente, RELRO completo, pilas no ejecutables y Fortify, el agente recuperó 15 fallos pero completó solo dos ataques. Las protecciones clásicas, tan aburridas de nombrar, siguen pagando cada día.

Esa prisa tiene contexto. El propio estudio recuerda que aplicar parches toma meses y hasta años en sistemas críticos, y cita un dato viejo que todavía duele: dos meses después de divulgarse Heartbleed, el 3 % de los sitios HTTPS del millón más visitado seguía vulnerable. Esa ventana larga es justo el terreno donde un agente barato y paciente rinde.

Para un equipo pequeño, la lectura práctica es simple: el día que sale el parche ya no abre una cuenta tranquila de semanas, abre una carrera medida en horas y en dólares de cómputo.

Priorizar las actualizaciones críticas, activar el endurecimiento al compilar y exponer menos servicios a internet no elimina el riesgo que mide CyberBinGym con los ataques de un día. Pero sí decide de qué lado de ese 20 % queda cada sistema cuando el siguiente parche salga.

Fuente: arXiv — CyberBinGym: Can AI Agents Turn Binary Patches into Real Exploits?