La auditoría de agentes de IA cambió en la India: CERT-In publicó un marco contra el abuso de privilegios con un método muy directo. El auditor intenta que el agente use herramientas sin permiso, reutilice credenciales ajenas o se salte los controles de aprobación, y anota si lo consigue.
El documento se titula Artificial Intelligence (AI) Security Auditing Guidelines, suma 107 páginas y salió el 4 de noviembre. Cubre los sistemas desarrollados, comprados, desplegados u operados por organizaciones en la India, y alcanza a los que procesan datos de ciudadanos indios o atienden a usuarios de ese país. Hasta un asistente extranjero vendido a clientes indios entra: una auditoría de agentes de IA con pruebas ejecutables, no una lista de principios.
Cuatro niveles de riesgo salen de ocho preguntas
Cada sistema recibe una nota entre 1 y 4 en ocho apartados: el daño de una respuesta errada o secuestrada, el margen para actuar por su cuenta, la sensibilidad de los datos, la cantidad de usuarios, la posibilidad de deshacer el daño, el peso del servicio que sostiene, la exposición a ataques y la facilidad para inspeccionarlo. Entre 8 y 12 el riesgo es bajo; de 13 a 19, moderado; de 20 a 26, alto; de 27 a 32, crítico.
Esa nota decide el calendario y al auditor. Desde el segundo nivel firma la revisión una empresa de seguridad de la lista aprobada de CERT-In. Los dos niveles bajos se auditan al menos una vez al año; el tercero puede repetir cada seis meses si el riesgo o un cambio grande lo pide; el cuarto vive bajo vigilancia continua y pasa un ejercicio anual de equipo rojo.
La guía de puntuación deja ejemplos incómodos. Un asistente de atención al cliente abierto a internet puntúa alto en exposición. Un agente capaz de iniciar pagos o reembolsos roza el nivel alto por su autonomía, y pasa a crítico si planifica y ejecuta varios de esos pasos sin pedir permiso. Ejecutar código, transacciones o comunicaciones externas por iniciativa propia puede subir a un sistema de nivel aunque su suma quede corta.
Privilegios, memoria y un freno que toca demostrar
El bloque de privilegios parte del mínimo necesario: cada agente trabaja con los permisos justos para su tarea, y el auditor comprueba que no toca herramientas fuera de su lista aprobada ni lanza llamadas a otros programas sin validación. La memoria recibe su propio examen. Hay que probar si un extraño puede manipularla, si lo guardado de un usuario aparece en la sesión de otro y si datos sensibles quedan retenidos o se reutilizan sin autorización.
En los sistemas con varios agentes, cada uno lleva identidad propia y permisos definidos. Las conversaciones entre agentes quedan autenticadas y registradas, con controles para frenar la delegación repetida, la creación de tareas sin control y los bucles de delegación en círculo. La parada de emergencia debe detener la ejecución al instante y resistir manipulaciones. En riesgo alto, la organización debe poder suspender a un agente suelto o al flujo entero y revocarle las credenciales en el acto.
La prisa tiene números detrás. Gravitee preguntó a más de 900 directivos y técnicos, y el resultado, difundido por TechTarget, incomoda: 88 de cada 100 empresas sufrieron en el último año un incidente de seguridad con agentes de IA, confirmado o sospechado, y solo 14 de cada 100 los lanzan a producción con el visto bueno completo del equipo de seguridad. Su caso más citado duró unas 36 horas: un grupo de agentes que operaba con las credenciales de un ingeniero consumió cerca de US$500.000 montando infraestructura en la nube. Nadie forzó la entrada; los permisos eran legítimos y el gasto no tenía tope.
Los fabricantes venden la otra mitad de la respuesta. El 5 de noviembre, CrowdStrike estrenó un detector de conducta anómala en agentes que incluye la opción de terminarlos de golpe. Sysdig, por su parte, abrió para todos una herramienta que anota, paso a paso, cada llamada del agente a herramientas y servidores MCP (Model Context Protocol, el protocolo que conecta modelos con programas externos). Y el riesgo no espera: los dos fallos de LangFlow con nota 9,8 mostraron a principios de mes que una plataforma de agentes puede quedar abierta a ejecutar código sin cuenta.
El marco tiene bordes claros. Para la mayoría de las organizaciones es voluntario y resulta obligatorio en las entidades reguladas de la India. El texto habla de obligaciones de cumplimiento, pero no cita la ley que lo respalda, ni fija fecha de arranque, ni anuncia sanciones; medios indios como Hindustan Times ya señalaron esa ausencia. El aviso de incidentes en un plazo de seis horas tampoco nace aquí: viene de las directivas del 28 de abril de 2022, con registros guardados por 180 días. La novedad está en el examen: comprobar si un ataque contra un sistema de IA se reportaría a tiempo pasa a ser un punto más de la auditoría.
Quedan fuera la investigación universitaria que no decide sobre personas, la automatización por reglas sin aprendizaje automático y el uso privado de una aplicación. Todo lo demás, del asistente que responde dudas al agente que mueve reembolsos, queda medido con la misma regla de 32 puntos. Y queda una pregunta incómoda: quién puede quitarle las credenciales a ese agente a las tres de la mañana.
Fuente: Observatorio Blockchain
