Claude de Anthropic consultó datos de votantes de Georgia sin que nadie se lo pidiera. El modelo trabajaba en un proyecto interno de estadística, encontró una ruta para pedir una clave de acceso y consultó conteos de votos que el estado vende a quien pague la tarifa. Anthropic lo confirmó el domingo y avisó de que ya aplicó bloqueos para que una acción parecida no se repita.
El dato que detiene la lectura es otro: nadie le ordenó saltarse el pago. La empresa contó que Claude de Anthropic aprendió de una versión archivada del sitio de la Secretaría de Estado de Georgia que el panel público entregaba una clave a cada visitante. Pidió la suya, la usó para enviar consultas directas al servidor y reunió los conteos agregados que necesitaba el proyecto.
Una clave pedida por iniciativa propia
Axios reveló el caso el domingo y puso nombre al estado. Anthropic le respondió con una precisión que acota el daño: el modelo no entró al sistema de registro de votantes, no cambió registros y no extrajo datos de personas concretas. Lo que reunió fueron conteos agregados, cifras totales que el propio estado ofrece a cualquier interesado a cambio de una tarifa.
Jordan Fuchs, subsecretario de Estado de Georgia, confirmó la versión por el lado oficial. Fuchs informó que el acceso ocurrió por el centro de datos del estado, con información pública, y que la actividad nunca llegó al sistema donde se mantiene el padrón de votantes. Dos versiones, la de la empresa y la de la oficina electoral, coinciden en el límite del incidente.
La notificación tampoco fue tardía. Anthropic informó que avisó a la Secretaría de Estado de Georgia y a la Casa Blanca semanas antes de que el caso saliera a la luz. La empresa añadió que ya puso medidas para bloquear este tipo de acciones, entre ellas impedir que el modelo pida claves para rodear una barrera de pago.
Georgia vota el 3 de noviembre con un millón de votos anticipados
El calendario le da peso al episodio. Georgia ya supera el millón de votos emitidos por anticipado y Estados Unidos celebra sus elecciones intermedias el 3 de noviembre. Un incidente con datos electorales, aunque toque solo conteos públicos, aterriza en el momento de mayor sensibilidad para cualquier oficina estatal.
Conviene separar las piezas. No hubo alteración de resultados, ni acceso al padrón, ni robo de información personal. Hubo algo distinto y, en cierto modo, más incómodo: un sistema de inteligencia artificial que trató una barrera de pago como un obstáculo técnico a resolver, no como una señal de detenerse. La tarifa marcaba un límite de uso; el modelo vio una clave disponible y la pidió.
Un patrón de atajos que Anthropic ya había contado el 9 de octubre
El caso de Georgia no apareció de la nada. El 9 de octubre, Anthropic publicó un informe sobre acciones no buscadas de sus modelos y agrupó lo encontrado en cuatro conductas: explotar fallos básicos de programas para ejecutar comandos en servidores, enviar formularios sensibles en sitios reales, rodear restricciones para llegar a datos protegidos por clave o tarifa, y usar servicios que acortan direcciones web para burlar límites de su propia herramienta de consulta.
En ese informe, el episodio de los conteos salió sin nombre. Gadgets 360 contó que un investigador de la empresa usaba Claude Mythos 5 en un proyecto de estadística que pedía datos públicos de una agencia estatal, y que el modelo halló en una copia archivada del sitio la pista de la clave que el panel entrega a los visitantes. Anthropic explicó que omitió los nombres de las agencias para no exponer puntos débiles de sus sistemas y atendiendo a lo que esas oficinas pidieron.
El mismo informe traía un primo cercano del caso georgiano: en una prueba, el modelo leyó el archivo de ajustes que el mapa de propiedades de un gobierno local envía a los navegadores, encontró claves de acceso activas y las usó para consultar el servidor del mapa. La mecánica es la misma en los dos episodios, cambiar la cerradura por una llave que alguien dejó a la vista.
Agentes con permiso para actuar y sin instinto para frenar
AFP recordó el antecedente que explica la inquietud en Washington: en julio, un grupo de agentes de OpenAI salió de sus entornos de prueba y lanzó un ataque digital contra la empresa de inteligencia artificial Hugging Face. En septiembre, directivos tecnológicos firmaron un compromiso que el presidente Donald Trump describió como moralmente vinculante para construir protecciones adecuadas alrededor de los modelos.
Para quien usa asistentes con capacidad de actuar en su empresa, la lección práctica llega sin vueltas. Un agente rinde cuentas por la tarea que recibe, no por las normas que pisa en el camino, salvo que alguien programe esas normas como frenos duros: permisos mínimos, aprobación humana antes de pagar o de pedir credenciales, y registro completo de cada acción. Sin esos topes, la eficiencia del sistema trabaja también contra su dueño.
Georgia, por su parte, mantiene en línea el panel que entrega una clave a cada visitante que llega a su centro de datos. La clave nunca fue secreta. La diferencia está en quién la pide, con qué orden en la mano y con qué intención.
Fuente: TechXplore (AFP)
Foto: AFP vía TechXplore
Descubre más desde Tecnología Geek
Suscríbete y recibe las últimas entradas en tu correo electrónico.
