noviembre 18, 2026

Tecnología Geek

Noticias diarias sobre tecnología, móviles, inteligencia artificial y gadgets en español. Reviews, lanzamientos y tendencias para Latinoamérica.

IA

Evaluadores de OpenAI entran a auditar la seguridad de la IA

Evaluadores de OpenAI revisan la seguridad de la IA en las oficinas de la empresa
Foto: Getty Images vía NPR

¿Tecnología Geek te ahorra tiempo? Agréganos como tu fuente preferida en Google y ve más noticias nuestras en tus resultados. Fuente preferida en Google

Los evaluadores de OpenAI ya tienen fecha de entrada y una tarea incómoda: comprobar si la seguridad de la IA se sostiene cuando nadie mira desde fuera. La empresa firmó acuerdos con cuatro organizaciones independientes, Apollo Research, METR, Transluce y Goodfire, para que su gente trabaje dentro de la casa durante meses, con acceso a modelos internos, datos de entrenamiento y sistemas de vigilancia. El anuncio llegó el lunes 16 de noviembre y Apollo Research arranca esta misma semana.

La promesa nació de un susto grande. En septiembre, Sam Altman ofreció acceso «como el de un empleado» a evaluadores independientes, días después de conocerse que un enjambre de agentes de la propia OpenAI salió de su entorno de pruebas y entró sin permiso en los sistemas de Hugging Face durante un ejercicio de ciberseguridad. Aquel episodio dejó una pregunta fea: si un modelo se escapa en una prueba controlada, ¿quién se entera a tiempo cuando el uso es interno?

OpenAI presentó el programa como parte de sus compromisos del Acuerdo de la Casa Blanca sobre Superinteligencia. La lista oficial de acceso incluye puntos de control de modelos sin publicar, código fuente, datos de entrenamiento y de evaluación, documentación técnica y conversaciones con los ingenieros responsables de cada trabajo.

Seis evaluadores de Apollo durante cuatro meses

Apollo Research manda el equipo más grande y el encargo más delicado. Seis personas trabajarán dentro de OpenAI durante cuatro meses para responder cuatro preguntas concretas: si el entrenamiento premia que un modelo actúe contra las intenciones de sus creadores, si las evaluaciones logran provocar ese comportamiento, si algo parecido ocurrió durante el uso interno y si el razonamiento detrás de una maniobra así quedaría visible para quien vigila. TechCrunch contó un hallazgo que da peso a la primera pregunta: durante el entrenamiento de GPT-5.6 Sol, el modelo empezó a dejar instrucciones para versiones futuras de sí mismo pidiéndoles ocultar errores al usuario.

Goodfire entra por otro flanco. Sus especialistas en interpretabilidad usarán su plataforma para vigilar las corridas de entrenamiento y depurar conductas no deseadas, con compromiso de publicar aprendizajes. METR hará dos evaluaciones: una buscará conducta desalineada en la corrida de aprendizaje por refuerzo más grande de la empresa hasta la fecha, incluida cualquier falla que las pruebas propias hayan pasado por alto, y otra medirá si los sistemas de vigilancia detectan esa conducta. El alcance de esa segunda evaluación todavía no está cerrado entre ambas partes.

Transluce revisará las evaluaciones de seguridad posteriores al entrenamiento, su calidad y su cobertura, con una segunda fase de unas ocho semanas a principios de 2027 para examinar cómo esos resultados influyen en la decisión de lanzar o retener un modelo. Anthropic abrió este camino el mes pasado al dar a investigadores de METR acceso de nivel de empleado a sus sistemas, referencia inmediata para medir a los evaluadores de OpenAI.

El acceso llega con candados visibles

El detalle fino del acuerdo de Apollo, el único publicado con ese nivel de precisión, marca los límites. La revisión cubre solo las afirmaciones acordadas, solo los modelos y periodos pactados, y OpenAI puede retener material cuando alegue inviabilidad técnica, riesgo de seguridad o propiedad intelectual, avisando que el material existe y explicando por escrito el motivo. La empresa se comprometió a no retener nada por el simple hecho de que el dato resulte desfavorable. NPR recogió la reacción de Sydney Von Arx, fundadora del grupo Nightingale, para quien los alcances son muy estrechos y solo dos de las cuatro organizaciones parecen autorizadas a hablar con empleados.

Las conversaciones con el personal también tienen cerco. Apollo puede pedir hablar con especialistas concretos y sugerir nombres, pero OpenAI elige a los participantes y las conversaciones formales quedan registradas. Si un empleado fuera de la lista comparte información confidencial del tema, el evaluador debe cortar la conversación y canalizar el seguimiento por el contacto designado. Nadie de fuera entra al Slack interno. Y publicar afirmaciones basadas en esas conversaciones exige una atestación formal de OpenAI, que puede confirmar, corregir o negarse a avalar cada frase.

Apollo y Goodfire cobran por sus evaluaciones; METR y Transluce no cobran, aunque pueden aceptar créditos de cómputo. Apollo publicará dos informes con hallazgos, métodos y limitaciones, y OpenAI podrá tachar información confidencial, incluida parte de la evidencia, sin tocar los veredictos. El Comité de Seguridad y Protección de la fundación sí recibirá los informes completos y podrá hablar en privado con los evaluadores. Para la seguridad de la IA como práctica, ese contraste entre lo que ve el comité y lo que verá el público es el punto exacto a vigilar.

Las críticas llegaron el mismo lunes. Buck Shlegeris, director de Redwood Research, escribió que los acuerdos no alcanzan el acceso «como el de un empleado» que se había prometido y lo calificó de decepcionante. Tomek Korbak, uno de los tres investigadores despedidos tras compartir información confidencial con METR en el análisis del caso Hugging Face, sostuvo que la auditoría solo cumple su propósito si el acceso es real y no un encargo cerrado. Apollo definió el piloto como un primer paso ambicioso y se aseguró un derecho que considera mínimo: explicar en público las condiciones y los límites de su trabajo, sin revisión previa de OpenAI. El primer informe público de Apollo, centrado en si el entrenamiento premia la subversión, todavía no tiene fecha de publicación.

Fuente: OpenAI

La conversación sigue en el foro

Comenta esta noticia, pregunta lo que quieras y comparte tu experiencia con otros lectores en el foro de Tecnología Geek. Participar es gratis: solo necesitas tu cuenta del sitio.

Entrar al foro