¿Tecnología Geek te ahorra tiempo? Agréganos como tu fuente preferida en Google y ve más noticias nuestras en tus resultados. Fuente preferida en Google
OpenAI presentó este lunes un clasificador de imágenes capaz de detectar material de abuso sexual infantil, incluso en imágenes creadas con inteligencia artificial que nunca circularon antes. La herramienta llega con pantallas de advertencia nuevas en ChatGPT: quien intente pedir contenido que sexualice a menores verá una alerta en pantalla, recibirá orientación hacia ayuda especializada y perderá el acceso a su cuenta por 24 horas.
El clasificador busca señales visuales de abuso en imágenes inéditas y asigna una puntuación a cada una. Esa nota no decide sola: orienta a los revisores humanos sobre qué material mirar primero y con qué urgencia. La diferencia está en el punto de partida, porque el sistema no se limita a comparar cada imagen con archivos ya conocidos y marcados; trabaja sobre material nuevo, el terreno donde los filtros tradicionales llegan tarde. OpenAI lo ofrecerá gratis por medio de su interfaz de programación (API) a un grupo selecto de empresas, las que reciben, generan o alojan imágenes dentro de sus servicios.
TechCrunch informó que el sistema se desarrolló junto al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC, por sus siglas en inglés), y que el acceso se compartirá con la Tech Coalition y con ROOST, dos redes del sector dedicadas a la seguridad infantil en línea. En las pruebas iniciales con socios, el clasificador marcó 48 % menos imágenes que los métodos de referencia y encontró la misma cantidad de material abusivo. Las imágenes que sí marca tienen el doble de probabilidad de ser abusivas, un cambio que recorta horas de revisión manual y deja a los equipos humanos concentrados en los casos con más señales. Para quienes revisan este material a mano, ese filtro previo cambia el tamaño del montón que deben mirar cada día.
Una advertencia antes del bloqueo permanente
ChatGPT ya bloqueaba este tipo de contenido y las peticiones relacionadas. Lo nuevo es la pantalla intermedia: una alerta directa para el usuario que intenta generar o acceder a material que sexualice a niños, con orientación hacia apoyo especializado para detener esa conducta y una suspensión de la cuenta por 24 horas a modo de advertencia. Para el usuario común, ese será el cambio visible: un freno en seco antes de cualquier otra medida. La empresa advierte que las reincidencias pueden terminar en la eliminación permanente de la cuenta.
El texto de esas advertencias no lo escribió OpenAI en solitario. TechCrunch reportó la participación de la organización Protect Children, la Fundación Lucy Faithfull y el investigador Joel Scanlan, de la Universidad de Tasmania, que evaluó de forma independiente una prueba previa con mensajes disuasorios. La lógica es frenar al usuario antes de que el daño ocurra, no limitarse a borrar el contenido después de creado.
La compañía publicó además una guía para desarrolladores que usan su tecnología, con pasos para prevenir, detectar y ayudar a reportar este material. En las pruebas iniciales, la guía ayudó a varias empresas a adoptar herramientas de seguridad infantil y a registrarse para enviar reportes al NCMEC, el centro que recibe y canaliza las denuncias de este tipo en Estados Unidos. El clasificador y la guía se refuerzan entre sí: una cosa es detectar dentro de casa y otra que las aplicaciones construidas sobre la misma tecnología apliquen el mismo filtro.
Complementos para policías en medio de las demandas
Para las fuerzas del orden hay un paquete aparte: complementos con inteligencia artificial, herramientas de investigación y análisis de datos complejos, con el acceso controlado por administradores de cada programa. OpenAI suma capacitación para investigadores y una guía de campo sobre el uso de inteligencia artificial en casos de seguridad infantil. La idea es que el mismo avance que detecta el material ayude a perseguir a quien lo produce y lo distribuye.
El anuncio llega con la empresa bajo presión judicial. OpenAI enfrenta demandas que culpan a su tecnología de dañar a usuarios, en especial a menores, y el tema ya escaló a los tribunales estatales con las demandas de ocho estados que acusan a ChatGPT de poner en riesgo a los niños. Common Sense Media, organización que evalúa tecnología para familias, calificó la tecnología de la empresa de «riesgo inaceptable» para adolescentes. El contraste cercano lo marca Grok, el chatbot rival, usado para crear imágenes sexualizadas sin consentimiento, también de menores.
En los últimos 12 meses la empresa publicó un plan de seguridad, ajustó sus normas de contenido para vetar material inapropiado, reentrenó su modelo para frenar la generación de contenido dañino y lanzó una versión de ChatGPT pensada para adolescentes. El clasificador queda, por ahora, en manos de las empresas seleccionadas y de las redes de seguridad que lo probaron primero. Su efecto real se medirá en un dato concreto: cuántos reportes nuevos lleguen al NCMEC desde esas plataformas y cuántas imágenes abusivas se detengan antes de circular. Las pruebas con socios dejan una vara medible desde el primer día: 48 % menos imágenes marcadas y la misma cantidad de material abusivo encontrado.
Fuente: TechCrunch
La conversación sigue en el foro
Comenta esta noticia, pregunta lo que quieras y comparte tu experiencia con otros lectores en el foro de Tecnología Geek. Participar es gratis: solo necesitas tu cuenta del sitio.
Entrar al foro