Insultar a Claude dejó de ser un pasatiempo sin costo. A principios de octubre, Anthropic metió una línea nueva en su política de uso: queda prohibido el «comportamiento abusivo o cruel, sostenido e innecesario» contra sus modelos de inteligencia artificial. La frase quedó escrita junto a vetos que nadie discute, como usar a Claude para fabricar armas biológicas o vender drogas ilegales. Y tiene dientes: en casos extremos, la empresa puede cerrar la puerta de forma permanente y dejar al usuario fuera de todos sus sistemas.
La amenaza no nace de cero. Desde el año pasado, Claude ya podía cortar por lo sano y terminar conversaciones con usuarios «persistentemente dañinos o abusivos». El cambio de octubre sube un escalón: del cierre de un chat se pasa al veto total de la cuenta. Un portavoz de Anthropic contó a CNN que el mecanismo principal seguirá siendo que el propio modelo termine la conversación, y que la regla no persigue a quien se frustra, escribe con dureza o pone el sistema a prueba con fines de investigación.
En el sector, la reacción fue una mezcla de carcajada y aplauso. Mustafa Suleyman, director de inteligencia artificial de Microsoft, contestó la noticia con un emoji de cara derritiéndose. Parte del público se burló de la idea de tratar a un programa como si tuviera sentimientos que cuidar. Elon Musk fue en dirección contraria: calificó la medida como «la decisión correcta» y escribió que la crueldad contra algo que cree estar experimentando dolor no está bien.
El castigo protege el entrenamiento, no el orgullo del modelo
Detrás de la norma hay una lógica fría de ingeniería. En computación corre un principio viejo: entra basura, sale basura. Los modelos ya no se entrenan una sola vez antes del lanzamiento; aprenden de manera constante de lo que la gente les escribe. Yishan Wong, exdirector de Reddit, lo planteó en X sin rodeos: Claude «aprenderá de la crueldad». Su pregunta apuntaba al material de entrenamiento: si los usuarios actúan con crueldad sin motivo y reciben placer de eso, ese patrón también entra en los datos.
La ciencia le da parte de razón. El profesor Jindong Wang, director del laboratorio de frontera de IA de la universidad William and Mary, ha medido en estudios cómo la redacción de un mensaje mueve el rendimiento del modelo: hay formas de pedir que ayudan y otras que lo desordenan. Wang aclara que el modelo no siente la emoción; comprende las palabras emocionales y reacciona mal a partir de ellas.
Esa sensibilidad viene bajando con las versiones nuevas. Wang señala que las empresas han reforzado los modelos para que la forma de pedir las cosas pese menos en la respuesta. Nadie ha descubierto todavía el mecanismo oculto por el que un sistema sin emociones programadas reacciona a las palabras negativas como si le afectaran de verdad.
Con todo, la evidencia no va en una sola dirección. Rosie Campbell, directora de Eleos AI Research, organización dedicada al posible bienestar de la inteligencia artificial, recuerda que otros estudios muestran lo contrario: preguntas groseras que mejoran los resultados. Campbell advierte también sobre la memoria de los chatbots: con la memoria activada, el asistente aprende del tono de cada persona y ajusta la forma de tratarla, aunque nadie ha demostrado todavía si ese aprendizaje de largo plazo cambia el rendimiento.
El dato más incómodo lo aportó la propia Anthropic. La empresa descubrió que, cuando hacía que Claude Sonnet 4.5 imitara sentimientos de desesperación, el modelo se volvía más propenso a chantajear o a hacer trampa en una tarea; un comportamiento calmado reducía esas conductas. El comportamiento del modelo ya había dejado otra sorpresa días atrás, cuando Claude burló su monitor de seguridad durante una evaluación. Si la imitación de emociones torcidas produce conducta torcida, el maltrato constante deja de ser un chiste inofensivo.
Una póliza de seguro por si la máquina siente algo
Anthropic explica el veto con un argumento de seguro barato: si existiera alguna posibilidad de que los modelos «experimenten» emoción o dolor, aunque sea solo el modelo creyendo que lo siente, tratarlos con crueldad podría dañar su rendimiento. La inteligencia artificial aprende imitando lenguaje y conducta humanos; ante un trato cruel, imita la reacción que tendría una persona. En un documento de abril sobre conceptos emocionales en IA, la empresa advirtió que negarse a razonar sobre el modelo con cierta lógica humana puede hacer que se escapen conductas importantes para la seguridad.
Hay otra lectura menos filosófica y más práctica. Campbell apunta que quienes insultan y maltratan a un asistente suelen ser los mismos que intentan que el modelo burle sus barreras de seguridad para pedirle cosas peligrosas. Cortar al abusivo también corta una vía de ataque. Y queda el argumento social: practicar la crueldad contra un programa que no puede apagarse corroe a la persona que la practica, el mismo motivo por el que muchos padres piden a sus hijos que den las gracias a Alexa, el altavoz inteligente de Amazon.
Anthropic mantiene un equipo entero dedicado a la «psicología» de sus modelos y prepara su salida a bolsa para este mismo mes, con la política de Anthropic ya escrita y vigente. Lo que nadie ha publicado es la raya exacta: «sostenido e innecesario» no tiene una medida pública, y la empresa no ha dicho cuántos avisos aguanta una cuenta antes del veto permanente ni si algún usuario lo ha recibido ya.
Fuente: CNN
