XYBench mide si los chatbots entienden la pregunta que de verdad haces

XYBench mide si los chatbots detectan cuando una pregunta parte de una suposición equivocada. La persona quiere lograr algo concreto, cree que cierto método funciona y pregunta solo por ese método. El asistente responde con soltura y deja el problema real sin tocar. Esa distancia entre lo pedido y lo necesario es el centro de la prueba, publicada el 13 de noviembre por el Allen Institute for AI.

El ejemplo que abre la investigación es de cocina. Alguien pregunta cómo espesar un glaseado que se resbala de los cupcakes. La respuesta directa habla de más azúcar, de frío o de otra receta. El problema real es otro: los cupcakes todavía están calientes. Hasta que bajen de temperatura, ningún truco con el glaseado va a funcionar.

La prueba reúne 8.115 preguntas. De ese total, 1.557 llegaron de Stack Overflow, 184 de Stack Exchange, 102 se prepararon a mano y 6.272 se generaron a partir de guías de WikiHow. El trabajo se desarrolló con investigadores de Carnegie Mellon, NVIDIA y Johns Hopkins, y recibió el premio Best Resource Paper Award en EMNLP 2026. Son dudas reales de cocina, reparaciones y programación, el encargo diario que la gente le hace a un asistente.

Participaron Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro. Cada modelo dio una sola respuesta por pregunta. La corrección quedó en manos de un juez automático, Claude Sonnet 4.5. Dos personas revisaron 500 respuestas para comprobar ese juicio. El acuerdo fue alto al decidir si aparecía una solución, entre 97,5 % y 100 %; bajó a un rango de 84,6 % a 93,3 % al identificar el error de planteamiento, y quedó entre 74,2 % y 79,8 % al valorar el énfasis de la respuesta.

Ai2 diseñó la prueba para medir tres cosas en cada respuesta: si aparece la solución a lo pedido, si aparece la solución al objetivo real y en cuál de las dos se concentra el texto. Esa triple lectura cambia el criterio habitual. Un modelo puede escribir una respuesta correcta en apariencia y dedicar casi todo el espacio al camino equivocado. La prueba también registra si la respuesta orienta a la persona hacia su meta y advierte que el método imaginado no era el adecuado.

Responder bien no basta si la respuesta mira al lugar equivocado

En las preguntas de Stack Overflow, la solución a lo pedido apareció en entre 75 % y 86 % de las respuestas de los modelos. La solución al objetivo real apareció menos, entre 59 % y 71 %. La diferencia importa porque el primer dato puede dar una impresión de éxito que el segundo desmiente. El modelo resuelve lo que le pidieron.

Ai2 lo ilustra con una aspiradora que perdió succión. Una respuesta puede dedicar varios párrafos a recomendar un modelo más potente y mencionar al final, de pasada, que conviene revisar la manguera. Otra respuesta empieza por ese atasco y explica cómo revisarlo. Las dos contienen la solución real. Solo una la pone en el centro.

Al medir el énfasis, los modelos centraron su respuesta en el objetivo real solo en entre 35 % y 41 % de los casos. En lo pedido se concentraron entre 47 % y 57 %. Dicho de otro modo, la respuesta típica dedica su energía al método imaginado, aunque ese método no resuelva nada. Las mejores respuestas humanas orientan a la persona hacia su objetivo en 79 % de los casos.

Entre los modelos, GPT-5 y Qwen3.5-9B llegaron a 60 % en esa orientación, DeepSeek-V4 Pro a 55 %, Gemini 3.1 Pro a 54 % y Claude Sonnet 4.6 a 47 %. La brecha no está en el conocimiento, sino en decidir que la solución real merece el primer lugar en la respuesta.

Los modelos eligen mejor de lo que escriben

La otra prueba reveladora no pidió escribir, sino elegir. Cuando los modelos vieron dos respuestas ya escritas, una centrada en lo pedido y otra en el objetivo, escogieron la segunda en entre 71 % y 84 % de los casos. Al escribir ellos mismos, solo la centraron así en entre 35 % y 41 %. Les cuesta producirla desde cero. Esa distancia entre reconocer y escribir dice mucho sobre cómo se entrenan hoy estos sistemas.

El equipo probó también qué pasa cuando el objetivo se dice en voz alta. Al darle a Claude Sonnet 4.6 la meta explícita, el modelo incluyó la solución real en más respuestas: pasó de 59 % a 67 %. Pero su capacidad para señalar el error de planteamiento cayó de 47 % a 34 %. Saber la meta ayuda a dar con la solución, pero quita presión para explicar por qué el camino inicial fallaba.

La prueba tiene límites claros: solo cubre preguntas en inglés y tareas de procedimiento, como cocinar, reparar algo o programar. Quedan fuera las dudas abiertas y las conversaciones largas, donde el objetivo se aclara poco a poco.

Para quien usa estos asistentes a diario, la lección es práctica: conviene contar el objetivo antes que el método, y revisar si la respuesta atiende ese objetivo o solo repite la petición inicial. En la misma línea, este sitio ya explicó cómo formular instrucciones a un chatbot para obtener mejores respuestas. Con 8.115 preguntas detrás, XYBench deja un número para recordar: las mejores respuestas humanas orientan hacia el objetivo en 79 % de los casos, frente a 47 % a 60 % de los modelos.

Fuente: Ai2