Dev News Daily ENDE

Ai2s XYBench zeigt: KI-Assistenten beantworten die gestellte Frage, nicht das Problem dahinter

Das Allen Institute for AI (Ai2) hat XYBench veröffentlicht, einen Benchmark mit 8.115 Fragen, der prüft, ob KI-Assistenten merken, wenn ein Nutzer nach dem Falschen fragt. Die Ankündigung im Hugging-Face-Blog vom 13. November nennt den Preis für das beste Ressourcenpapier auf der EMNLP 2026. Entwickelt wurde er mit Forschern von Carnegie Mellon, NVIDIA und Johns Hopkins.

Der Name bezieht sich auf das XY-Problem: Jemand will X erreichen, hält Ansatz Y für den richtigen Weg und fragt nur nach Y. Ai2s Beispiel ist jemand, der wissen will, wie man Zuckerguss dicker macht, der von Cupcakes rutscht, obwohl das eigentliche Problem ist, dass die Cupcakes noch zu warm sind.

Die Fragen stammen aus vier Quellen: 1.557 von Stack Overflow, 184 von anderen Stack-Exchange-Seiten, 102 von Hand ausgewählt und 6.272 aus WikiHow-Anleitungen mit Claude Sonnet 4.5 erzeugt und dann überarbeitet. Für jede Frage hielt das Team die gestellte Bitte und das eigentliche Ziel fest, wo möglich anhand der besten und akzeptierten menschlichen Antworten, und strich Fälle, in denen die wörtliche Antwort das Problem schon gelöst hätte. Bewertet wird dreifach: ob eine Antwort die gestellte Bitte und das eigentliche Ziel löst, worauf sie den Schwerpunkt legt und ob sie vom falschen Ansatz wegführt. Sonnet 4.5 dient als automatischer Gutachter; zwei menschliche Prüfer stimmten bei 500 Antworten zu 97,5 bis 100 Prozent mit ihm überein, ob eine Lösung vorkam, beim Schwerpunkt aber nur zu 74,2 bis 79,8 Prozent.

Getestet wurden Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B und DeepSeek-V4 Pro. Alle beantworteten eher die gestellte Bitte als das eigentliche Ziel. Bei Stack Overflow enthielten 75 bis 86 Prozent der Antworten eine Lösung für die gestellte Bitte und 59 bis 71 Prozent eine für das Ziel, und nur 35 bis 41 Prozent stellten das Ziel in den Mittelpunkt. Alle Modelle lagen beim Erkennen des Irrtums hinter menschlichen Referenzantworten.

Zwei weitere Versuche schärfen das Bild. Nannte man Sonnet 4.6 das eigentliche Ziel, stieg bei Stack Overflow die Quote der Lösungen dafür von 59 auf 67 Prozent, die Erkennung des Irrtums fiel aber von 47 auf 34 Prozent. Und zeigte man den sechs Modellen, einschließlich GPT-4.1, zwei Antworten, eine wörtliche und eine zielorientierte, wählten sie in 71 bis 84 Prozent der Fälle die zielorientierte.

Ai2s XYBench zeigt: KI-Assistenten beantworten die gestellte Frage, nicht das Problem dahinter
Ai2s XYBench zeigt: KI-Assistenten beantworten die gestellte Frage, nicht das Problem dahinter — Dev News Daily

Warum es wichtig ist

Lehrreich ist die Lücke zwischen dem Auswählen der besseren Antwort und dem Schreiben. Ein Multiple-Choice-Test würde den Modellen bescheinigen, XY-Probleme gut zu erkennen; beim Erzeugen von Antworten handeln sie meist nicht danach. Für Programmierassistenten, bei denen ein falscher Ansatz Stunden kosten kann, ist genau dieses Verhalten messenswert, und die Autoren weisen darauf hin, dass der Benchmark nur Englisch und überwiegend Handlungsanleitungen abdeckt.

Primärquelle
Hugging Face Blog
https://huggingface.co/blog/allenai/xybench