The Pulse

XYBench di Ai2 verifica se le risposte dell’IA affrontano i veri obiettivi degli utenti

Ai2 ha pubblicato un benchmark composto da 8.115 domande, progettato per verificare se gli assistenti IA riconoscono le idee errate alla base delle richieste degli utenti. Nella sua valutazione, cinque modelli si sono dimostrati meno propensi delle risposte umane di riferimento a distogliere gli utenti da approcci sbagliati.

AI.info Team · · verificato · su 2 fonti ↓ · Pubblicato 13 nov 2026

Ai2 ha pubblicato XYBench, un test per verificare se gli assistenti IA sono in grado di riconoscere quando la domanda di un utente si basa su un presupposto errato e di rispondere invece al problema sottostante. Nei test condotti su cinque modelli, l’organizzazione di ricerca ha rilevato che tutti erano meno propensi delle risposte umane di riferimento a distogliere gli utenti dall’approccio sbagliato.

Il benchmark contiene 8.115 domande che spaziano dalla programmazione alle attività quotidiane. Esamina il «problema XY»: una persona vuole raggiungere un obiettivo, presume che un determinato metodo funzioni e chiede aiuto per applicare quel metodo, anziché per raggiungere l’obiettivo stesso.

Le domande dietro le domande

Un esempio riguarda una glassa che scivola via dai cupcake. Un utente potrebbe chiedere come addensare la glassa, quando il problema è che i cupcake sono ancora troppo caldi; una risposta utile affronterebbe la temperatura, anziché concentrarsi sul modificare la glassa.

Il benchmark è stato sviluppato con ricercatori della Carnegie Mellon, di NVIDIA e della Johns Hopkins. Il suo articolo ha ricevuto il Best Resource Paper Award a EMNLP 2026.

La raccolta include 1.557 domande da Stack Overflow, 184 da Stack Exchange e 102 esempi selezionati manualmente. Le restanti 6.272 domande sono state generate a partire dalle guide di WikiHow.

Per le domande dei forum, i ricercatori hanno usato le tre risposte umane con il punteggio più alto e, quando disponibile, la risposta accettata, per stabilire quale fosse la richiesta prevista e quali fossero le possibili soluzioni. Per gli esempi di WikiHow, hanno usato Sonnet 4.5 per generare domande basate su idee errate plausibili e le hanno perfezionate in modo da fornire un contesto sufficiente perché un esperto potesse dedurre l’obiettivo.

Che cosa misura il benchmark

XYBench distingue tre aspetti di una risposta: se contiene soluzioni alla richiesta esplicita e all’obiettivo previsto; quale dei due mette in risalto; e se indirizza l’utente verso l’obiettivo, scoraggiando o evitando l’approccio sbagliato. La distinzione è importante perché una risposta può menzionare un’alternativa utile senza metterla al centro.

Claude Sonnet 4.5 funge da valutatore automatico, classificando i suggerimenti e valutando quale aspetto viene messo in risalto. Due revisori umani hanno valutato in modo indipendente 500 risposte dei modelli per verificare i suoi giudizi. Secondo Ai2, l’accordo medio con il valutatore variava dal 97,5 al 100% nel determinare se fosse presente una soluzione, dall’84,6 al 93,3% nell’identificazione delle idee errate e dal 74,2 al 79,8% nel valutare quale aspetto fosse messo in risalto.

Modelli e risposte umane

La valutazione principale ha testato Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B e DeepSeek-V4 Pro in un contesto a turno singolo, con una risposta per ogni domanda. Le risposte umane di riferimento sono state valutate separatamente usando le stesse misure.

Secondo Ai2, per le domande di Stack Overflow i modelli includevano soluzioni alla richiesta esplicita nel 75–86% delle risposte, contro il 59–71% per l’obiettivo sottostante. I modelli si concentravano principalmente sull’obiettivo sottostante nel 35–41% delle risposte e sulla richiesta esplicita nel 47–57%.

La risposta umana con il punteggio più alto si concentrava sull’obiettivo sottostante nel 55% dei casi, contro il 35–41% dei modelli. Quanto a indirizzare gli utenti verso l’obiettivo anziché verso l’approccio sbagliato, il dato per le risposte umane era del 79%, mentre i risultati dei modelli variavano dal 47 al 60%.

Conoscere l’intento non bastava

In un altro esperimento, i ricercatori hanno fornito l’obiettivo previsto insieme alla domanda. Per Sonnet 4.6 su Stack Overflow, la quota di risposte che includevano una soluzione all’obiettivo sottostante è salita dal 59 al 67%, ma il tasso di identificazione delle idee errate è sceso dal 47 al 34%, secondo Ai2.

In un test separato, è stato chiesto ai cinque modelli e a GPT-4.1 di scegliere tra una risposta incentrata sulla richiesta letterale e una che affrontava l’idea errata e l’obiettivo sottostante. Di fronte a due possibili risposte alle domande di Stack Overflow, tutti e sei hanno scelto quella incentrata sull’obiettivo nel 71–84% dei casi.

Al momento il benchmark riguarda domande in inglese e problemi principalmente procedurali. Estenderlo ad altre lingue, culture e contesti conversazionali è una possibile direzione per il lavoro futuro.