ListQA: un benchmark per valutare il recupero di conoscenze fattuali sotto forma di elenchi nei modelli linguistici di grandi dimensioni

Abstract degli autori

Molte domande del mondo reale richiedono non un singolo fatto, ma una raccolta organizzata di fatti. Eppure i benchmark esistenti sulle conoscenze fattuali si concentrano quasi esclusivamente sul recupero di una singola risposta. Presentiamo ListQA, un benchmark di 9.045 domande curate da esseri umani e sottoposte a validazione incrociata, con un tasso di errore verificato dell’1,7%. Le domande richiedono ai modelli linguistici di grandi dimensioni di richiamare più fatti e organizzarli in elenchi strutturati di 3-10 elementi. Si va da elenchi semplici («Quali squadre della NCAA sono rimaste imbattute tra il 2000 e il 2024?») a elenchi gerarchici con attributi aggiuntivi («…e quali erano il loro bilancio e il risultato?»), in otto categorie che riguardano oltre 60 paesi. Un’impostazione pensata per restare valida nel tempo, basata su vincoli temporali espliciti o su fatti storici immutabili, mantiene valide le risposte di riferimento senza aggiornamenti periodici. Per la valutazione, formuliamo la corrispondenza tra elementi come un problema di assegnamento a somma lineare: un abbinamento bipartito ottimale, associato a una valutazione semantica basata su modelli linguistici di grandi dimensioni, rileva congiuntamente l’accuratezza fattuale, le allucinazioni e il rispetto del formato. Mettiamo alla prova 34 modelli (8 famiglie, 42 configurazioni tra inferenza standard e inferenza con ragionamento attivato) e riscontriamo che il miglior modello con inferenza standard ottiene un punteggio LLM-Judge-F1 inferiore al 37%, che le domande con più aspetti risultano più difficili per tutti i modelli e che fornire la pagina Wikipedia di origine aumenta nettamente i punteggi. Quest’ultimo risultato conferma che i modelli sanno organizzare i fatti, ma faticano a recuperarli dai soli parametri. Ulteriori analisi riguardano il confronto tra checkpoint di base e checkpoint sottoposti a fine-tuning sulle istruzioni, nonché l’efficienza nell’uso dei token. Rendiamo disponibili il dataset e il codice di valutazione.