RealCompanion: un benchmark per valutare la comprensione delle persone attraverso il ragionamento su conversazioni reali seguite nel tempo

Abstract degli autori

Un compagno di IA che conversa con una persona per mesi dovrebbe arrivare a capirla. Dovrebbe ricordare ciò che ha detto, dedurre chi è e sapere quando il passato è pertinente al messaggio che ha davanti. Per verificarlo serve la cronologia di una persona reale, ma queste cronologie sono private: i benchmark creano quindi la persona e le domande e stabiliscono in anticipo che cosa conta. Pubblichiamo \bench, dieci relazioni reali con un compagno di IA: 27.218 messaggi nell’arco di periodi fino a 120 giorni, resi disponibili sotto forma delle conversazioni e di quattro file da esse ricavati — un profilo, una descrizione della persona, una ground truth della chat e una serie di domande —, ciascuno con i riferimenti ai messaggi su cui si basa. Ogni etichetta della chat è accompagnata dalla traccia del ragionamento che l’ha prodotta, verificata fase per fase rispetto alla conversazione. Emergono tre risultati. Primo: il passato serve di rado e, quando serve, è lontano. Le misure aggregate sono fuorvianti: una finestra sui messaggi più recenti trova il messaggio necessario per il 95,9\% delle prove, ma solo per il 2,2\% di quelle che richiedono memoria; alla frequenza naturale, il 96\% del miglioramento ottenuto fornendo elementi registrati deriva da messaggi che non ne hanno bisogno. Secondo: nessuno dei sistemi di rilevamento che abbiamo provato riesce a stabilire quando la memoria è necessaria nei messaggi reali; le domande scritte a partire dalle stesse cronologie lasciano trapelare l’indizio; ed etichettare gli stessi messaggi come ricordi ne aumenta l’utilizzo da dieci a quattordici punti. Terzo: tre sistemi di agenti ricostruiscono la persona con lo stesso punteggio F1, pur con costi che differiscono di un fattore 31.