Gli LLM possono accedere alle proprie conoscenze sul mondo per prevedere gli eventi?

Abstract degli autori

Studi recenti hanno messo in dubbio l’utilità dei modelli linguistici di grandi dimensioni (LLM) per la previsione degli eventi nel tempo. Nonostante le vaste conoscenze sul mondo acquisite durante il preaddestramento, gli LLM spesso ottengono risultati inferiori a quelli di modelli specializzati più semplici. Ci chiediamo se queste conoscenze siano davvero inaccessibili o se i metodi attuali non riescano a presentare la previsione degli eventi in una forma utilizzabile dagli LLM. Sosteniamo la seconda ipotesi e mostriamo che gli LLM diventano efficaci nel prevedere gli eventi quando l’interfaccia è progettata attorno a due scelte. La prima colloca ogni evento nel contesto di una descrizione in linguaggio naturale; la seconda separa il significato degli eventi dallo spazio delle previsioni, per evitare distorsioni semantiche dovute alle associazioni con le etichette. Per verificarlo, presentiamo DescribeEvent, un benchmark di ~150K eventi, provenienti da sette dataset e sei ambiti, con descrizioni per ogni evento. Riscontriamo che gli LLM più capaci traggono notevole beneficio dalle descrizioni e dalle etichette simboliche, superando sia le varianti prive di descrizioni sia i modelli di riferimento non basati su LLM, mentre i modelli meno capaci ne traggono scarso beneficio. Questi risultati suggeriscono che accedere alle conoscenze sul mondo degli LLM per prevedere gli eventi è un problema di interfaccia e che le descrizioni degli eventi offrono un modo pratico per far emergere conoscenze che gli LLM già codificano.