BackTrend: valutare la previsione dei segnali deboli nella ricerca scientifica mediante ricostruzione a ritroso

Abstract degli autori

I segnali deboli nella ricerca scientifica sono filoni di ricerca ancora poco visibili che in seguito diventano centrali per ambiti scientifici maturi. Eppure, risorse esistenti come il monitoraggio delle tendenze, la previsione delle citazioni e i rapporti di previsione strategica raramente offrono insiemi di riferimento convalidati che colleghino precursori concreti a paradigmi successivi. Presentiamo BackTrend, un benchmark retrospettivo in cui, dato un ambito maturo come obiettivo e un vincolo temporale sulle evidenze, i sistemi devono individuare due tipi di precursori: i segnali relativi allo spazio dei problemi, ossia problemi di ricerca poco riconosciuti, e i segnali relativi allo spazio delle soluzioni, ossia metodi emergenti per problemi noti. BackTrend comprende 25 ambiti maturi nell’intelligenza artificiale e nel machine learning e 66 segnali deboli convalidati da persone, ricostruiti a partire da un’ampia raccolta di pubblicazioni scientifiche ancorando ciascun candidato all’andamento della frequenza delle pubblicazioni a esso relative nel periodo 2019-2024. Valutiamo LLM di frontiera, sistemi RAG e sistemi di ricerca basati su agenti usando metriche fondate sulla corrispondenza semantica e sulla copertura. I sistemi attuali generano spesso precursori plausibili ma non pertinenti all’obiettivo, mostrando deriva tematica, discrepanze nel livello di granularità, corrispondenze quasi corrette e copertura incompleta; il sistema migliore raggiunge solo il 10,1% di F1, mentre Coverage10 arriva a coprire al massimo il 18,5% dei segnali di riferimento. Le nostre analisi dei budget mostrano che ulteriori evidenze ottenute tramite recupero di informazioni e ricerca sul web possono migliorare le prestazioni fino a un budget moderato, ma da sole non colmano il notevole divario di prestazioni.