IdeaTaste: gli LLM condividono la sensibilità per la ricerca dei ricercatori umani?

Abstract degli autori

La sensibilità per la ricerca — il giudizio su cosa leggere, quali problemi affrontare e quali metodi provare — influenza sempre più il lavoro degli scienziati dell’IA, eppure è molto meno compresa della loro capacità di svolgere attività di ricerca. Presentiamo IdeaTaste, un benchmark che valuta un LLM in base a quanto le proposte di ricerca che scrive a partire da un’istantanea della letteratura fissata al 2025 corrispondono al lavoro pubblicato nel 2026 dalle stesse comunità. I nostri esperimenti coinvolgono sei modelli linguistici contemporanei e quattro aree di ricerca, dai campi consolidati a quelli emergenti, per un totale di oltre 90{,}000 proposte. Gli agenti basati su LLM sono molto al di sotto delle comunità umane sia per la letteratura che citano sia per le idee che formulano: raggiungono circa il 26\% del livello umano nell’abbinamento delle citazioni e solo il 18\% nell’abbinamento delle idee. Le loro popolazioni possono citare fonti con una varietà pari a quella di una comunità e adottarne i compiti e i metodi, ma raramente arrivano agli approcci concreti e ai piani di ricerca che essa persegue. Né un contesto disciplinare più ricco né popolazioni più ampie colmano in misura sostanziale questo divario. Nelle valutazioni in cieco degli esperti, le proposte dell’IA sono più vicine agli articoli del 2026 quanto alla presentazione e più lontane quanto alle probabilità di successo attese; ciò rispecchia il divario negli approcci concreti. Le proposte le cui idee non sono condivise da alcun articolo scritto da esseri umani ottengono i risultati peggiori, il che suggerisce che indichino direzioni più deboli, anziché opportunità trascurate. Questi risultati indicano che il principale collo di bottiglia nella sensibilità per la ricerca dell’IA non consiste tanto nell’individuare le direzioni seguite da una comunità, quanto nel trasformarle negli approcci concreti che essa finisce per perseguire. Rendiamo disponibile IdeaTaste come leaderboard aperta e aggiornata in modo continuativo (https://cxcscmu.github.io/IdeaTaste), che valuta le proposte contemporanee dell’IA rispetto ai futuri cicli di pubblicazione.