The Pulse
Gli agenti di ricerca basati sull’IA coincidono solo con il 18% delle idee umane
Il benchmark IdeaTaste ha rilevato che gli agenti basati su modelli linguistici raggiungono il 18% del livello umano nella corrispondenza con le idee di ricerca umane, contro il 26% per le citazioni. Gli autori hanno esaminato più di 90.000
AI.info Team · Scritto con l’IA · verificato ·
In un nuovo benchmark, gli agenti di ricerca basati sull’IA hanno raggiunto solo il 18% del livello umano nella corrispondenza con le idee di ricerca umane e circa il 26% in quella delle citazioni. I risultati, riportati nel paper «IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?», mostrano un divario più ampio in ciò che gli agenti propongono rispetto alla letteratura a cui attingono.
IdeaTaste guarda ai paper del 2026
Gli autori confrontano proposte scritte a partire da un’istantanea della letteratura scientifica ferma al 2025 con i paper pubblicati nel 2026 dalle stesse comunità di ricerca. Secondo la scheda su arXiv, il paper è stato presentato il 2 novembre 2026. Il benchmark copre i sistemi di machine learning, la generazione di codice, i modelli del mondo e la ricerca automatizzata.
In queste aree, sei modelli linguistici hanno prodotto più di 90.000 proposte. I ricercatori hanno testato quattro modi di fornire conoscenze sul settore, dal solo corpus della letteratura a un contesto più ampio e alle proposte generate nei cicli precedenti. Hanno confrontato le popolazioni di agenti con il livello di corrispondenza tra i paper umani stessi.
Il divario è nelle proposte, non solo nella lettura
IdeaTaste misura sia la corrispondenza delle proposte con i paper umani sia la varietà delle proposte, esaminando separatamente la letteratura citata e le idee formulate. I risultati mostrano che gli agenti possono attingere alla letteratura e adottare i compiti e i metodi di una comunità senza arrivare spesso agli approcci e ai piani di ricerca specifici contenuti nei suoi paper. «La carenza riguarda più ciò che gli agenti basati su LLM propongono che ciò che leggono», scrivono Shanshan Zhong, Chen Xu, Jingjie Ning, Zhengzhong Liu, Aviral Kumar e Chenyan Xiong.
Nessuna delle popolazioni esaminate ha raggiunto la metà del livello umano, né nella corrispondenza delle citazioni né in quella delle idee. Un contesto più ampio sul settore e popolazioni più numerose non hanno ridotto sostanzialmente il divario; il paper riferisce che le popolazioni sono diventate fino a 17 volte più numerose, ma si sono comunque stabilizzate ben al di sotto del livello umano.
I revisori hanno rilevato il divario maggiore nelle prospettive di successo
Gli autori hanno anche chiesto a dei revisori di valutare le proposte e i paper pubblicati senza conoscerne la provenienza. Undici revisori con esperienza nella valutazione hanno esaminato 192 documenti, divisi in parti uguali tra proposte dell’IA e paper del 2026; ogni documento ha ricevuto due revisioni. La valutazione comprendeva le prospettive di successo e la fattibilità, oltre ai criteri standard di revisione della ricerca.
Nella revisione in cieco, le proposte dell’IA sono rimaste indietro rispetto ai paper di 20 punti per le prospettive di successo e di quattro punti per la presentazione. I revisori hanno identificato come generati dall’IA l’86% delle proposte, contro il 39% dei paper. Le proposte senza un paper umano corrispondente hanno ottenuto i risultati peggiori nella valutazione delle prospettive di successo da parte dei revisori: gli autori interpretano questo dato come una prova della minore validità delle direzioni proposte, piuttosto che di opportunità trascurate.
Un benchmark pubblico per i futuri cicli di ricerca
Gli autori concludono che gli agenti individuano più facilmente le direzioni perseguite da una comunità di quanto non sviluppino gli approcci concreti che essa adotta. IdeaTaste viene pubblicato come classifica aperta e costantemente aggiornata, progettata per confrontare le proposte attuali dell’IA con i futuri cicli di pubblicazione. La classifica IdeaTaste è la pagina pubblica del benchmark.