rTaste: Gli agenti di ricerca hanno gusto? Valutare il giudizio nelle fasi iniziali della ricerca

Abstract degli autori

Gli agenti di ricerca hanno gusto, cioè sanno giudicare quali esperimenti vale la pena condurre prima di conoscerne i risultati? Affidiamo a sei modelli all’avanguardia sette recenti articoli di NLP. Ogni modello, operando da solo o all’interno di un team come agente di ricerca, propone esperimenti minimi realizzabili (MVE), prevede se ciascuno supererà una soglia da esso stabilita e li ordina. Un esecutore separato prova poi a realizzare ogni MVE, compresi quelli in fondo alla classifica, e tre modelli incaricati della revisione valutano i risultati. Dei 415 MVE, 194 sono giudicati validi, utili e nuovi, ma meno della metà di questi (73) è anche giudicata andare oltre il paper di partenza e non essere ovvia. Le prime scelte degli agenti coincidono con l’esperimento ritenuto più valido dagli auditor più spesso di quanto accadrebbe con una scelta casuale, ma non risulta che facciano meglio della scelta dell’esperimento elencato per primo. Le loro previsioni superano il tasso di base, ma non sono misurabilmente più accurate di quelle di una nuova istanza dello stesso modello, a cui vengono forniti soltanto l’articolo e le registrazioni. I team costano di più, senza un chiaro miglioramento complessivo della qualità delle proposte. Gli agenti producono molti esperimenti meritevoli, ma le prove che i loro ordinamenti migliorino la scelta di quali condurre restano limitate. L’infrastruttura di valutazione e un dataset di tutti i 415 MVE, con le relative previsioni e i risultati verificati dagli auditor, sono disponibili all’indirizzo https://github.com/ArtKanke/rTaste.