Tampered ML: valutare la capacità di giudizio degli LLM sulla ricerca nell’apprendimento automatico

Abstract degli autori

Un modo per accelerare i progressi nell’allineamento dell’IA è automatizzare alcune parti della ricerca sull’allineamento stesso. Per farlo servono sistemi capaci di svolgere in modo affidabile compiti di ricerca difficili da supervisionare, tra cui individuare difetti nelle proposte di ricerca e valutare se un esperimento proposto sostenga la tesi che intende dimostrare. Per valutare questa capacità, presentiamo Tampered ML, un benchmark di 1.858 coppie di elementi. Ogni coppia comprende una proposta di esperimento ricostruita da un articolo pubblicato sull’apprendimento automatico e una versione controfattuale, modificata il minimo indispensabile per introdurre uno specifico difetto metodologico. I modelli devono individuare la proposta metodologicamente più solida in entrambi gli ordini di presentazione. Uno studio di validazione condotto da persone su un campione stratificato stima che l’86% degli elementi sia valido (intervallo di confidenza al 95%: 81-91%). I modelli di frontiera ottengono risultati superiori a quelli attesi per caso, ma sono ancora lontani dall’essere affidabili (Opus 5 raggiunge un’accuratezza del 77,9%). Sono molto sensibili all’ordine di presentazione e tendono a preferire disegni sperimentali difettosi che appaiono più specifici, trasparenti o convenzionali.