Il peso del lavoro di squadra: la struttura della comunicazione aiuta i team di LLM a cercare leggi scientifiche?

Abstract degli autori

Le prestazioni di un team vengono spesso riportate come un unico punteggio, anche se quel punteggio è prodotto in due fasi: un sistema genera risposte candidate e una regola di selezione ne restituisce una. Usiamo la regressione simbolica come contesto osservabile di ricerca scientifica e confrontiamo team di LLM con budget fisso, che differiscono per visibilità reciproca e tempi di aggiornamento, valutando sia i loro archivi di candidati mantenuti invariati sia le espressioni selezionate da quegli archivi. Ripartire il budget di chiamate su un maggior numero di traiettorie indipendenti ha prodotto il guadagno misurato più ampio, migliorando di 0,70 il punteggio medio di adattamento Q sui dati tenuti da parte, nella ripartizione più ampia testata. Con un selettore comune applicato all’intero archivio, la policy Ring implementata ha ridotto Q medio di 0,33 rispetto a Independent, mentre i risultati per Star e Complete sono rimasti inconcludenti. Mantenendo fissi gli archivi generati, cambiare la regola di restituzione ha modificato le differenze misurate tra le architetture, incluso il segno della stima puntuale per Complete. Questi risultati avvalorano l’opportunità di riportare la generazione dei candidati e la selezione finale come esiti distinti. Non consentono di individuare un meccanismo di comunicazione né una topologia preferibile in assoluto; mostrano invece che la struttura della comunicazione, da sola, non consente di stabilire una graduatoria delle architetture quando non viene specificata la regola che restituisce la risposta finale.