GNN-CB: un benchmark basato su competizioni di reti neurali a grafo per valutare esseri umani e LLM

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) hanno ottenuto risultati solidi nei benchmark di programmazione e ragionamento; la loro capacità di risolvere problemi di apprendimento automatico strutturati come grafi, tuttavia, resta in gran parte inesplorata. In particolare, nessun benchmark valuta attualmente se gli LLM siano in grado di svolgere autonomamente, dall’inizio alla fine, compiti di programmazione di reti neurali a grafo (GNN) in condizioni di competizione realistiche. Per colmare questa lacuna, il lavoro presenta GNN-CB, il primo benchmark basato su competizioni per valutare sia gli esseri umani sia gli LLM in compiti di programmazione di GNN. GNN-CB comprende 18 competizioni selezionate, dedicate alla previsione a livello di nodi, archi e grafi e distribuite tra diverse categorie di grafi, ambiti e livelli di difficoltà. Tutte le soluzioni presentate sono valutate mediante una procedura automatizzata unificata, con set di test nascosti e criteri di punteggio standardizzati. I partecipanti umani risolvono i compiti nel rispetto di vincoli di competizione controllati, mentre gli LLM sono valutati con un protocollo fisso di prompting zero-shot basato sul paradigma «prima pianificare, poi scrivere il codice», con un numero limitato di cicli di esecuzione e correzione. Il benchmark consente inoltre, nell’ambito dello stesso protocollo, sia la valutazione senza agenti sia quella basata su agenti autonomi. Con il protocollo da noi adottato per la valutazione, gli LLM eguagliano raramente le prestazioni di Human Top e mostrano risultati meno stabili da una competizione all’altra. Nessun modello prevale in tutte le competizioni: gli LLM ne vincono alcune, ma gli esseri umani mantengono il punteggio più alto nella maggior parte dei compiti. Rendiamo disponibile GNN-CB come benchmark in evoluzione, dotato di un’infrastruttura di valutazione automatizzata, classifiche dinamiche e procedure di esecuzione riproducibili. Oltre a fungere da benchmark, GNN-CB offre una risorsa orientata alla pratica per studiare l’implementazione delle GNN attraverso compiti di apprendimento su grafi progressivamente più diversificati. Il benchmark e il framework di valutazione sono disponibili pubblicamente all’indirizzo https://basiralab.github.io/GNN-CB/.