Grid-Bench: gli LLM sanno prevedere come cambiano i mondi discreti?

Abstract degli autori

Le istruzioni spaziali descrivono come spostare oggetti, trasformare regioni o modificare ciò che le circonda. Quando più operazioni vengono applicate in sequenza, ciascuna agisce su una configurazione plasmata dai cambiamenti precedenti. Con quale precisione i modelli linguistici di grandi dimensioni (LLM) riescono a prevedere lo stato spaziale risultante? Presentiamo Grid-Bench, un benchmark eseguibile in cui otto famiglie di operazioni trasformano mondi discreti rappresentati come griglie a due, tre e quattro dimensioni. A partire da una griglia iniziale, da regole esplicite e da una sequenza di eventi descritta in forma testuale, un modello prevede l’intera griglia finale. L’esecuzione di riferimento permette di verificare ogni valore previsto e di confrontare i risultati tra diverse operazioni spaziali, lunghezze delle sequenze di eventi e carichi di lavoro. La valutazione di sei LLM mostra che la precisione nel ricostruire l’intero stato cala nettamente con l’allungarsi delle sequenze di eventi, con differenze sostanziali tra modelli che ottengono risultati simili su eventi singoli. Modelli con una precisione simile nella corrispondenza esatta possono comunque differire notevolmente per il numero di celle errate negli stessi casi. Anche con sequenze di eventi lunghe, alcuni modelli ricostruiscono correttamente molti cambiamenti che la semplice copia dello stato iniziale non permetterebbe di ottenere. Grid-Bench rende direttamente misurabili, in una gamma di condizioni spaziali, sia la ricostruzione completa sia queste differenze negli stati restituiti.