I modelli linguistici di grandi dimensioni comprendono la struttura sequenziale? Uno studio controllato sull’inferenza e sulla generazione

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) sono sempre più usati come agenti interattivi e simulatori, ma non è ancora chiaro se siano in grado di ricostruire una struttura sequenziale latente al di là delle frequenze osservabili delle azioni. La distinzione è cruciale per la simulazione del comportamento, in cui le azioni dipendono spesso dal contesto precedente, non soltanto dalle frequenze marginali. Esaminiamo la questione attraverso interazioni controllate tra due giocatori a sasso-carta-forbici e un compito di continuazione stocastica di n-grammi con un solo giocatore. In questi esperimenti verifichiamo se gli LLM riescano a individuare strategie latenti, seguire semplici regole di Markov e mantenere dipendenze condizionali di ordine superiore. Il nostro approccio distingue la corrispondenza alle distribuzioni dal rispetto delle regole condizionali. I risultati mostrano che un contesto più lungo non migliora l’identificazione, che riconoscere correttamente una strategia non garantisce di simularla fedelmente e che le dipendenze di ordine superiore compromettono sensibilmente la ricostruzione delle regole. Un’apparente fedeltà comportamentale può quindi nascondere meccanismi generativi errati.