Non tutte le risposte sono persuadibili dal contesto: dinamiche inferenziali nei grandi modelli linguistici sotto l’influenza del contesto

Abstract degli autori

Al centro delle moderne tecniche di prompting c’è la sensibilità al contesto, ovvero la capacità dei grandi modelli linguistici di adattare le proprie previsioni in base al contesto disponibile al momento dell’inferenza. Nonostante il suo ruolo centrale, il comportamento inferenziale sotto una forte influenza del contesto resta poco compreso, soprattutto per quanto riguarda le dinamiche inferenziali interne. Introduciamo un quadro teorico per analizzare l’influenza del contesto attraverso le dinamiche inferenziali, che consente di caratterizzare quantitativamente il comportamento inferenziale al di là dei cambiamenti nelle risposte a livello di output. La nostra analisi mostra che le dinamiche inferenziali non presentano una deriva illimitata in seguito ad affermazioni contestuali ripetute. Al contrario, le rappresentazioni predittive convergono verso regimi stabili e dipendenti dalla query, che determinano in modo sostanziale se i segnali contestuali possano modificare la previsione di un modello. Ne emerge un risultato sorprendente: le affermazioni contestuali ripetute non agiscono come prove che si accumulano durante l’inferenza e possono quindi non riuscire a modificare la previsione di un modello nemmeno se ripetute un numero illimitato di volte, mentre in altri casi il cambiamento della previsione diventa inevitabile. Convalidiamo empiricamente le nostre previsioni teoriche, dimostrando una forte corrispondenza tra la teoria e il comportamento inferenziale osservato. Questi contributi offrono un percorso fondato su principi teorici per caratterizzare i limiti dell’influenza del contesto durante l’inferenza e forniscono indicazioni pratiche per lo sviluppo dei modelli.