Quando più metadati traggono in inganno: l’ancoraggio ai dati a livello di campo nelle descrizioni museali generate da LLM

Abstract degli autori

La generazione condizionata dai metadati è spesso considerata un compito di trasformazione dei dati in testo, nel quale l’aggiunta di campi di input dovrebbe migliorare l’ancoraggio ai dati. La generazione di descrizioni museali mette in discussione questa ipotesi, perché le schede di catalogo sono eterogenee, in parte visive e documentate in modo disomogeneo nelle diverse aree geografiche. Studiamo come la composizione dei metadati influisca sulla generazione di descrizioni dei manufatti attraverso un approccio in due fasi. La fase 1 analizza le variazioni naturali dei metadati in una vasta collezione museale, dove il numero e il tipo di campi, la disponibilità di immagini e Place variano congiuntamente. La fase 2 introduce test controllati sui campi che mantengono fissa l’identità dell’oggetto, variando la quantità di metadati, il tipo di campo e l’accesso alle immagini. I risultati mostrano che la sola quantità di metadati non spiega il comportamento dei modelli nella generazione. Il tipo di campo determina se i modelli ancorano le informazioni ai dati, le omettono o le inferiscono, mentre le immagini possono sia favorire l’ancoraggio alle informazioni visive sia aumentare le interpretazioni prive di riscontro. Più in generale, i nostri risultati mostrano che la valutazione della generazione di testo a partire da dati condizionata dai metadati dovrebbe verificare il riscontro a livello di singoli campi e affermazioni, anziché basarsi soltanto sulla copertura complessiva dell’input o sulla somiglianza con il testo di riferimento.