Valutare le probabilità dei token come stimatori di confidenza nelle simulazioni del comportamento umano: un caso di studio sulla previsione del prossimo like in lingua lussemburghese

Abstract degli autori

Poiché i modelli linguistici di grandi dimensioni (LLM) vengono usati sempre più spesso per simulare il comportamento umano, la loro validità operativa viene in genere valutata soltanto in base all’accuratezza, trattando implicitamente il comportamento umano come deterministico. Sosteniamo che, con dati rumorosi relativi alle tracce digitali, le prestazioni di un modello dipendono non solo dalla previsione dell’esito corretto, ma anche dalla sua calibrazione. Presentiamo un caso di studio per verificare se le probabilità dei token degli LLM con pesi aperti possano fungere da stime di confidenza in un’attività di previsione del prossimo like: prevedere come un utente della piattaforma di informazione lussemburghese RTL.lu valuti un commento, in base alle sue interazioni precedenti. Valutando Ministral 3 (3B, 8B), riscontriamo che, usando soltanto l’apprendimento in contesto, i modelli testati mostrano un’eccessiva confidenza e ottengono risultati inferiori a una semplice baseline statistica sia in accuratezza sia in calibrazione. Accuratezza e calibrazione non procedono di pari passo: il passaggio da 3B a 8B migliora l’accuratezza ma peggiora la calibrazione, mentre storie comportamentali più lunghe aumentano l’accuratezza e la confidenza diminuisce. Il fine-tuning supervisionato specifico per l’attività costituisce un intervento efficace di calibrazione, riducendo l’errore di calibrazione atteso da 0,2 a 0,006 e migliorando l’accuratezza da 0,536 a 0,758. Concludiamo che, per migliorare la validità nell’uso di agenti basati su LLM, la stima della confidenza dovrebbe essere valutata insieme all’accuratezza.