Replicabilità, riproducibilità e robustezza nella ricerca in scienze politiche e sociali con modelli linguistici di grandi dimensioni

Abstract degli autori

Questo capitolo affronta il problema centrale della riproducibilità nella ricerca con modelli linguistici di grandi dimensioni. Le risposte dei modelli linguistici di grandi dimensioni (LLM) sono probabilistiche e variano da un modello all’altro e tra diverse versioni, con possibili effetti significativi sui risultati statistici a valle. Il capitolo distingue tra replicabilità, riproducibilità e robustezza e propone uno standard probabilistico basato sulla distribuzione dei risultati, non su risposte identiche. Introduce uno script standardizzato per i prompt, verifica la variabilità all’interno dello stesso modello per encoder e decoder e sviluppa un’analisi della struttura degli errori per diagnosticare dove i modelli sbagliano e se i loro errori sono concordi. Utilizzando tre dataset, il capitolo mostra che la scelta della misurazione può invertire il segno dei coefficienti di regressione a valle. Le correzioni esistenti basate sul disegno, applicate a sottocampioni con etichette di riferimento, ripristinano la validità, ma riducono la precisione delle stime. Il contributo principale del capitolo è un ensemble stacked di modelli open-weight che migliora la precisione nella fase di correzione, mantenendo la validità delle stime.