La generalizzazione è stabilità, non accuratezza: valutazione degli LLM su più assi

Abstract degli autori

La generalizzazione nei modelli linguistici di grandi dimensioni (LLM) è la capacità di produrre output coerenti e semanticamente stabili quando lo stesso input è formulato in modi diversi. I lavori esistenti valutano di solito la generalizzazione in base all’accuratezza aggregata per un unico formato di prompt, un unico compito o un insieme di varianti, confondendo così la robustezza con le prestazioni complessive nei benchmark. In questo lavoro mostriamo come valutare la generalizzazione a livello di singoli esempi, su più varianti dell’input e rispetto a diversi aspetti del comportamento dei modelli. Ci concentriamo sulla variabilità, anziché ridurre le prestazioni a un punteggio migliorabile con un addestramento mirato o altri metodi che rendono meno chiara la valutazione della generalizzazione. In questa prospettiva, introduciamo lo Stability-Aware Generalization Objective (SAGO), un framework che misura quanto cambia il comportamento di un modello per lo stesso input in presenza di diverse varianti e su diversi benchmark, rilevando la variabilità in più dimensioni, tra cui la coerenza della generazione, le attivazioni interne, la confidenza e il rispecchiamento delle risposte. Mostriamo che molti modelli comunemente usati presentano un’instabilità della generalizzazione statisticamente significativa e sistematica: nessun modello generalizza in modo uniforme, gli assi comportamentali rilevano modalità di errore indipendenti e le variazioni tra dataset possono ribaltare le classifiche dei modelli.