Dalla struttura alla validità: generazione e perfezionamento delle rubriche per LLM guidati dall’analisi dei meccanismi

Abstract degli autori

Le rubriche sono ampiamente utilizzate per valutare e ottimizzare i modelli linguistici nei compiti a risposta aperta. Tuttavia, gli studi esistenti si concentrano soprattutto sulla generazione di rubriche migliori, mentre resta poco chiaro che cosa renda efficace la loro progettazione. In questo lavoro conduciamo un’analisi sistematica dei meccanismi alla base della progettazione delle rubriche, esaminando l’organizzazione dei criteri, la loro operazionalizzazione e l’aggregazione dei punteggi. La nostra analisi mostra che l’organizzazione strutturale permette di costruire criteri più completi, che la sola specificazione semantica non garantisce giudizi efficaci sui singoli criteri e che un’aggregazione sofisticata dei punteggi offre vantaggi aggiuntivi limitati. Sulla base di questi risultati, presentiamo Adaptive Rubric Tree Search with Hybrid refinement (ARTS-Hybrid), che combina la costruzione adattiva di un albero con un perfezionamento che parte dalla semantica ed è calibrato sulle risposte. Gli esperimenti condotti su diversi benchmark mostrano che ARTS-Hybrid migliora sia le prestazioni complessive della valutazione sia la qualità intrinseca delle rubriche. Ulteriori esperimenti suggeriscono che, oltre a servire per la valutazione, le rubriche generate da ARTS-Hybrid forniscono segnali efficaci per l’ottimizzazione dei modelli.