Gli LLM possono autovalutarsi in modo affidabile? Un framework VC probabilistico

Abstract degli autori

Con la crescente diffusione dei modelli linguistici di grandi dimensioni (LLM) nelle applicazioni critiche, valutare la loro capacità di giudicare i propri risultati è diventato fondamentale. Presentiamo un framework teorico ed empirico che esamina se gli LLM siano in grado di distinguere le soluzioni corrette da quelle errate mantenendo livelli di confidenza adeguatamente calibrati. Partendo dalla teoria classica di Vapnik-Chervonenkis (VC), la adattiamo ai predittori probabilistici attraverso due metriche di complessità: la VC probabilistica (PVC), che misura la capacità di un modello di classificare con sicurezza in diversi tipi di problemi, e la PVC consapevole della calibrazione (C-PVC), che richiede inoltre che i punteggi di confidenza siano allineati ai tassi effettivi di successo. A differenza dell’errore di calibrazione atteso (ECE) e dell’errore effettivo (AE), queste misure forniscono una valutazione integrata dell’espressività e della calibrazione dell’autovalutazione, con limiti di complessità campionaria e garanzie di generalizzazione paragonabili a quelle della teoria classica VC. Testiamo undici modelli da 7-8B su 360 problemi originali di ragionamento matematico, su TruthfulQA e su CommonsenseQA. Ogni modello sceglie tra due soluzioni che ha generato e dichiara il proprio livello di confidenza; l’insieme di modelli più grandi determina la verità di riferimento. I risultati mostrano una relazione inversa sistematica: i modelli con maggiore espressività nell’autovalutazione hanno una calibrazione più debole. s1.1-7B e Qwen2.5-7B-Instruct ottengono i punteggi PVC-VUS più alti, mentre JiuZhang3.0-7B è il più calibrato, con l’ECE più basso e il divario PVC-VUS più ridotto. Questo compromesso si riscontra in diverse architetture, paradigmi di addestramento e domini, indicando una difficoltà fondamentale nello sviluppo di LLM capaci di autoriflessione; il nostro framework offre strumenti pratici per diagnosticarla.