The Pulse

XConf insegna ai modelli a calibrarsi sulla base delle esperienze passate

Un nuovo preprint su arXiv descrive XConf, un metodo di stima della confidenza che utilizza gli episodi passati valutati di un modello per migliorare la calibrazione e la previsione selettiva.

AI.info Team · Scritto con l’IA · verificato · 2026-09-19

XConf mette in discussione i punteggi di confidenza basati su una sola sessione

La maggior parte dei metodi per stimare la confidenza dei modelli linguistici valuta una risposta sulla base delle evidenze disponibili durante una singola inferenza: il ragionamento del modello, le probabilità dei suoi token o diverse risposte campionate in modo indipendente. Un paper presentato ad arXiv il 15 settembre sostiene che questi segnali trascurano le evidenze accumulate dal modello attraverso i successi e i fallimenti precedenti.

Il metodo proposto, XConf, registra gli episodi valutati del lavoro precedente di un modello. Ogni registrazione contiene il compito, la riflessione del modello, la confidenza dichiarata, l’esito finale e una lezione scritta dopo la valutazione. Quando arriva un nuovo compito, XConf recupera gli episodi precedenti con compiti e livelli di confidenza simili, poi usa il loro tasso storico di successo per formulare una stima rivista.

Gli autori — Caiqi Zhang, Xiaochen Zhu, Chengzu Li, Yulong Chen, Dharshan Kumaran e Nigel Collier — descrivono il sistema nel paper Confidence Comes from Experience: Experiential Confidence Estimation from Reasoning to Agents. Il lavoro è un preprint su arXiv.

«Sosteniamo che l’inferenza corrente non sia una base sufficiente per la confidenza». — Caiqi Zhang, Xiaochen Zhu, Chengzu Li, Yulong Chen, Dharshan Kumaran e Nigel Collier, autori del paper

Prima il recupero, poi la riflessione

XConf divide il processo in due fasi. La fase Recall cerca tra gli episodi archiviati e rileva con quale frequenza giudizi analoghi formulati in passato si siano rivelati corretti. La fase Reflect presenta questa cronologia al modello, gli chiede di individuare una modalità di errore ricorrente e poi di produrre una nuova stima della confidenza basata sui propri risultati precedenti.

Il sistema non richiede l’accesso ai logit del modello né modifiche ai suoi pesi. Il paper afferma inoltre che il metodo funziona con diversi formati di output e richiede la generazione di una sola risposta per stimare la confidenza. Questo lo distingue dagli approcci che dipendono dai dati di probabilità interni o dal campionamento ripetuto, non disponibili per ogni modello e in grado di aumentare notevolmente il costo dell’inferenza.

23 confronti su 24 con la self-consistency

La valutazione copre nove benchmark che spaziano dal ragionamento alla programmazione, dalle risposte multimodali a domande agli agenti interattivi. Gli autori testano quattro modelli appartenenti a tre famiglie e confrontano XConf con la self-consistency su dieci campioni, un metodo che genera più risposte e usa la concordanza tra esse come segnale di confidenza.

Secondo il paper, XConf eguaglia o supera la self-consistency su dieci campioni in termini di AUROC — l’area sotto la curva delle caratteristiche operative del ricevitore — in 23 confronti su 24. Gli autori riportano anche un errore di calibrazione atteso, o ECE, molto più basso, con un decimo del costo di generazione indicato per il metodo di riferimento basato sulla self-consistency.

Questi risultati misurano se le classificazioni in base alla confidenza separano le risposte probabilmente corrette da quelle probabilmente errate. Non dimostrano che XConf renda la risposta di partenza più accurata in ogni compito. Il metodo punta invece ad aiutare un sistema a decidere quando procedere, riprovare, passare il caso a un livello superiore o astenersi.

La previsione selettiva aumenta il successo degli agenti

Il paper esamina questo uso nel processo decisionale facendo astenere i sistemi sul 10 per cento degli episodi con i punteggi di confidenza più bassi. Nei compiti affidati agli agenti, gli autori riportano che ciò aumenta i tassi di successo nei risultati forniti fino a 8,7 punti percentuali.

La previsione selettiva cambia il significato del successo: un sistema viene giudicato non solo in base alla frequenza con cui completa un compito, ma anche alla sua capacità di evitare di presentare tentativi poco solidi come risultati affidabili. Per un agente che gestisce un flusso di lavoro articolato in più passaggi, una stima della confidenza può determinare se continuare l’esecuzione o affidare il compito a un altro processo.

La dipendenza di XConf dalla cronologia valutata crea anche una dipendenza pratica. L’approccio richiede un archivio di episodi passati con esiti e lezioni affidabili. L’abstract non stabilisce come cambino le prestazioni quando tale archivio è ridotto, etichettato in modo carente o basato su compiti molto diversi dalla nuova richiesta.

Un sistema di memoria, non un nuovo modello

XConf non riaddestra il modello linguistico né ne modifica i parametri. Aggiunge una registrazione esterna degli episodi precedenti e una procedura per recuperarli e riflettere su di essi. Questo rende la proposta più simile a un livello di confidenza attorno a un modello esistente che a una nuova architettura di modello.

La tesi centrale del paper è più circoscritta rispetto a quella secondo cui i modelli apprendono in modo permanente da ogni interazione. XConf usa l’esperienza accumulata al momento dell’inferenza, a condizione che il sistema abbia archiviato, valutato e recuperato episodi pertinenti. I miglioramenti riportati dipendono quindi dalla qualità di quella memoria e dalla somiglianza tra i compiti passati e quelli presenti.

Il preprint è disponibile su arXiv. Le evidenze presentate consistono nella valutazione degli autori sui nove benchmark riportati.