ConformalGuard: gating delle azioni con controllo dei falsi positivi per classificatori di modelli linguistici

Abstract degli autori

I classificatori basati su modelli linguistici vengono impiegati sempre più spesso per decisioni ad alto rischio, come il filtraggio delle email di phishing, la moderazione dei contenuti e la selezione dei casi di frode da sottoporre a verifica. Tuttavia, le soglie definite sui set di validazione non offrono alcun controllo a campione finito sui falsi positivi al momento dell’impiego. Presentiamo ConformalGuard, un livello di calibrazione indipendente dal modello che avvolge una funzione di scoring fissa e controlla, a campione finito, il tasso con cui input legittimi attivano un livello di intervento. Il nostro contributo è empirico e operativo, non consiste in un nuovo teorema conformale: i punteggi delle API di LM zero-shot possono essere così poco granulari (10–11 valori distinti in questo caso) che, per il gating delle azioni a basso FPR, la temperature scaling e la regressione isotona risultano operativamente identiche all’applicazione di soglie ai punteggi grezzi. Confrontiamo questi metodi con la calibrazione conformale per BERT sottoposto a fine-tuning, Claude Sonnet 4 e GPT-4o, usando corpora pubblici di email. Per Claude, la calibrazione conformale riduce l’FPR da 0,040 a 0,008, mentre il recall scende da 0,938 a 0,875. Con i punteggi deterministici di GPT-4o, il punto operativo dell’1% è troppo conservativo per essere impiegato (recall 0,564); la media stocastica di tre esecuzioni porta il recall a 0,732 con un FPR di 0,005. Con una prevalenza del 2% e BERT, la calibrazione conformale elimina 25 revisioni dovute a falsi positivi ogni 10.000 email (IC al 95% [10, 43]). La garanzia consiste nel controllo del tasso di eventi legittimi in condizioni di scambiabilità; la capacità discriminante, gli effetti sul carico di lavoro e la robustezza ai cambiamenti restano aspetti da valutare empiricamente.