AGO AI Quality Gate: decisioni sul rilascio basate innanzitutto sulle evidenze per la generazione aumentata dal recupero

Abstract degli autori

Le aziende che adottano la generazione aumentata dal recupero di informazioni (RAG) devono prendere una decisione operativa ricorrente: promuovere, rivedere o bloccare una versione del sistema. Le evidenze sono incomplete e le metriche provengono da modelli linguistici usati come valutatori, che possono sbagliare. Presentiamo AGO AI Quality Gate (AGO), un framework di controllo della qualità basato anzitutto sulle evidenze, impiegato in progetti di valutazione industriale dei sistemi RAG. AGO integra quattro componenti fondamentali: un modello decisionale a quattro stati che considera la mancanza di dati e gli errori dei valutatori come esiti espliciti; una valutazione su più livelli che combina controlli deterministici, guardrail locali e valutazioni strutturate effettuate da modelli linguistici; un meccanismo di controllo beta-binomiale stratificato che quantifica in termini probabilistici il rischio di regressione; e un protocollo obbligatorio di meta-valutazione per verificare il modello linguistico usato come valutatore prima che influisca sulle decisioni. Poiché i dati dei progetti sono proprietari, valutiamo il livello affidato al modello valutatore su RAGBench, un benchmark pubblico che comprende 100 mila tracce RAG annotate, distribuite in 12 dataset. Su campioni di test stratificati identici (N=1200 per valutatore), un valutatore a basso costo (gpt-4.1-nano) individua le risposte non conformi con risultati di poco superiori al caso (AUROC 0,603 [0,570, 0,634]), pur producendo un output perfettamente conforme al protocollo, mentre gpt-4o raggiunge 0,783 [0,756, 0,807]: le sue prestazioni nei singoli domini variano comunque da 0,62 a 0,88. Uno studio del meccanismo di controllo con seed fisso, che comprende casi di regressione, assenza di cambiamenti e miglioramento, quantifica le promozioni non sicure, il costo dei falsi allarmi e il volume dei miglioramenti approvati. In presenza di una regressione, il profilo adatto a prendere decisioni riduce le promozioni non sicure al 22,2%-35,1%, contro il 29,3%-41,8% di un meccanismo di controllo ingenuo. Questi risultati confermano le scelte progettuali secondo cui la qualità del modello valutatore deve essere misurata per ciascun progetto e le sole stime puntuali non bastano per decidere se rilasciare una versione.