The Pulse
Uno studio rileva che i modelli di riferimento scelti sui dati di test fanno apparire meno efficace l’instradamento per la sicurezza
Secondo uno studio, scegliere il modello singolo con cui confrontare un sistema usando le etichette della valutazione favorisce quel modello e fa apparire meno efficace l’instradamento per la sicurezza. Il costo di questa selezione è maggio
AI.info Team · Scritto con l’IA ·
Un modello di riferimento avvantaggiato e un test più difficile
Uno studio presentato ad arXiv il 1 ottobre sostiene che le valutazioni dei sistemi di instradamento per la sicurezza possono far apparire l’instradamento meno efficace quando il modello di confronto viene scelto usando i dati della valutazione. La prassi esaminata da Amit Singh Bhatti e Vishal Vaddina consiste nello scegliere il miglior modello singolo sulla base di quelle etichette: un vantaggio, affermano gli autori, di cui nessun sistema impiegato per gestire nuove richieste dispone. Il divario cresce quando si tengono fuori dalla valutazione intere categorie, anziché suddividere i dati in modo casuale. Il risultato riguarda innanzitutto il modo in cui vengono giudicati i sistemi di instradamento; confrontandoli con un modello di riferimento scelto senza usare i dati di test, gli autori rilevano che i vantaggi dell’instradamento su questi benchmark sono modesti.
I sistemi di instradamento per la sicurezza scelgono quale modello gestisce una richiesta, con l’obiettivo di inviarla a quello che ha meno probabilità di produrre contenuti dannosi. Per verificare se questa scelta sia utile, i ricercatori confrontano il sistema di instradamento con il «miglior modello singolo». Ma scegliere quel modello dopo aver visto le etichette della valutazione significa usare informazioni di cui chi impiega il sistema non disporrebbe, sostiene lo studio, mentre il sistema di instradamento continua a essere valutato su dati tenuti da parte.
L’instradamento per la sicurezza dovrebbe essere valutato in presenza di cambiamenti nella distribuzione dei dati, confrontandolo con un modello di riferimento scelto senza le etichette dei dati di test; inoltre, le difese basate sul riconoscimento dovrebbero essere valutate in termini di danno contro un attaccante che sceglie ciò che il modello vede.
Amit Singh Bhatti e Vishal Vaddina, autori dello studio
Su HELM, il divario nel confronto cresce quando si tengono fuori intere categorie
Sul benchmark di HELM Safety relativo ai contenuti dannosi, gli autori analizzano 393 comportamenti in un insieme di 44 modelli, usando i risultati di due valutatori automatici già pubblicati. Con un insieme di due modelli e intere categorie tenute fuori dalla valutazione, il divario tra un modello scelto sui dati di addestramento e il miglior modello selezionato usando le etichette della valutazione è di 0,0454 nel tasso di danno misurato. Con una suddivisione casuale, il divario corrispondente è di 0,0026. Nell’insieme di 44 modelli, il divario con categorie tenute fuori raggiunge 0,1127.
La tabella dello studio mostra anche il risultato del sistema di instradamento rispetto al modello di riferimento utilizzabile nella pratica: per insiemi da due a 44 modelli, il danno misurato è inferiore di un valore compreso tra 0,0071 e 0,0308 rispetto a quello del modello selezionato sui fold di addestramento. Il confronto con un modello scelto sui dati di test racconta una storia diversa. Rispetto a quel modello di confronto avvantaggiato, il sistema di instradamento registra un danno maggiore per ogni dimensione dell’insieme nei risultati riportati per HELM con categorie tenute fuori.
Gli autori mettono in guardia dall’interpretare quel vantaggio come una vittoria dell’instradamento: la differenza mediana tra sistema di instradamento e modello di riferimento è pari a zero per ogni dimensione dell’insieme, e nell’82%-91% delle celle relative agli insiemi il sistema di instradamento addestrato usa, per ogni richiesta tenuta fuori dalla valutazione, lo stesso modello del modello di riferimento scelto senza dati di test. «Valutato correttamente in presenza di cambiamenti nella distribuzione dei dati, l’instradamento offre pochi vantaggi su questi benchmark», scrivono.
AgentDojo mostra un effetto simile quando cambia la distribuzione dei dati
Su AgentDojo, un benchmark per agenti che usano strumenti, gli autori riportano un costo della selezione compreso tra 0,003 e 0,004 per insiemi di due, tre e cinque modelli con suddivisioni casuali. Quando si tengono fuori intere suite, sale a 0,027-0,028. Lo studio afferma che l’aumento è da sette a nove volte per quelle dimensioni degli insiemi, pur osservando che le attività degli utenti tenute fuori differiscono meno rispetto alle categorie di HELM.
La verifica più ampia riguarda sette corpora sulla sicurezza scelti secondo regole stabilite in anticipo. Tre soddisfano il criterio relativo agli intervalli preregistrato nello studio; quattro superano un test di permutazione aggiunto in seguito. Gli autori riferiscono che tre dei quattro casi che non soddisfano il criterio degli intervalli riguardano corpora in cui per alcuni modelli non si osserva alcun danno, lasciando poco spazio perché emerga il divario dovuto alla selezione.
Il risultato dipende dalla suddivisione dei dati
Lo studio non sostiene che l’effetto abbia la stessa entità in ogni valutazione. Ogni dato riportato nello studio per le categorie tenute fuori si basa su una sola assegnazione delle categorie ai fold. Ripetendo l’analisi su 200 assegnazioni casuali, il costo medio della selezione per due modelli con categorie tenute fuori su HELM è di 0,037, con un intervallo da 0,026 a 0,045: resta quindi superiore al costo di 0,0026 della suddivisione casuale. L’assegnazione fissa alla base dei dati principali si colloca all’89º percentile (appendice C-L, esperimento E64).
Quando la composizione dei dati resta stabile, affermano gli autori, il modello di confronto scelto sugli stessi dati di valutazione è pressoché innocuo e il sistema di instradamento lo supera per ogni dimensione dell’insieme. Riferiscono inoltre che l’effetto osservato su HELM mantiene la stessa direzione quando i due valutatori già pubblicati vengono esaminati separatamente, anche se la sua entità cambia.
Questa precisazione circoscrive l’avvertimento dello studio: i sistemi impiegati che non incontrano nuove categorie esulano dallo scenario di cambiamento nella distribuzione dei dati sottoposto a test. Gli autori affermano che la valutazione principale riguarda dati in inglese, con test di chat in gran parte a turno singolo, e che quasi tutti i punteggi relativi al danno si basano su valutatori automatici. La loro raccomandazione pratica è confrontare i sistemi di instradamento con un modello di riferimento selezionato senza le etichette dei dati di test e riportare entrambi i confronti sugli stessi dati tenuti fuori dalla valutazione.