La policy non è capacità: alcuni benchmark di sicurezza misurano su quale definizione di «non sicuro» è stato addestrato il modello

Abstract degli autori

Di un classificatore di sicurezza si parla come se la pericolosità fosse una proprietà del testo. Non lo è: è una proprietà di una policy, che entra nel modello attraverso le etichette. Sfruttiamo una circostanza fortuita di un’implementazione industriale in cui gli stessi circa 53 mila prompt sono stati etichettati due volte, secondo due definizioni operative («si tratta di una richiesta di contenuti dannosi?» e «un moderatore la bloccherebbe?»), e usati per addestrare dieci varianti di un sistema di sicurezza che condividono architettura, base di codice e famiglia di ottimizzatori, su due scale di modello. Primo: il corpus di addestramento del sistema conteneva già i benchmark. Dei rispettivi esempi, l’88% di JailbreakBench-benign e l’82% di OR-Bench-hard erano presenti nei pool di addestramento. Sono due benchmark sull’eccesso di rifiuti, del tipo che un sistema di sicurezza cita per sostenere di non bloccare troppo. Tutto ciò che segue è stato sottoposto a decontaminazione. Secondo: i benchmark di sicurezza si differenziano nettamente per la quota del punteggio determinata dalla definizione delle etichette anziché dal modello. A parità di architettura e ottimizzatore, l’intervallo dei risultati delle dieci varianti è di 0,99 su HarmBench-copyright e di 0,043 su WildGuard-benign: una differenza di 23 volte. Terzo: basta lo 0,03% dei parametri per spostare il punteggio di un benchmark da un estremo all’altro del suo intervallo. Tra queste varianti, i risultati vanno da 0 a 100 su HarmBench-copyright e dal 3,4% al 56,4% per l’eccesso di rifiuti su OR-Bench-hard. Le quattro varianti il cui ultimo segnale di supervisione incorpora una determinata policy si collocano allo stesso estremo in entrambi i casi (p esatto del rango = 0,005, o tra 0,04 e 0,14 nel caso peggiore), senza alcun cambiamento nella capacità di rilevamento. In uno studente distillato, le etichette soft del modello insegnante producono lo stesso effetto anche quando ogni etichetta hard incorpora l’altra policy: la provenienza del modello insegnante è quindi un fattore confondente non documentato in qualsiasi checkpoint rilasciato. Quarto: l’accuratezza di validazione sull’unica suddivisione che valuta tutte e venti le varianti segue il grado di accordo con la policy dell’annotatore (rho=+0,74), non la capacità di rilevamento (rho=+0,34). Sosteniamo che le valutazioni dei sistemi di sicurezza dovrebbero riportare la contaminazione, una soglia minima relativa ai seed e la definizione in base alla quale sono stati valutati come variabili di primo piano.