Alla ricerca del «rifiuto di richieste dannose»: un’analisi psicometrica di un benchmark sulla sicurezza dell’IA

Abstract degli autori

I benchmark sulla sicurezza riportano di norma un unico punteggio complessivo per un insieme di dataset, ciascuno dei quali può riguardare uno o più attributi legati alla sicurezza. Modelli con punteggi complessivi simili possono quindi avere profili molto diversi rispetto ai singoli attributi. Confrontare i modelli a livello dei singoli attributi è più agevole, ma spesso non è chiaro se persino i punteggi di un singolo dataset isolino un singolo attributo. Un possibile candidato è il rifiuto di richieste dannose, ossia la tendenza di un modello a rifiutare prompt pericolosi o contrari alle regole. Esaminiamo se in HELM Safety questo costituisca un attributo unico e misurabile. Adottando un quadro di validità del costrutto secondo cui un attributo deve esistere prima che un test possa misurarlo, partiamo dai quattro dataset di HELM Safety che potrebbero riguardare il rifiuto di richieste dannose, ma scopriamo che tre sono saturi. Sottoponiamo il dataset rimanente, HarmBench, a due test psicometrici per stabilire se un singolo attributo come il rifiuto di richieste dannose possa essere alla base del suo punteggio. In primo luogo, la modellazione multidimensionale basata sulla teoria della risposta all’item suggerisce fortemente che HarmBench non misuri un unico attributo. In secondo luogo, un’analisi del funzionamento differenziale degli item individua item in cui modelli di sviluppatori diversi, pur avendo la stessa capacità di rifiuto, ottengono punteggi differenti. Queste segnalazioni scompaiono in gran parte quando l’abbinamento avviene all’interno di ambiti specifici: un andamento compatibile con effetti dell’aggregazione, ma non sufficiente a escludere differenze tra sviluppatori specifiche di un dominio. Guardando al quadro più ampio, HarmBench riunisce comportamenti dannosi distinti in un unico punteggio, mentre l’aggregato complessivo sulla sicurezza di HELM riunisce ulteriormente HarmBench e i punteggi di altri dataset in un unico valore di sintesi. Qualsiasi punteggio sulla sicurezza ottenuto facendo la media tra dataset e item può nascondere la saturazione e confondere comportamenti diversi in questo modo. Sosteniamo che, prima di usarlo per confrontare i modelli, occorra dimostrare che un punteggio possa essere interpretato come misura di un unico attributo.