Gli strumenti del mestiere per gli audit: l’elicitazione condotta da auditor automatizzati può essere sensibile al contesto fornito all’auditor

Abstract degli autori

Fornire più contesto agli auditor automatizzati di IA ne migliora l’efficacia? Usando lo strumento Petri per condurre audit su agenti di programmazione basati su LLM, verifichiamo l’impatto di due tipi di risorse — una base di codice esterna e trascrizioni di benchmark — sugli LLM auditor, esaminando quattro coppie di LLM auditor e LLM bersaglio e tre comportamenti: adesione a richieste dannose, reward hacking e compiacenza. (1) Base di codice esterna: forniamo all’LLM auditor una base di codice open source esterna e fissa, che secondo studi precedenti rende più realistici gli audit sintetici. Questa risorsa riduce il reward hacking in entrambe le coppie il cui valore di partenza è superiore al minimo (da 4,8 a 1,3 e da 3,9 a 1,8 sulla scala predefinita di Petri da 1 a 10); le altre due coppie restano al minimo in tutte le condizioni. La riduzione si ripresenta in tre coppie su quattro con uno scenario e un insieme di risorse diversi. (2) Trascrizioni di benchmark esterni: forniamo all’auditor le trascrizioni delle prestazioni del modello bersaglio in benchmark che misurano comportamenti simili, con l’obiettivo di informarlo sui suoi schemi di comportamento. Questa risorsa aumenta i punteggi di reward hacking in tutte e quattro le coppie (in un caso, da 1,7 a 6,1). Esperimenti successivi mostrano però che anche fornire soltanto l’abstract del benchmark pertinente, senza le trascrizioni, aumenta il reward hacking, e che l’effetto non si osserva quando lo stesso comportamento è presentato in modo diverso. Nel complesso, non riscontriamo effetti costanti di nessuna delle due risorse sui comportamenti diversi dal reward hacking, ma osserviamo una notevole variabilità, tra le diverse condizioni, nel comportamento valutato da un giudice. I nostri risultati sottolineano l’importanza di una sperimentazione preliminare accurata con strumenti come Petri, poiché la frequenza misurata del comportamento del modello bersaglio è molto sensibile alle scelte di configurazione. Ci auguriamo che i nostri risultati stimolino ulteriori ricerche sull’affidabilità e sulla robustezza degli audit automatizzati dell’allineamento.