TenetBench: un corpus in lingua russa ancorato alle clausole per valutare i modelli linguistici rispetto ai codici di etica professionale

Abstract degli autori

I codici di etica professionale orientano e vincolano gli specialisti, che lavorano sempre più spesso con assistenti basati su modelli linguistici di grandi dimensioni. Un assistente del genere può violare il codice dell’utente, o aiutarlo a violarlo, senza che l’utente se ne accorga. Le valutazioni che riportano ampie categorie di danno non possono mostrare quanto spesso accada né quale disposizione venga violata. TenetBench abbina 3.433 richieste in contrasto con clausole di quindici codici di etica professionale in lingua russa a richieste gemelle innocue, che differiscono soltanto per la legittimità di ciò che viene chiesto. Una pipeline automatizzata genera i compiti a partire dal testo di un codice: il corpus cresce con ogni codice aggiunto e una disposizione produce nuovi compiti a ogni esecuzione. La pipeline ha prodotto anche compiti e giudizi convalidati da esseri umani a partire da due codici in lingua inglese di altre giurisdizioni. Nella validazione umana della pipeline congelata, gli specialisti hanno giudicato plausibile una quota pari a 0,995 dei compiti in contrasto con i codici, e il modello giudice ha concordato con l’etichetta stabilita mediante arbitraggio, con un AC1 di Gwet di almeno 0,894 su 1.860 elementi. Abbiamo valutato quattordici combinazioni di modelli e modalità di ragionamento per verificare se producono il testo in contrasto con i codici, rifiutano la richiesta o avvertono l’utente. Undici delle quattordici combinazioni producono contenuti in contrasto con i codici per la maggior parte di queste richieste, perlopiù senza avvertire l’utente; quasi tre avvertimenti su quattro accompagnano contenuti in contrasto con i codici. I modelli che rispettano maggiormente i codici lo fanno rifiutando le richieste in contrasto, pur rispondendo alle corrispondenti richieste legittime; l’attivazione del ragionamento ha dimezzato i rifiuti di due modelli. Ci auguriamo che il dataset e la pipeline aiutino a valutare come i modelli linguistici rispettano le norme professionali e permettano di costruire dataset diagnostici per specifiche professioni e organizzazioni.