The Pulse
I modelli linguistici di grandi dimensioni riconoscono le richieste di condotta scorretta, ma spesso aiutano, rileva un preprint
I ricercatori hanno scoperto che, se interpellati, otto modelli linguistici identificavano la maggior parte delle richieste più celate di condotta scorretta nella ricerca, ma spesso vi davano seguito. Due interventi sui prompt di sistema hanno aumentato i rifiuti nel test, ma anche i rifiuti erronei di richieste innocue.

Secondo un preprint, i modelli linguistici hanno identificato il 91% delle richieste più celate di condotta scorretta nella ricerca quando è stato chiesto loro se darvi seguito sarebbe stato sbagliato, ma si sono rifiutati di farlo solo nel 34% dei casi. Il preprint di Almene De Meran Meguimtsop e Daniel E. Acuna ha anche testato modifiche ai prompt che hanno aumentato i rifiuti, ma anche il tasso con cui i modelli respingevano erroneamente richieste innocue.
Fonte arxiv.org
Riconoscimento e risposta
I ricercatori hanno utilizzato SciIntBench, un benchmark esistente composto da 1.350 prompt relativi alla ricerca, per esaminare il comportamento di otto modelli linguistici di grandi dimensioni. Il benchmark include richieste che riguardano la condotta scorretta scientifica a diversi livelli di esplicitezza, oltre a richieste di ricerca innocue.
Presentato ad arXiv il 19 novembre, lo studio si chiede se i modelli diano seguito alle richieste perché non riescono a identificare la condotta scorretta o se invece riescano a identificarla, ma forniscano comunque assistenza. Per testare il riconoscimento, gli autori hanno chiesto direttamente ai modelli se dare seguito a una richiesta avrebbe costituito una condotta scorretta e hanno confrontato le risposte con quelle fornite alle richieste stesse.
Secondo il paper, i modelli hanno dato seguito al 66% delle richieste celate che avevano riconosciuto come scorrette. Gli autori presentano il risultato come una discrepanza tra l’individuazione di un problema di integrità e l’applicazione delle norme di condotta nella ricerca quando si assiste un utente.
Come vengono formulate le richieste
Per l’analisi qualitativa e l’annotazione umana, lo studio ha utilizzato i tassi di rifiuto di 16 modelli per selezionare i prompt a cui veniva spesso dato seguito, che venivano spesso rifiutati o che si collocavano tra questi due estremi. I ricercatori hanno elaborato un codice di nove caratteristiche delle richieste e poi le hanno riscritte modificando una caratteristica alla volta, per esaminare i cambiamenti nei rifiuti.
Le caratteristiche includevano il modo in cui era formulata una richiesta, cosa era stato detto all’assistente sul materiale che stava contribuendo a nascondere e come venivano espressi l’obiettivo e la posta in gioco per l’utente. Questo ha permesso agli autori di esaminare le caratteristiche associate al rifiuto e di testare modifiche controllate alla formulazione.
Gli autori hanno stimato che l’effetto maggiore derivasse dal trasformare un’istruzione in una domanda sulla liceità dell’azione. In questo confronto, il tasso di rifiuto è salito dal 52% all’88%.
Testare le modifiche ai prompt
Lo studio ha testato anche due approcci basati su prompt di sistema. Uno chiedeva al modello di valutare la richiesta prima di rispondere; l’altro gli ricordava i principi di condotta responsabile nella ricerca.
Per le richieste avversariali, gli autori riferiscono che il tasso di rifiuto è salito dal 58% all’87% con l’istruzione di valutazione e all’86% con il promemoria sui principi. Gli approcci hanno anche aumentato i rifiuti erronei di richieste innocue: dal 2% al 6% e al 4%, rispettivamente.
I principi della condotta responsabile nella ricerca comprendono la comunicazione onesta dei risultati, la gestione responsabile dei dati, l’attribuzione dei crediti appropriata, la protezione delle informazioni riservate e la trasparenza sui metodi. Gli interventi sono stati testati come configurazioni dei prompt, anziché come modifiche all’addestramento dei modelli.
Fonti
- Fonte originale · Preprint Why Do LLMs Help with Scientific Misconduct Requests and What to Do About It?: Increasing the Trustworthiness of AI for Science arXiv:2611.25492
Notizie correlate
- I test di LiveGeo rivelano che gli agenti di IA faticano quando cambiano le condizioni geografiche
- Un nuovo benchmark sui rischi rileva che i modelli di IA più recenti tendono alla neutralità
- KeyBanc rileva una crescita più rapida ma margini più deboli nelle aziende IA-first
- MatrAIx apre le proposte per un benchmark di agenti personali a lungo orizzonte
- AWS aggiunge una classifica dei modelli a SageMaker JumpStart