Vai al contenuto
AI.info

The Pulse

MIT e Cornell studiano test per adattare i rilevatori di testi generati dall’IA a nuovi testi

I ricercatori hanno testato un metodo che permette ai rilevatori di testi generati dall’IA di adattarsi, dopo la messa in produzione, a nuovi testi non etichettati. In un esperimento, il loro approccio ha individuato il 93,3% dei testi generati con tecniche avversarie, contro il 27,0% di un rilevatore commerciale.

MIT e Cornell studiano test per adattare i rilevatori di testi generati dall’IA a nuovi testi

Un rilevatore di testi generati dall’IA che si adatta a nuovi testi ha individuato il 93,3% dei testi generati con tecniche avversarie in un esperimento, contro il 27,0% del rilevatore commerciale Pangram, secondo uno studio condotto da ricercatori del MIT e della Cornell Tech. Il lavoro, riportato da MIT News il 18 novembre, esamina come i rilevatori possano reagire quando i testi che incontrano cambiano dopo la messa in produzione.

Fonte arxiv.org

Il paper, un preprint pubblicato su arXiv, è firmato da Kevin Ren, studente post-laurea alla Cornell Tech; Manish Raghavan, professore al MIT; e Nikhil Garg, professore assistente alla Cornell Tech. La ricerca sarà presentata alla Conference on Neural Information Processing Systems.

Quando cambia il testo

I rilevatori di testi generati dall’IA vengono in genere addestrati su esempi etichettati come scritti da esseri umani o generati dall’IA. Possono avere difficoltà quando i testi sottoposti loro differiscono notevolmente dal materiale usato per l’addestramento. I ricercatori chiamano questo cambiamento «spostamento della distribuzione».

Una delle cause del cambiamento è intenzionale: le persone possono usare strumenti automatizzati di «umanizzazione» per modificare testi generati dall’IA e ridurre la probabilità che un rilevatore li segnali. Lo studio ha esaminato anche gli spostamenti dovuti a nuovi modelli linguistici e ai cambiamenti nella scrittura umana nel tempo.

Per esempio, un rilevatore addestrato su testi più vecchi può incontrare argomenti o espressioni che non conosce in testi umani successivi e classificarli erroneamente come generati dall’IA. Anche i nuovi modelli linguistici possono produrre testi diversi dagli esempi che un rilevatore ha imparato a riconoscere.

Apprendimento dopo la messa in produzione

Il team ha studiato un metodo chiamato adattamento al momento del test. Invece di mantenere invariato un rilevatore dopo il rilascio, l’approccio gli permette di adattarsi ai nuovi testi inviati dagli utenti, senza riaddestrarlo da zero.

Gli esempi ricevuti non sono etichettati: al rilevatore non viene detto quali siano stati scritti da persone e quali generati dall’IA. L’approccio sfrutta le somiglianze tra un insieme sufficientemente ampio di esempi non etichettati per aiutare a distinguere i due tipi, spiega il paper.

Per i test, i ricercatori hanno creato dataset contenenti quantità note di testi umani e generati dall’IA, ma hanno nascosto le etichette al modello in fase di adattamento. Hanno anche generato esempi pensati per eludere il rilevamento, poi hanno testato il modello adattato su dati di cui si conosceva l’autore.

Gli esperimenti hanno incluso dati sugli abstract scientifici e il benchmark RAID. I ricercatori hanno studiato anche testi provenienti da modelli linguistici che non erano stati inclusi nell’addestramento del rilevatore.

Risultati e limiti

Nell’esperimento sui testi avversari, i ricercatori hanno rilevato che l’approccio adattivo individuava il 93,3% dei testi generati, mentre Pangram ne individuava il 27,0%. In un esperimento separato, pensato per riprodurre un cambiamento naturale della lingua umana nel tempo, il rilevatore adattivo ha raggiunto un’accuratezza dell’85%, contro il 73% dei metodi tradizionali, ha riportato MIT News.

Il paper riporta anche un test condotto dopo il rilascio di GPT 5.4, in cui Pangram ha classificato solo il 34% dei suoi output come interamente generati dall’IA o assistiti dall’IA, mentre ha ottenuto risultati quasi perfetti con i modelli più vecchi. Il risultato riguarda quell’esperimento, non tutti gli usi del rilevatore.

Adattarsi ai cambiamenti nella scrittura umana è più difficile perché questi si verificano più lentamente e in modo più sottile, ha detto Ren a MIT News. I ricercatori avvertono che l’adattamento potrebbe non bastare se la scrittura generata dall’IA e quella umana diventassero più simili o se fosse più difficile ottenere testi verificati come scritti da esseri umani.

Il team intende studiare altri contesti strategici in cui l’adattamento al momento del test potrebbe essere utile e sviluppare strumenti migliori per valutare i modelli di rilevamento. Per il progetto sono stati utilizzati crediti API forniti da Pangram per accedere ai suoi rilevatori di testi generati dall’IA.

Fonti

  1. arXiv
  2. MIT News

Notizie correlate

Esplora

Altri articoli