Verso un rilevamento più granulare e robusto della coautorialità tra esseri umani e IA

Abstract degli autori

La diffusione su vasta scala dei modelli linguistici di grandi dimensioni (LLM) sta trasformando il modo in cui vengono prodotti i contenuti testuali, complicando l’accertamento della loro provenienza e sollevando preoccupazioni riguardo alla disinformazione, al plagio e alla proprietà intellettuale. Sebbene i precedenti studi sul rilevamento dei testi generati dall’IA abbiano compiuto progressi, i punteggi unidimensionali di coautorialità tra esseri umani e IA non colgono segnali direttamente pertinenti al «coinvolgimento dell’IA». Non è ancora chiaro in che modo le parafrasi avversarie distorcano i segnali usati per il rilevamento. In questo lavoro formuliamo un quadro per il rilevamento della provenienza dei testi basato su classi discrete. Questo quadro consente di ricondurre scenari realistici di coautorialità a gradi distinti di coinvolgimento dell’IA, distinguendo tra un’IA che rifinisce il testo a livello superficiale e un’IA che aggiorna le strutture discorsive. Il quadro rivela i meccanismi attraverso i quali le parafrasi avversarie sfumano i confini decisionali dei rilevatori di coautorialità. Per migliorare la robustezza dei rilevatori, arricchiamo i dati di addestramento con parafrasi avversarie generate dal modello di attacco basato sulla parafrasi più avanzato, sottoponendo i rilevatori a riscritture impegnative che preservano il significato. Esperimenti estesi su più dataset e modelli di generazione dimostrano che le parafrasi avversarie compromettono in misura sostanziale i rilevatori addestrati solo su dati benigni, mentre l’arricchimento dei dati con esempi avversari porta a miglioramenti costanti della robustezza e a una buona trasferibilità tra generatori. Nel complesso, i nostri risultati evidenziano il valore di una formulazione basata su classi discrete e di un arricchimento dei dati fondato su principi solidi per realizzare rilevatori affidabili della coautorialità tra esseri umani e IA.