Identificare la fonte non significa valutarne l’idoneità: misurare i limiti dell’attribuzione dei dati sintetici

Abstract degli autori

L’addestramento ripetuto su dati generati da modelli può peggiorare le prestazioni dei modelli successivi. Una possibile risposta è tenere conto della provenienza quando si decide quali esempi generati riutilizzare. Verifichiamo sia quanto sia affidabile ricostruire quella provenienza, sia se conoscerla aiuti a individuare dati di addestramento migliori. Usando testi sul rischio finanziario, identifichiamo prima la fonte dei brani generati e poi ripetiamo la prova dopo averli riscritti. L’attribuzione al modello generatore è accurata al 98,7% sui brani originali, ma scende al 53,1% dopo la parafrasi e al 29,0% dopo la riscrittura dello stile. La distinzione tra testi generati e testi umani resta quasi perfetta rispetto all’insieme di testi umani usato per il confronto. Confrontiamo quindi due metodi per selezionare esempi generati nell’arco di tre cicli di generazione e nuovo addestramento. Uno usa informazioni sulla fonte. L’altro usa un punteggio fornito da un modello di riferimento distinto. I due criteri selezionano esempi diversi, ma il confronto previsto non rileva una differenza stabile nel peggioramento dei modelli risultanti. I risultati mostrano che identificare la provenienza dei dati e individuare quali dati siano utili per l’addestramento sono problemi distinti. L’esperimento distingue quindi l’identità della fonte, la selezione orientata al criterio e l’esito dell’addestramento ricorsivo: né il punteggio di provenienza né l’indicatore indiretto orientato al criterio sottoposto a verifica risultano sufficienti a prevedere il comportamento ricorsivo futuro.