Cosa Git non registra: la leggibilità della provenienza in due repository di ricerca assistita dall’IA

Abstract degli autori

Editori ed enti finanziatori chiedono sempre più spesso agli autori di dichiarare in che modo gli strumenti di IA abbiano contribuito a una ricerca. Nel lavoro computazionale, il repository è il luogo in cui un autore o un revisore cercherebbe la risposta: ci chiediamo che cosa possa effettivamente fornire. Esaminiamo due repository dello stesso autore, un unico ricercatore che opera nello stesso campo, ciascuno con una diversa categoria di tracce lasciate da un agente: una traccia prescrittiva costituita da file di regole permanenti e una traccia narrativa costituita dagli appunti di lavoro aggiornati dell’agente. I repository contano rispettivamente 466 e 103 commit. Le due tracce sono leggibili in modi opposti. L’85,6% delle righe inserite almeno una volta in un commit della traccia prescrittiva è visibile nella revisione attuale: una regola permanente enuncia una conclusione e omette l’episodio da cui deriva. La traccia narrativa registra gli episodi, ma ne mostra il 21,8% delle righe. Se si contano le revisioni, il divario è molto più piccolo: 15 delle 41 revisioni della traccia prescrittiva non lasciano alcuna riga visibile, contro 18 delle 41 revisioni della traccia narrativa. Il trailer Co-Authored-By, il campo letto da un controllo automatizzato, è una delle tre chiavi di trailer relative all’IA presenti in Project A e compare in 66 dei 121 commit che ne contengono almeno una. In Project B ha una bassa sensibilità rispetto a un indicatore esplicito interno al repository: 39 commit modificano un file destinato a contenere gli appunti di lavoro di un agente e 1 (2,6%) contiene il trailer. Anche la percentuale di Project A a livello di repository è instabile nel tempo: passa dal 2,7% al 17,7% oltre una soglia che non avevamo definito in anticipo. I canali del repository danno indicazioni discordanti e nessuna delle due percentuali può essere interpretata come misura del coinvolgimento dell’IA; non ne isoliamo la causa e lo dichiariamo. Esaminiamo, campo per campo, quali affermazioni sulla provenienza queste tracce consentono di sostenere, a quali non possono rispondere e a quali rispondono con sicurezza ma in modo errato. Costruiamo un registro verificabile delle evidenze e ne ricaviamo i requisiti per qualsiasi sistema destinato a registrare la provenienza di una ricerca mentre questa si svolge.