Inferenza sui dataset per l’audit della provenienza dei dati e della privacy nei modelli fondazionali per dati tabellari

Abstract degli autori

I modelli fondazionali per dati tabellari (TFM) vengono sempre più spesso distribuiti tramite API a scatola nera e addestrati su ampie raccolte di dataset tabellari del mondo reale. Con la diffusione di questo paradigma di addestramento, dataset privati o proprietari potrebbero essere inclusi nei corpus di pre-addestramento; tuttavia, al momento non esistono metodi specifici per determinare se un determinato dataset tabellare sia stato usato per addestrare un TFM. Per rispondere a questa esigenza, introduciamo il primo metodo di inferenza dei dataset per i TFM, volto a stabilire se un dataset sospetto facesse parte dei dati di pre-addestramento di un modello. Analizziamo sistematicamente un’ampia gamma di segnali candidati osservabili da un TFM a scatola nera manipolando gli input e rileviamo che i singoli segnali forniscono soltanto prove deboli dell’inclusione dei dati di addestramento. Tuttavia, combinando più segnali complementari, possiamo inferire l’inclusione di un dataset nei dati di addestramento di diversi TFM all’avanguardia addestrati su dati tabellari reali, raggiungendo un ROCAUC fino a 0,99, a seconda del TFM. Studiamo poi i fattori che influiscono sull’identificazione dei dataset, tra cui la composizione dei dati di pre-addestramento, la capacità del modello e l’uso di dati reali o sintetici. I nostri risultati mostrano che il metodo di inferenza dei dataset è uno strumento pratico di audit per rilevare la perdita di privacy e l’uso di dataset proprietari nei TFM.