Esplorare il panorama empirico della privacy dei dati sintetici

Abstract degli autori

I metodi per addestrare modelli linguistici su dati sensibili si distinguono per il modo in cui bilanciano i miglioramenti delle prestazioni e il rischio di divulgare informazioni private. In questo articolo presentiamo un confronto controllato tra interventi sui dati e interventi sull’addestramento per valutare il compromesso tra prestazioni e privacy su cartelle cliniche sintetiche contenenti canary, usati per rilevare eventuali fughe di informazioni. Il fine-tuning diretto ottiene i risultati migliori nelle metriche delle prestazioni, ma provoca il maggior numero di fughe di informazioni private, mentre DP-SGD riduce tali fughe a un costo considerevole in termini di prestazioni. Generare dati sintetici a partire da queste cartelle offre un equilibrio più favorevole, soprattutto quando la generazione è guidata da un’istruzione che tiene conto dell’unicità dei dati e chiede di sostituire i dettagli privati. Rispetto a una parafrasi ingenua, la riscrittura attenta alla privacy migliora la protezione delle informazioni private con diversi modelli di riscrittura. Riscontriamo inoltre che i modelli di riscrittura più capaci riducono generalmente i rischi di successive fughe di informazioni private, anche se l’aderenza ai dati esclusi dall’addestramento non migliora in modo monotono e un aumento delle risorse di calcolo in fase di test produce miglioramenti incostanti. Nel complesso, questi risultati indicano nella riscrittura attenta alla privacy una direzione promettente per ottenere un compromesso più favorevole tra prestazioni e privacy empirica rispetto ad altri metodi che intervengono sull’addestramento; il nostro quadro di valutazione consente inoltre di confrontare modelli e metodi futuri.