EdgeDeID: un modello da 0,6 miliardi di parametri per la deidentificazione clinica, addestrato senza dati di pazienti reali

Abstract degli autori

Deidentificare le note cliniche con un modello linguistico ospitato su un server significa divulgare proprio le informazioni che si intende proteggere. Presentiamo EdgeDeID, un modello per la deidentificazione di tipo decoder-only, da 0,6 miliardi di parametri, che funziona localmente ed è addestrato senza testi di pazienti reali: tre LLM usati come modelli insegnanti scrivono note sintetiche, un unico annotatore le rietichetta secondo una convenzione comune e il modello impara a produrre uno schema XML tipizzato degli identificativi che trova. Su un benchmark sintetico dello stesso dominio, composto da 100 note con annotazioni verificate manualmente, raggiunge un micro-F1 di 0,994 e non lascia alcun identificativo non rilevato nel 99% delle note, contro rispettivamente 0,857 e il 12% del migliore tra otto sistemi pronti all’uso. Nella versione quantizzata, funziona su CPU con 615 MB di memoria. Delle tre aggiunte all’addestramento supervisionato, solo un adattatore di verifica è utile: distingue gli output completi da quelli incompleti di altri sistemi con un AUROC di 0,94, mentre l’apprendimento per rinforzo con una ricompensa ponderata in base alla recall e un livello di post-elaborazione basato su regole lasciano invariati i risultati nello stesso dominio. Sulle note infermieristiche di terapia intensiva di MIMIC, l’F1 scende a 0,48. Gli errori sono legati a due caratteristiche assenti nelle nostre note sintetiche, lo stile telegrafico e la bassa densità di identificativi; tre esempi in contesto redatti manualmente permettono di recuperare 0,08 punti di F1 senza dati annotati del dominio di destinazione.