CliQ-RRG: allineamento visivo-testuale sensibile alle patologie e guidato dalle conoscenze cliniche per generare referti radiologici in forma di domande e risposte

Abstract degli autori

I referti radiologici sono essenziali per il ragionamento diagnostico e la cura dei pazienti, ma redigerli manualmente richiede tempo e un notevole impegno cognitivo. La generazione automatica di referti radiologici (RRG) offre un’alternativa scalabile, ma i modelli esistenti producono spesso testi lunghi e poco strutturati che trascurano gli indizi diagnostici e le informazioni provenienti da più viste. Presentiamo Clinical-Knowledge Guided Disease-aware Visual-Textual Alignment for QA-Style Radiology Report Generation (CliQ-RRG), un framework unificato in due fasi per produrre referti interpretabili e fondati su evidenze cliniche. Nella fase 1, CliQ-RRG impiega un modulo Disease-aware Visual-Textual Alignment che allinea le rappresentazioni delle immagini e dei testi usando rappresentazioni delle patologie predette. L’allineamento è rafforzato da un Prior-Guided Attention Module (PrAM), che coglie le dipendenze tra più viste negli esami attuali e precedenti. Nella fase 2, il recupero guidato da GraphRAG arricchisce le rappresentazioni testuali intermedie con evidenze cliniche fondate su grafi, e un modello linguistico di grandi dimensioni le riorganizza in coppie concise e interpretabili di domande e risposte (QA), corredate di sintesi diagnostiche. Esperimenti su due benchmark pubblici di radiografie del torace dimostrano che CliQ-RRG supera sistematicamente i metodi precedenti sia nelle metriche lessicali sia in quelle cliniche, generando referti radiologici in forma di domande e risposte accurati e clinicamente coerenti. Il codice è disponibile all’indirizzo: https://github.com/chandravardhan-singh-raghaw/CliQ-RRG.