RepConTUR: un modello multimodale volumetrico condizionato dal referto per la segmentazione dei tumori addominali

Abstract degli autori

La delimitazione dei tumori è necessaria per pianificare la radioterapia, ma la segmentazione automatica è limitata da errori, prevalentemente falsi positivi, che alterano la dose e aumentano il tempo necessario per le correzioni. Il referto radiologico accompagna la scansione e localizza la malattia a livello suborgano, ma i modelli esistenti guidati da prompt testuali si basano su brevi frasi di riferimento e perlopiù operano in 2D. Presentiamo RepConTUR, un unico modello multimodale 3D nativo a fusione precoce che condiziona la segmentazione volumetrica dei tumori addominali sul referto narrativo. Estendiamo AbdomenAtlas 3.0 creando un dataset di segmentazione guidabile da prompt a livello suborgano e generiamo coppie VQA basate sui referti, ottenendo quattro attività derivate dai referti sulle stesse annotazioni: segmentazione referenziale (RES), segmentazione basata sul referto (GSEG), generazione di referti (RRG) e risposta a domande visive (VQA). Addestriamo RepConTUR, composto da un encoder 3D per le TC, un modello linguistico a fusione precoce e un modulo di segmentazione 3D nativo, congiuntamente sulle quattro attività. Per fegato, reni e pancreas, RepConTUR ottiene il coefficiente di similarità Dice (DSC), la precisione per istanza e l’F1 di rilevamento più elevati tra i modelli di riferimento guidati da prompt testuali; l’aggiunta del referto aumenta la precisione media, lasciando il richiamo comparabile. Rispetto a due modelli specialistici basati solo sulla visione, nnU-Net e R-Super, supervisionato con i referti, RepConTUR raggiunge il valore più alto per ogni metrica in distribuzione per fegato e pancreas, nonché i valori medi più elevati di DSC, richiamo, precisione e F1 di rilevamento sulle quattro coorti pubbliche fuori distribuzione. Gli studi di ablazione indicano che condizionare il modello sul referto narrativo aumenta l’F1 di rilevamento da 0,499 a 0,528 all’interno dello stesso modello, che l’addestramento congiunto su GSEG porta l’F1 di RES da 0,450 a 0,482 e che il modulo di segmentazione 3D nativo porta l’F1 di GSEG da 0,139 a 0,528 rispetto alla sua controparte 2D. Il codice è disponibile all’indirizzo https://github.com/Oncosoft-Research/RepConTUR.