Un dataset per rispondere a domande su immagini basato sulla dottrina della Tactical Combat Casualty Care

Abstract degli autori

La Tactical Combat Casualty Care (TC3) richiede ai soccorritori di collegare le osservazioni visive delle lesioni e degli interventi alle linee guida cliniche consolidate. Per sviluppare modelli di visione e linguaggio a supporto di questo processo servono dati per l’addestramento che colleghino le evidenze visibili a indicazioni dottrinali di cui si possa risalire alla fonte. Presentiamo TC3-VQA, un dataset costruito a partire da video TC3 pubblici, didattici e girati sul campo, e da documenti TC3 autorevoli. Contiene 581 elementi relativi a 11 concetti, con 1.860 domande che riguardano il riconoscimento degli interventi, la dottrina, il ragionamento clinico, le indicazioni procedurali e il rifiuto di rispondere quando le informazioni visive sono insufficienti. Le risposte basate sulla dottrina conservano i passaggi delle fonti riportati testualmente e gli offset dei caratteri. La costruzione del dataset combina annotazione visiva, recupero di passaggi, verifiche dell’implicazione logica e verifiche tra famiglie di modelli. Le coppie domanda-risposta sono accompagnate da riquadri che delimitano le attrezzature, etichette anatomiche, segmenti temporali e metadati sulle fonti. Verifiche automatiche e valutazioni di due medici e due studenti di medicina caratterizzano la qualità delle annotazioni; le valutazioni umane sono disponibili per 88 elementi conservati. Il dataset offre una risorsa per adattare i modelli di visione e linguaggio alla TC3, studiare il legame tra evidenze visive e conoscenze cliniche e valutare il riconoscimento, il richiamo della dottrina e la capacità di astenersi dal rispondere.