TRACER: un sistema multimodale per l’assistenza ai pazienti in ospedale

Abstract degli autori

I video continui e le cartelle cliniche forniscono informazioni complementari per capire come evolve il comportamento dei pazienti durante la degenza ospedaliera. Una sfida centrale è rappresentare il comportamento nell’arco dell’intera degenza mantenendo la possibilità di accedere a evidenze visive e cliniche dettagliate. Presentiamo TRACER, un sistema multimodale che non richiede addestramento: ricava dai video registrazioni delle azioni minuto per minuto e le combina con le cartelle cliniche in resoconti orari. Il sistema fornisce a un agente basato su un LLM strumenti per interrogare questa struttura gerarchica, esaminare i video pertinenti e consultare le cartelle cliniche. Per valutare TRACER, abbiamo costruito due benchmark. Il primo contiene 397 clip annotate di un minuto, relative a 15 azioni elementari; il secondo propone 144 domande a scelta multipla formulate con il contributo di clinici, basate su 264 ore di video e sulle cartelle cliniche di due pazienti in terapia intensiva. TRACER raggiunge un’accuratezza fino all’84,8% nel rilevamento delle azioni e del 61,0% nelle risposte alle domande, contro il 49,3% del migliore metodo di riferimento basato sullo stesso backbone. Su 280 pazienti e circa 60.000 ore di riprese, TRACER rileva un’attività finalizzata a uno scopo significativamente minore nei pazienti con una valutazione positiva per il delirium durante la degenza rispetto a quelli senza una valutazione positiva (p < 0,0001). I nostri risultati mostrano che combinare video continui e cartelle cliniche può aiutare a comprendere il comportamento dei pazienti nel tempo e tra diverse coorti, senza addestramento su dati sanitari protetti.