Sensorium: una libreria open source per la raccolta e la curatela di dati multimodali per l’IA chirurgica incarnata

Abstract degli autori

L’IA chirurgica incarnata richiede dati multimodali affidabili, ma la raccolta di dati chirurgici resta costosa, difficile da ripetere e fortemente dipendente dalla configurazione hardware. Presentiamo Sensorium, una libreria Python open source per registrare, elaborare, annotare e curare dati chirurgici multimodali provenienti da flussi configurabili di robot e sensori, utilizzando il middleware Robot Operating System (ROS) e ROS2. La libreria combina l’acquisizione dei dati per gli operatori, l’elaborazione configurabile, l’annotazione semantica e la generazione di dataset episodici. Valutiamo Sensorium su 1516 registrazioni di esperimenti su fantoccio e di esperimenti ex vivo e in vivo su suini, che coinvolgono molteplici compiti chirurgici e configurazioni di rilevamento, e riportiamo riscontri preliminari sull’usabilità.