Modelli sensore-linguaggio-azione

Abstract degli autori

I sensori sono utili non solo per comprendere il mondo, ma anche per decidere cosa fare dopo. I modelli sensoriali esistenti, però, si fermano in gran parte alla percezione: riconoscono stati o prevedono esiti, mentre le azioni vengono modellate separatamente attraverso insiemi di etichette specifici per ciascun compito e spesso chiusi. Introduciamo la modellazione Sensor-Language-Action (SLA), un approccio che collega osservazioni sensoriali multimodali, linguaggio naturale e azioni in un unico modello. SLA usa il linguaggio come interfaccia semantica tra percezione sensoriale e azione, consentendo di rappresentare, prevedere e spiegare azioni eterogenee mantenendole ancorate alle evidenze sensoriali sottostanti. Realizziamo un benchmark SLA su larga scala composto da dataset che coprono più di 116.000 persone, 79 modalità sensoriali e 60 gruppi di azioni, insieme a una pipeline di generazione di didascalie articolata su più aspetti, che allinea il contesto dell’utente, le dinamiche dei sensori e le evidenze relative alle azioni. Su questa base presentiamo OpenSLA, un modello SLA unificato per la previsione gerarchica delle azioni, la comprensione degli stati e la spiegazione delle azioni. Ampi esperimenti su compiti reali di previsione clinica, nelle sale operatorie e nell’ambito della salute metabolica ne confermano le prestazioni superiori rispetto allo stato dell’arte. OpenSLA mostra inoltre capacità interessanti, tra cui l’ancoraggio alle evidenze guidato dal linguaggio e la generalizzazione zero-shot ad azioni e coorti mai viste.