Una metrica differenziabile per grafi di scena 3D tramite Contextual Hellinger Triplet Geometry

Abstract degli autori

La previsione dei grafi di scena 3D viene comunemente addestrata con funzioni di perdita locali per la classificazione degli oggetti e dei predicati. Pur essendo efficace per prevedere le etichette dei singoli slot, questa formulazione non fornisce una misura della distanza semantica, a livello di grafo, tra un grafo di scena previsto e quello reale: errori di etichettatura semanticamente lievi ed errori nelle relazioni che alterano la struttura possono essere trattati in modo simile, e i fatti soggetto-predicato-oggetto non vengono confrontati come unità a livello di scena. Proponiamo Contextual Hellinger Triplet Geometry, una funzione obiettivo di addestramento a livello di grafo che misura la discrepanza semantica e strutturale tra grafi di scena 3D. L’idea centrale è reinterpretare gli output dei classificatori convenzionali di un modello per la previsione dei grafi di scena 3D come un campo probabilistico allineato di grafi di scena, in cui le previsioni relative a oggetti e predicati definiscono congiuntamente fatti contestualizzati soggetto-predicato-oggetto. Questa formulazione produce una funzione obiettivo di addestramento differenziabile basata su una metrica, con un’implementazione fattorizzata efficiente, e può essere applicata alle architetture esistenti per la previsione dei grafi di scena 3D senza modificarne la struttura della rete. Gli esperimenti su 3DSSG mostrano che il nostro metodo di addestramento migliora la successiva generazione di scene 3D condizionata dal grafo; gli studi di ablazione confermano i ruoli complementari dei termini proposti a livello di grafo e gli studi con gli utenti mostrano una maggiore capacità descrittiva dei grafi, una maggiore plausibilità delle relazioni e una migliore preservazione della struttura.