RTAformer: Relation-Transition-Aware Transformer per la generazione di grafi di scena video

Abstract degli autori

La generazione di grafi di scena video (VidSGG) mira a rappresentare gli oggetti e le relazioni tra loro, che evolvono nel corso dei video. Per farlo, occorre tenere conto sia della persistenza dell’identità degli oggetti sia dei cambiamenti bruschi nelle relazioni. I metodi esistenti aggregano informazioni provenienti da più fotogrammi per sfruttare il contesto temporale, ma l’enfasi sulla coerenza può nascondere questi cambiamenti. Di conseguenza, un modello può mantenere la previsione precedente anche dopo che la relazione sottostante è cambiata. Chiamiamo questa modalità di errore inerzia semantica relazionale. Per affrontare il problema, proponiamo Relation-Transition-Aware Transformer (RTAformer), un’architettura a stadio unico che modella separatamente la persistenza delle entità e i cambiamenti nelle relazioni. Introduce differenze calibrate tra le query di relazione di fotogrammi adiacenti per guidare l’aggiornamento dei predicati, mentre l’allineamento delle istanze tra fotogrammi durante l’addestramento contribuisce a ridurre la deriva delle rappresentazioni tra fotogrammi. Gli esperimenti su Action Genome mostrano miglioramenti nella recall e nella recall media rispetto ai metodi esistenti. Gli studi di ablazione confermano il contributo delle componenti proposte e i confronti condotti con gli stessi backbone mostrano guadagni maggiori nei fotogrammi in cui cambiano le relazioni rispetto a quelli in cui non cambiano.