Quanta fisica può apprendere la visione dall’audio? Analisi e distillazione della struttura dello smorzamento

Abstract degli autori

Comprendere le proprietà fisiche è fondamentale per prendere decisioni, ma i modelli visivi faticano a inferire proprietà come lo smorzamento, che determinano il comportamento dei materiali. L’audio le codifica direttamente: la risposta acustica di un oggetto a un impatto rivela il suo smorzamento attraverso un decadimento misurabile. Esaminiamo quanto gli encoder congelati rappresentino il fattore di qualità $Q$, una misura adimensionale di quante oscillazioni compie un oggetto prima che la sua risonanza si esaurisca. Per ciascuna rappresentazione, misuriamo quanto bene ordini gli impatti in base a $Q$ usando la correlazione di rango di Spearman $ρ$: $ρ=1$ indica un ordinamento perfetto, mentre $ρ=0$ indica l’assenza di relazione. Le rappresentazioni audio raggiungono $ρ=0.73$ e conservano gran parte di questo vantaggio anche su materiali esclusi dall’addestramento; un singolo fotogramma video acquisito al momento dell’impatto e codificato da CLIP raggiunge invece solo $ρ=0.28$. Dopo aver individuato dove risiede il segnale, ci chiediamo quanto di questo divario possa colmare la visione. Trasferiamo le informazioni di un modello audio congelato a una backbone CLIP congelata tramite una testa di proiezione addestrata e osserviamo che così si recupera una parte utile del vantaggio dell’audio. Poiché, in pratica, le correlazioni aggregate in questo compito sono dominate dall’identità della categoria, effettuiamo anche una valutazione che esclude a turno un materiale, sottraendolo sia all’addestramento della testa di proiezione sia a quello della sonda. Con un input di quattro fotogrammi, il trasferimento migliora in questa valutazione la correlazione da 0,234 a 0,338 (+0,053 rispetto al riferimento equivalente a quattro fotogrammi, per 14 materiali su 17): un miglioramento che nessuna strategia basata sulla categoria può ottenere. Estendere l’input visivo a quattro fotogrammi che coprono l’impatto fornisce metà di questo miglioramento senza alcun costo acustico, indicando che parte di ciò che sfugge a un singolo fotogramma è la dinamica visibile.