Rilevamento di oggetti con adattamento del dominio senza dati sorgente mediante ipergrafi contrastivi in condizioni meteorologiche avverse — versione estesa

Abstract degli autori

Condizioni meteorologiche avverse come nebbia, pioggia, neve e scarsa illuminazione causano un degrado strutturato della visibilità che compromette gravemente i rilevatori di oggetti addestrati su dati raccolti con il bel tempo. Quando i dati sorgente non sono accessibili per vincoli di privacy o di trasmissione, diventa necessario l’adattamento del dominio senza dati sorgente (SFDA). Tuttavia, i metodi SFDA esistenti basati sull’apprendimento contrastivo a coppie faticano a cogliere le relazioni semantiche di ordine superiore e spesso sono soggetti al collasso dell’accordo in presenza di gravi alterazioni. Proponiamo REUNION, un framework SFDA guidato da ipergrafi per il rilevamento di oggetti in condizioni meteorologiche avverse. REUNION costruisce un ipergrafo contrastivo sulle proposte di oggetti del dominio di destinazione, codificando relazioni di ordine superiore attraverso il contesto all’interno dell’immagine, il raggruppamento che tiene conto delle condizioni meteorologiche, ancore semantiche basate su prototipi e connessioni che tengono conto dell’incertezza tra istanze affidabili e istanze a bassa confidenza. Per sfruttare efficacemente queste relazioni strutturate, introduciamo una funzione obiettivo Hyper-InfoNCE per gruppi che ottimizza le rappresentazioni a livello di iperarco, consentendo alle informazioni semantiche di propagarsi dalle proposte ad alta confidenza alle istanze alterate o a basso contrasto. Esperimenti condotti su diversi benchmark dimostrano che REUNION attenua efficacemente gli scostamenti tra domini e ottiene prestazioni allo stato dell’arte nelle configurazioni SFDA.