WildMatch: adattamento debolmente supervisionato di un matcher di immagini per la reidentificazione della fauna selvatica

Abstract degli autori

La reidentificazione dei singoli animali nelle immagini delle fototrappole è un problema di recupero di istanze centrale per il monitoraggio non invasivo della fauna selvatica: a partire da un’immagine di ricerca, occorre individuare l’animale giusto in un insieme di riferimento di animali noti. Per farlo, i modelli di visione artificiale devono riconoscere motivi locali distintivi nella pelliccia, nella pelle o in altri segni visibili. Gli approcci attuali trattano il problema come una classificazione e apprendono embedding globali, richiedendo molte immagini etichettate per ciascun individuo e trascurando in larga misura gli indizi locali, oppure impiegano matcher di immagini pronti all’uso e indipendenti dal dominio. Sebbene questi matcher siano preaddestrati su raccolte di immagini ampie e diversificate, adattarli alle immagini della fauna selvatica è difficile perché i dataset disponibili sono piccoli e privi di annotazioni delle corrispondenze. Studiamo l’adattamento debolmente supervisionato di un matcher di punti chiave preaddestrato usando soltanto etichette di identità, senza dati di riferimento sulle corrispondenze tra punti chiave o sulle corrispondenze geometriche. Selezioniamo coppie di immagini informative con il matcher preaddestrato, ricaviamo segnali deboli di supervisione positiva e negativa dalla coincidenza o meno delle identità e sottoponiamo la rete di matching a fine-tuning contrastivo per rafforzare le corrispondenze tra coppie della stessa identità e sopprimerle tra identità diverse. Su dataset open source per la reidentificazione della fauna selvatica, il nostro approccio migliora l’accuratezza rispetto ai matcher pronti all’uso e a un metodo all’avanguardia di fusione locale-globale. In un protocollo open-world con individui esclusi dall’addestramento, apprende una conoscenza a priori trasferibile delle corrispondenze anziché memorizzare le identità usate nell’addestramento. Per quanto ne sappiamo, questo è il primo studio sull’adattamento a livello di matcher supervisionato tramite etichette di identità per la reidentificazione degli animali. Il nostro metodo consente di specializzare i modelli di matching delle immagini per la fauna selvatica usando in modo efficiente i dati e sfruttando le annotazioni delle identità già disponibili nei comuni dataset di monitoraggio.