Nereus: un dataset su larga scala per la comprensione degli attributi a grana fine e la percezione del conteggio ancorato

Abstract degli autori

Le immagini subacquee registrano ricche informazioni ecologiche e supportano applicazioni come la comunicazione scientifica, il monitoraggio della pesca, la conservazione ecologica e la ricerca oceanografica. Oltre alla comprensione generale delle scene, queste applicazioni richiedono modelli capaci di riconoscere tratti biologici a grana fine e ragionare su evidenze ancorate nello spazio. Tuttavia, i dataset subacquei esistenti forniscono spesso etichette di categoria grossolane, didascalie generiche o supervisioni basate sul conteggio totale, limitandone l’utilizzo per l’analisi a livello di organismo e il ragionamento ecologico. Presentiamo Nereus, un dataset su larga scala per la percezione subacquea a grana fine che supporta congiuntamente la comprensione a grana fine degli attributi degli oggetti e la percezione del conteggio ancorato. Nereus contiene 88K immagini e 2,68 milioni di coppie domanda-risposta, comprese annotazioni per 136K oggetti di organismi marini appartenenti a 2.690 specie e 1.515 generi, oltre a 65K annotazioni di punti e 67K coppie domanda-risposta per il conteggio ancorato. Gli esperimenti condotti con modelli multimodali rappresentativi mostrano che Nereus migliora l’adattamento a valle rispetto ai dati esistenti del dominio subacqueo e offre una base per la ricerca futura sulla percezione marina a grana fine.