RoSAMDepth: stima robusta della profondità autosupervisionata sfruttando Segment Anything Model

Abstract degli autori

La stima robusta della profondità mira a mantenere mappe di profondità di alta qualità in condizioni diverse. Tuttavia, la maggior parte dei metodi esistenti stima la profondità senza tenere conto delle informazioni a livello di oggetto. Di conseguenza, la profondità prevista può variare facilmente all’interno degli oggetti e diventare sfocata in condizioni avverse. Per superare questa debolezza, proponiamo RoSAMDepth, un nuovo framework che può contribuire a migliorare la stima robusta della profondità autosupervisionata sfruttando i ricchi e diversificati prior a livello di oggetto di Segment Anything Model (SAM). Ci concentriamo sull’integrazione delle informazioni a livello di oggetto in tre aspetti chiave: un metodo di contrasto delle rappresentazioni guidato dai segmenti, che introduce la consapevolezza degli oggetti nello spazio delle rappresentazioni delle caratteristiche; una strategia adattiva di mascheramento degli outlier regionali, combinata con una loss di verosimiglianza gaussiana regionale, che impone la regolarità della profondità a livello regionale; e una strategia di stima dell’affidabilità a livello di oggetto, che mitiga l’influenza di una supervisione inaffidabile. Esperimenti approfonditi su più dataset e in diverse condizioni meteorologiche dimostrano che il nostro metodo produce previsioni di profondità più nitide e accurate, superando costantemente i metodi allo stato dell’arte. Il nostro codice è disponibile all’indirizzo https://github.com/xagao/RoSAMDepth.