ElasticFormer: rilevare oggetti nelle riprese HRW tramite un Vision Transformer a calcolo elastico

Abstract degli autori

I recenti progressi nell’imaging a livello di gigapixel hanno portato le riprese ad ampio campo e ad alta risoluzione al centro della ricerca. Queste immagini presentano tuttavia sfide significative: estrema scarsità di elementi in primo piano, risoluzioni a livello di gigapixel e un numero variabile di bersagli. Di conseguenza, i rilevatori tradizionali per riprese ravvicinate risultano imprecisi e lenti, perché sopraffatti dallo sfondo. Sebbene le ricerche precedenti abbiano esplorato backbone sparsi, i loro schemi di sparsità fissi non sono abbastanza adattabili da gestire numeri diversi di bersagli. Per affrontare questo problema, introduciamo ElasticFormer, un backbone sparso che assegna dinamicamente risorse computazionali in base alla proporzione di primo piano. Dopo aver assegnato un punteggio alle finestre in base alla varianza, il modulo ElasticSelector proposto stima la proporzione di primo piano per la selezione top-k. Il meccanismo guida il modello nella selezione delle finestre che contengono bersagli, aumentando le risorse nelle aree in cui gli oggetti sono raggruppati. Introduciamo una nuova funzione di perdita, abbinata a una strategia di addestramento in 3 fasi per ElasticSelector, che gli consente di funzionare correttamente anche in assenza di annotazioni dei riquadri di delimitazione. Per valutarne l’estensibilità, viene condotto uno studio WSOD su PASCAL VOC 2007. Inoltre, viene creato ElasticNet per verificare che ElasticFormer sia indipendente dal backbone. Negli esperimenti sul benchmark gigapixel PANDA, ElasticFormer riduce dell’80% i FLOPs del backbone e ottiene un miglioramento significativo dell’AP50 rispetto ai metodi sparsi con rapporto fisso.