BiHashFormer: transformer a due rami guidato dall’hashing per il rilevamento efficiente di oggetti negli scatti HRW

Abstract degli autori

I recenti progressi nell’imaging a livello di gigapixel hanno portato gli scatti High-Resolution Wide in primo piano nella ricerca. Tuttavia, queste immagini presentano sfide significative: estrema scarsità del primo piano, risoluzioni a livello di gigapixel e mescolanza di primo piano e sfondo. Di conseguenza, i rilevatori tradizionali e i meccanismi di attenzione sono ostacolati dallo sfondo, con conseguente inefficienza e imprecisione. Per affrontare il problema, proponiamo BiHashFormer, un transformer a due rami sparsificati basato sull’hashing. RoI Selector prevede la proporzione di primo piano per selezionare tramite top-k le finestre che contengono oggetti bersaglio. Il ramo di compressione elabora le finestre selezionate e affina l’attenzione trasformandola in HashAttention, scartando metà delle coppie chiave-valore e riducendo così il costo e migliorando l’efficienza. Il ramo di compensazione usa HashMiner per eseguire ricerche hash a basso costo nelle regioni rimanenti, recuperando le caratteristiche degli oggetti mancati. Gli esperimenti confermano che la relazione di selezione in HashAttention è unidirezionale e rivelano la preferenza delle diverse query per le chiavi. Negli esperimenti sul benchmark gigapixel PANDA, BiHashFormer riduce del 37,5% i FLOPs del backbone, portando AP50 all’81,0%. Inoltre, questa struttura parallela a due rami consente al modello di evitare ritardi nell’inferenza dovuti alle dipendenze tra i rami e di ottenere una stabilità molto maggiore rispetto ai modelli a ramo singolo, soprattutto con bassi tassi di selezione delle RoI.