EAGLE: Entropy-Aware Geometric Learning Enhancer per la localizzazione di oggetti con supervisione parziale tramite poligoni

Abstract degli autori

Il rilevamento degli oggetti è un’applicazione fondamentale della computer vision, ma i modelli addestrati esclusivamente su bounding box non hanno la precisione geometrica necessaria per essere pienamente efficaci in fase di inferenza, soprattutto con soglie IoU elevate. Un approccio comune consiste nell’introdurre la localizzazione supervisionata tramite poligoni: il modello viene addestrato esplicitamente per la localizzazione, ma durante l’addestramento ha accesso a maschere poligonali. Tra questi metodi, la supervisione parziale tramite poligoni è praticabile, dato il costo più elevato dell’annotazione per realizzare dataset di addestramento completamente supervisionati. Tuttavia, questo comporta un’ulteriore difficoltà: nelle classi di oggetti con forme relativamente poco complesse, l’aggiunta di maschere di addestramento e la successiva loss di segmentazione possono offuscare la localizzazione dei box e spesso peggiorare le prestazioni del modello, nonostante l’accesso a informazioni geometriche più approfondite. Per affrontare i limiti pratici della supervisione tramite poligoni, sia completa sia parziale, presentiamo un framework matematico che quantifica la complessità geometrica per classe combinando teoria dell’informazione e analisi statistica delle forme. Sulla base di questo framework, sviluppiamo Entropy-Aware Geometric Learning Enhancer (EAGLE), un head leggero del modello, applicato dopo l’addestramento, che apprende informazioni geometriche per il modello di localizzazione e ne migliora l’accuratezza affinando i bordi e ricalcolando i punteggi di localizzazione tramite aggiornamenti guidati dall’entropia. L’analisi empirica su MS COCO e Pascal SBD mostra che il framework basato sull’entropia predice in modo significativo l’errore di ricostruzione delle forme e le differenze di accuratezza tra le predizioni dei box derivate dalle maschere e quelle standard; inoltre, il framework EAGLE implementato migliora in modo costante framework di rilevamento già allo stato dell’arte (+0,9 punti mAP50-95 su MS COCO), con un overhead di inferenza minimo secondo quanto osservato.