TreemapMix: aumento multi-immagine controllato da Dirichlet per la supervisione probabilistica e ordinale

Abstract degli autori

L’aumento dei dati migliora il riconoscimento visivo esponendo i modelli a esempi di addestramento sintetici che favoriscono la generalizzazione oltre i dati osservati. I metodi basati sulla combinazione di campioni estendono questa idea combinando più immagini. Tuttavia, molti approcci comuni combinano solo coppie di immagini oppure si basano su layout piccoli e fissi, limitando il controllo sul numero di sorgenti, sulle proporzioni delle aree visibili e sulla supervisione risultante. Proponiamo TreemapMix, un metodo di aumento multi-immagine controllato da una distribuzione, che estrae i pesi delle sorgenti da una distribuzione di Dirichlet e li assegna a regioni proporzionali alle aree mediante una partizione treemap. Le aree note delle regioni consentono di usare due obiettivi complementari. TreemapMix con soft cross-entropy (SCE) tratta le aree come target di probabilità delle classi, mentre TreemapMix con un obiettivo Plackett-Luce (PL) converte le aree in una supervisione ordinale. Su ImageNet-1K, con configurazioni di addestramento equivalenti, TreemapMix-SCE ottiene un errore di calibrazione nettamente inferiore rispetto ai metodi baseline di combinazione di campioni valutati, mentre TreemapMix-PL raggiunge la migliore accuratezza Top-1. Gli esperimenti di trasferimento sul rilevamento di oggetti e sulla segmentazione di istanze suggeriscono che le feature ottenute con il preaddestramento di TreemapMix restano utili anche al di là della classificazione. Questi risultati mostrano che una composizione multi-immagine controllata può fornire le stesse informazioni sulle aree delle regioni, sia per una supervisione che abbina le probabilità, sia per una che abbina i ranghi. Il codice è disponibile su https://github.com/Ejafa/treemapmix.