VLM come giudice per la re-identificazione delle persone

Abstract degli autori

La re-identificazione di persone con cambio d’abito (CC-ReID) è ancora molto impegnativa e nessun metodo prevale chiaramente: i metodi che primeggiano in un benchmark crollano negli altri, perché si basano su indizi identitari diversi. Mostriamo che un modello generalista vision-language (VLM), usato zero-shot come giudice per riordinare una breve lista di candidati, supera con un ampio e costante margine i modelli esperti di retrieval che riordina. Nei quattro scenari di CHIRLA, un benchmark di CC-ReID a lungo termine su cui non è stato addestrato nessun modello Re-ID disponibile al pubblico, riordinare i candidati di due modelli esperti congelati aumenta il rank-1 in ogni scenario: in media di 12,9 punti rispetto al miglior modello esperto e di 9,4 rispetto al miglior ensemble ingenuo dei due, senza che alcun componente sia stato sottoposto a fine-tuning sui dati target. Unire le shortlist dei due modelli esperti eguaglia o supera il riordino della sola shortlist del modello esperto più forte, a un costo inferiore. L’introduzione di un VLM ha però un costo: quasi tutti i FLOPs della pipeline sono impiegati per esso. Prendiamo quindi in prestito un criterio dall’ensemble e ricorriamo al giudice VLM solo quando i due modelli esperti non concordano al rank-1. Questo filtro senza soglia elimina il 40% delle chiamate e una quota analoga del calcolo totale, senza un calo significativo del rank-1, al prezzo di una perdita da 1,8 a 3,8 punti di mAP. La valutazione resta la voce di costo principale, ma in un benchmark in cui gli esperti specializzati si bloccano, scopriamo che un modello generalista congelato è il giudice più efficace dell’identità. Il codice è disponibile su https://github.com/bdager/JudgeReID.