WinARDet: Compressed Window Auto-Regression per l’ancoraggio visivo-linguistico su lunghi orizzonti

Abstract degli autori

I rilevatori basati su MLLM formulano l’ancoraggio visivo-linguistico come generazione autoregressiva di coordinate. Nelle scene dense, però, spesso entrano in un ciclo di ripetizione dei riquadri, emettendo più volte riquadri identici fino a esaurire il budget di decodifica. Riconduciamo questo problema alla presa del sopravvento, nell’attenzione, della cronologia della risposta: quando l’autoregressione considera l’intera cronologia, i token delle coordinate ripetuti nella risposta via via generata attirano un’attenzione sproporzionata, sottraendola ai punti di attrazione dell’attenzione necessari per esaminare nuove informazioni visive. % Per interrompere questo ciclo, in questo articolo proponiamo \textbf{Compressed Window Auto-Regression} (WinAR). Questo nuovo meccanismo suddivide una lunga sequenza di risposta in finestre di generazione consecutive e limita l’autoregressione completa a livello di token alla sola finestra corrente, comprimendo ciascuna finestra precedente in un insieme fisso di token latenti che condizionano la decodifica successiva. Questa struttura riduce l’esposizione ripetuta alle coordinate grezze già generate, che innesca la presa del sopravvento nell’attenzione, ma preserva le dipendenze tra finestre essenziali per generare più oggetti in modo coerente. Su RSDense, che contiene 200-2.000 oggetti per immagine, il nostro modello WinARDet porta il punteggio F1 di RexOmni (IoU=0,5) da 32,16 a 39,36 rispetto al modello di riferimento, riducendo al contempo il tasso di ridondanza dal 35,48% al 13,00%. WinARDet si generalizza anche a diverse strategie di decodifica e formati di output, tra cui la decodifica parallela dei riquadri e la generazione di poligoni, offrendo un approccio pratico all’ancoraggio visivo-linguistico su lunghi orizzonti per scene con diverse densità.