Guardare solo quando serve: instradamento visivo guidato da certificati per modelli visione-linguaggio a diffusione efficienti

Abstract degli autori

I modelli visione-linguaggio a diffusione (DVLM) elaborano l’intero input a ogni passaggio di denoising. Poiché nei benchmark che studiamo i token visivi costituiscono l’89-97% dell’input, la maggior parte del calcolo di decodifica è impiegata a elaborare ripetutamente la stessa immagine. I metodi di potatura dei token visivi alleviano in parte questo carico rimuovendo alcuni token visivi, ma perdono le informazioni rimosse e continuano a elaborare l’immagine rimanente a ogni passaggio. Per misurare quanto spesso l’immagine sia effettivamente necessaria, confrontiamo le previsioni di LLaDA-V con e senza l’immagine a ogni passaggio di decodifica e rileviamo che rimuovere l’immagine modifica il token da smascherare in media solo nel 22,8% dei passaggi, e in appena il 7,9% dei casi. Proponiamo quindi LOWN, un metodo di decodifica che decide a ogni passaggio se elaborare l’immagine e quanti token smascherare. LOWN prevede i token mascherati senza l’immagine e la elabora solo quando questa previsione non concorda con l’ultima previsione condizionata dall’immagine. La concordanza certifica che la previsione precedente può essere riutilizzata, e il numero di token certificati determina quanti token vengono smascherati in quel passaggio. Osserviamo inoltre che la necessità di ricorrere all’immagine varia a seconda dei benchmark, perciò è necessaria la decisione adattiva di LOWN, anziché una pianificazione fissa. Senza addestramento né una soglia messa a punto, LOWN mantiene il 99,6% del punteggio di LLaDA-V su dieci benchmark, usando in media il 35,3% dei FLOP di decodifica. LOWN si generalizza inoltre a diversi DVLM basati su LLaDA, si combina in modo ortogonale con la potatura dei token visivi e funziona con la cache key-value, per ottenere ulteriori incrementi di efficienza. Il codice e la pagina del progetto sono disponibili all’indirizzo https://hyeon9698.github.io/LOWN/