La scelta dell’insieme di token altera i risultati di POPE: un’analisi sistematica dell’estrazione delle risposte sì/no nella valutazione delle allucinazioni dei VLM

Abstract degli autori

Abbiamo cercato di riprodurre un recente risultato sulla mitigazione delle allucinazioni nel benchmark POPE. Il baseline LLaVA-1.5-7B che abbiamo misurato, pari a 82,21 F1 nello split adversarial, superava di 1,21–8,67 punti i baseline adversarial con cui intendevamo confrontarlo (81,00, 79,30 e 73,54). Esaminando il codice di valutazione, abbiamo individuato una scelta nella lettura dell’output che, da sola, modifica l’F1. Una lettura dei logit basata su due token decide tra sì e no confrontando due ID del vocabolario, 3582 («yes») e 1217 («no»). Nelle 9.000 domande decodificate con strategia greedy, distribuite sui tre split, nessuno dei due ID viene generato neppure una volta. Il modello produce « Yes» (token 3869) e « No» (token 1939), perché SentencePiece antepone un byte di spazio dopo il suffisso del prompt «ASSISTANT:». Con una lettura basata su otto token che comprende le forme testuali precedute da uno spazio, LLaVA-1.5-7B ottiene un F1 di 0,8221, 0,8498 e 0,8713 rispettivamente negli split adversarial, popular e random. Lo scarto di 6,13 punti nello split adversarial supera il miglioramento riportato per quello split da cinque dei sei articoli che abbiamo esaminato. Nessuno specifica come legge l’output e il nostro baseline di riferimento è stato eseguito con quantizzazione NF4 a 4 bit: non possiamo quindi dire quanto dei miglioramenti riportati resterebbe con una valutazione condotta nelle stesse condizioni. Il confronto rimane irrisolto finché non si uniformano il metodo di lettura e la precisione. Sul baseline così fissato, sperimentiamo nove correzioni in fase di inferenza (nessuna lo supera) ed esaminiamo perché lo split adversarial resista agli interventi a livello dei logit. In una verifica su 3.000 domande, le predizioni errate attirano più attenzione sull’immagine rispetto a quelle corrette (Cohen’s $d=-0.46$, $p=1.4\times10^{-24}$): il contrario di quanto presuppongono le correzioni basate sull’ancoraggio all’immagine. Una verifica con quattro metodi di lettura su altri quattro VLM appartenenti a tre famiglie di tokenizer conferma che il fattore confondente riguarda il protocollo, non uno specifico modello: riutilizzare senza modifiche gli ID di LLaVA-1.5 fa scendere l’F1 a 0,00 nei due modelli con vocabolari disgiunti, mentre una lettura ricavata dal tokenizer mantiene l’F1 tra 0,80 e 0,92.