Quando il giudice agisce: una verifica della selezione delle immagini guidata dai VLM su prompt legati a contesti culturali

Abstract degli autori

I modelli visione-linguaggio (VLM) agiscono sempre più spesso da giudici che scelgono la migliore tra diverse immagini generate: dalle loro scelte dipende quindi ciò che vedono gli utenti. Di solito questi giudici vengono validati in base alla concordanza dei loro punteggi con le valutazioni umane, non in base alle immagini che restituiscono. Ne verifichiamo il comportamento come decisori: su 300 prompt legati a contesti culturali, confrontiamo l’immagine scelta con valutazioni umane che il giudice non vede mai e con una scelta casuale tra le stesse immagini candidate. Ripetiamo inoltre ogni decisione cambiando l’ordine delle immagini. Un giudice da 4 miliardi di parametri fa appena meglio della scelta casuale e resta al di sotto di un termine di confronto basato sulla similarità CLIP. Sceglie la prima immagine mostrata nel 49% dei casi (probabilità casuale: 28%) e, cambiando l’ordine delle immagini, cambia scelta per il 60% dei prompt. Per questo giudice, la concordanza tra ordini diversi è indicativa: le decisioni che restano invariate sono molto migliori della scelta casuale, mentre la concordanza con un secondo giudice più debole conserva quelle sbagliate. Un giudice da 8 miliardi di parametri non mostra quasi alcuna preferenza legata alla posizione delle immagini e supera CLIP, ma nel suo caso lo stesso filtro scarta perlopiù decisioni corrette. La concordanza è utile solo quando intercetta il tipo di errore del giudice: i filtri vanno quindi verificati di nuovo ogni volta che cambia il giudice. Il lieve aumento dei punteggi relativi agli stereotipi registrato dal giudice da 4 miliardi di parametri non è più rilevabile dopo aver aggregato i risultati dei diversi ordini di presentazione, né con il giudice più grande.