Robot dispiaciuto, essere umano felice: i modelli visivo-linguistici leggono solo uno dei due livelli tipografici leggibili

Abstract degli autori

Nonostante i successi nei compiti di riconoscimento ottico dei caratteri (OCR), i modelli visivo-linguistici (VLM) sono vulnerabili agli attacchi tipografici e presentano una struttura fragile quando elaborano immagini con più livelli di testo. In questo studio, il dataset DecoyBench è stato creato con il metodo Decoy Font. Comprende 300 immagini, ciascuna con un testo dalle linee di contorno nette sovrapposto a un altro testo dalle sfumature morbide. Sei recenti modelli closed source appartenenti a tre diverse famiglie sono stati valutati con questo dataset, in due condizioni di prompting (ingenuo e guidato) e a due risoluzioni ($512\times512$ e $64\times64$). Uno studio di validazione ha mostrato che i partecipanti umani riuscivano a leggere entrambi i livelli di testo con elevata accuratezza. I modelli, invece, nella maggior parte delle varianti e con entrambi i metodi di prompting, leggevano il testo dai contorni netti con un’accuratezza prossima a quella umana ad alta risoluzione, ma quasi mai riuscivano a estrarre per intero il testo sfumato. A bassa risoluzione, né i modelli né gli esseri umani riuscivano a leggere il testo dai contorni netti, mentre il testo sfumato poteva essere estratto con elevata accuratezza. I risultati indicano che i VLM valutati mostrano un limite comportamentale costante nell’elaborazione di strutture tipografiche contenenti più livelli di frequenza spaziale.