DecisionRobust: un benchmark per la robustezza dei modelli decisionali in stile JEV su testo e immagini

Abstract degli autori

I modelli decisionali emergenti come JEV offrono interfacce tipizzate che trasformano direttamente le istruzioni di un compito e le osservazioni in scelte, giudizi e punteggi. Poiché questi modelli sono sempre più utilizzati per prendere decisioni in modo automatizzato, diventa fondamentale comprenderne l’affidabilità di fronte a manipolazioni avversarie. Presentiamo DecisionRobust, un benchmark per valutare sistematicamente la robustezza dei modelli decisionali con input testuali e visivi. Il benchmark comprende scenari pratici di decisione e un’ampia gamma di attacchi, tra cui alterazioni del testo che ne preservano il significato, alterazioni delle immagini e prompt injection in entrambe le modalità. Prepariamo i set di valutazione attraverso verifiche di validità esterna e una selezione dei candidati basata su più modelli. Valutiamo 30 configurazioni di modelli su compiti testuali e 17 su compiti visivi, tra cui, rispettivamente, 24 e 12 modelli esclusi dalla selezione dei candidati. Gli esperimenti mettono in luce diversi risultati. Primo, gli attacchi rivelano vulnerabilità anche in modelli diversi da quelli usati per costruirli e selezionarli, sebbene le alterazioni ottimizzate delle immagini si trasferiscano poco a molti modelli bersaglio, anche quando si impiegano più modelli surrogati. Secondo, la robustezza relativa dei modelli varia a seconda dei compiti e dei tipi di attacco, e la resistenza alle alterazioni degli input non implica necessariamente resistenza alla prompt injection. Terzo, i controlli di coerenza delle etichette riducono sensibilmente il tasso di successo degli attacchi misurato sia per il testo sia per le immagini, sottolineando l’importanza di verificare i fallimenti apparenti. Il benchmark è disponibile all’indirizzo https://yifan-lan.github.io/DecisionRobust/.