Un nuovo approccio alla valutazione delle metriche di valutazione per la previsione strutturata a output multipli

Abstract degli autori

Nei compiti di previsione strutturata a output multipli, anche se nei dati di addestramento può essere fornita una sola etichetta di riferimento, possono esistere più output ugualmente validi, rendendo la valutazione affidabile una sfida persistente. Ipotizziamo che i valutatori umani usino implicitamente invarianti specifici del compito, per esempio i contorni degli oggetti nelle immagini colorizzate o le entità nominate nelle traduzioni, per giudicare se un output sia accettabile. In base a questa ipotesi, introduciamo il concetto di invarianti approssimativi specifici del compito e li usiamo come strumenti diagnostici per valutare una varietà di metriche esistenti per compiti di visione e linguaggio. Includiamo questi invarianti del compito in un framework per verificare sistematicamente l’affidabilità delle metriche, incoraggiando la presenza negli output dei modelli di invarianti rilevanti per il dominio tramite una funzione di perdita aumentata. Nei nostri esperimenti osserviamo che imporre invarianti con una funzione di perdita aumentata porta a miglioramenti sostanziali nelle metriche distribuzionali più diffuse, mentre le metriche più tradizionali cambiano solo marginalmente. Con questa valutazione basata sugli invarianti, mostriamo in quali casi le metriche standard non riescono a rilevare differenze significative e mettiamo in evidenza le condizioni in cui le metriche distribuzionali funzionano o continuano a essere inadeguate.