RealityBench: ambienti simulati per valutare la capacità di un modello visione-linguaggio di documentare il lavoro fisico svolto dalle persone

Abstract degli autori

Potenziare le capacità dei lavoratori nel mondo fisico fornendo indicazioni è da decenni un obiettivo degli agenti di IA. Una capacità fondamentale a questo scopo è comprendere che cosa sta facendo il lavoratore, osservando attraverso la sua videocamera o i suoi occhiali intelligenti, e aiutarlo a documentare il lavoro. Nonostante i progressi dei modelli visione-linguaggio, le loro capacità in questi contesti restano incerte e sono difficili da valutare con benchmark: la maggior parte dei dati sul lavoro fisico è proprietaria e presenta troppa variabilità per essere studiata in modo sistematico. A differenza di ambienti strutturati come cucine e magazzini, dove illuminazione, geometria e oggetti sono prevedibili, le attività sul campo, come l’installazione di impianti solari sui tetti e la riparazione di veicoli, non sono vincolate e presentano un’elevata variabilità. In questo studio modelliamo in Blender il lavoro fisico nel mondo reale in undici ambienti, introducendo varianti sia per l’accettabilità delle immagini sia per la documentazione. Il compito di accettabilità chiede se una determinata inquadratura costituisca una prova adeguata del lavoro svolto; quello di documentazione chiede se un agente riesca a comprendere da quell’inquadratura lo stato dell’ambiente rilevante per il compito. Esaminando 26 modelli visione-linguaggio, osserviamo che i migliori risolvono in gran parte il compito di documentazione quando la risposta è un testo presente nell’inquadratura, ma hanno difficoltà a leggere le misure e a valutare piccoli componenti e relazioni spaziali, per esempio se un metro a nastro è inclinato. L’accettabilità è più difficile da determinare perché i valutatori umani non concordano tra loro. Se misurati rispetto a un sistema di valutazione che concorda con la maggioranza dei valutatori all’incirca con la stessa frequenza di un singolo valutatore, i modelli migliori non sono distinguibili da un singolo valutatore che non è tra gli autori, a un costo compreso nell’intervallo di quello di una valutazione umana. Nei tre ambienti in cui possiamo risalire all’origine degli errori di accettabilità, la maggior parte dei rifiuti erronei deriva da un’errata lettura della scena, non del requisito. Per le tre domande di documentazione per le quali disponiamo di immagini reali, le classifiche dei modelli ottenute sui fotogrammi renderizzati si confermano sulle immagini reali.