VIEWCRAFT: far evolvere ciò che gli agenti multimodali vedono e il modo in cui lo leggono

Abstract degli autori

Le competenze riutilizzabili migliorano gli agenti multimodali senza aggiornare i pesi del modello, ma la loro efficacia dipende sia dalle evidenze presentate sia dalla procedura usata per leggerle. Presentiamo ViewCraft, che fa evolvere congiuntamente un’interfaccia eseguibile per le evidenze e la relativa procedura di lettura. L’interfaccia seleziona, trasforma e organizza le osservazioni; la procedura di lettura interpreta le viste risultanti. Le tracce degli insuccessi guidano le revisioni, la riesecuzione e la valutazione a coppie permettono di conservare le modifiche utili, e la proiezione dell’interfaccia recupera le modifiche visive da proposte congiunte respinte che soddisfano i criteri previsti. Su otto benchmark, ViewCraft migliora il punteggio dei compiti rispetto all’esecuzione diretta di una media di $6.1$ punti, con progressi in ogni benchmark. Il vantaggio persiste a parità di budget di token in input. In tutti e cinque i compiti che impiegano più fonti, l’interfaccia appresa usa l’8%-15% di token in input in meno rispetto a Initial skill. Le competenze apprese si trasferiscono anche tra diversi esecutori e superano l’esecuzione diretta in ogni trasferimento valutato: un risultato a sostegno dell’idea che la costruzione e la lettura delle evidenze costituiscano una competenza congiunta e riutilizzabile.