SkillShift-Bench: un benchmark per l’apprendimento delle competenze degli agenti web in ambienti in evoluzione

Abstract degli autori

L’apprendimento delle competenze consente agli agenti web di riutilizzare l’esperienza acquisita in compiti interattivi a lungo orizzonte. Tuttavia, le competenze apprese vengono di norma valutate in ambienti chiusi, trascurando il fatto che l’impiego sul web nel mondo reale comporta continui cambiamenti nel contesto di invocazione, nell’ancoraggio percettivo e nella fattibilità dell’esecuzione. Per questo presentiamo SkillShift-Bench, il primo benchmark che valuta l’apprendimento delle competenze in presenza di cambiamenti controllati in ambienti aperti. SkillShift-Bench simula cambiamenti contestuali, percettivi e nell’esecuzione in tre sistemi web ospitati autonomamente, e valuta gli agenti mediante misure diagnostiche che riguardano il successo nei compiti, il costo delle interazioni, l’uso delle competenze e i loro fallimenti. Esperimenti approfonditi rivelano un calo sistematico della robustezza in presenza di cambiamenti controllati, caratterizzato da tassi di successo inferiori, costi d’interazione più elevati e fallimenti delle competenze più frequenti. I cambiamenti nell’esecuzione esercitano la pressione maggiore. Formuliamo inoltre l’esecuzione delle competenze in condizioni mutate come un problema di eseguibilità locale non stazionaria e forniamo sia un’analisi del regret dinamico sia un metodo pratico di adattamento in fase di test, dimostrando che è possibile migliorare l’esecuzione delle competenze apprese senza riapprendere la libreria di competenze. Il codice, i compiti, gli ambienti, la documentazione e la classifica sono disponibili all’indirizzo https://skillshift-bench.github.io/.