Migliorare l’assistenza proattiva dell’IA attraverso una comprensione gerarchica delle procedure

Abstract degli autori

Gli assistenti IA proattivi osservano continuamente l’attività dell’utente e decidono se fornire nuove indicazioni o restare in silenzio. Devono fornire indicazioni appropriate al compito, stabilire quando dare le indicazioni successive in base all’avanzamento del compito e adattarne il livello alle competenze e alle esigenze dell’utente. Per sviluppare queste capacità servono dati di addestramento e valutazione che riflettano la struttura delle procedure e mostrino come le indicazioni debbano adattarsi all’avanzamento del compito e alle esigenze dell’utente. I dataset esistenti, però, si concentrano sulla comprensione proattiva basata sul rilevamento oppure forniscono indicazioni procedurali a una granularità fissa. Le indicazioni a granularità fissa offrono informazioni limitate sull’avanzamento nei dettagli e sul contesto procedurale più ampio, rendendo difficile accertare il completamento e adattare la granularità delle indicazioni. Per superare questi limiti, presentiamo la suite ProactiveCoach, che comprende ProactiveCoach-Instruct per l’addestramento, ProactiveCoachBench per la valutazione e VLM sottoposti a fine-tuning con un sistema di indicazioni adattivo. ProactiveCoach-Instruct fornisce indicazioni strutturate gerarchicamente ai livelli di fase, passaggio e azione, per apprendere l’avanzamento del compito e il contesto procedurale. ProactiveCoachBench valuta se i modelli forniscano indicazioni appropriate al momento giusto a diversi livelli e si adattino quando il livello richiesto cambia. Sottoponiamo VLM preaddestrati a fine-tuning su ProactiveCoach-Instruct e ne dimostriamo l’efficacia con diversi backbone. Rispetto alla supervisione a granularità fissa, quella gerarchica migliora le prestazioni complessive con diversi backbone fino a 9,6%p. Realizziamo inoltre un sistema di indicazioni adattivo combinando il nostro modello sottoposto a fine-tuning con un router leggero per le indicazioni. Senza ulteriore fine-tuning, il nostro sistema supera la baseline di adattamento in-context di 57,1%p in quattro transizioni tra livelli delle indicazioni. La pagina del progetto è disponibile all’indirizzo https://jinsuby.github.io/ProactiveCoach/.