Gli agenti basati su LLM possono imparare guardando video tutorial?

Abstract degli autori

Gli esseri umani acquisiscono continuamente conoscenze da materiali realizzati con cura, come libri e video tutorial, e le applicano a compiti futuri. Ogni giorno vengono caricati online milioni di video didattici di questo tipo, eppure gli agenti LLM non sono ancora in grado di sfruttare questo patrimonio, in continua espansione, di conoscenze trasmesse dagli esseri umani. Le loro capacità restano congelate dopo l’addestramento, mentre aggiornare i parametri su larga scala continua a essere proibitivamente costoso. Da qui la domanda centrale: gli agenti LLM possono imparare da questa vasta risorsa didattica senza aggiornare i parametri? Presentiamo Tutorial Agentic Learning (TAL), un paradigma di apprendimento continuo non parametrico che consolida i video tutorial in una memoria persistente e strutturata a forma di manuale, attraverso un processo avversariale in due fasi che raccoglie domande difficili fondate sui video e le usa per perfezionare la memoria. Al momento dell’inferenza, TAL recupera le informazioni tramite un albero dell’indice (TOC), collegando direttamente il recupero al ragionamento del modello anziché alla similarità degli embedding. Per studiare questo scenario, introduciamo VidLearn, un benchmark multimodale di domande e risposte costruito a partire da 72 video tutorial di scacchi che trattano 12 aperture. Su VidLearn, TAL supera tutti i baseline valutati e migliora in modo monotono man mano che vengono acquisiti altri video, ottenendo guadagni relativi fino al 113% e al 91% rispetto ai corrispondenti MLLM vanilla, rispettivamente sulle partizioni di addestramento e di test. Nelle partite effettive, TAL raggiunge una posizione più forte nella fase di apertura rispetto alla sua controparte vanilla nel 69% delle partite testa a testa. Una valutazione in un secondo ambito dimostra inoltre la generalità di TAL. Nel complesso, questi risultati indicano che i video didattici sono una risorsa scalabile per l’apprendimento continuo degli agenti senza aggiornamento dei parametri.