Hai cambiato idea, il modello no: svelare l’intento nel dialogo a più turni

Abstract degli autori

Quando un modello linguistico di grandi dimensioni affronta un compito che si svolge in più turni e un utente propone una modifica ma alla fine la respinge, il modello dovrebbe proseguire come se nulla fosse cambiato. Abbiamo riscontrato un problema sorprendente: la sola menzione di una modifica respinta può compromettere l’esecuzione del compito, anche quando l’intento finale dell’utente resta invariato. Per studiare in modo sistematico il comportamento dei modelli linguistici al variare dell’intento dell’utente, introduciamo Intent-Eval, un benchmark controllato che comprende azioni con strumenti, codice, database e matematica. In compiti diversi, i modelli risultano vulnerabili sia alle proposte respinte sia ai requisiti sostituiti, in linea con una confusione tra ciò che è stato menzionato e ciò che resta in vigore: il contenuto della conversazione viene trattato come un insieme di requisiti ancora validi anche dopo essere stato respinto o sostituito. Il calo dell’accuratezza può accentuarsi o persistere con il proseguire dell’interazione, evidenziando la necessità di distinguere ciò che è stato menzionato da ciò che resta in vigore. Su questa base, proponiamo Intent-OPSD, un framework di autodistillazione on-policy condizionato dalla decisione, con Teacher e Student inizializzati a partire dallo stesso modello. Il Teacher, i cui parametri restano invariati, fornisce una supervisione sull’intento attivo a partire dal compito completo corrispondente alla decisione dell’utente, addestrando lo Student sull’intero dialogo a seguire i requisiti ancora validi che riflettono l’intento dell’utente.