ProcessPrefBench: valutazione del trasferimento tra compiti delle preferenze individuali sul processo nelle interazioni naturalistiche tra esseri umani e IA

Abstract degli autori

Nel dialogo naturale tra esseri umani e IA, le correzioni, le richieste e le autodescrizioni degli utenti contengono segnali riutilizzabili su come desiderano che venga svolto il lavoro. Questi segnali rivelano preferenze individuali sul processo: criteri specifici dell’utente relativi alle evidenze, al livello di approfondimento, al focus analitico, alla procedura e alla presentazione. Ci chiediamo se una preferenza emersa in un dialogo possa influenzare una risposta successiva dell’assistente quando il compito non la ripete. ProcessPrefBench utilizza tre mesi di dialoghi naturali di due knowledge worker per creare 66 casi sorgente-target, valutati separatamente in base alle evidenze nella fonte e all’applicabilità al target. Le fonti sono preselezionate, quindi il benchmark valuta l’applicazione anziché il recupero. Testiamo tre modelli con prompt contenenti solo il target, la cronologia completa o preferenze distillate. Rubriche specifiche per il target, con punteggi da 0 a 2, valutano quanto la risposta rispecchi le preferenze, mentre un controllo del task segnala gli errori gravi. Rispetto ai prompt contenenti solo il target, quelli basati sulla cronologia completa e quelli basati su preferenze distillate formulate all’imperativo aumentano rispettivamente di 0,204 e 0,244 punti, sulla scala da 0 a 2, il rispetto delle preferenze, senza che la distillazione offra un vantaggio affidabile. Gli errori dovuti a evidenze inventate aumentano dal 5,8% con i prompt contenenti solo il target al 10,1% con quelli basati sulla cronologia completa e al 10,4% con quelli formulati all’imperativo. ProcessPrefBench mette in luce una tensione nell’apprendimento dai dialoghi: attingere alle interazioni precedenti può migliorare il rispetto delle preferenze, ma anche indurre a inventare evidenze. Ci auguriamo che contribuisca a costruire assistenti capaci di rispettare le preferenze degli utenti sul processo senza sacrificare l’affidabilità fattuale.