La valutazione riproducibile come fondamento della compressione sicura dei prompt negli agenti in produzione

Abstract degli autori

Valutare agenti conversazionali che operano su dati aziendali in tempo reale e soggetti a modifiche è difficile: le sessioni riprodotte si discostano man mano che cambia lo stato dei sistemi di backend, e un benchmark creato oggi può diventare obsoleto senza che ce ne si accorga, mentre i dati che descrive evolvono. Presentiamo un framework di valutazione offline per un agente conversazionale in produzione, che rimane riproducibile nonostante i cambiamenti dei dati live su cui opera e può essere rigenerato su richiesta quando diventa obsoleto. Usiamo poi questo framework come funzione di fitness per l’ottimizzazione dei prompt basata su GEPA, con un controllo di correttezza che impedisce il reward hacking. Applicata a un agente in produzione rivolto ai commercianti, la compressione con controllo di correttezza riduce del 3,5–7,6% l’intera superficie dei prompt dell’agente senza peggiorare la correttezza sui task held-out, con risultati costanti in tre famiglie indipendenti di modelli oggetto della valutazione; in una di esse, la correttezza migliora in modo misurabile.