FDE-Gym: l’ultimo miglio della fornitura di sistemi di IA

Abstract degli autori

I benchmark esistenti per gli agenti li valutano di norma su compiti ben definiti da segnalazioni di problemi, specifiche o ticket. Il lavoro per i clienti nel mondo reale è diverso: gli ingegneri impiegati presso i clienti (FDE) devono chiarire requisiti ambigui, lavorare su sistemi in esercizio e individuare vincoli non dichiarati. Presentiamo FDE-Gym, un benchmark composto da 95 compiti di realizzazione end-to-end tratti da 20 scenari relativi a clienti in 18 settori, ciascuno adattato da esperti del settore a partire da progetti reali. In ambienti simulati, con interlocutori che seguono un copione e sistemi dei clienti modificabili, gli agenti interagiscono con gli interlocutori e operano su sistemi simili a quelli in produzione per fornire soluzioni funzionanti. FDE-Gym valuta ogni risultato in base a quanto migliora la metrica di successo del cliente, su una scala normalizzata tra 0 (sistema invariato) e 1 (soluzione di riferimento), applicando penalità per le interazioni con gli interlocutori (messaggi, esecuzioni di prova e tempi di attesa). Una piattaforma online permette alle persone di esercitare le competenze degli FDE secondo gli stessi criteri di valutazione. Valutiamo 13 configurazioni di modelli di sette fornitori. Nello scenario realistico, in cui occorre scoprire i vincoli non dichiarati, la configurazione migliore ottiene un punteggio FDE-Gym medio di 0,56 e risolve soltanto 14 dei 95 compiti (con un punteggio di almeno 0,8 e senza incidenti). Individuare i vincoli non dichiarati è l’ostacolo principale: le prestazioni calano nettamente quando i modelli devono scoprirli senza indicazioni esplicite. La sola scoperta delle informazioni, però, non spiega il divario: anche nei 23 compiti in cui la configurazione migliore ottiene dagli interlocutori tutte le informazioni essenziali, raggiunge un miglioramento normalizzato dei risultati aziendali pari o superiore a 0,8 soltanto in 10 casi. Questi risultati mostrano un divario considerevole tra la capacità di risolvere compiti ben definiti e quella di fornire sistemi di IA efficaci a clienti reali.