The Pulse
Gli agenti di coding non individuano il 40% dei requisiti aziendali non dichiarati
Uno studio sugli agenti basati su LLM alle prese con un compito aziendale di text-to-SQL ha rilevato che il 40% dei requisiti non dichiarati era assente o rappresentato in modo errato. Solo il 25% delle esecuzioni della fase di realizzazion
AI.info Team · Scritto con l’IA · verificato ·
Il 40% dei requisiti non dichiarati è stato omesso o rappresentato in modo errato in uno studio sugli agenti di coding impegnati in attività aziendali di text-to-SQL, secondo un paper presentato ad arXiv il 2 novembre. Il risultato evidenzia una distanza tra la scrittura del codice e la comprensione delle condizioni che un cliente si aspetta che un sistema soddisfi. Nelle esecuzioni della fase di realizzazione dello studio, solo il 25% ha soddisfatto tutti i criteri di accettazione.
Da una richiesta ambigua alle decisioni di deployment
I ricercatori esaminano se gli agenti basati su modelli linguistici di grandi dimensioni possano operare come ingegneri distaccati presso il cliente: agenti che individuano i requisiti del cliente e li traducono in decisioni di deployment. Il loro test utilizza un cliente simulato basato sui requisiti di un caso d’uso aziendale reale di text-to-SQL. Il cliente parte da una richiesta ambigua, anziché da una specifica completa.
Nella fase di individuazione, un agente deve identificare i criteri di accettazione, i permessi sui dati e i vincoli hardware. Il paper valuta questa fase su 15 modelli. I modelli migliori individuano oltre l’80% dei requisiti non dichiarati, mentre quelli a pesi aperti ne individuano il 40–50%. La quota del 40% riportata dallo studio riguarda i requisiti omessi o rappresentati in modo errato; non descrive il tasso di individuazione di ogni modello.
Individuare i requisiti non ha garantito la realizzazione
Dopo l’individuazione, gli agenti passano alla fase di realizzazione, nella quale pianificano ed eseguono una procedura di post-training. Il paper riferisce che solo il 25% delle esecuzioni, su otto configurazioni di agenti di coding, soddisfa tutti i criteri di accettazione. Il risultato misura il successo completo rispetto ai criteri, non se un’esecuzione abbia prodotto un qualche risultato funzionante.
Gli autori individuano nell’esecuzione inaffidabile un ostacolo distinto dall’individuazione incompleta dei requisiti. Riferiscono inoltre che gli agenti sottoutilizzano i budget di calcolo e non effettuano confronti sistematici tra modelli di base e metodi di post-training. Questi risultati indicano difficoltà sia nel comprendere ciò che vuole un cliente sia nell’attuare un piano per soddisfarlo.
Perché l’accuratezza nei benchmark non basta
Il paper avverte che l’accuratezza nei benchmark non garantisce la preparazione per la produzione. Il test consiste in un incarico aziendale di text-to-SQL, nel quale gli agenti devono tenere conto dei requisiti, dei permessi e dei vincoli hardware, oltre a eseguire un processo di post-training. Gli autori inquadrano i risultati attorno a questo compito specifico; l’abstract non sostiene che le stesse percentuali si applichino a tutto il lavoro degli agenti di coding.
Gli autori raccomandano una revisione umana dei requisiti individuati dagli agenti e il monitoraggio dei loro piani durante l’esecuzione. Chiedono inoltre una specifica esplicita dell’ambiente di sperimentazione che comprenda l’hardware, ciò che il budget copre e i controlli di produzione. Sono queste le misure di salvaguardia indicate dal paper per un incarico in cui i requisiti non individuati e la realizzazione incompleta rimangono problemi distinti.
Tre misure di salvaguardia raccomandate dal paper
Primo, verificare i requisiti che l’agente ricava dall’interazione con il cliente. Secondo, monitorare il piano dell’agente mentre esegue il lavoro di realizzazione. Terzo, specificare in anticipo l’ambiente di sperimentazione, compresi l’hardware, ciò che il budget copre e i controlli di produzione applicabili.
I dati centrali dello studio distinguono due fasi: i modelli migliori individuano oltre l’80% dei requisiti non dichiarati, eppure solo un quarto delle esecuzioni della fase di realizzazione, su otto configurazioni, soddisfa tutti i criteri di accettazione. Le raccomandazioni degli autori affrontano direttamente ciascuna fase: verificare l’individuazione dei requisiti, monitorare l’esecuzione e definire l’ambiente rispetto al quale sarà valutato il lavoro.