Piccole ma potenti: le suite di test come segnali di miglioramento per agenti che si autoevolvono

Abstract degli autori

Un agente che si autoevolve riscrive il proprio harness e deve decidere quali riscritture conservare: il suo segnale di miglioramento è quindi la verifica che una riscrittura deve superare. Verificare una riscrittura tramite un’esecuzione dell’agente è costoso e soggettivo, mentre le verifiche eseguibili, come i test del repository stesso, sono troppo limitate per individuare le riscritture che modificano il comportamento: ne respingono solo un quarto. Usiamo invece i risultati dei test come segnale eseguibile e cerchiamo suite di test piccole ma efficaci con un algoritmo evolutivo di qualità-diversità, così da ottenere un segnale ricco e informativo. TeSearch considera la dimensione della suite un descrittore del comportamento, in modo da perseguire la qualità per ogni dimensione e rendere raggiungibile una suite piccola ma efficace. Durante la ricerca apprende inoltre un kernel di transizione che riduce il rumore dell’LLM usato come attuatore su quel descrittore. Su 129 moduli reali e tre modelli backbone, TeSearch produce le suite di qualità più alta tra tutti i metodi confrontati, inclusa la ricerca evolutiva guidata da LLM, e le più piccole tra quelle prodotte da metodi basati su LLM. Usato come segnale di miglioramento di un agente che si autoevolve, respinge il 59,9% delle riscritture che modificano il comportamento, contro il 25,3% dei test del repository, con un tasso di falsi allarmi del 4,0% e 3,5 s per decisione. Il codice e i dati sono disponibili all’indirizzo https://github.com/ccsnow127/TeSearch.