Mara Chain: ripensare il fallimento come trampolino di lancio per l’autoevoluzione dei sistemi di IA

Abstract degli autori

Ottimizzare i sistemi di IA già in uso significa sempre più spesso modificare prompt, skill, harness e codice, anziché i pesi dei modelli. Gli approcci esistenti ottimizzano comunemente questi elementi attraverso procedure in cui si propongono e valutano configurazioni candidate, selezionando solo quelle che soddisfano un criterio di accettazione. La nostra analisi mostra però che i candidati scartati contengono spesso informazioni cruciali per l’ottimizzazione successiva. Scartarli porta le proposte successive a incorrere nelle stesse modalità di errore. Presentiamo Mara Chain, una procedura di perfezionamento che trasforma i candidati respinti in trampolini di lancio. Invece di scartare un candidato respinto, Mara Chain lo conserva e lo perfeziona iterativamente sulla base delle evidenze raccolte nei tentativi precedenti. La procedura limita ciascuna catena di perfezionamento a una profondità fissa e applica una selezione Top-N filtrata secondo Pareto per contenere il numero di candidati. Nell’ottimizzazione delle skill di AppWorld, degli harness di TerminalBench 2.1 e della pipeline di recupero di MuSiQue, Mara Chain ottiene maggiori miglioramenti nelle prestazioni sui compiti con meno rollout. Su AppWorld supera GEPA, ACE e SkillOpt-Lite fino al 20,5% in termini di prestazioni relative, raggiungendo il punteggio obiettivo con il 65,5% di rollout in meno rispetto a GEPA. Su TerminalBench 2.1 migliora la percentuale di superamento rispettivamente di 20,2 e 22,5 punti percentuali rispetto ad AHE e Meta-Harness; inoltre, rispetto a una pipeline di recupero scritta a mano, migliora nDCG@10 e Recall@10 sul test di MuSiQue rispettivamente di 0,104 e 0,131.