Strategist: far evolvere il ragionamento con agenti

Abstract degli autori

Un modello è solo metà di un sistema di agenti di IA. L’altra metà è la strategia di inferenza: la procedura di ragionamento che trasforma le chiamate al modello in una risposta. Oggi questa seconda metà viene scritta a mano e l’esperienza acquisita nella creazione di una strategia non viene mai trasferita alla successiva. Presentiamo Strategist, un meta-agente che fa evolvere le strategie di inferenza tra diverse attività. Ogni strategia è scritta come un blueprint, codice eseguibile che altre strategie possono riutilizzare, e tutti i blueprint insieme formano una libreria. Data un’attività e un piccolo insieme di sviluppo, Strategist recupera blueprint correlati, scrive strategie candidate, le testa su esempi reali e le rivede in base ai risultati. Ogni strategia candidata entra poi nella libreria, così le attività successive possono basarsi sulle scoperte precedenti. Su 30 benchmark, Strategist supera il baseline più forte in 24 casi e ne eguaglia l’accuratezza media (74,7% contro 74,0%), con costi di inferenza inferiori del 39%. Le sue strategie si trasferiscono anche ad attività non viste e ad altri modelli, senza ulteriori ricerche. Ora migliora autonomamente anche la parte di un sistema di IA che prima non lo faceva.