IF-MAP: definire le priorità degli agenti nei sistemi multiagente con un metodo ispirato alle funzioni di influenza

Abstract degli autori

Migliorare ogni agente di un sistema multiagente basato su LLM può essere proibitivamente costoso. Con risorse limitate, è quindi importante individuare a quale agente dare la priorità per ottenere il massimo miglioramento a livello dell’intero sistema. L’attribuzione dei fallimenti può orientare questa scelta, ma la responsabilità di un agente nei fallimenti non rivela direttamente quali miglioramenti si possano ottenere intervenendo su di esso. Presentiamo quindi IF-MAP, un metodo ispirato alle funzioni di influenza per individuare gli agenti con un elevato potenziale di miglioramento a livello dell’intero sistema. Per ciascun agente, IF-MAP misura le variazioni della perdita end-to-end prodotte da perturbazioni semantiche controllate dei prompt, adatta un modello locale regolarizzato della risposta in un sottospazio a bassa dimensionalità degli embedding dei prompt e usa la norma stimata della risposta come punteggio di priorità. Questa procedura a scatola nera non richiede accesso ai parametri o ai gradienti del modello e stabilisce priorità tra gli agenti che possono orientare i successivi interventi di miglioramento. Valutiamo IF-MAP su sei flussi di lavoro multiagente che comprendono generazione di codice, risposta a domande e ragionamento matematico, usando le stesse priorità per l’ottimizzazione dei prompt e l’aggiornamento dei modelli. L’ottimizzazione dei prompt degli agenti selezionati produce un incremento medio, calcolato come macro-media, di 3,81 punti percentuali, contro 1,85 punti con una selezione uniforme degli agenti. Su cinque modelli bersaglio, l’aggiornamento degli agenti selezionati produce incrementi medi, calcolati come macro-media, di 7,62-16,42 punti percentuali, contro 3,81-8,62 punti con una selezione uniforme degli agenti. Nonostante il costo aggiuntivo delle prove esplorative, IF-MAP riduce l’uso di token di Qwen3-8B e DeepSeek-V3.2 rispettivamente del 74,2% e del 35,2% rispetto all’ottimizzazione di ogni agente, e riduce del 63,6-64,9% i token dei modelli bersaglio rispetto all’aggiornamento di ogni agente. Questi risultati sostengono l’uso di IF-MAP per individuare gli agenti più promettenti e indirizzare gli interventi verso maggiori miglioramenti delle prestazioni end-to-end.