Più modelli, più problemi: come selezionare al meglio i pool di modelli nella progettazione di sistemi multi-agente

Abstract degli autori

I sistemi multi-agente (MAS) combinano gli output di più modelli per risolvere compiti di ragionamento complessi. Tuttavia, nonostante la rapida crescita dei modelli open source disponibili, sono ancora pochi gli studi su come selezionare i candidati ottimali da questo vasto insieme. Valutiamo sistematicamente 8 strategie di selezione dei modelli (tra cui dimensione, accuratezza e diversità delle risposte) in architetture MAS che operano prima della generazione (instradamento) e dopo la generazione (voto a maggioranza, LLM come giudice), utilizzando benchmark scientifici impegnativi. I nostri risultati mostrano un divario significativo tra il potenziale teorico dell’oracolo e le prestazioni effettive: ampliare i pool di candidati spesso peggiora le prestazioni, portandole al di sotto di quelle del modello di base con le prestazioni migliori. Rileviamo che selezionare i candidati all’interno di un’unica famiglia di modelli è la strategia che offre le migliori prestazioni relative rispetto a un modello autonomo. Questi risultati dimostrano che aggiungere modelli arbitrari a un sistema MAS eterogeneo può causare instabilità, evidenziando la selezione dei modelli come una scelta progettuale fondamentale per i sistemi multi-agente.