Rari, pertinenti eppure sbagliati: come la memoria fallisce nelle decisioni di gruppo degli LLM

Abstract degli autori

Quando la discussione di un gruppo di LLM viene condensata in una breve memoria destinata a chi prende la decisione finale, che cosa dovrebbe conservare? Due criteri intuitivi privilegiano le affermazioni più rare oppure quelle pertinenti ai criteri decisionali. Nei compiti a profilo nascosto, entrambi sembrano promettenti, perché la diffusione di un fatto tra i partecipanti si confonde con la sua utilità. Presentiamo CrossProfile, un benchmark diagnostico composto da 60 modelli di compito con risposte corrette verificate automaticamente, in cui si incrocia l’attribuzione ai partecipanti dei fatti a sostegno, dei fatti esca e di quelli irrilevanti, mantenendo invariato il testo (480 compiti). Su Qwen2.5-7B, Llama-3.1-8B e due modelli DeepSeek, entrambi i criteri falliscono in circostanze prevedibili. La selezione in base alla pertinenza reintroduce i fatti esca, perché sono attinenti al tema: persino un filtro di pertinenza perfetto perde da 23 a 31 punti rispetto alla selezione che dà priorità ai fatti più rari nella configurazione classica a profilo nascosto. La selezione che dà priorità ai fatti più rari non è mediamente migliore di quella casuale e prevale solo quando i fatti rari sono anche quelli utili. In entrambi i casi, l’accuratezza dipende dall’equilibrio delle prove conservate nella memoria, non dal criterio usato per conservarle. Il modello che prende la decisione introduce una terza forma di errore, una sorta di prova sociale: attribuisce un peso maggiore ai fatti ascritti a molti agenti. Rimuovere le etichette di attribuzione, oppure riassegnarle casualmente senza cambiare l’ordine delle righe, aumenta l’accuratezza nella configurazione classica da 13 a 24 punti. Nelle discussioni naturali, le prove vanno perse prima ancora che intervenga una memoria: la trascrizione completa produce un’accuratezza inferiore a quella ottenuta senza alcuna nota.