Come si manifestano diversamente i guasti hardware negli agenti LLM?

Abstract degli autori

Presentiamo il primo studio sistematico sulla resilienza degli agenti basati su modelli linguistici di grandi dimensioni (LLM) ai guasti casuali indotti dall’hardware. I lavori precedenti sulla resilienza degli LLM ai guasti hardware si concentrano sugli esiti a livello di modello, come output errati o errori di generazione. Gli agenti LLM, tuttavia, interagiscono ripetutamente con strumenti e ambienti, creando cicli che possono modificare il modo in cui si manifestano i guasti hardware. Conduciamo una valutazione approfondita su tre benchmark per agenti, per un totale di 6.814 esecuzioni: oltre 2.400 esecuzioni senza guasti e oltre 4.300 esecuzioni con guasti iniettati, generati campionando in modo indipendente guasti casuali a due bit nei pesi. Tracciamo la propagazione di questi guasti durante l’esecuzione degli agenti. A differenza degli studi precedenti, rileviamo che l’esecuzione agentica trasforma la corruzione a livello di modello in esiti distinti a livello di sistema: (1) gli agenti possono recuperare da output del modello difettosi e completare comunque correttamente i compiti; (2) questo recupero aumenta i costi computazionali e di esecuzione; (3) pochi guasti causano errori sottili ma semanticamente significativi, mentre per il resto l’agente si comporta normalmente; e (4) per alcuni modelli e scenari, i guasti possono modificare il comportamento in materia di sicurezza e allineamento.