Miraggio post-audit: i limiti di identificabilità della verifica offline degli agenti

Abstract degli autori

I test offline possono non rivelare se un aggiornamento di un agente resterà sicuro dopo la messa in produzione. Rendiamo operativo questo miraggio post-audit attraverso cicli di vita appaiati, sicuri e dannosi, che mostrano al verificatore le stesse identiche evidenze, mentre un valutatore isolato registra esiti opposti dopo la messa in produzione. Il nostro teorema applica i concetti standard di equivalenza osservazionale e indistinguibilità a questo confine di audit eseguibile e definisce il conseguente compromesso tra errore e astensione. Il benchmark Post-Audit Mirage rende eseguibile tale confine in ambienti di autorizzazione, pianificazione e capacità condivisa. IdentifiedRangeMonitor usa nuovi esiti di danno etichettati per gruppo per restituire una delle seguenti indicazioni: procedere con la messa in produzione, sospenderla, impossibile stabilirlo o non supportato. Gli esperimenti mostrano che il monitoraggio può recuperare la distinzione mancante in condizioni favorevoli, ma può non riuscire a decidere nel caso di gruppi rari, effetti modesti o osservazioni mancanti. La valutazione degli agenti verificatori deve quindi esaminare sia la validità dei calcoli sia se le evidenze disponibili giustificano la decisione sulla messa in produzione.