Cibernetico ed epistemico: il lessico che manca per una delega agentica affidabile

Abstract degli autori

Man mano che la generazione di codice viene delegata ai sistemi di IA, il collo di bottiglia si sposta dalla scrittura del codice alla supervisione dei sistemi che lo scrivono --- uno spostamento a cui i ricercatori nel campo della didattica dell’informatica hanno iniziato a dare un nome. Questo cambiamento mette in luce una lacuna nel lessico: si invoca la «supervisione umana» senza distinguere operativamente le due funzioni del linguaggio in un canale di delega --- coordinare l’azione (funzione cibernetica: le parole hanno successo quando il mondo finisce per corrispondere a esse) e coordinare la comprensione (funzione epistemica: hanno successo quando rispondono al mondo e chi ascolta può verificare che lo facciano). Il problema così individuato non è il linguaggio cibernetico, ma un linguaggio dalla forma epistemica che svolge una funzione cibernetica: un output che ha la forma di una spiegazione, calibrato per ottenere approvazione anziché per dire la verità. Una supervisione che verifica soltanto se un output è stato approvato può essere soddisfatta da una ratifica automatica; per chiamare un agente a rispondere del proprio operato, invece, occorre che le ragioni alla base del suo lavoro siano recuperabili e verificabili. Presentiamo tre episodi di delega --- esempi illustrativi, non prove controllate --- in cui il confronto epistemico si è rivelato praticabile pur restando verificabile, un caso documentato pubblicamente in cui una raccomandazione è stata ritirata in base alle condizioni da essa stessa enunciate e un caso di insuccesso che illustra una supervisione che non richiede alcuna motivazione per le proprie scelte discrezionali. Proponiamo un criterio per la governance dei sistemi agentici, accanto alle proprietà tecniche di affidabilità già esistenti: ogni scelta rilevante dovrebbe riportare la condizione in presenza della quale sarebbe stata diversa, in una forma verificabile da una terza parte. Senza tale condizione, una terza parte non può distinguere una decisione da una ratifica automatica. Diamo al criterio una forma operativa --- un test di ricostruzione in due parti che valuta una documentazione della delega in base alla possibilità, per un secondo lettore, di prevedere che cosa farà l’agente in presenza di una perturbazione --- e una convenzione per la registrazione delle deliberazioni, ORRCF, che rende tale condizione una componente obbligatoria di ogni scelta registrata.