Un protocollo di valutazione circoscritta della sistematicità rappresentazionale

Abstract degli autori

Diversi studi hanno dimostrato che le reti neurali possono essere sistematiche sul piano comportamentale, producendo output corretti per combinazioni inedite di parti familiari. Resta difficile verificare se siano sistematiche anche sul piano rappresentazionale, cioè se rappresentino queste parti e i loro ruoli e se le usino per produrre gli output, perché ciascun tipo di evidenza può, da solo, trarre in inganno: gli output corretti possono derivare da scorciatoie, un segnale decodificabile non è necessariamente utilizzato, un intervento può agire attraverso percorsi non previsti e una ricerca senza esito non dimostra che qualcosa sia assente. Proponiamo un protocollo di valutazione circoscritta della sistematicità rappresentazionale (Bounded-RS): per una spiegazione che attribuisce un comportamento sistematico a una rappresentazione dichiarata, il protocollo verifica, su un contrasto comportamentale appaiato, se tale rappresentazione è recuperabile e se viene usata causalmente; controlla la validità di queste evidenze e assegna alla spiegazione uno di quattro stati circoscritti — Non supportata, Solo presente, Uso causale o Indeterminata — tramite punteggi calibrati sui controlli, criteri di sbarramento e regole di arresto. Su un banco di prova per il parsing semantico composto da 96 insiemi appaiati, che rendiamo disponibile, la spiegazione del binding tra ruoli e riempitivi, sottoposta a test nei modelli T5 sottoposti a fine-tuning, è classificata come Uso causale, mentre la spiegazione della geometria distribuita è classificata come Non supportata entro lo spazio di ricerca dichiarato. Questi verdetti valgono per configurazioni dei parametri compatibili con la calibrazione, seed di addestramento e T5-base. In 41 casi di cui è noto lo stato causale, la valutazione completa produce un falso verdetto di Uso causale in 1 dei 34 casi non causali, contro 13 quando la recuperabilità viene considerata equivalente all’uso, senza mancare nessun caso causale. Bounded-RS trasforma così la questione della sistematicità rappresentazionale, dibattuta sin dai tempi di Fodor e Pylyshyn, in verdetti comparabili e falsificabili su spiegazioni dichiarate, ciascuno accompagnato dal quadro probatorio che lo giustifica e, nel caso di un verdetto negativo, dallo spazio di ricerca che lo circoscrive.