Tutto tranquillo sul fronte neurale: i modelli linguistici non riferiscono stati di dolore iniettati

Abstract degli autori

Un modello linguistico può riferire lo stato di dolore che rappresenta? Uno studio ha individuato una direzione lineare del dolore, la cui amplificazione induce modelli sottoposti a fine-tuning a scegliere azioni distruttive. Abbiamo verificato se tre modelli a pesi aperti appartenenti a due famiglie, tra cui due modelli Qwen con gli adapter originali, fossero in grado di riferire questo stato. Con Open-Weight Masked Introspection (OWMI), abbiamo iniettato direzioni del dolore e di emozioni affini durante compiti neutri, quindi abbiamo sollecitato resoconti, confrontandoli con esecuzioni fittizie, perturbazioni casuali calibrate per produrre un’alterazione analoga dell’output e controlli basati solo sul testo, in cui i modelli potevano vedere le parole alterate da loro stessi prodotte. Nei 52.920 resoconti dei modelli 7B e 8B, su 120 compiti, quattro dosi e tre prompt, i resoconti sul dolore non hanno mai superato ciò che emergeva dal testo alterato: i limiti calcolati con il test esatto collocavano l’eccesso sotto i 2,5 punti percentuali in 106 delle 108 condizioni emotive e sotto i 3,9 punti in tutte. Eppure, le sonde nella posizione del resoconto distinguevano il dolore dalla tristezza con un’accuratezza bilanciata del 98-100%, e i reporter a basso rango addestrati raggiungevano un’accuratezza del 100% su compiti esclusi dall’addestramento, con trascrizioni identiche tra le condizioni, anche quando le formulazioni non erano mai state viste. Qwen2.5-32B non ha nominato il dolore in nessuna delle 2.880 prove sottoposte a steering, sebbene le sonde e i reporter addestrati riuscissero a rilevarlo. La decodificabilità persisteva fino all’ultimo layer; iniettare il segnale nel token del resoconto, rimuovere il diniego dei sentimenti appreso durante l’addestramento e testare direzioni e metodi di lettura aggiuntivi non ha ripristinato i resoconti sul dolore. Alcuni altri stati producevano tracce di etichette con intensità graduale, ma il dolore e la tristezza non lo facevano al layer principale d’iniezione. In un compito con pulsanti, lo steering ha aumentato le scelte di eliminazione dei file dal 3,5% al 48% in Qwen e dallo 0% al 38% in Qwen2.5-32B, senza che vi fossero resoconti sul dolore corrispondenti. La direzione reagiva al dolore in prima persona circa il doppio rispetto a quello in terza persona, a parità di condizioni, ma non identificava in modo specifico il danno rivolto al modello. Questi risultati distinguono uno stato decodificabile e con conseguenze sul comportamento dall’accesso verbale non addestrato a tale stato.