Quando gli LLM dimenticano ciò in cui credono: il collasso dell’integrità dello stato nei dialoghi prolungati

Abstract degli autori

I modelli linguistici di grandi dimensioni possono ripetere un’istruzione pur smettendo di seguirla. Studiamo questa dissociazione tra il ricordo di un’istruzione e il suo rispetto nei dialoghi prolungati e definiamo il collasso dell’integrità dello stato (State Integrity Collapse): un modello conserva in memoria un vincolo esplicito, ma smette di applicarlo nei turni successivi. Presentiamo StateTrack-Bench, una raccolta controllata di conversazioni che comprende vincoli numerici, di formato, di ruolo o persona, di memoria fattuale e di regole logiche. Su sette snapshot di modelli con versioni fissate presso i rispettivi fornitori e cinque verifiche a diverse profondità del dialogo, il mantenimento rigoroso di tutti i vincoli varia dal 62,4% al 100,0%, con un peggioramento concentrato nei vincoli simbolici e in un modello particolarmente fragile. Una verifica del richiamo condotta su diramazioni del dialogo mostra che l’88,6% dei fallimenti osservati è dovuto a una deriva del comportamento, anziché a semplice dimenticanza; escludere il modello anomalo e fragile non cambia questa conclusione (84,4% dei fallimenti). Valutazioni estese fino a 50 turni confermano che la dissociazione persiste oltre il benchmark principale, mentre Structured State Anchoring recupera fino a 24,4 punti sui vincoli immutabili. I risultati mostrano che non si può dedurre l’affidabilità dalla sola capacità di seguire istruzioni in un singolo turno: la valutazione deve verificare se i vincoli ricordati continuano a essere applicati man mano che lo stato del dialogo si amplia. Codice e artefatti sono disponibili all’indirizzo: https://github.com/xzzvsxd/StateTrack.