Auto-miglioramento ricorsivo affidabile nell’era dei modelli di grandi dimensioni: fondamenti, rischi, valutazione e sfide aperte

Abstract degli autori

I sistemi di IA basati su modelli di grandi dimensioni usano sempre più spesso l’esperienza e il feedback per apportare modifiche persistenti a modelli, prompt, memorie, strumenti e flussi di lavoro. L’auto-miglioramento ricorsivo (RSI) estende questo processo ai bias induttivi e ai meccanismi che regolano gli aggiornamenti futuri, i quali possono a loro volta essere rivisti e riutilizzati in più cicli di miglioramento. La sola auto-modifica, tuttavia, non garantisce un miglioramento affidabile. I progressi riportati potrebbero dipendere da valutazioni errate, le capacità acquisite in precedenza potrebbero deteriorarsi e il rispetto dei vincoli comportamentali potrebbe indebolirsi. Anche artefatti compromessi o informazioni sensibili potrebbero persistere nei sistemi successori. Le modifiche ai meccanismi di miglioramento potrebbero invalidare i risultati delle verifiche precedenti e rendere meno efficace la supervisione umana. Questa rassegna presenta una definizione operativa e un quadro di riferimento del processo di RSI e organizza i requisiti per un RSI affidabile attorno a quattro temi interconnessi: miglioramento effettivo e duraturo; vincoli comportamentali, allineamento ed equità; sicurezza e privacy dei sistemi; trasparenza e controllabilità. Esaminiamo questi temi da tre prospettive: validità del miglioramento, mantenimento dei vincoli e supervisione efficace. L’analisi riguarda la diagnosi del miglioramento, la generazione e la valutazione delle proposte e l’attuazione degli aggiornamenti (S1--S4), compresa l’applicazione ricorsiva di queste fasi ai meccanismi di miglioramento (RI). Passiamo in rassegna rischi, misure di salvaguardia ed evidenze ricavate dalle valutazioni per i singoli aggiornamenti, per gli effetti ereditati dai sistemi successori e per le revisioni dei meccanismi di miglioramento, distinguendo i risultati diretti sull’RSI dalle evidenze relative a sistemi affini. Infine, esaminiamo i contesti di valutazione, individuiamo i requisiti per una valutazione indipendente e longitudinale e discutiamo le applicazioni e i problemi di ricerca ancora aperti.