Comprendere e rafforzare la persistenza delle backdoor nel post-addestramento degli agenti basati su LLM

Abstract degli autori

Gli sviluppatori possono creare agenti basati su LLM adattando modelli di terze parti mediante un post-addestramento benigno. Studiamo una minaccia alla catena di fornitura in cui un aggressore fornisce un modello dotato di una backdoor: un comportamento nascosto che produce risposte dannose quando compare un determinato schema nell’input. Concentrandoci sugli agenti per l’ingegneria del software, ci chiediamo se queste backdoor sopravvivano al fine-tuning supervisionato (SFT) dello sviluppatore e al successivo apprendimento per rinforzo (RL) a livello di compito. Osserviamo che l’SFT benigno riduce notevolmente il tasso di successo dell’attacco, ma il successivo RL spesso preserva il comportamento residuo e talvolta aumenta persino il tasso di successo dell’attacco. La nostra analisi dell’indebolimento delle backdoor durante l’SFT individua due fattori che possono favorirne la sopravvivenza: la forza iniziale della backdoor e la compatibilità dei gradienti con l’addestramento benigno. Questi fattori sono alla base di PersistBD, che perfeziona un modello già dotato di backdoor prima del rilascio per migliorarne la persistenza durante il post-addestramento benigno. Su Qwen2.5-Coder-7B, PersistBD porta il tasso di successo dell’attacco dal 20% al 74% dopo l’SFT e dal 20% al 76% dopo l’SFT-RL, mantenendo prestazioni comparabili nei compiti benigni. Nel complesso, i nostri risultati mostrano che le backdoor possono rimanere attive durante il post-addestramento benigno e che gli aggressori possono aumentarne deliberatamente la persistenza. Ciò mette in evidenza un rischio legato alla catena di fornitura per gli sviluppatori di IA e rende necessarie tecniche più efficaci per individuare e mitigare le backdoor ereditate quando si adattano modelli di terze parti per farne agenti. Il nostro codice è disponibile all’indirizzo https://github.com/uiuc-kang-lab/PersistBD.