Diff Diffusion: prevedere i percorsi di modifica con modelli di diffusione per modificare il codice in modo efficiente

Abstract degli autori

I modelli linguistici di grandi dimensioni a diffusione (dLLM) sono interessanti per la generazione di codice perché possono aggiornare molti token in parallelo, ma molti sono ottimizzati per generare sequenze anziché prevedere modifiche. Questa impostazione si adatta poco ai moderni ambienti di sviluppo integrati (IDE) assistiti dall’IA, nei quali la previsione delle modifiche deve dedurre la prossima modifica al codice dalle modifiche recenti, dal file corrente e dal contesto vicino al cursore. Di solito queste modifiche interessano pochi punti e conservano la maggior parte dei token del codice sorgente: rigenerare un intero segmento di codice comporta quindi uno spreco di risorse di calcolo. Proponiamo Diff Diffusion, un framework di modelli linguistici di grandi dimensioni ispirato alla diffusione che, per modificare il codice, prevede i percorsi di modifica da un frammento originale alla sua versione rivista. Diff Diffusion rappresenta la rimozione del rumore come una serie di operazioni strutturate di modifica e combina questa formulazione con un addestramento in più fasi e una decodifica parallela efficiente. Concentrando le risorse di calcolo sulle parti modificate, Diff Diffusion consente modifiche accurate e a bassa latenza, anche in più punti in parallelo. Nei benchmark pubblici di completamento delle modifiche, nelle valutazioni della previsione delle modifiche e nella validazione online, Diff Diffusion eguaglia o supera i modelli autoregressivi di riferimento, offrendo al contempo un’inferenza 2,78 volte più veloce nei benchmark pubblici di completamento delle modifiche e una riduzione del 39,0% della latenza P50 del modello in produzione. Questo lavoro offre una nuova prospettiva per la modellazione nelle applicazioni di IA che richiedono alta accuratezza e bassa latenza.