PrismaCoder: ampliare i confini dell’intelligenza multimodale aperta per il codice attraverso la sintesi di griglie di valutazione scomposte

Abstract degli autori

L’intelligenza multimodale per il codice collega il mondo simbolico dei programmi a quello visivo creato dalla loro esecuzione. L’interesse per questa capacità è in rapida crescita, perché ai modelli viene chiesto sempre più spesso di produrre grafici, pagine web, animazioni e documenti semistrutturati. Di recente, i modelli proprietari hanno compiuto notevoli progressi, arrivando a creare artefatti interattivi anche a partire soltanto da una descrizione testuale o da uno screenshot. I loro dati e i loro metodi di addestramento restano però inaccessibili, mentre i progressi dei modelli aperti sono frenati dalla quantità e dalla qualità dei dati disponibili, oltre che dalle pipeline e dai metodi per produrli. Tra quantità e qualità, la sfida più difficile è la seconda: ogni esempio deve funzionare come programma, essere ben realizzato e, soprattutto, apparire corretto una volta renderizzato. Nessun indicatore esistente copre tutti e tre gli aspetti. L’esecuzione spesso restituisce solo un esito positivo o negativo, la somiglianza del codice non corrisponde alla resa visiva e i sistemi di verifica specifici per un compito non si generalizzano. Per promuovere ulteriormente i progressi dei modelli aperti, partiamo dai dati con PrismaForge, una pipeline gerarchica per i dati incentrata su una griglia di valutazione sintetizzata che scompone questi aspetti in criteri verificabili. La stessa griglia funge sia da filtro sia da ricompensa: seleziona il corpus per l’apprendimento supervisionato e poi guida l’apprendimento per rinforzo nei compiti di programmazione visiva. Utilizzando PrismaForge per la sintesi e il filtraggio dei dati, creiamo PrismaCoder-2M, il dataset aperto più diversificato per l’intelligenza multimodale applicata al codice e il più grande finora. Quanto ai modelli, addestriamo PrismaCoder-9B e PrismaCoder-35B su questi dati e li rendiamo entrambi disponibili. Superano ampiamente lo stato dell’arte dei modelli aperti e competono con i principali sistemi proprietari. Le nostre analisi mostrano inoltre che la pipeline proposta, basata sulla griglia di valutazione, migliora le prestazioni nella programmazione multimodale con diverse architetture di base dei modelli. Rendiamo disponibili il codice e i dati all’indirizzo https://qiushisun.github.io/PrismaCoder-Home/.