AesCode: generazione di codice attenta all’estetica con ricompense intermodali disaccoppiate

Abstract degli autori

Generare sotto forma di codice artefatti visivi ricchi di informazioni, come slide, poster e dashboard, è interessante perché i risultati sono strutturati, modificabili e verificabili. I modelli che generano codice, però, non possono vedere come le loro scelte di impaginazione e colore si combinino sulla superficie visiva, e questo spesso ne limita la pianificazione spaziale e la qualità estetica. I generatori di immagini eccellono nella progettazione visiva, ma possono rappresentare in modo errato i contenuti richiesti, rendendo i loro risultati inaffidabili come riferimenti da riprodurre direttamente. Presentiamo quindi AesCode, che genera codice basato sui contenuti del prompt e usa come guida estetica un’immagine generata dallo stesso prompt. A questo scopo, AesCode rappresenta il risultato desiderato come un grafo progettuale che descrive l’intera superficie visiva e permette di attribuire ciascuna proprietà. Dal grafo ricaviamo ricompense intermodali complementari: verificatori deterministici assegnano punteggi alle proprietà ricavabili dall’analisi del codice e del rendering, mentre un modello VLM valuta quelle non ricavabili con tale analisi usando una Visual Graph Rubric (VGR) specifica per ciascun campione e legata agli elementi e alle relazioni del grafo. Ottimizziamo queste ricompense disaccoppiate mediante apprendimento per rinforzo, con normalizzazione per ciascun canale, per migliorare congiuntamente la pianificazione spaziale, la qualità estetica e la correttezza verificabile. Per valutare questo approccio, realizziamo un benchmark che assegna punteggi separati alla correttezza verificabile e alla qualità visiva; i punteggi visivi sono molto coerenti con i giudizi umani. Rileviamo che le immagini di riferimento migliorano notevolmente la qualità visiva del codice generato dai modelli esistenti, e gli studi di ablazione mostrano che AesCode trae beneficio dalle immagini di riferimento sia come input del modello sia come fonte di ricompense visive. Rispetto ai modelli di riferimento Qwen3-VL delle stesse dimensioni, a cui vengono fornite le stesse immagini di riferimento, AesCode-8B e AesCode-32B migliorano la qualità visiva rispettivamente di 31,1 e 22,4 punti percentuali, raggiungendo punteggi paragonabili a quelli di modelli di punta a codice chiuso come GPT-5.5 e Claude Opus 4.8.