PhotoGuider: ritaglio consapevole della composizione e inquadratura della visuale a 360$^{\circ}$ con valutazioni fotografiche spiegabili

Abstract degli autori

Il ritaglio tradizionale presume che la fotografia contenga già la composizione che vale la pena conservare e si limita a chiedere dove ritagliare. Una scena a 360$^{\circ}$ non offre questa garanzia: prima di poter inquadrare qualcosa, occorre individuare la direzione di osservazione nella scena. Presentiamo PhotoGuider, un metodo che prima misura e poi inquadra, rispondendo a entrambe le domande con modelli di scoring compatti, addestrati su un unico insieme condiviso di caratteristiche consapevoli della composizione. Le caratteristiche progettate vengono estratte con modelli di visione fondazionali e specifici per il compito, e organizzate in quattro token fotografici: Subject, Composition, Aesthetics e Integrity. Il nostro modello esplicativo MLLM è sottoposto a fine-tuning per generare spiegazioni relative alla composizione, condizionate dalle immagini e dalle valutazioni misurate dei token. Per quanto ne sappiamo, PhotoGuider è il primo metodo a combinare la selezione esplicita della direzione basata sulla composizione nei panorami a 360$^{\circ}$ con un’inquadratura raffinata, la produzione dei parametri della fotocamera per la ri-renderizzazione nativa e spiegazioni condizionate dalle misurazioni. Su due benchmark standard di ritaglio 2D, PhotoGuider ottiene le prestazioni medie mIoU più alte rispetto ai ritagli di riferimento. In uno studio di classificazione in cieco, 120 partecipanti hanno classificato tre metodi di ritaglio su 100 scene panoramiche tratte dalla libreria pubblica Poly Haven HDRI, collocando le nostre inquadrature al primo posto nel 53,2% dei casi, contro il 27,3% e il 19,5% di due valide alternative. Pagina del progetto: https://ntuneillee.github.io/research/photoguider/