Manga2Animate: un framework basato su agenti per animare fedelmente i manga pianificando sceneggiatura e storyboard

Abstract degli autori

Adattare un manga esistente in un’animazione coerente e fedele all’opera originale è un compito prezioso, ma difficile. I metodi esistenti accedono al manga soprattutto attraverso il testo, perdendone i personaggi e lo stile grafico, oppure forniscono direttamente le pagine del manga a modelli di generazione video, che ne interpretano male la struttura e producono trame errate. In questo articolo proponiamo Manga2Animate, un framework multiagente che ancora ogni fase della generazione al manga originale. Suddividiamo il compito in due rappresentazioni intermedie: una sceneggiatura per l’animazione e uno storyboard visivo. Ciascuna rappresentazione viene prodotta da un agente creatore e verificata rispetto alle vignette originali da un agente revisore abbinato. Adattiamo la selezione a ciascuna rappresentazione e usiamo feedback su due livelli per perfezionarle progressivamente entrambe prima di generare l’animazione finale. Numerosi esperimenti e uno studio condotto con utenti dimostrano che Manga2Animate produce animazioni più fedeli al manga originale e più coerenti tra le inquadrature rispetto agli approcci più avanzati. Pagina del progetto: https://annchenn.github.io/Manga2Animate/