The Pulse
L’anteprima di HelixWorld è stata resa disponibile il 3 settembre; HelixBench è seguito il 12 ottobre
Noiz AI e HKUST hanno reso disponibili il codice, il checkpoint e la demo via browser dell’anteprima di HelixWorld il 3 settembre 2026, prima che il rapporto tecnico apparisse su arXiv il 29 settembre. Il post pubblicato da Noiz il 12 ottob
AI.info Team · Scritto con l’IA ·
Noiz AI e la Hong Kong University of Science and Technology hanno reso disponibili il codice per l’inferenza, il checkpoint e la demo via browser di HelixWorld Preview v1 il 3 settembre 2026, secondo il repository del progetto. Il rapporto tecnico è apparso su arXiv il 29 settembre. Noiz ha pubblicato un post di presentazione del sistema il 12 ottobre, la stessa data che il repository indica per la pubblicazione di HelixBench, un benchmark per i modelli del mondo audiovisivi interattivi.
HelixWorld genera insieme una scena video esplorabile e una colonna sonora stereo mentre l’utente si muove al suo interno. Partendo da un’immagine, gli utenti si spostano con i tasti WASD e ruotano la visuale con i tasti freccia; il modello produce video a 24 fotogrammi al secondo su una sola GPU NVIDIA H800. A differenza dei sistemi che aggiungono il sonoro dopo aver generato il video, HelixWorld è progettato per far cambiare la disposizione spaziale dei suoni insieme alla telecamera.
Quando la visuale ruota, si sposta anche il suono
Il punto centrale non è semplicemente che il modello può generare sia immagini sia suoni. La generazione di entrambi è condizionata dal movimento della telecamera e dai comandi da tastiera: una sorgente sonora dovrebbe quindi spostarsi tra i canali stereo al cambiare del punto di vista, anziché restare fissa. Gli utenti possono iniziare caricando un’immagine, aggiungere eventualmente un prompt testuale e cambiare la direzione della scena mentre viene generata. I nuovi comandi hanno effetto dal segmento generato successivo, che dura circa 1,3 secondi.
Gli autori dell’articolo descrivono così l’obiettivo:
«Presentiamo HelixWorld, un modello del mondo audiovisivo interattivo in tempo reale in cui le scene visive e il suono stereo spaziale ancorato alla telecamera si evolvono insieme, in modo nativo, in risposta all’interazione dell’utente».
Lei Ke e coautori, autori di «HelixWorld: A Real-time Interactive Audio-Visual World Model»
L’articolo del 29 settembre spiega che il sistema si basa su un modello audiovisivo e impiega un processo di addestramento in due fasi: un modello bidirezionale apprende il controllo tramite telecamera e azioni, poi ne viene distillata una versione per lo streaming che genera contenuti con una latenza inferiore. Gli autori hanno inoltre raccolto filmati per l’addestramento con audio stereo e informazioni sulla posa della telecamera, filtrando 4.100 ore di video grezzo fino a ottenere 3.000 ore distribuite su 2,1 milioni di clip.
Una H800, 24 fotogrammi al secondo
Noiz riporta un fattore di tempo reale di 0,77 su una H800, a una risoluzione di 768×512 e 24 fotogrammi al secondo, includendo la decodifica di video e audio. Un fattore inferiore a 1 significa che il tempo di calcolo è più breve della durata del contenuto generato. Nella partizione di navigazione di WBench, HelixWorld ottiene 79,9 punti; secondo il confronto riportato, si colloca dietro ad alcuni modelli più lenti, ma davanti agli altri modelli elencati che operano anch’essi più velocemente del tempo reale.
HelixBench comprende 1.015 casi verificati da persone in sei ambiti. L’articolo riporta per HelixWorld un punteggio di coerenza acustica spaziale di 41,8, contro 12,6 per EchoWM, l’altro modello del mondo che genera suoni incluso nel confronto. Il punteggio misura se lo spostamento del suono tra i canali stereo segue la posizione delle sorgenti sonore visibili mentre la telecamera si muove. HelixBench è un benchmark sviluppato dagli stessi ricercatori, quindi i suoi risultati non costituiscono una valutazione indipendente.
L’audio spiega il vantaggio più netto nello studio sugli utenti
In uno studio in cieco con confronti a coppie riportato dal team, i partecipanti hanno preferito HelixWorld con il sonoro a EchoWM nel 67,9% dei casi contro il 20,8%; le risposte rimanenti erano di parità. Nei confronti riportati, il sistema ha superato anche versioni del proprio video con l’audio rifatto usando AudioX, ThinkSound e PrismAudio. Con l’audio disattivato, però, HelixWorld è risultato inferiore a EchoWM: ciò suggerisce che il vantaggio nelle preferenze riportate dipenda in misura sostanziale dall’audio generato, e non soltanto dalla qualità video.
I risultati pubblicati del benchmark mostrano anche alcuni compromessi: HelixWorld non è in testa in tutte le misure relative all’audio. Secondo la tabella riportata, altri sistemi testati ottengono punteggi migliori per lo sfasamento temporale o per l’allineamento tra testo e audio. Il punto di forza del progetto è specificamente il legame tra il movimento della telecamera e il suono spaziale, non una superiorità in tutte le misure audio o video.
Una demo pubblica, ma requisiti hardware locali elevati
La demo via browser e il checkpoint dell’anteprima sono disponibili, e Noiz ha pubblicato il codice per l’inferenza su GitHub. Il repository raccomanda una GPU NVIDIA con 80 GB di VRAM per l’uso in locale e indica che un’esecuzione verificata su una sola GPU utilizza circa 70 GB. Il codice è distribuito con licenza Apache 2.0; il checkpoint ha una licenza separata.
I materiali pubblici del progetto descrivono un’anteprima di ricerca, non un servizio generico con requisiti hardware contenuti. Per ora, la demo via browser consente agli utenti di verificare se il suono di una scena segue i loro movimenti. Il principale punteggio spaziale del benchmark pubblicato è 41,8 su HelixBench.