Ricerca
Duo: un modello del mondo reciproco per l’interazione full-duplex
In questo rapporto presentiamo il Reciprocal World Model (RWM) e Duo v1, un modello del mondo full-duplex che percepisce continuamente input audiovisivi mentre risponde agli utenti in tempo reale.

- arXiv
- 2611.15131
- Pubblicato
- 2026-11-11
- Autori
- Hengyuan Cao, Biao Gong, Guoshan Lu, Qiyuan Zhang, Lin Liu, Yiding Tian, Yilei Jiang, Yuxin Ma, Chengzhang Wu, Kun Chen, Yiqian Xie, Ting Liu, Xin Zheng, Xijun Gu, Tianren Ma, Jiancheng Pan, Chi Zhang, Xuzhe Zheng, Siyi Li, Zhenzhong Lan
Abstract degli autori
In questo rapporto presentiamo il Reciprocal World Model (RWM) e Duo v1, un modello del mondo full-duplex che percepisce continuamente input audiovisivi mentre risponde agli utenti in tempo reale. L’RWM considera l’intelligenza e la realtà fisica elementi altrettanto fondamentali di ciò che costituisce un mondo. I modelli del mondo esistenti si concentrano in gran parte sulla simulazione di quest’ultima, lasciando il ragionamento e il processo decisionale come controlli esterni, anziché considerarli parti intrinseche del mondo stesso. Nell’RWM individuiamo due capacità altrettanto fondamentali: Intent, che fornisce la cognizione alla base delle interazioni con il mondo, e Realization, che genera comportamenti audiovisivi coerenti. Per realizzare questa formulazione, Duo v1 introduce tre soluzioni tecniche fondamentali: (1) sfruttare la modellazione autoregressiva per il ragionamento sull’interazione continua e le decisioni di partecipazione, invece di limitarla alla comprensione delle istruzioni per i modelli di diffusione; (2) costruire condizioni specifiche per ogni chunk e token di sincronizzazione tra Intent e Realization, su una timeline unificata. Maschere di attenzione specifiche per ciascun modulo impongono dipendenze causali sia all’interno dei chunk sia tra di essi, impedendo l’accesso a input futuri; (3) mitigare lo spostamento della distribuzione in entrambi i moduli tramite una distillazione a doppio rollout, addestrandoli su token di Intent generati autoregressivamente e su sequenze audiovisive sintetizzate da Realization. Entrambi i moduli percepiscono continuamente audio, video e testo in tempo reale, consentendo interazioni full-duplex con conversazioni spontanee e interruzioni. Oltre alla conversazione, gli utenti possono condividere oggetti reali, rimodellare scene virtuali, guidare assistenti o giocare a videogiochi audiovisivi senza usare mouse o tastiera. Con il rilascio di Duo v1 compiamo il nostro primo passo; la prossima versione arriverà presto. Guardiamo con interesse a una più ampia esplorazione di questo campo emergente.
Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.
Leggi il paper originale su arXiv