StreamDuo: un commentatore in diretta e un agente di ricerca per giochi mai visti

Abstract degli autori

I modelli LLM per video in streaming possono ormai commentare in diretta le partite, ma vengono addestrati e testati sugli stessi giochi. Studiamo il commento in streaming su giochi diversi, in cui un modello addestrato su un gioco commenta giochi che non ha mai visto, e scopriamo che i commentatori attuali trasferiscono il tempismo, ma non la conoscenza del mondo di gioco. Proponiamo StreamDuo, che affianca a un commentatore addestrabile un agente di ricerca con i pesi congelati, che consulta la wiki del gioco a cui si sta giocando. Quando il commentatore vede qualcosa che non sa nominare, invia i fotogrammi correnti e, due secondi dopo, l’agente di ricerca restituisce alcune voci della wiki, mentre la diretta prosegue. Addestriamo solo il commentatore, su un singolo gioco, in due fasi. Le etichette basate sul guadagno informativo gli insegnano a fare domande solo quando la risposta lo aiuterebbe a dire ciò che ha detto il commentatore umano; la distillazione self-distillation on-policy da una sua copia che vede la risposta ideale gli insegna a usare risposte rumorose. Addestrato su Baldur’s Gate 3 e testato su dieci giochi mai visti, StreamDuo porta il richiamo delle entità da 0,082 a 0,116 rispetto a Proact-VL, addestrato sugli stessi dati, riduce il leakage dal gioco sorgente dal 9,9% all’1,0% e ottiene il miglior tempismo e i punteggi più alti per vivacità valutata e qualità complessiva tra i modelli per lo streaming.