The Pulse
NVIDIA rilascia i modelli Flora per etichettare i video di robot
NVIDIA ha rilasciato Flora, una suite di tre modelli che segmenta, descrive e assegna punteggi ai video in cui esseri umani e robot manipolano oggetti. Secondo l’azienda, il sistema può etichettare 200.000 ore di dati al giorno, ma le sched
AI.info Team · Scritto con l’IA · verificato ·
«Flora è stato messo alla prova su larga scala: etichetta 200.000 ore di dati al giorno usando 512 GB300.»
Sicong Leng et al., Flora
I modelli Flora di NVIDIA trasformano i filmati in cui esseri umani e robot manipolano oggetti in etichette utilizzabili per l’addestramento e la valutazione dei sistemi robotici. Secondo le schede dei modelli dell’azienda, i pesi sono stati rilasciati il 15 ottobre 2026; il suo articolo di ricerca è datato 20 ottobre. NVIDIA afferma che la suite è già usata per addestrare i suoi modelli GR00T ed è pensata per aiutare i ricercatori a creare dataset personalizzati per la robotica.
Flora non controlla un robot. Annota invece i video indicando i confini delle azioni, fornendo descrizioni in linguaggio naturale e assegnando punteggi di ricompensa: segnali usati per organizzare i dati di addestramento, valutare i progressi nello svolgimento dei compiti e monitorare le prestazioni dei robot. La pagina del progetto NVIDIA presenta il rilascio come un motore aperto per i dati, mentre la scheda del modello ne limita l’uso alla ricerca e allo sviluppo non commerciali.
Tre modelli trasformano i filmati in etichette
Flora suddivide l’annotazione tra tre modelli. TempSeg individua quando le azioni iniziano e finiscono in una registrazione; Captioner scrive un’istruzione per ogni intervallo selezionato; Rewarder assegna un punteggio agli esiti o alle azioni all’interno di un episodio. I ricercatori possono anche fornire una griglia di valutazione per definire i criteri del punteggio di ricompensa.
La pipeline interviene in diverse fasi dell’apprendimento dei robot. Le descrizioni associate a indicazioni temporali possono aiutare a filtrare e bilanciare i dati di preaddestramento, mentre le ricompense legate al processo misurano i progressi durante il post-addestramento con apprendimento per rinforzo. Secondo NVIDIA, le ricompense legate agli esiti possono servire a valutare i compiti completati o a monitorare i sistemi già in uso.
I pesi rilasciati sono disponibili nella raccolta Flora su Hugging Face di NVIDIA. La scheda del modello Captioner afferma che il modello è stato sviluppato per l’addestramento di GR00T-2 e per i ricercatori che creano dataset personalizzati per i robot; precisa inoltre che produce annotazioni, non comandi per i robot.
200.000 ore sono una cifra riferita alla scala di produzione
NVIDIA dichiara una capacità di elaborazione fino a 200.000 ore di video al giorno usando 512 GPU GB300. È una cifra riferita all’impiego su scala di produzione, non a quanto può elaborare una singola workstation. L’articolo confronta anche i costi di annotazione in un test separato: un sottoinsieme di 50 episodi del benchmark DenseCaptionBench usato per la valutazione.
Per questo confronto, NVIDIA stima il costo di Flora in 72 centesimi di dollaro per ora di video sorgente, usando otto GPU GB300 al prezzo di 10 dollari per GPU-ora. Stima invece il costo dell’API di GPT-6 Astra in 88,49 dollari per ora di video, con il massimo sforzo di ragionamento. Nello stesso confronto, Flora ottiene il 57,1% nella misura complessiva della qualità delle annotazioni usata nell’articolo, contro il 53,7% di Astra; sulla base di queste stime, NVIDIA calcola una differenza di costo di circa 125 volte.
Il risultato sui costi dipende dalle ipotesi dell’articolo sui costi dell’hardware e dell’API, anziché da una misurazione diretta dei costi operativi di ogni laboratorio. L’articolo di NVIDIA presenta il risultato come una stima e rimanda all’appendice per i dettagli del calcolo.
I risultati dei benchmark variano a seconda del compito
Flora non è in testa in tutti i confronti. Su WGO-Bench, che comprende 100 episodi in cui esseri umani e robot manipolano oggetti, l’articolo riporta per Flora il 50,3% nell’F1 di segmentazione e il 64,7% nell’accuratezza delle descrizioni su intervalli temporali di riferimento. GPT-6 Astra ottiene risultati superiori nell’accuratezza delle descrizioni, con il 77,4%, e nell’F1 semantico congiunto, con il 39,0% contro il 34,5% di Flora.
Nei test DenseCaptionBench di NVIDIA, i risultati differiscono anche tra i filmati di esseri umani e quelli di robot. Flora guida i modelli elencati in tutte e tre le misure riportate per Human100, tra cui un F1 congiunto a livello di singolo punto del 37,4%. Su Robot200, Astra ottiene il 57,9% nello stesso F1, davanti al 51,0% di Flora.
I test sulle ricompense mostrano una combinazione simile di punti di forza. Flora registra un errore assoluto medio di 40,0 su RoboRewardBench, contro 55,4 per Astra, e ordina le traiettorie dei robot con un punteggio tau di Kendall di 72,0 nel test Robometer fuori distribuzione, inferiore all’82,3 di Astra.
I pesi aperti hanno un limite all’uso commerciale
La scheda di Captioner indica la OneWay Noncommercial License di NVIDIA e afferma che Flora è destinato alla ricerca e allo sviluppo non commerciali nel campo della robotica, non all’uso commerciale o in produzione. Questa restrizione limita chi può adottare direttamente i pesi: un laboratorio di ricerca può testare i modelli alle condizioni indicate, ma un’azienda che voglia usarli per annotare dati in produzione non può considerare il rilascio come software utilizzabile senza restrizioni commerciali.
L’articolo individua inoltre una debolezza concreta nell’assegnazione dei punteggi agli insuccessi. Su DenseRewardBench, Flora rileva il 53,3% dei passaggi etichettati come insuccessi, ma segnala come insuccessi anche circa l’11% dei passaggi normali. I punteggi possono aiutare i ricercatori a esaminare i filmati dei robot; da soli non dimostrano che il monitoraggio della sicurezza sia affidabile.