Ripensare l’archiviazione dei video per l’addestramento dell’IA: eliminare le dipendenze tra fotogrammi per un accesso casuale efficiente

Abstract degli autori

L’addestramento dell’IA su larga scala si basa sempre più su enormi dataset video da cui i fotogrammi vengono campionati in momenti casuali. Tuttavia, gli attuali sistemi di archiviazione video sono ottimizzati per la riproduzione sequenziale e utilizzano complesse strutture di riferimento tra fotogrammi per massimizzare l’efficienza della compressione. Applicati al campionamento casuale richiesto dall’addestramento dell’IA, questi sistemi incontrano notevoli limiti nell’efficienza della decodifica. Soluzioni alternative, come i fotogrammi JPEG indipendenti e i gruppi di immagini (GOP) brevi, riducono il lavoro di decodifica, ma aumentano i volumi da archiviare e trasferire. In questo articolo individuiamo due cause dell’amplificazione del lavoro di decodifica: la ricostruzione sequenziale di fotogrammi non pertinenti e la ricostruzione delle catene di riferimenti necessarie per i fotogrammi campionati. Affrontiamo entrambe progettando congiuntamente la sequenza di decodifica e la struttura dei riferimenti video. La decodifica sparsa, consapevole delle dipendenze, ricostruisce soltanto i fotogrammi richiesti e i riferimenti necessari, evitando di ricostruire quelli non pertinenti senza dover transcodificare i video di origine. La codifica offline opzionale Dependency-Decoupled Random Access (DDRA) riduce ulteriormente la ricostruzione dei riferimenti, limitando i riferimenti di ciascun fotogramma interno a due fotogrammi di ancoraggio codificati autonomamente che lo delimitano. Insieme, la decodifica sparsa e DDRA mantengono la predizione tra fotogrammi, limitando la ricostruzione a un massimo di tre fotogrammi per ciascun fotogramma richiesto, indipendentemente dall’intervallo tra fotogrammi codificati autonomamente. Esperimenti su un corpus di robotica su larga scala mostrano che, a parità approssimativa di qualità della ricostruzione, il nostro metodo raggiunge una velocità di caricamento pari a $1.45\times$ quella di LeRobot v3, con un volume dei dati multimediali inferiore del 58,7%.