The Pulse
TwelveLabs aggiunge l’analisi dei video in prima persona a Pegasus 1.6
TwelveLabs ha rilasciato Pegasus 1.6, che supporta i video in prima persona e l’analisi nativa delle immagini e migliora il riconoscimento di persone e oggetti. Il modello può analizzare fino a 20 immagini per richiesta e supporta video lun
AI.info Team · Scritto con l’IA ·
TwelveLabs ha annunciato Pegasus 1.6 il 6 ottobre, aggiungendo l’analisi dei video in prima persona a un modello che in precedenza si concentrava sulle riprese effettuate dall’esterno dell’azione. Secondo l’azienda, la nuova versione è destinata in parte alle registrazioni di telecamere indossabili e robot, nelle quali la telecamera si muove insieme alla persona o alla macchina che svolge un compito.
«Pegasus 1.6 introduce un vero supporto per i video egocentrici: riprese effettuate dal punto di vista di chiunque (o qualunque cosa) stia svolgendo l’azione, come una telecamera indossata sul corpo o quella a bordo di un robot», scrive Christine Lim, autrice del post.
Dalle telecamere esterne al punto di vista dell’operatore
Le riprese in prima persona si distinguono dai video delle telecamere di sicurezza o girati da una troupe perché la telecamera segue la persona o la macchina durante un’attività. TwelveLabs cita come esempi le telecamere indossate sul corpo, quelle montate sui robot e le registrazioni di operazioni di telecontrollo. Secondo l’azienda, la nuova funzionalità consente ai team che si occupano di robotica e di IA incarnata di etichettare e analizzare questo materiale nell’ambito dei processi di addestramento e revisione.
La documentazione del modello elenca tra i casi d’uso di Pegasus 1.6 l’etichettatura delle azioni, la verifica delle riprese dei robot rispetto al comportamento atteso e la previsione dell’azione successiva di un operatore nei video di operazioni di telecontrollo. Si tratta di applicazioni del modello, non di affermazioni secondo cui il sistema controlla un robot o stabilisce se il suo comportamento è sicuro. TwelveLabs descrive funzioni di analisi ed etichettatura; la responsabilità di agire in base ai risultati resta all’utente.
Un unico modello per video e immagini statiche
Pegasus 1.6 accetta anche immagini statiche attraverso la stessa API usata per i video. Secondo la documentazione di TwelveLabs, gli sviluppatori possono inviare da una a 20 immagini per richiesta, senza dover realizzare un’integrazione separata per l’analisi delle immagini. L’azienda cita come esempi raccolte miste di foto e video di prodotti, oppure di schermate e registrazioni dello schermo.
La nuova versione migliora inoltre il riconoscimento di persone, oggetti e personaggi, oltre all’estrazione dei metadati, che dipende meno da come vengono definiti i segmenti video. Quando si usa la segmentazione, Pegasus può restituire eventi con indicazione temporale all’interno di ciascun segmento. Le note di rilascio descrivono anche una segmentazione senza limite di token, che consente al modello di restituire i segmenti prodotti anche se il suo output è incompleto.
Video di due ore, con alcuni limiti
La documentazione fissa a due ore la durata massima standard dei video. Una richiesta può riguardare fino a quattro ore di video sorgente quando ne analizza soltanto una parte; i file caricati supportati possono avere dimensioni fino a 10 GB. La finestra di contesto del modello è di 261.120 token, un limite che si applica complessivamente al video, alla trascrizione audio, al prompt, alle immagini di riferimento, al formato di output richiesto e alla risposta generata.
Secondo TwelveLabs, gli utenti che già utilizzano Pegasus possono mantenere i propri SDK, prompt e API nel passaggio alla versione 1.6. Il post di lancio non fornisce punteggi benchmark che confrontino la nuova versione con Pegasus 1.5: l’annuncio documenta quindi una gamma più ampia di input e compiti, non un miglioramento delle prestazioni misurato. Per i team che lavorano con registrazioni in prima persona, il cambiamento concreto è che questi video possono ora essere analizzati con Pegasus insieme ai video convenzionali e alle immagini statiche.