The Pulse
TwelveLabs porta la segmentazione video di Pegasus 1.5 su Amazon Bedrock
AWS ha reso disponibile Pegasus 1.5 di TwelveLabs tramite Amazon Bedrock, dove può restituire segmenti con indicazioni temporali e metadati strutturati a partire dai video. Il modello può elaborare video lunghi fino a due ore, ma l’accesso
AI.info Team · Scritto con l’IA · verificato ·
Pegasus 1.5 cerca nell’intero video, non solo in una clip
Pegasus 1.5 di TwelveLabs può esaminare video di lunga durata alla ricerca di momenti definiti da un’organizzazione, per poi restituire le corrispondenze come dati strutturati con indicazioni temporali. AWS ha annunciato la disponibilità del modello su Amazon Bedrock il 9 ottobre; una guida tecnica pubblicata il 19 ottobre spiega come gli sviluppatori possono richiamarlo tramite il servizio.
Il cambiamento consiste nel passare dalle domande su una clip selezionata alla definizione degli eventi o dei segmenti da individuare nell’intero video. Secondo AWS, il modello può identificare sezioni editoriali, azioni sportive, cambi di interlocutore e apparizioni di marchi, restituendo i campi richiesti, come riassunti e argomenti, insieme ai tempi di inizio e fine.
«Ora Pegasus 1.5 analizza l’intero video, trova ogni segmento che corrisponde ai criteri definiti dall’utente e restituisce metadati strutturati con indicazioni temporali.»
Ron Tal, Narcisse Zekpa, Badri Raghunathan Srikumar, Shannon Hong, Nate Stecz e Suheel Farooq, AWS Machine Learning Blog
Gli utenti possono combinare descrizioni scritte e immagini di riferimento per cercare un particolare prodotto, logo o persona e descrivere ciò che appare sullo schermo. Pegasus 1.5 analizza anche il contenuto visivo, l’audio e il testo sullo schermo e, secondo AWS, non richiede un’indicizzazione preventiva né una pipeline separata per l’acquisizione dei dati.
Video di due ore e obbligo di inferenza tra regioni
Il modello gestisce video lunghi fino a due ore in una singola richiesta, il doppio del limite di un’ora indicato da AWS per Pegasus 1.2. Gli sviluppatori possono fornire un video da Amazon S3, fino a 2 GB, oppure inviare un video inline codificato in base64 fino a 25 MB. Le richieste utilizzano l’API InvokeModel di Bedrock; per ricevere risposte in streaming è disponibile InvokeModelWithResponseStream.
Questa capacità comporta un vincolo di distribuzione: la scheda del modello su Amazon Bedrock indica che Pegasus 1.5 supporta soltanto l’inferenza tra regioni, non l’inferenza on-demand all’interno di una singola regione. I profili disponibili instradano le richieste all’interno degli Stati Uniti o a livello globale, quindi i team devono scegliere un’opzione di instradamento compatibile con i propri requisiti di residenza dei dati. Secondo AWS, i video inviati tramite Bedrock rimangono entro il perimetro dei dati AWS, ma il modello non è limitato a una singola regione AWS.
L’output strutturato richiede comunque una revisione
Pegasus 1.5 offre una modalità generale per l’analisi basata su prompt e una modalità di metadati basata sul tempo per segmenti definiti dall’utente. In quest’ultima, gli sviluppatori specificano le caratteristiche dei segmenti da trovare e i campi da estrarre; il modello restituisce le sezioni corrispondenti in formato JSON. Questo formato può alimentare archivi video, flussi di lavoro per la produzione di highlight o ricerche a livello di scena senza che i team debbano prima creare una fase separata di indicizzazione.
AWS descrive il cambiamento nel lavoro richiesto come un passaggio dalla ricerca e dall’etichettatura manuale di ogni momento alla revisione e al perfezionamento dei metadati generati dal modello. La guida non presenta l’output come un sostituto della revisione umana. Gli addebiti passano attraverso AWS Marketplace e compaiono nella fattura AWS sotto TwelveLabs, anziché sotto Amazon Bedrock; per le tariffe, AWS rimanda i clienti alla propria pagina dei prezzi.
Disponibilità e fatturazione dipendono dalla configurazione AWS
L’annuncio del 9 ottobre ha reso Pegasus 1.5 disponibile tramite profili di inferenza tra regioni per gli Stati Uniti e a livello globale. La documentazione AWS elenca il modello con l’ID twelvelabs.pegasus-1-5-v1:0 e indica agli sviluppatori di usare un profilo di inferenza geografico o globale per le richieste. I team possono iniziare dalla console Bedrock o richiamare il modello tramite codice, purché dispongano dell’accesso e delle autorizzazioni necessari per il proprio account.
Per i team che lavorano con i media, l’offerta concreta è la segmentazione automatica dei video lunghi all’interno di Bedrock, con indicazioni temporali, definizioni personalizzate e immagini di riferimento. Altrettanto concreto è il compromesso: i carichi di lavoro devono usare l’inferenza tra regioni e AWS fattura l’uso del modello tramite Marketplace sotto TwelveLabs.