The Pulse

Google aggiunge la comprensione agentica dei video a Gemini

Google DeepMind ha aggiunto la comprensione agentica dei video a Gemini 3.7 Flash, 3.6 Flash e 3.5 Flash-Lite. La funzione consente a Gemini di effettuare ricerche dinamiche nei video, riducendo l’uso di token fino all’88% e i costi di anal

AI.info Team · Scritto con l’IA · verificato · 2026-09-12

La nuova funzione agentica per i video di Google riduce il consumo di token fino all’88%, abbassa i costi di analisi fino al 66% e migliora l’accuratezza fino al 7%, afferma l’azienda. La funzionalità, annunciata il 1° settembre, consente a Gemini di effettuare ricerche nei video invece di elaborarne ogni momento a una frequenza di campionamento fissa.

La comprensione agentica dei video è disponibile tramite la Gemini API in Google AI Studio e Gemini Enterprise Agent Platform. Google la sta introducendo su Gemini 3.7 Flash, Gemini 3.6 Flash e Gemini 3.5 Flash-Lite, senza costi aggiuntivi per la funzione oltre alle tariffe standard per i token della Gemini API. Il sistema funziona con i video caricati e con quelli pubblici di YouTube, secondo l’annuncio di Google DeepMind.

L’88% di token in meno per i video lunghi

L’elaborazione video standard di Gemini estrae i fotogrammi a una frequenza fissa, con un valore predefinito di 1 fotogramma al secondo. Gli sviluppatori possono modificare questa frequenza, ma una strategia di campionamento fisso impone un compromesso: elaborare più fotogrammi aumenta i costi e l’uso di token, mentre elaborarne meno può far sfuggire movimenti rapidi, brevi cambi di scena o piccoli dettagli visivi.

L’elaborazione agentica cambia la sequenza. Gemini può decidere quali parti di un video meritano un esame più attento, per poi richiedere fotogrammi, audio o trascrizioni di quelle sezioni. L’approccio è particolarmente utile per video che vanno da tutorial di 10 minuti a lezioni di 90 minuti e registrazioni della durata di diverse ore, afferma Google.

«La comprensione agentica dei video consente a Gemini di assumere un ruolo attivo e orientato all’obiettivo nel determinare che cosa guardare, a quale velocità e attraverso quale modalità (fotogrammi, audio o trascrizione), recuperando solo i momenti e i segnali necessari», scrivono nell’annuncio Rohan Doshi, senior product manager di Google DeepMind, e Mario Lučić, direttore della ricerca di Google DeepMind.

Gemini sceglie dove guardare

Il sistema opera attraverso un ciclo agentico. L’utente fornisce un video e una domanda; Gemini identifica gli elementi di cui ha bisogno, carica la parte pertinente del video e può esaminarla a una diversa frequenza di fotogrammi o attraverso un’altra modalità. Il modello può combinare fotogrammi con audio e trascrizioni, invece di trattare l’intero file come un unico flusso campionato in modo uniforme.

Secondo Google, questo processo consente di svolgere diversi compiti che l’analisi a frequenza fissa riesce a gestire con minore precisione. Gemini può individuare un momento con una risoluzione inferiore al secondo, identificare anomalie campionando nuovamente un breve intervallo di tempo, contare movimenti o oggetti ripetuti e cercare un evento specifico in lunghe registrazioni senza caricare l’intero video nel contesto.

I risultati dei benchmark dichiarati dall’azienda riguardano tutti e tre i modelli per cui è stata annunciata la funzione. Gemini 3.7 Flash offre la migliore qualità complessiva e il miglior equilibrio tra accuratezza e costi tra quelli testati. Google non presenta i dati come una garanzia universale: i risultati dipendono dal video, dal prompt e dalle scelte di navigazione del modello.

La funzione arriva su tre modelli Flash

Gli sviluppatori possono attivare la funzionalità impostando l’elaborazione video su "agentic" nella configurazione dell’API. La documentazione per sviluppatori di Google mostra lo stesso approccio per i file più lunghi caricati tramite la Files API, oltre che per gli URL di YouTube e altri input video supportati.

La documentazione della Gemini API descrive la modalità agentica come adatta a domande articolate e ricerche di momenti specifici. L’elaborazione statica può ancora essere preferibile per clip brevi, quando uno sviluppatore ha bisogno di coprire l’intero file fotogramma per fotogramma o vuole ridurre al minimo il passaggio di navigazione aggiuntivo prima dell’inizio della generazione.

Per le conversazioni con più turni, l’API conserva il contesto video attraverso lo stato dell’interazione o i passaggi di elaborazione restituiti. Gli sviluppatori devono mantenere questi passaggi nelle successive richieste senza stato, spiega la documentazione di Google; ometterli può far perdere il contesto a Gemini e indurlo a rielaborare il video.

Dalle chiamate API alle risposte su YouTube

Google presenta la funzione come un’infrastruttura per le applicazioni che devono ragionare sui video anziché limitarsi a riassumerli. I possibili utilizzi includono la ricerca nelle riunioni registrate, l’analisi di filmati didattici, l’esame di sequenze sportive, il rilevamento di attività insolite e la creazione di agenti basati sui video che rispondono a domande su momenti specifici.

La versione iniziale è destinata agli sviluppatori tramite Google AI Studio e Gemini Enterprise Agent Platform. Google prevede inoltre di portare i miglioramenti in termini di efficienza e qualità agli utenti dell’app Gemini sui modelli Flash e Flash-Lite.

Nei prossimi mesi, la comprensione agentica dei video supporterà anche la funzione «Ask YouTube» di YouTube nelle pagine di visualizzazione dei video. Con questa introduzione, la tecnologia passerebbe da un ambiente API a un sistema di domande e risposte rivolto ai consumatori e basato sul contenuto visivo dei video.

Il compromesso che Google lascia agli sviluppatori

L’elaborazione agentica non elimina la necessità di scegliere una modalità. L’esame dinamico può ridurre la quantità di video letta da Gemini, ma introduce un passaggio aggiuntivo di ragionamento e uso degli strumenti prima della risposta finale. Per le clip brevi o i compiti che richiedono di esaminare ogni fotogramma, la stessa documentazione di Google continua a descrivere l’elaborazione statica come la scelta più adatta.

Il cambiamento immediato è più circoscritto e pratico: Gemini non deve più trattare un lungo video come un flusso fisso di fotogrammi tutti ugualmente importanti. Gli sviluppatori possono chiedere una risposta e il modello può decidere quali secondi, segnali e frequenze di campionamento siano rilevanti prima di produrla.