The Pulse
Google presenta EmbeddingGemma 2, modello da 740 milioni di parametri per l’IA edge
Google ha lanciato EmbeddingGemma 2, un modello a pesi aperti che rappresenta testi, immagini, video e audio in uno spazio di embedding condiviso per la ricerca e il recupero di contenuti direttamente sul dispositivo. I suoi encoder modular
AI.info Team · Scritto con l’IA ·
Digitando «Katze» nella nuova demo di Google per la ricerca tra i contenuti multimediali, compaiono foto di gatti presenti nella raccolta locale di un telefono; aggiungendo «schläft auf Tastatur» («che dorme sulla tastiera»), i risultati si restringono all’immagine corrispondente. Google ha presentato questo esempio di ricerca durante la digitazione il 6 ottobre, quando ha annunciato EmbeddingGemma 2, un modello da 740 milioni di parametri progettato per cercare tra testi, immagini, video e audio sui dispositivi consumer.
Il modello converte diversi tipi di input in vettori all’interno di uno spazio condiviso a 768 dimensioni, permettendo a una query testuale di trovare un’immagine o un momento in un video senza dover prima trasformare i contenuti multimediali in didascalie o trascrizioni. Google afferma che il rilascio dei pesi aperti è pensato per la ricerca e il recupero di contenuti in locale, riducendo la necessità di concatenare modelli distinti per attività come la generazione di didascalie per le immagini, il riconoscimento vocale e la creazione di embedding testuali.
Un modello, quattro tipi di input
EmbeddingGemma 2 è modulare, anziché essere un unico pacchetto di dimensioni fisse. I suoi componenti per testo e codice contano complessivamente 270 milioni di parametri; gli sviluppatori possono aggiungere un encoder visivo da 170 milioni di parametri, un encoder audio da 300 milioni di parametri o entrambi. La configurazione completa arriva a 740 milioni di parametri, mentre gli encoder inutilizzati possono non essere caricati.
La scheda del modello di Google indica una finestra di contesto di 8.192 token e il supporto per oltre 100 lingue. Riporta inoltre un miglioramento di circa il 14% rispetto a EmbeddingGemma 1 nelle attività legate al codice. Per le applicazioni che conservano grandi indici di ricerca, gli sviluppatori possono ridurre i vettori in output da 768 dimensioni a 512, 256 o 128; le valutazioni di Google mostrano che i vettori più corti riducono lo spazio di archiviazione necessario, a fronte di una certa diminuzione dei punteggi nei benchmark.
La ricerca resta sul dispositivo
AI Edge Gallery di Google aggiunge due dimostrazioni: Instant Media Search trova foto e video locali usando query in linguaggio naturale o immagini di esempio, mentre Video Moments Finder individua momenti visivi nelle registrazioni. Secondo l’annuncio, la galleria crea gli embedding sul telefono e conserva l’indice dei contenuti multimediali in un database SQLite locale. Le demo sono disponibili tramite l’app della galleria per Android e iOS.
Google ha presentato anche AI Edge Foresight per Mac, un assistente sperimentale per le riunioni che elabora audio e file in locale. Secondo l’azienda, può arricchire appunti sintetici con il contesto della riunione e recuperare informazioni da trascrizioni, appunti, immagini e documenti, anche quando il computer è offline.
L’integrazione con Android deve ancora arrivare
Gli sviluppatori possono usare MediaPipe Tasks di Google per creare embedding e recuperare contenuti su più piattaforme, oppure LiteRT per un controllo più diretto sull’esecuzione. Google afferma che Universal Embedder gestisce la preelaborazione delle immagini e restituisce vettori, mentre Semantic Retriever esegue sul dispositivo ricerche approssimate dei vicini più prossimi. Un task MediaPipe Decision può anche confrontare gli input con le etichette per la classificazione o l’instradamento senza fine-tuning.
Nel post di lancio, Google riporta una latenza di 37,3 millisecondi per immagine nella creazione di embedding visivi su una GPU MacBook M5 Pro, misurata con un limite massimo di 70 token visivi per immagine. Il risultato descrive un singolo carico di lavoro su un singolo dispositivo, non una garanzia generale di velocità. Il post afferma che Google porterà il modello su Android tramite ML Kit nelle prossime settimane, con accelerazione tramite unità di elaborazione neurale dove disponibile; questa integrazione non era ancora disponibile al lancio.
Pesi aperti, con compromessi da verificare
Google indica che il modello è distribuito con licenza Apache 2.0 e offre pacchetti LiteRT già quantizzati insieme ai pesi completi. La scheda del modello riporta risultati su benchmark per testo, codice, immagini, video e audio, ma quei dati provengono dalle valutazioni condotte da Google e utilizzano il checkpoint a piena precisione. Gli sviluppatori che scelgono configurazioni più piccole o quantizzate dovranno verificare accuratezza e velocità sull’hardware che intendono usare.
Per ora, la promessa più concreta è il recupero di contenuti in locale: trovare una foto con una frase, individuare un momento in una registrazione o abbinare gli appunti di una riunione a una trascrizione senza affidare quel carico di ricerca a un servizio cloud. Gli sviluppatori di app Android dovranno attendere il rilascio annunciato di ML Kit per ottenere l’integrazione gestita da Google.