Vai al contenuto
AI.info

The Pulse

Google illustra in un rapporto il design multimodale di EmbeddingGemma 2

Google ha richiamato l’attenzione su un rapporto tecnico dedicato a EmbeddingGemma 2, il suo modello open per rappresentare testo, immagini, audio e video in uno spazio condiviso. Il rapporto descrive l’addestramento e le funzionalità che consentono di risparmiare risorse, mentre la scheda del modello di Google fornisce i risultati dei benchmark.

Google illustra in un rapporto il design multimodale di EmbeddingGemma 2

Google ha indirizzato gli sviluppatori a un rapporto tecnico che illustra come il modello EmbeddingGemma 2 porti testo, immagini, audio e video in uno spazio di rappresentazione condiviso. In un post del 17 novembre, l’azienda ha dichiarato che il rapporto tratta la strategia di addestramento del modello, i metodi di valutazione e i risultati sperimentali.

Il modello open rappresenta tipi di input singoli o loro combinazioni nello stesso spazio, ampliando il precedente modello di embedding di Google basato solo sul testo. Il rapporto è un preprint, pubblicato per la prima volta su arXiv il 27 ottobre e aggiornato il 9 novembre.

Un unico spazio per input diversi

I modelli di embedding trasformano gli input in rappresentazioni numeriche utilizzabili per attività come la ricerca e la classificazione. EmbeddingGemma 2 produce rappresentazioni per testo, compreso il codice, oltre che per immagini, audio e video, in uno spazio vettoriale a 768 dimensioni.

Il modello è progettato per hardware consumer come dispositivi mobili e laptop. Secondo la scheda del modello di Google DeepMind, le sue possibili applicazioni includono ricerca, generazione aumentata dal recupero, classificazione e clustering.

Ha 740 milioni di parametri totali: un modello testuale da 270 milioni di parametri e encoder modulari per visione e audio, rispettivamente da 170 milioni e 300 milioni di parametri. Gli sviluppatori possono caricare selettivamente gli encoder necessari per la propria applicazione.

Il modello ha una finestra di contesto da 8K token, in grado di elaborare minuti di audio o video. Brevi istruzioni testuali possono orientare le sue rappresentazioni verso attività come ricerca, classificazione, clustering o similarità semantica.

Addestramento e rappresentazioni più piccole

I ricercatori descrivono un curriculum di addestramento in più fasi, che procede attraverso diversi tipi di input e obiettivi. Il rapporto tratta inoltre embedding semplificati per ciascun livello ed esperimenti che esaminano decisioni progettuali fondamentali.

Il modello supporta rappresentazioni più brevi attraverso una tecnica chiamata Matryoshka Representation Learning. Oltre alle sue 768 dimensioni native, supporta output troncati a 512, 256 o 128 dimensioni e poi rinormalizzati.

Secondo la scheda del modello, accorciare i vettori può ridurre i requisiti di archiviazione, con un impatto minimo sulla qualità fino a 256 dimensioni; la scheda indica che 128 dimensioni sono più adatte ai carichi di lavoro basati solo sul testo. Il rapporto elenca inoltre, tra le opzioni per gli ambienti con risorse limitate, budget regolabili di token visivi e pesi quantizzati.

Risultati e compromessi

La scheda del modello di Google riporta test su benchmark di testo, codice, immagini, documenti visivi, video e audio, condotti con il checkpoint a precisione piena. Nella versione multilingue del Massive Text Embedding Benchmark, EmbeddingGemma 2 ha ottenuto 61,36 nella metrica media delle attività, contro 61,15 di EmbeddingGemma 1.

Nella versione di quel benchmark dedicata al codice, il nuovo modello ha ottenuto 78,68 nella media dell’NDCG@10 delle attività, contro 68,76 del predecessore. La scheda riporta anche i risultati del nuovo modello sui benchmark di immagini, video e audio, senza riportare i punteggi del predecessore in quelle righe.

I risultati sul troncamento riportati nella scheda mostrano un compromesso tra dimensione della rappresentazione e punteggi dei benchmark. Alla dimensione piena, il modello ha ottenuto 61,36 nel benchmark multilingue sul testo; a 128 dimensioni, ha ottenuto 57,89, con un rapporto di compressione indicato pari a 1:6.

Fonti

  1. Google
  2. arXiv
  3. Google DeepMind on Hugging Face

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli