Ricerca
EmbeddingGemma 2: rappresentazioni multimodali unificate ed efficienti
Presentiamo EmbeddingGemma 2, un modello aperto per embedding multimodali che rappresenta nativamente testo, immagini, audio, video e loro combinazioni in uno spazio unificato. Il nostro approccio int
- arXiv
- 2610.37364
- Pubblicato
- 2026-10-27
- Autori
- Henrique Schechter Vera, Sahil Dua, Jovan Andonov, Sara Smoot, Sebastian Russo, Ivan Llanos, Max Matveev, Jae Hyeon Yoo, Kat Black, Shih-Cheng Huang, Josiah Aklilu, Maarten Grootendorst, Omar Sanseviero, Chandramouli Amarnath, Ian Ballantyne, Zhe Li, Daniel Salz, Ibrahim Alabdulmohsin, Ilya Philippov, Kristen Quan, Glenn Cameron, Edouard Yvinec, Luciano Martins, Doug Reid, Sindhu Raghuram Panyam, Weiyi Wang, Hengxuan Ying, Madhuri Shanbhogue, Tanmaya Dabral, Shanfeng Zhang, Juyeong Ji, Renjie Wu, Joe Zou, Xu Chen, Yunan Zhang, Yu-Hui Chen, Matthew Soulanille, Vinod Mamillapalli, Yi-Chun Kuo, Wai Hon Law, Matt Kreileder, Alice Zheng, Suril Shah, Mogan Shieh, Pooja Consul, Alberto Montes, Andreas Hess, Andres Sevilla, Babak Samari, Brendan McCloskey, Brian Potetz, Daniel Cer, Georgios Kathareios, Gustavo Hernández Ábrego, Hesen Zhang, Ji Ma, Jiaxing Wu, Keegan Mosley, Paul Suganthan, Rui Meng, Shen Gao, Shengcao Cao, Yi-Ting Chen, Yichang Chen, Zhongli Ding, Kendra Byrne, Cormac Brick, Olivier Lacombe, Qin Yin, Tris Warkentin, Armand Joulin, Tom Duerig, Mojtaba Seyedhosseini
Abstract degli autori
Presentiamo EmbeddingGemma 2, un modello aperto per embedding multimodali che rappresenta nativamente testo, immagini, audio, video e loro combinazioni in uno spazio unificato. Il nostro approccio introduce miglioramenti come embedding per livello semplificati e un curriculum in più fasi, con una progressione delle modalità e degli obiettivi, che garantiscono risultati di alta qualità nelle valutazioni unimodali, intermodali e a modalità miste. In particolare, nei benchmark completi sugli embedding in tutte le modalità, EmbeddingGemma 2 stabilisce una nuova frontiera di Pareto, superando sia i modelli specializzati sia quelli da due a dodici volte più grandi. Inoltre, la nostra architettura offre flessibilità negli ambienti con risorse limitate: supporta il caricamento selettivo degli encoder delle diverse modalità, budget regolabili di token per la visione, dimensioni degli embedding riducibili tramite troncamento e pesi quantizzati. Presentiamo studi di ablazione che analizzano le scelte principali e rendiamo disponibile EmbeddingGemma 2 per promuovere ulteriori ricerche.
Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.
Leggi il paper originale su arXiv