The Pulse
Perplexity pubblica modelli di embedding multimodali da 0,6B e 9B
Perplexity ha pubblicato due modelli di embedding accessibili al pubblico che consentono di cercare tra testi, immagini e pagine PDF renderizzate usando vettori a livello di token. I modelli da 0,6B e 9B condividono uno spazio di embedding,
AI.info Team · Scritto con l’IA ·
Il nuovo modello di embedding di Perplexity da 0,6 miliardi di parametri può interrogare un indice creato dalla sua controparte da 9 miliardi di parametri, consentendo agli sviluppatori di riservare il calcolo più oneroso all’indicizzazione dei documenti e di usare il modello più piccolo per le ricerche in tempo reale. L’azienda ha pubblicato i due modelli, chiamati pplx-embed-v2-late, il 6 ottobre, con supporto per testi e immagini, comprese le pagine PDF renderizzate. Entrambi sono accessibili al pubblico su Hugging Face; Perplexity afferma che il supporto sulla propria piattaforma API arriverà progressivamente.
Due dimensioni, un unico spazio di ricerca
I modelli usano la late interaction: anziché comprimere un documento o una query in un solo vettore, conservano un vettore per ogni token di input. Secondo Perplexity, questi modelli di tipo ColBERT producono embedding dei token a 128 dimensioni e valutano la corrispondenza tra una query e un documento con MaxSim. Per ogni token della query, il sistema trova il token del documento con il punteggio più alto, poi somma queste similarità per ottenere un punteggio di pertinenza.
«Tuttavia, anziché ridurre ogni input a un solo vettore, conservano più vettori e usano una funzione di valutazione più articolata quando confrontano una query con un documento».
Perplexity e gli autori indicati di «Embedding multimodali oltre il singolo vettore»
Conservare più dettagli può aiutare una ricerca ad associare parti distinte di una query a parti diverse di un documento. Comporta però un costo: secondo l’azienda, la ricerca basata sulla late interaction memorizza vettori per i token dei documenti e confronta numerose coppie di token, perciò i costi di archiviazione e di valutazione dei candidati crescono con la lunghezza dei documenti. È quindi un compromesso operativo diverso rispetto alla ricerca densa, che memorizza un solo vettore per documento e usa un unico prodotto scalare per attribuire un punteggio a un candidato.
Cercare in una pagina senza prima estrarne il testo
I modelli supportano la ricerca da testo a testo e da testo a immagine, comprese le ricerche tra pagine PDF renderizzate senza dover prima eseguire l’OCR o analizzare la pagina per ricavarne il testo. Secondo Perplexity, l’estrazione convenzionale può far perdere informazioni come l’impaginazione, la struttura delle tabelle, le figure e le relazioni spaziali, oppure introdurre errori di OCR. Gli stessi modelli supportano anche la ricerca semantica tra immagini naturali.
Secondo Perplexity, il modello più piccolo è progettato per gli impieghi in cui la latenza è un fattore critico e può funzionare su dispositivi edge. Ha in totale 594 milioni di parametri, ma l’azienda afferma che solo circa 240 milioni sono attivi per la codifica del testo e 340 milioni per quella delle immagini; nel conteggio rientra anche una tabella di embedding dei token da 254 milioni di parametri che, secondo Perplexity, ha un effetto limitato sui tempi di esecuzione. Il modello 9B è destinato a un’indicizzazione dei documenti di qualità superiore, mentre lo spazio di embedding condiviso consente al modello 0,6B di gestire le query su quell’indice.
I risultati dichiarati da Perplexity nei benchmark e i loro limiti
Perplexity riferisce che il suo modello 0,6B ha eguagliato modelli con un numero di parametri attivi cinque volte maggiore nel benchmark ViDoRe V3 per la ricerca di documenti visivi. Nei 72 compiti testuali specifici di settore dell’azienda ha ottenuto una media del 78,0%, contro l’81,3% del modello 9B. Si tratta di valutazioni condotte dalla stessa Perplexity; l’azienda afferma di aver escluso dai dati di addestramento i dataset associati ai benchmark.
Per un test di ricerca sul web su larga scala chiamato Q2D-Web, Perplexity riporta punteggi del 74,8% per il modello 9B e del 73,6% per il modello 0,6B, misurati come Recall@1000 sui giudizi di pertinenza combinati. Secondo l’azienda, il benchmark usa circa 70.000 query riformulate da agenti, tratte dal traffico di ricerca in produzione, e un corpus di 190 milioni di documenti web. Perplexity osserva inoltre che i suoi giudizi combinati includono valutazioni, effettuate da modelli linguistici, di documenti che i suoi sistemi in produzione non hanno recuperato: questo serve ad affrontare una potenziale distorsione nei giudizi basati soltanto sui risultati di tali sistemi.
I pesi sono disponibili; l’accesso via API deve ancora arrivare
Secondo Perplexity, i modelli pubblicati su Hugging Face funzionano con sentence-transformers versione 6.0.0 o successiva e transformers versione 5.4.0 o successiva. L’azienda afferma che entrambi i checkpoint sono già disponibili, ma nel suo articolo descrive il supporto API come un rilascio futuro e progressivo, non come una funzionalità già disponibile. Perplexity afferma inoltre di voler pubblicare entro quest’anno un rapporto tecnico con ulteriori dettagli e i risultati completi delle valutazioni.