The Pulse

R4T di Google sfrutta l’apprendimento per rinforzo per velocizzare il recupero dei risultati

Google Research ha illustrato Retrieve-for-Train, un sistema che usa l’apprendimento per rinforzo durante l’addestramento e un modello di diffusione per recuperare più risultati più velocemente. Nei test di Google, il modello di recupero da

AI.info Team · Scritto con l’IA · verificato · 2026-09-15

Google sposta la sfida del recupero dall’inferenza all’addestramento

I modelli linguistici di grandi dimensioni possono scomporre una richiesta ampia in diverse ricerche, ma il metodo comporta un compromesso diretto: generare direzioni di ricerca più utili migliora la copertura, mentre la generazione sequenziale del testo aumenta la latenza. Secondo Google, il nuovo sistema Retrieve-for-Train di Google Research, o R4T, affronta questo conflitto usando l’apprendimento per rinforzo una sola volta durante l’addestramento e affidando poi il recupero a un modello di diffusione più piccolo al momento della query.

Google ha illustrato il framework il 15 settembre 2026, insieme al suo studio, «Efficient, Property-Aligned Fan-Out Retrieval via RL-Compiled Diffusion». Il metodo è rivolto alle ricerche la cui risposta è un insieme anziché un singolo documento: una selezione coerente di attrezzature da campeggio, un gruppo di capi di abbigliamento compatibili o una playlist musicale con diversi temi correlati.

R4T è progettato per prevenire due problemi comuni nella ramificazione delle query. I modelli linguistici generici spesso producono riscritture quasi identiche della stessa richiesta, mentre i modelli addestrati a massimizzare le ricompense per il recupero possono sfruttare il sistema di punteggio con output privi di senso o troppo circoscritti. L’approccio di Google aggiunge ricompense separate per l’aderenza al database, la diversità semantica e l’allineamento con la query originale.

R4T usa l’apprendimento per rinforzo per convertire gli obiettivi

Il framework separa la fase di scoperta dalla messa in funzione in tre passaggi. Prima, un modello linguistico di ramificazione genera più sottoquery e riceve una ricompensa a livello di insieme, basata sui risultati recuperati da quelle query. Poi, il modello addestrato produce esempi sintetici che associano query e risultati bersaglio. Infine, Google addestra un modello di recupero a diffusione per mappare direttamente l’embedding di una query su una raccolta di embedding bersaglio.

Questa struttura evita di inserire la policy di apprendimento per rinforzo nel percorso critico di ogni richiesta degli utenti. Lo studio descrive due varianti per la messa in funzione: R4T-FOLM, che esegue direttamente il modello linguistico di ramificazione addestrato con le ricompense, e R4T-Diffusion, che ne distilla il comportamento in un modello non autoregressivo che campiona le direzioni di ricerca nello spazio degli embedding.

R4T-Diffusion non genera sottoquery sotto forma di testo ordinario prima della ricerca. Produce diversi embedding in parallelo e li associa agli elementi del database tramite il recupero dei vicini più prossimi. Il blog di Google descrive il modello di diffusione messo in funzione come dotato di 53,9 milioni di parametri, mentre lo studio afferma che ciascun metodo genera 10 direzioni di ricerca negli esperimenti riportati.

Una latenza da 12 a 20 volte inferiore nei test di Google

Il test di efficienza di Google confronta il modello di recupero a diffusione con la ramificazione tramite modello linguistico autoregressivo, aumentando progressivamente le dimensioni dei batch. Con un batch di otto elementi, il sistema autoregressivo impiega circa 1,46 secondi, contro 0,07 secondi per il modello di diffusione. Con un batch di 1024 elementi, i tempi misurati raggiungono quasi 50 secondi per il sistema autoregressivo e 4,21 secondi per il modello di diffusione.

Lo studio rileva in questi test un’accelerazione costante da 12 a 20 volte. Google attribuisce la differenza alla generazione parallela: il modello di diffusione crea l’intero insieme di direzioni di ricerca in un unico passaggio in avanti, mentre i sistemi basati su modelli linguistici generano le sottoquery in sequenza e richiamano ripetutamente il recupero.

La riduzione della latenza non è senza costi. Il sistema a diffusione dipende da una pipeline di addestramento che prima apprende quali caratteristiche debba avere un insieme di risultati di alta qualità. Le sue prestazioni dipendono anche dal modello di embedding e dal database usati per definire lo spazio di ricerca: i numeri riportati descrivono quindi una configurazione addestrata e specifica per un dominio, non un sostituto universale della ricerca generica sul web.

I test su moda e musica mostrano il compromesso sulla qualità

Google valuta R4T in due modalità di recupero. Open-Ended Abstract Retrieval misura diversità, allineamento e aderenza quando non esiste un unico insieme corretto di risultati. Weakly Supervised Compositional Retrieval usa un insieme di riferimento come una possibile interpretazione di una query, verificando quanto bene il sistema copra gli elementi correlati senza considerare esaustivo quel riferimento.

Gli esperimenti utilizzano Polyvore, un benchmark di moda che contiene outfit selezionati dagli utenti, e un dataset musicale proprietario costruito a partire da playlist create da esperti. Polyvore comprende insiemi di candidati composti da 21.888 collezioni per il compito di recupero astratto e da 142.472 elementi per il compito composizionale. L’esperimento musicale usa gli embedding di 8522 playlist.

I risultati mostrano una chiara differenza tra le due varianti di R4T. Nel compito composizionale di Polyvore, R4T-FOLM con Qwen3-4B registra un Recall@5K di 20,9 e un Hit@5K di 64,6, mentre R4T-Diffusion, con lo stesso modello di base, registra rispettivamente 16,5 e 57,5. La versione a diffusione ottiene però un punteggio di diversità Vendi più alto, pari a 34,7 contro 27,5 per R4T-FOLM, a indicare che i suoi insiemi di risultati coprono una gamma più ampia di interpretazioni.

Google presenta questa differenza come un compromesso pratico, non come un difetto. Un modello linguistico può ottimizzare più direttamente la sovrapposizione con un insieme di riferimento debole, mentre la diffusione conserva una maggiore varietà nel campionare diverse possibili direzioni di ricerca. Poiché gli insiemi di riferimento rappresentano una risposta plausibile anziché tutte le risposte valide, una minore sovrapposizione non significa automaticamente un recupero peggiore.

La funzione di ricompensa è anche il rischio

La tesi tecnica più importante di R4T è che l’apprendimento per rinforzo può creare una supervisione utile quando scarseggiano dati accuratamente etichettati a livello di insieme. Il sistema non assegna un punteggio a ogni risultato indipendentemente dagli altri: valuta la raccolta nel suo complesso, consentendo all’obiettivo di addestramento di includere proprietà come la complementarità e l’ampiezza semantica.

Anche i risultati degli studi di ablazione di Google mostrano perché queste ricompense debbano essere combinate. Quando si elimina la diversità, il modello di ramificazione può generare stringhe malformate che per caso raggiungono posizioni favorevoli nello spazio degli embedding. L’allineamento riduce questo tipo di errore, ma può favorire parafrasi ripetitive. Il Vendi Score funge da contrappeso, premiando una copertura più ampia nell’insieme generato.

Questa dipendenza dalla progettazione delle ricompense limita la possibilità di generalizzare i risultati. Lo studio avverte che ricompense scelte male possono riprodurre o amplificare le distorsioni presenti nei dati sottostanti, soprattutto se il metodo viene applicato alle raccomandazioni, alla scoperta di contenuti o ad altri contesti in cui la raccolta recuperata influenza le scelte delle persone.

L’obiettivo immediato di R4T è il recupero specializzato

Google propone Retrieve-for-Train per sistemi di raccomandazione, ricerca creativa e accesso esplorativo a raccolte specializzate, piuttosto che come sostituto di ogni architettura di ricerca. Il framework è più utile quando un sistema deve restituire una selezione coerente di risultati, il database ha uno spazio degli embedding fisso e gli esempi etichettati da esseri umani per il comportamento desiderato a livello di insieme sono costosi da produrre.

La decisione ingegneristica centrale è semplice: eseguire i calcoli costosi prima della messa in funzione, usare l’apprendimento per rinforzo per individuare un comportamento allineato alle ricompense e comprimere quel comportamento in un modello più piccolo, capace di rispondere in parallelo. Nel benchmark riportato da Google, questo approccio ha prodotto un modello di recupero da 53,9 milioni di parametri che ha ridotto il tempo necessario per un batch di ramificazione da 1024 elementi da quasi 50 secondi a 4,21 secondi.