I piccoli modelli linguistici imparano a negoziare? Uno studio controllato sulla scalabilità dei venditori addestrati con RL

Abstract degli autori

Gli agenti basati su LLM stanno iniziando a gestire l’intera esperienza del cliente. Presto gli LLM potrebbero vendere e acquistare per conto, rispettivamente, delle aziende e dei clienti. Su larga scala, i modelli piccoli sono più efficienti in termini di costi, ma l’apprendimento per rinforzo può renderli venditori competenti? Addestriamo con GRPO quattro checkpoint di Gemma 4 (da 2,3 a 31 miliardi di parametri effettivi), usando una ricompensa basata sull’utilità calcolata programmaticamente per una negoziazione bilaterale su più aspetti, e valutiamo ciascuno nelle stesse 1.152 negoziazioni contro due acquirenti basati su modelli di frontiera mai incontrati durante l’addestramento. Con lo stesso tasso di apprendimento ($10^{-6}$) per ogni dimensione, il miglioramento del modello addestrato con RL rispetto al corrispondente modello di base passa da $+0.001$ con 2,3 miliardi di parametri a $+0.078$ con 31 miliardi. Abbiamo addestrato una sola volta ciascuna dimensione e i due checkpoint più piccoli usano un’architettura diversa, perciò non stimiamo alcuna legge di scalabilità. Triplicare il tasso di apprendimento, mantenendo lo stesso numero di passaggi di addestramento o riducendolo, migliora i risultati rispetto al tasso comune per ogni dimensione: da $+0.032$ con 2,3 miliardi di parametri a $+0.081$ con 4,5 miliardi. In confronti esplorativi con due modelli di frontiera impiegati come venditori, il venditore da 12 miliardi di parametri addestrato con il tasso triplicato ottiene un punteggio superiore a entrambi, anche se il suo modello di base non addestrato raggiunge già un punteggio pari al loro. Il venditore da 4,5 miliardi di parametri addestrato con quel tasso non mostra differenze rilevabili rispetto a nessuno dei due e può essere eseguito su una sola GPU da 48 GB. Un’ulteriore variante da 2,3 miliardi di parametri, addestrata con un tasso dieci volte superiore a quello comune, aumenta il punteggio aggregato, ma il miglioramento si concentra sull’acquirente usato per la valutazione che appartiene alla stessa famiglia di modelli di quelli usati nell’addestramento. Questi risultati suggeriscono di regolare il tasso di apprendimento prima di concludere che un modello piccolo non possa imparare a negoziare, e di condurre test con acquirenti appartenenti a più di una famiglia di modelli.