Una sola temperatura per domarli tutti?

Abstract degli autori

Il campionamento in fase di inferenza è un meccanismo centrale per migliorare i modelli linguistici di grandi dimensioni: la temperatura regola il compromesso tra affidabilità e diversità. Sebbene lavori recenti suggeriscano che variare la temperatura tra i campioni possa migliorare l’inferenza con più campioni, nella pratica gli schemi semplici a temperatura fissa restano lo standard. Analizziamo questa discrepanza nel contesto canonico pass@K, chiedendoci quando la diversità delle temperature sia utile e quando basti una singola temperatura ottimizzata. A tal fine, analizziamo le probabilità di successo per ciascuna domanda in più modelli e dataset, osservando come variano al variare della temperatura di campionamento. Individuiamo diverse proprietà ricorrenti di questi profili, tra cui il fatto che, per le domande più difficili, è meno probabile che una stessa temperatura di campionamento risulti efficiente, sebbene questa tendenza cresca solo in modo logaritmico con la difficoltà. Deriviamo quindi un metodo efficiente per valutare lo schema teoricamente ottimale di allocazione delle temperature multiple e mostriamo che, sebbene tale schema migliori le prestazioni, i suoi vantaggi rispetto agli approcci di riferimento basati su una sola temperatura sono in genere modesti quando la temperatura viene ottimizzata in funzione del budget di campionamento K. Spieghiamo questo fenomeno attraverso meccanismi matematici che chiamiamo «effetti di smorzamento» e mostriamo come rendano robuste le scelte della temperatura rispetto a distribuzioni diverse delle domande. I nostri risultati chiariscono quando il campionamento con temperature multiple sia utile e come si dovrebbero scegliere idealmente le temperature.