Valutare la creatività dei LLM attraverso le prestazioni nella coda lunga

Abstract degli autori

I benchmark per valutare la creatività dei modelli linguistici di grandi dimensioni (LLM) variano notevolmente per compiti e metriche. Ciò solleva una domanda: misurano una stessa nozione di creatività? Proponiamo di definire questo obiettivo comune come la prestazione in un compito specifico nella coda lunga di una distribuzione di riferimento delle coppie input-output, che descrive quanto siano comuni tali coppie rispetto a una fonte di testo scelta. Fondiamo questa proposta sulla formulazione della creatività come prodotto di novità e qualità e la valutiamo empiricamente su 15 benchmark e 26 modelli a pesi aperti, usando l’assenza di n-grammi nei dati di preaddestramento come indicatore indiretto della novità. I risultati mostrano che i benchmark sulla creatività si collocano più in profondità nelle regioni di coda rispetto ai benchmark standard. Inoltre, sia nei benchmark sulla creatività sia in quelli standard, le classifiche dei modelli ottenute dai sottoinsiemi di ciascun benchmark situati più in profondità nella coda concordano maggiormente con i giudizi umani sulla creatività in LM-Arena. Sulla base di questi risultati, introduciamo q@Tail($α$), uno strumento diagnostico meno costoso per valutare la creatività che misura la qualità media delle prestazioni nel compito sulla frazione di coda di un benchmark esistente. Applicandolo a metodi volti a promuovere la creatività, emerge un ampio margine per migliorare la creatività dei LLM attraverso prestazioni più elevate nella coda.