Prompt2Skill: ottimizzazione non supervisionata delle skill a partire da istruzioni in linguaggio naturale

Abstract degli autori

Le skill sono risorse esterne che i modelli linguistici di grandi dimensioni (LLM) utilizzano durante l’inferenza per migliorare le proprie prestazioni in ambiti specialistici, incorporando conoscenze procedurali e di dominio pertinenti. Produrre skill redatte da esperti è costoso e le risorse così ottenute non sono ottimizzate per il modello specifico che le utilizza, i cui tipi di errore possono variare a seconda della versione, della scala e dell’addestramento. Inoltre, i compiti emergenti possono non rientrare nell’ambito delle raccolte di skill esistenti, rendendo necessario sviluppare nuove skill prima che siano disponibili dati di addestramento curati. Studi recenti hanno esplorato l’ottimizzazione automatica delle skill attraverso la riflessione, ma richiedono un insieme curato di dati di addestramento provenienti dalla stessa distribuzione, di cui gli utenti potrebbero non disporre sempre. Per superare questi limiti, presentiamo Prompt2Skill, un sistema che crea skill a partire dalla sola descrizione di un compito in linguaggio naturale. Dal prompt, il sistema ricava una specifica del compito, individua o sintetizza dataset e perfeziona la skill attraverso un ciclo di revisione riflessiva. In quattro ambiti — risposta a domande, comprensione del testo, manipolazione di fogli di calcolo e ragionamento matematico — Prompt2Skill supera sistematicamente la baseline basata sul prompting diretto, ottenendo un miglioramento medio di 10,8 su modelli open source e di frontiera.