Goldsmith: ottimizzazione delle definizioni guidata dalla perdita sul set gold con un’infrastruttura agentica per l’annotazione

Abstract degli autori

Molti progetti di annotazione iniziano prima che gli esperti dispongano di linee guida stabili o di un numero sufficiente di esempi etichettati per addestrare un modello specifico per il compito. Presentiamo Goldsmith, una pipeline agentica che trasforma un piccolo set gold---esempi di calibrazione annotati da esperti che rappresentano i confini previsti del compito---in una definizione strutturata e riutilizzabile per l’annotazione. Goldsmith tratta questa definizione come un oggetto testuale addestrabile. Le definizioni candidate vengono applicate agli stessi esempi gold e valutate con una funzione di perdita strutturata eseguibile, mentre lo schema di output, la formattazione, il recupero delle informazioni, la correzione, la valutazione e la revisione umana restano affidati a un’infrastruttura esterna. Un modello linguistico di grandi dimensioni (LLM) usato come editor converte gli errori con la perdita più elevata in revisioni basate su gradienti testuali, che vengono accettate solo quando la perdita misurata diminuisce. Nei confronti sull’ottimizzazione dei prompt, Goldsmith ottiene risultati migliori rispetto alla riscrittura diretta, a OPRO, APE e PromptBreeder, a parità di protocolli di valutazione. La definizione ottenuta migliora anche l’annotazione nelle fasi successive quando è combinata con il recupero delle informazioni, l’instradamento basato sui punteggi e la revisione umana, in compiti relativi a span tipizzati, relazioni a livello di coppia e argomenti di eventi con trigger fissi. Questi risultati mostrano che una supervisione esperta limitata può sostenere sia l’apprendimento della definizione del compito sia l’annotazione su larga scala.