Gli annotatori basati su LLM possono eguagliare la coerenza degli annotatori umani? Un benchmark della concordanza umana e l’ottimizzazione dei sistemi multiagente mediante conoscenza contrastiva

Abstract degli autori

L’annotazione basata su LLM ha fatto rapidi progressi, ma i benchmark esistenti restano distanti dalla pratica reale. Nella pratica, l’annotazione richiede spesso linee guida lunghe e specifiche per il compito, e annotatori diversi possono formulare giudizi divergenti ma ragionevoli, soprattutto nei casi limite, in cui i dataset con un’unica etichetta non rispecchiano tale disaccordo. Questa lacuna limita anche i sistemi di annotazione esistenti, sia quelli basati su un singolo agente sia quelli basati su workflow, che spesso faticano ad adattarsi a linee guida complesse e in evoluzione. Per colmare questa lacuna, presentiamo ANT-A Benchmark, un benchmark multiannotatore basato su casi reali che comprende 7 dataset di ambiti e modalità diversi, con linee guida specifiche per ciascun compito e 5 etichette umane indipendenti per istanza. ANT-A consente una valutazione che tiene conto delle distribuzioni, usando il kappa di Fleiss per misurare quanto le annotazioni del modello siano allineate alle distribuzioni delle etichette umane. Proponiamo inoltre ANT-OR, un framework di annotazione multiagente che perfeziona i prompt distillando regole decisionali contrastive dai feedback positivi e negativi. Gli esperimenti mostrano che ANT-OR migliora di 4,5 punti l’accuratezza agreement@>=2 rispetto al miglior metodo di riferimento e raggiunge il più alto allineamento con le distribuzioni delle etichette degli annotatori umani, misurato con il kappa di Fleiss, entro 2 punti. Il codice e il benchmark sono disponibili all’indirizzo https://github.com/Krueske/ANT-OR.