Aumento della varietà delle formulazioni delle etichette in un encoder per decisioni tipizzate: miglioramenti con parole poco familiari, non con abbreviazioni o codici

Abstract degli autori

I modelli a decisioni tipizzate assegnano un punteggio alle opzioni fornite da chi effettua la richiesta al momento stesso della richiesta, perciò la loro accuratezza dipende da formulazioni delle etichette che lo sviluppatore del modello non controlla. Confrontiamo due versioni di un cross-encoder multilingue da 307 milioni di parametri, Ru-Jev, addestrato su tredici task in lingua russa; la versione successiva aggiunge un’augmentation che presenta le etichette in diverse forme superficiali. Mantenendo fisse le domande e variando soltanto la formulazione di diciotto etichette di instradamento, valutiamo dieci vocabolari di etichette, prodotti con tre processi distinti e verificati per rilevare sovrapposizioni con i dati di addestramento, con cinque candidati per domanda e, per otto di essi, anche con diciotto. Sui vocabolari esclusi dall’addestramento e composti da parole comuni o prese in prestito (gergo di derivazione inglese, slang d’ufficio, nomi di reparti), la versione con augmentation è più accurata in ogni impostazione, con un vantaggio fino a 0,24. Undici di questi quattordici miglioramenti resistono alla correzione di Holm (non accade per lo slang con diciotto candidati e per le frasi descrittive con cinque), e per il gergo su tutte le etichette l’intervallo a livello di etichetta esclude lo zero in entrambe le impostazioni. Sulle abbreviazioni e sui codici opachi non offre vantaggi utili: sulle abbreviazioni non è migliore, e va peggio nella porzione pulita; sui codici opachi, entrambe le versioni restano al livello del caso o al di sotto una volta rimosse le etichette correlate alle opzioni di addestramento. Nella maggior parte dei casi in cui l’accuratezza aumenta, l’area rischio-copertura diminuisce, ma con diciotto candidati aumentano gli errori commessi con elevata sicurezza sul gergo e sullo slang. Su due dataset che nessuna delle due versioni aveva visto, l’accuratezza varia di -8,4 e +5,6 punti. Riportiamo inoltre quattro criticità di valutazione emerse dal confronto tra le due versioni.