Dal retrieval alle decisioni tipizzate: modelli System One calibrati a partire da encoder di frasi biomediche

Abstract degli autori

I modelli decisionali tipizzati rispondono in un solo passaggio a domande su un testo vincolate da uno schema e restituiscono probabilità a cui applicare una soglia. Ci chiediamo se gli encoder di frasi biomediche addestrati per il retrieval siano buoni punti di partenza per questi modelli. Presentiamo SBERT2S1, che trasforma gli encoder Sentence-Transformers in modelli decisionali bi-encoder, cross-head (C) e prior-fused residual (PFR), insieme a BIODECIDE, una suite biomedica per le decisioni tipizzate, e a MEDLINE-S1, 243k decisioni per l’addestramento derivate dall’indicizzazione della NLM. Su sei coppie di modelli di partenza e retriever, l’addestramento per il retrieval migliora la corrispondenza zero-shot delle opzioni dal contenuto informativo. Dopo il fine-tuning, il suo effetto dipende dalla testa: su cinque coppie e tre dimensioni del set di addestramento, l’addestramento per il retrieval migliora significativamente PFR, che conserva il prior del retrieval, in 10 confronti su 15, ma migliora C in uno e lo peggiora in cinque. Un confronto a parità di condizioni tra due teste e cinque obiettivi di addestramento mostra che C supera PFR con ogni obiettivo e che la procedura RLCD resa pubblica per i modelli System One aperti ottiene risultati inferiori di 2,5-3,0 punti rispetto all’entropia incrociata. Il divario deriva soprattutto dalla normalizzazione della ricompensa, che amplifica da 3,6 a 15 volte il termine rumoroso della funzione di punteggio; uno stimatore leave-one-out non distorto recupera gran parte del divario. Dopo il temperature scaling, nessun obiettivo risulta chiaramente meglio calibrato dell’entropia incrociata. Rendiamo disponibili il codice, le etichette di MEDLINE-S1 e un modello.