InformedXRD: benchmark riproducibili e valutazione guidata dalla fisica per la classificazione della simmetria nella diffrazione di polveri

Abstract degli autori

Si addestrano su larga scala modelli di apprendimento automatico per la classificazione della simmetria mediante diffrazione di polveri (PXRD), ma il settore è privo di uno standard di valutazione condiviso: gli articoli riportano risultati su sottoinsiemi diversi di archivi sperimentali, con tassonomie delle etichette obiettivo, preelaborazioni e metriche differenti, e i modelli pubblicati raramente vengono rilasciati in una forma che ne consenta una nuova valutazione. Presentiamo InformedXRD, un framework di valutazione composto da tre parti: (i) una mappatura leggibile da una macchina di 230 gruppi spaziali in 99 gruppi di estinzione, le classi più granulari che la diffrazione di polveri può identificare basandosi esclusivamente sulle assenze sistematiche; (ii) un metodo per la costruzione di benchmark, le cui regole di inclusione sono specificate come codice e possono essere riprodotte a partire da uno snapshot congelato, realizzato nei benchmark RRUFF-473, RRUFF-325 e, come piccolo esempio, opXRD-98; (iii) un protocollo di reporting che include baseline di frequenza basate solo sulle probabilità a priori, un test di permutazione delle etichette, una metrica di errore che tiene conto della gerarchia sul grafo condensato dei sottogruppi translationengleiche e una valutazione stratificata. Ci basiamo sulla mappatura, sui benchmark RRUFF, sul grafo dei sottogruppi e sui quattro checkpoint ViT rilasciati nel nostro lavoro precedente (Baggett et al., 2026). Usando questi checkpoint, una CNN residuale 1D e sei architetture addestrate secondo la ricetta XRDBench (Cao et al., 2025), mostriamo che il progetto della valutazione cambia le conclusioni che è giustificato trarre: i test appaiati indicano risultati in direzioni diverse per Top-1 e Top-5; i test appaiati Top-k non distinguono i tre modelli XRDBench con le prestazioni migliori, mentre l’analisi che tiene conto della gerarchia descrive la distanza e la direzione dell’errore per tutti e sei; un predittore di frequenza cieco rispetto all’input eguaglia i modelli nei risultati aggregati Top-k, ma un test di permutazione delle etichette rileva comunque evidenze specifiche dei pattern; e l’analisi stratificata porta alla luce un fattore confondente legato all’entropia delle etichette, che l’accuratezza aggregata nasconde. Tutte le tabelle di mappatura, il codice dei benchmark, gli script e i checkpoint vengono rilasciati come infrastruttura condivisa per la valutazione di PXRD-ML.