Aprire la matrioska: estrarre la struttura ontologica dagli embedding di retrieval

Abstract degli autori

La costruzione di tassonomie è essenziale per l’NLP ad alta intensità di conoscenza, ma resta costosa: i metodi basati sul clustering (i) richiedono un’attenta messa a punto per ciascun corpus e producono gerarchie instabili, mentre le pipeline basate su LLM (ii) dipendono da un costoso addestramento specifico per il compito, che non si trasferisce da un dominio all’altro. Riportiamo un risultato empirico che riguarda entrambi gli approcci: negli embedding ottenuti con Matryoshka Representation Learning (MRL), in cui ciascun prefisso iniziale è di per sé un vettore utilizzabile e più grossolano, la lunghezza del prefisso corrisponde alla granularità, da grossolana a fine, delle tassonomie di riferimento; i controlli con dimensioni mescolate e in ordine inverso isolano questa corrispondenza nelle dimensioni iniziali apprese del prefisso. Il fenomeno si osserva in tre modelli MRL con architetture diverse. Per verificare se questa regolarità sia sfruttabile, presentiamo PEEL (Peeling Embeddings to Extract Latent ontologies): una sonda minimale applicata a questi embedding congelati, addestrata una sola volta con un obiettivo di order embedding che rappresenta la gerarchia come contenimento tra vettori; un’arborescenza ricoprente minima decodifica poi DAG tassonomici. Usando soltanto un vocabolario di concetti (senza documenti), PEEL ricostruisce DAG tassonomici con elevata fedeltà strutturale su due benchmark OLLM e si trasferisce a un nuovo dominio senza supervisione sugli archi target. La pipeline OLLM end-to-end, che individua congiuntamente i concetti e induce la struttura a partire da corpora di documenti, è riportata come riferimento per il confronto tra task. Gli embedding di retrieval preaddestrati codificano un gradiente di granularità decodificabile; una sonda minimale lo rende una struttura esplicita genitore-figlio (is-a).