SkinMind: dotare il RAG agentico di esplorazione dei grafi ispirata all’essere umano per un’IA dermatologica affidabile

Abstract degli autori

Un’IA dermatologica affidabile richiede l’accesso a prove verificabili distribuite tra fonti testuali e visive eterogenee. Tuttavia, la generazione aumentata dal recupero (RAG) convenzionale si basa in genere sul recupero in un’unica passata da corpora piatti, il che ne limita la capacità di adattare il livello di dettaglio del recupero, esplorare relazioni su più passaggi e integrare prove cliniche multimodali. Presentiamo SkinMind, un framework RAG agentico multimodale che dota i modelli di policy di strumenti per esplorare i grafi in modo autonomo, ispirandosi agli esseri umani nella ricerca di prove. SkinMind organizza il recupero come un’interazione iterativa tra un orchestratore e un ambiente a grafo. Attraverso otto strumenti gerarchici di esplorazione dei grafi, l’orchestratore individua progressivamente le entità pertinenti, esamina le informazioni a livello di nodo, attraversa relazioni e percorsi e recupera prove testuali dalle fonti e prove visive. Questa progettazione basata sulla divulgazione progressiva consente al modello di determinare in modo adattivo la modalità di recupero, la direzione dell’esplorazione e il livello di dettaglio delle prove, costruendo al contempo un sottografo di prove specifico per la query. Per consentire l’esplorazione autonoma dei grafi, costruiamo SkinMind-KG a partire da un corpus di 62 milioni di token composto da linee guida e manuali di dermatologia e da 423.000 immagini, sulla base di uno schema elaborato con il contributo di dermatologi e di un meccanismo di risoluzione dei conflitti. Il grafo risultante contiene oltre 1,0 milioni di nodi e 2,0 milioni di archi e riunisce prove testuali, relazionali e visive ai fini del recupero. Nei sei benchmark di domande e risposte visive (VQA) in dermatologia e nelle due configurazioni di modelli di policy, SkinMind migliora il punteggio medio rispetto alle risposte dirette di 8,70 e 8,89 punti, rispettivamente con GPT-5.4-mini e Gemini-2.5-Flash, superando inoltre con costanza i metodi RAG concorrenti. Nel complesso, SkinMind e SkinMind-KG offrono una base efficace per il ragionamento multimodale in dermatologia fondato su prove.