SphereFlow: imputazione delle modalità mancanti tramite trasporto geometrico sull’ipersfera

Abstract degli autori

L’imputazione delle modalità mancanti mira a sintetizzare modalità non osservate a partire da quelle osservate. I metodi esistenti trattano ogni modalità come se appartenesse a una propria varietà latente, costringendo il generatore a imparare un lungo salto non strutturato tra di esse. Presentiamo SphereFlow, che adotta una prospettiva fondamentalmente diversa: proiettando tutte le modalità in uno spazio latente ipersferico condiviso tramite un encoder auto-supervisionato congelato, l’imputazione cross-modale si riduce a un trasporto geometrico a corto raggio tra punti vicini sulla sfera. Realizzare questa idea con il flow matching, tuttavia, mette in luce due conflitti geometrici: la sorgente di rumore gaussiano standard è catastroficamente incompatibile con la varietà dei dati a norma unitaria, e il percorso di interpolazione lineare si allontana dalla superficie della sfera, entrando in una regione per la quale il decoder non riceve alcun segnale di addestramento. Risolviamo entrambi i problemi con semplici modifiche che tengono conto della geometria: sostituiamo la sorgente di rumore con il latente della modalità osservata, così che il campo di velocità impari soltanto lo spostamento cross-modale, e addestriamo il decoder con una funzione di perdita ponderata nel tempo, estendendone il dominio alla regione vicina alla superficie attraversata dal flusso. Dimostriamo che questa formulazione, in cui i dati fungono da sorgente, riduce la deviazione massima fuori dalla varietà da una quantità che cresce con la dimensione latente a un limite contenuto, indipendente dalla dimensione e determinato dalla somiglianza tra le modalità. Gli esperimenti sull’imputazione di risonanze magnetiche multimodali BraTS e sulla traduzione CT-MRI dimostrano una fedeltà di generazione allo stato dell’arte in tutte le configurazioni, mentre la segmentazione a valle dei tumori cerebrali con i nostri dati imputati colma circa l’ottanta per cento del divario rispetto all’oracolo con tutte le modalità. Il codice è disponibile all’indirizzo https://github.com/WTHH031230/SphereFlow.