The Pulse
NVIDIA presenta Cosmos3-H-Dreams per simulare interventi con robot chirurgici
NVIDIA ha presentato Cosmos3-H-Dreams, un simulatore generativo addestrato su registrazioni cliniche di colecistectomie effettuate con la piattaforma Versius di CMR Surgical. Il sistema genera scene chirurgiche in risposta alle azioni del r
AI.info Team · Scritto con l’IA · verificato ·
Ventotto controlli determinano ogni scena chirurgica
Il nuovo simulatore chirurgico di NVIDIA utilizza 28 dimensioni degli input del robot per generare una visualizzazione dell’intervento che cambia nel tempo. Presentato il 20 ottobre con il nome Cosmos3-H-Dreams, il sistema è addestrato su video di colecistectomie cliniche e sui movimenti del robot registrati con la piattaforma Versius di CMR Surgical. NVIDIA afferma che funziona in modalità interattiva su una singola GPU RTX PRO 6000 e che le azioni degli strumenti determinano il video generato. L’annuncio di NVIDIA del 20 ottobre
Le 28 dimensioni delle azioni comprendono informazioni sulla posa e sulle pinze di entrambe le braccia, oltre ai controlli dell’energia e agli input degli stick analogici. I filmati usati per l’addestramento hanno una risoluzione di 832 per 480 pixel, con le azioni del robot allineate a una frequenza di 10 Hz; NVIDIA distingue questa frequenza di registrazione dalla velocità con cui il simulatore genera i video durante l’esecuzione. I filmati selezionati si concentrano su due strumenti: una pinza Cadiere a sinistra e un uncino monopolare a destra. I dettagli di NVIDIA sul modello e sull’addestramento
Dalle suture su banco agli interventi clinici
Questa versione amplia un precedente simulatore Cosmos-H-Dreams, che generava scene interattive per esercitazioni di sutura su banco. Quel modello apprendeva la dinamica visiva da video e dati cinematici del robot sincronizzati, anziché modellare esplicitamente la deformazione dei tessuti, la geometria e le interazioni fisiche. La nuova versione passa alla colecistectomia, in cui il movimento degli strumenti può tendere i tessuti, nascondere le strutture anatomiche o modificare i riflessi e la visibilità. La descrizione di NVIDIA del modello precedente e della nuova versione
Cosmos3-H-Dreams si basa su Cosmos3-H-Embodied-Nano, un modello da 16 miliardi di parametri preaddestrato su Open-H-Embodiment, e specializza poi un modello docente usando video chirurgici e dati cinematici selezionati. NVIDIA descrive il risultato come un simulatore generativo in tempo reale, addestrato su registrazioni cliniche di asportazioni della cistifellea, che supporta il controllo cinematico in tempo reale. L’affermazione che sia il «primo» è di NVIDIA stessa: l’azienda la circoscrive con «per quanto ne sappiamo». La presentazione e la descrizione del modello da parte di NVIDIA
Due versioni del modello bilanciano qualità visiva e velocità
NVIDIA ha rilasciato modelli studente che impiegano quattro o due passaggi di rimozione del rumore per ogni blocco di video generato. La versione a due passaggi è addestrata separatamente: non è il modello a quattro passaggi eseguito con meno passaggi. Secondo NVIDIA, ridurre i passaggi accelera l’inferenza ma peggiora la qualità visiva, lasciando agli sviluppatori la scelta tra questi compromessi. Nell’annuncio l’azienda non fornisce una cifra precisa per la frequenza dei fotogrammi durante l’esecuzione. I dettagli di NVIDIA sulle versioni del modello e sull’inferenza
Il processo di addestramento estende dapprima l’orizzonte di previsione del modello docente da 24 a 72 fotogrammi futuri, pari a 7,2 secondi alla frequenza di 10 Hz delle azioni. La distillazione addestra poi un modello causale a produrre video in brevi blocchi man mano che arrivano nuove azioni. NVIDIA afferma inoltre di usare FlashDreams per l’inferenza in streaming e un modulo FadeMem adattato per gestire la cronologia dell’attenzione del modello durante le sessioni più lunghe. La descrizione di NVIDIA dell’addestramento e dell’esecuzione
Il realismo dei video richiede comunque una validazione chirurgica
Le scene generate sono concepite per rispondere a diversi movimenti degli strumenti, comprese traiettorie assenti dagli esempi usati per l’addestramento. Ma la sola plausibilità visiva non basta a dimostrare che il simulatore riproduca correttamente la meccanica dei tessuti o l’anatomia. Gli autori di NVIDIA scrivono: «Il realismo visivo è quindi un punto di partenza per la validazione, non una prova di accuratezza biomeccanica». Lukas Zbinden, Javier Gamazo, Nigel Nelson, Mostafa Toloui e Sean Huver, NVIDIA
NVIDIA definisce Cosmos3-H-Dreams un simulatore per la ricerca, non un sistema validato per la cura dei pazienti. Tra i prossimi passi indicati figurano la valutazione, insieme ai chirurghi, dell’anatomia, del comportamento degli strumenti e della risposta dei tessuti, l’estensione oltre i due strumenti controllati e la copertura di una parte maggiore dell’intervento. Resta da capire se queste valutazioni potranno dimostrare che le scene generate rimangono affidabili quando i movimenti simulati diventano più complessi. I limiti e le direzioni di ricerca previste da NVIDIA