The Pulse
Medscape: Clarus supera i migliori punteggi pubblicati dai concorrenti in due benchmark di IA sanitaria
Medscape ha riportato per Clarus punteggi dell’88,6% su NOHARM v2 e dell’85,0% su HealthBench Professional, superiori ai tre migliori punteggi pubblicati dai concorrenti in ciascun benchmark. L’azienda ha anche descritto ClinVal, un sistema
AI.info Team · Scritto con l’IA · verificato ·
Il 4 novembre Medscape ha riportato per il suo modello Clarus punteggi dell’88,6% su NOHARM v2 e dell’85,0% su HealthBench Professional. L’azienda ha dichiarato che i risultati riflettono un approccio che combina le prestazioni del modello con il contesto clinico e informazioni mediche affidabili per gli operatori sanitari. Medscape ha anche condiviso per la prima volta i dettagli di ClinVal, il suo sistema di valutazione proprietario. Il comunicato descrive ClinVal come una metodologia per valutare la qualità delle risposte generate dall’IA e guidare l’ulteriore sviluppo del motore di risposte basato sull’IA di Medscape.
Medscape: Clarus ha superato i tre migliori punteggi pubblicati dai concorrenti
Medscape descrive NOHARM v2 come un benchmark che esamina la frequenza e la gravità degli errori potenzialmente dannosi nelle raccomandazioni mediche generate dall’IA. Afferma che Clarus ha ottenuto un punteggio dell’88,6% nel benchmark, superando i tre migliori punteggi riportati dai concorrenti: 86,2%, 84,5% e 80,0%. Medscape descrive HealthBench Professional come un benchmark che valuta le risposte dell’IA a scenari legati alla salute rispetto a standard di qualità delle risposte definiti da medici. Afferma che Clarus ha ottenuto un punteggio dell’85,0% in quel benchmark, superando i tre migliori punteggi pubblicati dai concorrenti, pari al 69,2%, 65,6% e 65,3%.
Medscape ha descritto NOHARM v2 e HealthBench Professional come benchmark di riferimento per la sicurezza e le prestazioni dell’IA clinica. Secondo il comunicato, i risultati riflettono l’attenzione dell’azienda alla qualità e alla sicurezza dell’IA clinica. Joshua Conrad, PharmD, vicepresidente di gruppo per la strategia editoriale & dei contenuti di Medscape, ha dichiarato: «Questi risultati riflettono i rapidi progressi che stiamo compiendo nello sviluppo dell’IA per la sanità. Siamo concentrati sui test sistematici e sul perfezionamento continuo, con l’obiettivo di offrire un valore concreto agli operatori sanitari nella pratica quotidiana».
Medscape: ClinVal usa 16 criteri per esaminare le risposte
Medscape descrive ClinVal come un sistema sviluppato da clinici per valutare e migliorare sistematicamente le risposte generate dai suoi modelli di IA. Afferma che il sistema valuta le risposte sulla base di un insieme di 16 criteri fondati sulle evidenze, che riguardano dimensioni tra cui sicurezza, accuratezza, pertinenza e tracciabilità. I clinici di Medscape hanno definito i criteri e li hanno perfezionati in collaborazione con i team di ingegneria dell’IA. Il processo di revisione combina valutazioni automatizzate dell’IA con la revisione dei clinici, integrando le competenze cliniche nella valutazione della qualità delle risposte.
Medscape afferma che il sistema sostiene un ciclo continuo di valutazione e miglioramento. I risultati aiutano Medscape a individuare opportunità per migliorare il prodotto e l’azienda rivaluta le risposte dopo le modifiche per valutarne l’impatto. Secondo Medscape, il processo ripetibile le consente di misurare la qualità delle risposte durante tutto lo sviluppo, anziché affidarsi soltanto ai risultati periodici di benchmark esterni. Il comunicato afferma che questo processo è pensato per misurare la qualità durante lo sviluppo continuo della tecnologia di IA di Medscape.
Medscape ha condiviso ClinVal con medici esterni per raccogliere feedback
Medscape ha condiviso ClinVal con medici esterni per raccogliere ulteriori feedback sulla metodologia di valutazione e sulla rilevanza clinica del sistema. Conrad ha dichiarato: «Gli ottimi risultati nei benchmark dimostrano ciò che la nostra IA può raggiungere oggi, ma la qualità dell’IA clinica richiede un impegno costante al miglioramento. Con ClinVal abbiamo stabilito un processo che combina la valutazione basata sull’IA con le competenze cliniche per individuare dove le nostre risposte possono essere migliori, apportare miglioramenti e misurarne i risultati. Questo ciclo continuo è fondamentale per il modo in cui sviluppiamo i modelli di IA di Medscape».