The Pulse
Il difensore civico australiano giudica iniquo l’algoritmo per l’assistenza agli anziani
Il difensore civico del Commonwealth australiano afferma che lo strumento automatizzato usato per valutare l’accesso all’assistenza agli anziani, i finanziamenti e le priorità è privo di garanzie adeguate e mina la fiducia nell’equità delle
AI.info Team · Scritto con l’IA · verificato ·
«A mio avviso, una persona ragionevole non avrebbe fiducia nel fatto che il sistema sia davvero equo e coerente».
Iain Anderson, difensore civico del Commonwealth
Una decisione che una persona non può modificare
In un rapporto pubblicato il 26 ottobre, il difensore civico del Commonwealth Iain Anderson ha concluso che il Department of Health, Disability and Ageing ha agito in modo irragionevole nella gestione del Single Assessment System australiano, compreso lo strumento automatizzato usato nelle valutazioni per l’assistenza domiciliare. Il rapporto raccomanda al governo di modificare la legge affinché i delegati alla valutazione possano sostituire un risultato automatizzato nelle circostanze appropriate. In base alle norme attuali, le decisioni automatizzate del sistema non possono essere modificate da una persona, neppure quando sono ritenute clinicamente inappropriate.
L’Integrated Assessment Tool usa le risposte e le osservazioni raccolte da un valutatore per produrre decisioni sull’idoneità, sul livello di finanziamento continuativo di una persona e, per Support at Home, sulla sua categoria di priorità. I valutatori usano poi quei risultati per orientare le raccomandazioni sui servizi. Secondo Anderson, questo crea una contraddizione nel processo: il giudizio umano determina le informazioni inserite, ma una persona non può modificare la decisione che ne deriva.
Il rapporto descrive un reclamo riguardante una persona affetta da una malattia neurologica incurabile e rapidamente progressiva. Alla persona era stato approvato il secondo livello più alto di assistenza domiciliare, ma le era stato assegnato un tempo d’attesa standard di 10-11 mesi; secondo il reclamo, il processo algoritmico impediva di aumentare il livello di priorità, nonostante il dipartimento riconoscesse che l’esito era inappropriato in quelle circostanze.
Critiche ai test e alla supervisione del dipartimento
Anderson ha concluso che il dipartimento ha introdotto lo strumento nella sua forma attuale senza un’adeguata valutazione dei rischi, né valutazioni o analisi significative. Secondo il rapporto, le spiegazioni pubbliche non avevano mostrato in modo significativo come l’algoritmo trasformasse i dati inseriti durante la valutazione in risultati, e il dipartimento non aveva seguito le raccomandazioni sulla trasparenza formulate dalla Commissione reale sul Robodebt Scheme.
Il dipartimento ha contestato la critica secondo cui non avrebbe testato o convalidato il sistema. Come riportato da ABC News, erano stati condotti test su un algoritmo precedente sviluppato da una società di consulenza; in seguito il dipartimento ha modificato la versione ora in uso, che non è stata convalidata da soggetti esterni. Anderson ha criticato anche la supervisione dei fornitori incaricati delle valutazioni, citando lacune nei controlli sulla formazione e sulle qualifiche dei valutatori, uno scarso uso dei reclami per individuare problemi sistemici e prestazioni dei fornitori insufficienti in ambiti importanti.
Il difensore civico non ha valutato se i risultati prodotti dall’algoritmo fossero clinicamente appropriati e ha affermato che l’indagine non ha stabilito che produca risultati clinicamente inappropriati. Il rapporto afferma invece che le sue conclusioni sollevano seri interrogativi sull’affidabilità e sull’adeguatezza dello strumento e giustificano una revisione clinica indipendente. La distinzione è importante: il rapporto condanna la progettazione, la trasparenza e la gestione del sistema senza sostenere di aver convalidato in modo indipendente ogni decisione sui finanziamenti.
Accettate sei raccomandazioni; della possibilità di modificare le decisioni automatizzate si è solo preso atto
Anderson ha formulato 10 raccomandazioni, tra cui una via legale per consentire a una persona di sostituire la decisione automatizzata, una revisione della legge e delle norme, spiegazioni pubbliche più chiare, controlli più rigorosi sui fornitori incaricati delle valutazioni e un sistema migliore per la gestione dei reclami. ABC News ha riferito che il governo ha accettato sei raccomandazioni, prendendo invece atto di due, tra cui la proposta di consentire a una persona di modificare le decisioni automatizzate e le relative modifiche alle norme sull’assistenza agli anziani. Il dipartimento ha accettato una revisione del quadro giuridico e una consultazione pubblica sulle future modifiche.
Il rapporto documenta anche misure già adottate: il 16 ottobre il governo ha annunciato una procedura di riesame accelerata per alcune decisioni di valutazione e il 6 ottobre il dipartimento ha pubblicato informazioni sull’algoritmo di classificazione e sulle sue regole operative. Anderson ha accolto con favore queste iniziative, ma ha detto che è troppo presto per sapere se il materiale pubblicato consenta a soggetti indipendenti di riprodurre i risultati delle valutazioni.
Il 27 ottobre MND Australia ha chiesto al governo di sospendere l’uso dello strumento per determinare i finanziamenti di Support at Home, sostenendo che le persone affette da malattia del motoneurone non possono attendere ulteriori revisioni. Si tratta della richiesta di un’associazione, non di una decisione del governo. La soluzione principale indicata dal rapporto resta una modifica legislativa: finché la legge non cambierà, i delegati alla valutazione non potranno sostituire il proprio giudizio a un risultato automatizzato.