Vai al contenuto
AI.info

The Pulse

Vals AI entra nel NIST AI Consortium ampliato

Vals AI partecipa al NIST AI Consortium, nuovamente convocato, che si concentra sulla misurazione, l’innovazione e l’adozione dell’IA. L’azienda fornisce già benchmark e dati associati per le valutazioni dei modelli di IA del NIST.

Vals AI entra nel NIST AI Consortium ampliato

Vals AI partecipa al NIST AI Consortium, nuovamente convocato, entrando in una partnership federale di ricerca incentrata sulla misurazione dell’intelligenza artificiale. In un post del 12 novembre, l’azienda ha dichiarato che lavorerà con il National Institute of Standards and Technology e con gli altri membri alle valutazioni. Anche l’elenco dei membri pubblicato dall’agenzia include Vals.

A maggio il NIST ha ampliato l’ambito del consorzio e lo ha ribattezzato, cambiandone il nome da AI Safety Institute Consortium. Il consorzio riorganizzato si concentrerà sulla misurazione, l’innovazione e l’adozione dell’IA attraverso sei gruppi di lavoro.

Un’agenda di misurazione più ampia

Il NIST aveva annunciato la creazione del precedente consorzio nel 2023, riunendo oltre 280 organizzazioni per sviluppare linee guida e standard per la misurazione dell’IA. Le attività ampliate comprendono la costruzione di un ecosistema di valutazione, gli investimenti nella scienza che si avvale dell’IA e la promozione di tecnologie e sistemi di IA sviluppati negli Stati Uniti.

Un gruppo di lavoro dovrà sviluppare strumenti per determinare se un sistema di IA soddisfa i requisiti di progettazione ed è adatto all’uso previsto. Il gruppo AI Evaluation and Measurement Methods dovrà individuare e classificare per priorità le lacune e le questioni aperte nella scienza della valutazione, avvalendosi dei contributi di diversi settori e tipi di organizzazione.

Un altro gruppo sosterrà un insieme di strumenti per valutare i rischi e gli impatti dell’IA, destinato a essere usato con il programma ARIA del NIST. Il gruppo AI Documentation Cards dovrà sviluppare modelli per documentare dataset, modelli, sistemi e test.

Un gruppo dedicato ai limiti dell’IA generativa lavorerà con IARPA per esplorare approcci alla disinformazione, alla fuga di informazioni sensibili, al ragionamento inaccurato e alla vulnerabilità agli attacchi. Il NIST sta inoltre riavviando un gruppo di lavoro sulla sicurezza chimica e biologica per condividere conoscenze sugli approcci di misurazione e valutazione pertinenti.

Il lavoro di Vals con il NIST

L’azienda fornisce già al NIST benchmark e dati associati per la valutazione dei sistemi di IA. Questi materiali sono destinati al Center for AI Standards and Innovation dell’agenzia per le valutazioni dei modelli di IA prima e dopo la loro messa in uso.

Secondo l’annuncio, l’azienda lavora con esperti di settore per costruire benchmark basati su compiti del mondo reale. Svolge inoltre ricerche sulla sicurezza informatica, la sicurezza dei minori e gli impatti ambientali ed economici dell’IA.

Secondo l’annuncio, il NIST non valuta prodotti commerciali attraverso il consorzio e non avalla i prodotti o i servizi utilizzati al suo interno.

La partecipazione al consorzio

Il cofondatore e CEO Rayan Krishnan ha dichiarato che Vals non vedeva l’ora di lavorare con l’agenzia e gli altri membri a valutazioni riproducibili che riflettano l’uso dell’IA nel mondo reale. Glenn Parham, responsabile del settore pubblico dell’azienda, ha affermato che le valutazioni indipendenti offrono ai decisori politici una base per confrontare le prestazioni e individuare possibili utilizzi.

Quando ha ampliato il consorzio, il NIST ha invitato le organizzazioni dotate di competenze tecniche pertinenti a presentare lettere di manifestazione di interesse. I membri esistenti non devono ripresentare la domanda, ma devono firmare un emendamento con cui accettano le modifiche al consorzio. Le organizzazioni aderenti stipulano con l’agenzia un accordo di cooperazione per la ricerca e lo sviluppo.

Fonti

Notizie correlate

Esplora

Altri articoli