The Pulse
Cohere apre la beta di confidential inference per Model Vault
Cohere ha aperto una beta pubblica del confidential computing per il suo servizio di inferenza Model Vault, eseguito su GPU NVIDIA H100 nell’infrastruttura Microsoft Azure. Il software lato cliente verifica l’ambiente di elaborazione prima
AI.info Team · Scritto con l’IA · verificato ·
«Con Model Vault e Confidential Computing, i clienti possono verificare l’ambiente che elaborerà i loro dati prima di inviarli».
Phil Blunsom, direttore tecnico di Cohere
Il 22 ottobre Cohere ha aperto una beta pubblica del confidential computing per il suo servizio Model Vault, aggiungendo protezioni basate sull’hardware e verifiche lato cliente alla sua offerta gestita di inferenza IA. La beta viene eseguita su GPU NVIDIA H100 e usa l’infrastruttura di confidential computing di Microsoft Azure. Cohere afferma che i clienti possono controllare l’ambiente che gestirà una richiesta prima di inviargli informazioni sensibili.
La beta su H100 estende la protezione alla GPU
Model Vault offre un servizio di inferenza dedicato e gestito per i modelli Cohere. La nuova opzione è progettata per proteggere prompt, documenti, risposte ed esecuzione del modello mentre l’inferenza è in corso: la condizione spesso definita «dati in uso». Secondo Cohere, l’isolamento imposto dall’hardware protegge la memoria del carico di lavoro da accessi esterni al perimetro riservato, mentre NVIDIA Confidential Computing protegge la memoria della GPU e cifra il traffico tra CPU e GPU.
Il servizio riunisce componenti di tre aziende: Microsoft fornisce l’infrastruttura di confidential computing sottostante, NVIDIA mette a disposizione le funzionalità di confidential computing per le sue GPU H100 e Cohere gestisce i livelli di erogazione dei modelli e di verifica di Model Vault. Questa ripartizione è importante perché proteggere la sola CPU non basterebbe a coprire l’acceleratore che svolge gran parte del lavoro del modello. Nella spiegazione tecnica di Cohere, il perimetro protetto comprende la macchina virtuale riservata e la GPU che esegue l’inferenza.
I clienti verificano la destinazione prima di inviare i dati
L’attestazione remota è il meccanismo di verifica centrale della beta. Prima che una richiesta protetta lasci l’infrastruttura del cliente, un software lato cliente controlla prove firmate crittograficamente relative alla destinazione, comprese le configurazioni di hardware, firmware e software. Le prove vengono confrontate con una politica di sicurezza approvata; se l’ambiente non supera il controllo, il client si rifiuta di inviare la richiesta.
A questo controllo si affianca la crittografia del contenuto dell’applicazione. Secondo la descrizione tecnica di Cohere, Model Vault usa Oblivious HTTP, o OHTTP, per cifrare il contenuto sensibile delle richieste con una chiave pubblica associata all’ambiente verificato tramite attestazione. I sistemi intermedi possono instradare il messaggio cifrato, ma solo il gateway OHTTP all’interno di quell’ambiente possiede la corrispondente chiave privata per decifrarlo; anche la risposta è protetta durante il percorso di ritorno.
Secondo Cohere, i clienti continuano a usare le API di Model Vault e i formati di richiesta abituali. L’azienda presenta la combinazione di crittografia end-to-end del contenuto e attestazione remota come un modo per non doversi affidare soltanto alle rassicurazioni del fornitore sulla riservatezza delle richieste. La promessa non equivale a garantire che nessuna informazione venga esposta: secondo la descrizione tecnica di Cohere, i dati di autenticazione e instradamento, tra cui la credenziale API e l’identificativo del modello, restano al di fuori del contenuto protetto da OHTTP.
I rischi che il confidential computing non elimina
Nell’annuncio, Cohere indica documenti finanziari, informazioni cliniche, documenti legali coperti da segreto professionale, materiali del settore pubblico, attività di ricerca e codice sorgente proprietario come potenziali carichi di lavoro per la beta. L’azienda afferma che il servizio non sostituisce la sicurezza delle applicazioni, gli obblighi di conformità, le tutele contrattuali o i requisiti di residenza dei dati. Il confidential computing protegge i dati durante l’elaborazione, ma non determina dove questa avvenga.
La descrizione tecnica individua anche rischi e dipendenze che permangono. Gli attacchi fisici e quelli tramite canali laterali sono esclusi dal perimetro di protezione dichiarato, e un operatore può comunque interrompere il servizio anche se non può leggere la memoria protetta del carico di lavoro. Il software all’interno dell’ambiente riservato resta vulnerabile a difetti applicativi, tra cui la prompt injection, mentre tempi, dimensioni dei messaggi e volume del traffico possono rimanere osservabili.
I clienti devono inoltre decidere quali hardware, firmware, software misurati e infrastrutture di attestazione ritengano affidabili: l’attestazione fornisce prove, ma è la politica a stabilire se siano sufficienti. Cohere afferma di voler rendere open source lo stack per l’inferenza riservata, offrendo così ai clienti e ai ricercatori più materiale da esaminare. Per ora, l’offerta concreta è una beta pubblica su GPU H100 in Azure, nella quale le richieste non vengono inviate se la verifica lato cliente non approva l’ambiente.