Vai al contenuto
AI.info

The Pulse

Superwise lancia Sentinel, un gateway per il traffico di IA aziendale

Superwise ha lanciato Sentinel, un gateway di IA aziendale che ispeziona e gestisce il traffico dei modelli linguistici di grandi dimensioni al perimetro della rete. Secondo l’azienda, Sentinel può oscurare informazioni riservate, dati pers

Superwise lancia Sentinel, un gateway per il traffico di IA aziendale

AI.info Team · Scritto con l’IA · verificato ·

Superwise afferma che il suo nuovo gateway Sentinel può intercettare il 100% del traffico attivo di modelli linguistici di grandi dimensioni di un’organizzazione, mantenendo i prompt e le risposte grezzi all’interno del perimetro di rete del cliente. L’azienda ha lanciato il prodotto il 16 settembre come punto di controllo aziendale per le richieste di IA che transitano tra dipendenti, applicazioni e fornitori come OpenAI, Anthropic e Google Gemini.

Sentinel funziona come un proxy leggero installato al perimetro della rete o sui singoli computer. Può oscurare informazioni riservate e dati personali identificabili, individuare contenuti tossici e applicare altre misure di salvaguardia prima che una richiesta raggiunga un fornitore esterno di modelli. L’azienda presenta il prodotto come una risposta all’adozione di strumenti di IA da parte di dipendenti e team di sviluppo software senza una visione centralizzata dei dati inviati da questi sistemi.

Superwise colloca il gateway tra applicazioni e modelli

Il funzionamento di base del prodotto è semplice: si installa un gateway Sentinel, si instrada il traffico dei modelli attraverso di esso e si intercettano, ispezionano e registrano le azioni risultanti. Le organizzazioni possono installare il gateway tramite un’interfaccia a riga di comando basata su Python, Docker o un cluster di container. La documentazione di Superwise descrive anche un’installazione gestita tramite Helm per ambienti Kubernetes di produzione che richiedono alta disponibilità e scalabilità orizzontale.

Le applicazioni possono connettersi senza modifiche alle librerie di IA su cui si basano. La documentazione di Superwise indica ai clienti di reindirizzare le impostazioni standard dell’URL di base dei fornitori al proxy Sentinel, consentendo alle applicazioni e agli SDK compatibili di inviare richieste attraverso il gateway. I percorsi supportati coprono le richieste di completamento delle chat di OpenAI, i messaggi di Anthropic e le richieste di generazione di contenuti di Gemini, oltre ai fornitori personalizzati compatibili con OpenAI.

Secondo Superwise, Sentinel è disponibile da subito e può essere installato dalla riga di comando o come gateway aziendale. La documentazione di configurazione dell’azienda indica Python 3.11 o versioni successive tra i requisiti per l’installazione tramite CLI.

I prompt grezzi restano nell’ambiente del cliente

Sentinel utilizza un’architettura a piani separati. Il gateway locale gestisce l’intercettazione del traffico, l’esecuzione delle misure di salvaguardia e l’instradamento verso i modelli a monte, mentre un piano di controllo cloud gestisce la registrazione dei gateway, la configurazione delle policy e i report operativi. Secondo Superwise, il servizio cloud riceve metadati operativi anonimi, anziché il testo dei prompt, le risposte dei modelli o le istruzioni di sistema.

Secondo la documentazione tecnica dell’azienda, i metadati possono includere i volumi delle richieste, il numero di interventi correttivi, gli eventi che hanno attivato le misure di salvaguardia e le misurazioni della latenza. I contenuti sensibili vengono oscurati localmente prima che la richiesta sia inoltrata al fornitore del modello. Il gateway mantiene una connessione in uscita verso il piano di controllo e non richiede l’esposizione a connessioni in entrata dalla rete internet pubblica.

Questa configurazione dà a Sentinel un perimetro operativo diverso da quello di un sistema convenzionale di registrazione centralizzata. Superwise chiede ai clienti di collocare l’ispezione e l’applicazione delle policy vicino alle applicazioni che generano traffico di IA, mantenendo al tempo stesso una visione centralizzata dello stato delle policy e delle attività, senza archiviare le conversazioni sottostanti nel cloud dell’azienda.

Sentinel punta a contrastare la prompt injection e la fuga di dati

Secondo Superwise, Sentinel affronta i rischi elencati nella OWASP LLM Top 10, tra cui prompt injection, fuga di dati sensibili, jailbreak e output non sicuri. L’annuncio del lancio non fornisce risultati di test indipendenti, tassi di rilevamento misurati o dati sulla latenza relativi a queste protezioni: l’efficacia del prodotto contro tali minacce resta quindi da valutare da parte dei clienti.

Il percorso di elaborazione documentato del gateway si concentra attualmente sui prompt in entrata. Il gateway estrae e valuta il contenuto testuale, applica le misure di salvaguardia attive e inoltra la richiesta a monte. Gli altri parametri della richiesta e i campi non testuali passano senza modifiche, mentre la risposta del modello a monte ritorna all’applicazione nella sua struttura originale.

«Ogni team con cui parliamo usa già l’IA, che il reparto IT ne sia a conoscenza o meno. È per questa realtà che abbiamo costruito Sentinel», ha dichiarato Russ Blattner, CEO di SUPERWISE, nell’annuncio del lancio. «Le organizzazioni non hanno bisogno di un altro documento di policy che dica alle persone cosa non fare con l’IA; hanno bisogno di un sistema che veda il traffico e applichi la policy in tempo reale».

Un punto di controllo della rete per l’uso non autorizzato dell’IA

Sentinel si rivolge innanzitutto ai team di sicurezza o conformità che cercano di gestire un insieme di utilizzi approvati e non ufficiali dell’IA. Un gateway collocato sul percorso del traffico verso i modelli può fornire un unico livello di applicazione delle policy per strumenti di sviluppo, applicazioni interne e agenti rivolti ai clienti, senza dipendere dall’implementazione di codice di filtraggio separato da parte di ciascun team applicativo.

L’approccio comporta anche un compromesso pratico. Reindirizzare il traffico attraverso un proxy è meno invasivo che riscrivere ogni applicazione, ma rende il gateway parte del percorso attraverso cui l’organizzazione fornisce l’accesso ai modelli. I clienti dovranno valutarne l’effetto su disponibilità, latenza, funzionalità specifiche dei fornitori e traffico che non utilizza percorsi API standard.

Con Sentinel, Superwise amplia la sua piattaforma esistente di gestione degli agenti, affiancandolo a prodotti e funzionalità che coprono chat, sviluppo di agenti, misure di salvaguardia e osservabilità. L’annuncio dell’azienda non fornisce dati sulle installazioni presso i clienti né dettagli sui prezzi. Per ora, l’offerta concreta consiste in un gateway installato localmente, un piano di controllo cloud e la promessa che le conversazioni grezze con l’IA rimangano entro il perimetro del cliente.

Fonte

Notizie correlate

Esplora

Altri articoli