The Pulse
CTGT pubblica Concordance per individuare l’origine delle decisioni incoerenti dell’IA
CTGT ha pubblicato Concordance, uno strumento con licenza Apache 2.0 per risalire alle cause per cui un’applicazione di IA prende decisioni diverse in esecuzioni ripetute. Nel test dell’azienda, lo stesso manuale bancario ha prodotto quattr
AI.info Team · Scritto con l’IA · verificato ·
Qwen3.8-27B ha dato la stessa risposta a 800 richieste di test su 800, eppure la pipeline di IA di CTGT ha prodotto quattro diversi elenchi di obblighi a partire dallo stesso manuale bancario. Secondo l’azienda, la discrepanza non dipendeva da risposte diverse del modello, ma da piccole variazioni nelle richieste costruite dal software attorno a esse. CTGT ha pubblicato Concordance il 21 ottobre con licenza Apache 2.0 per aiutare gli sviluppatori a individuare dove compare per la prima volta questo tipo di variazione.
Il rilascio comprende un protocollo di test, codice di riferimento e dati sperimentali. Concordance confronta le richieste inviate al modello e le relative risposte in esecuzioni ripetute, poi individua la prima fase in cui gli output divergono. I risultati pubblicati riguardano un solo documento e una pipeline realizzata dall’azienda, non un’indagine sulle implementazioni aziendali.
Quattro esecuzioni, quattro elenchi di obblighi
Nel test di CTGT, un manuale di nove pagine per le attività bancarie al dettaglio è stato elaborato quattro volte usando Qwen3.8-27B, servito tramite SGLang con l’inferenza deterministica abilitata. Le esecuzioni hanno estratto rispettivamente 32, 31, 33 e 33 obblighi, producendo ogni volta un risultato diverso. Tra gli obblighi omessi figurava quello di sottoporre un conflitto irrisolto al Head of Compliance.
Nelle varie esecuzioni, 74 richieste al modello si sono ripetute con contenuto identico. Il modello ha dato la stessa risposta a ciascuna richiesta ripetuta; a cambiare ciò che gli veniva inviato era l’applicazione circostante. In un confronto, quattro righe contenenti ID delle risorse differivano all’interno di un prompt di 12.525 caratteri. Secondo CTGT, il modello ha quindi trattato cinque regole per la risoluzione dei conflitti come informazioni di contesto, anziché come regole da seguire.
«Qualsiasi applicazione che inserisca nei propri prompt ID di caricamento, raccolte non ordinate o uno stato condiviso è esposta allo stesso rischio, indipendentemente dall’inferenza deterministica», scrivono Cyril Gorlla e Andrew Noonan di CTGT Engineering nel rapporto di ricerca. Cyril Gorlla e Andrew Noonan, CTGT Engineering
Concordance individua la prima divergenza
Lo strumento esamina due livelli: le risposte del server di inferenza ai prompt e le decisioni finali dell’intera pipeline applicativa. Per i test della pipeline, il protocollo di CTGT registra ogni chiamata al modello, raggruppa le richieste identiche tra le varie esecuzioni e segnala se la prima divergenza è dovuta a una richiesta modificata o a una risposta cambiata. Questa distinzione aiuta gli sviluppatori a separare le variazioni nel servizio che eroga il modello da quelle introdotte dal proprio software.
Il repository open source contiene uno script per confrontare le chiamate, un benchmark di inferenza, i dati delle esecuzioni della pipeline e una piccola pipeline sintetica progettata per riprodurre l’effetto. L’esempio sintetico può essere eseguito tramite un endpoint compatibile con OpenAI. CTGT stima che, con un modello piccolo, richieda meno di dieci minuti; per riprodurre il benchmark di inferenza pubblicato servono un host dotato di GPU e il modello da 27 miliardi di parametri.
Nel benchmark di inferenza separato, i primi 1.000 token prodotti dal modello coincidevano con quelli di un’esecuzione di controllo con batch di dimensione uno in tutte le 800 richieste, eseguite con un livello di concorrenza pari a 40. Questo risultato misura la corrispondenza del testo, non la sua correttezza. Quando CTGT ha ripetuto otto volte la richiesta all’origine di una classificazione errata, la stessa risposta sbagliata è comparsa in tutte e otto le ripetizioni.
Anche le risposte stabili possono essere sbagliate
CTGT ha ricondotto la variazione nella pipeline a tre dettagli implementativi: identificatori specifici dei caricamenti nei prompt, una lista di 30 elementi il cui ordine cambiava e un registro condiviso degli argomenti che si ampliava tra un’esecuzione e l’altra. L’azienda ha sostituito gli identificatori con alias stabili, ordinato la lista e avviato ogni test in una nuova organizzazione. Dopo queste modifiche, cinque esecuzioni hanno prodotto gli stessi 34 obblighi.
Il risultato mostra un limite dei controlli di riproducibilità: ripetere un errore in modo sistematico non lo rende corretto. CTGT afferma che la prossima sfida sul piano della misurazione sarà verificare se le decisioni restano fedeli alle politiche quando cambia la formulazione dell’input. Gli attuali test di Concordance non dimostrano che lo strumento prevenga le violazioni delle politiche.
Il pacchetto pubblicato non include il sistema di produzione
Le evidenze sono volutamente circoscritte. CTGT riferisce risultati relativi a un documento, una pipeline e un numero limitato di esecuzioni, e osserva che, per confrontare gli output memorizzati, è stato necessario normalizzare gli ID specifici dei caricamenti. Il motore di acquisizione usato in produzione dall’azienda, i prompt e le chiamate al modello registrate non sono inclusi nel repository pubblico; la pipeline dimostrativa illustra il meccanismo, non il sistema originale.
Concordance offre quindi agli sviluppatori un modo per esaminare la ripetibilità, non una garanzia che un sistema di IA segua le proprie regole o prenda decisioni fondate. Per accertarlo servono comunque test basati sui risultati attesi e sulle politiche che il sistema dovrebbe applicare. Il repository pubblicato contiene il codice per il confronto, l’esempio per la riproduzione e dati riepilogativi, ma non la pipeline di produzione da cui derivano i risultati di CTGT.