Vai al contenuto
AI.info

The Pulse

GlossoGen mostra che gli agenti di IA possono creare lingue illeggibili

Gli esperimenti condotti da Schmidt Sciences e da ricercatori universitari hanno rilevato che gli agenti di IA possono sviluppare sistemi di comunicazione con vocaboli, simboli e regole grammaticali insoliti.

GlossoGen mostra che gli agenti di IA possono creare lingue illeggibili

AI.info Team ·

Gli agenti abbandonano l’inglese sotto pressione

Secondo i primi esperimenti pubblicati da Schmidt Sciences e da ricercatori dell’Università del Texas ad Austin e dell’Università di Edimburgo, gli agenti di IA che lavorano insieme possono sviluppare vocaboli e grammatiche incomprensibili agli esseri umani.

I risultati provengono da GlossoGen, una piattaforma open source sostenuta da AE Studio che sottopone agenti basati su modelli linguistici di grandi dimensioni a compiti controllati e ripetuti. Gli agenti iniziano comunicando in inglese. Nelle condizioni giuste, rendono più concisi i messaggi, inventano nuovi termini e modificano le regole che ne governano le combinazioni.

I ricercatori affermano che lingue opache sono emerse in scenari in cui non c’erano istruzioni esplicite per produrre forme di comunicazione cifrate e gli agenti non avevano bisogno di nascondere i propri messaggi agli osservatori. La comunicazione è cambiata perché gli agenti erano sotto pressione per risolvere i compiti in modo efficiente e avevano la possibilità di esaminare le proprie prestazioni tra un turno e l’altro.

Elias Stengel-Eskin, ricercatore dell’Università del Texas ad Austin, e Simon Kirby, ricercatore dell’Università di Edimburgo, scrivono:

«Quando vengono messi in questi scenari, tutti gli LLM che abbiamo studiato iniziano usando l’inglese per risolvere il compito. Ma quando giocano più partite, nelle circostanze giuste, accade qualcosa di straordinario: emergono nuove lingue.»

Da «Bell each face center» a «@D8fB»

In uno scenario di GlossoGen, due agenti devono salvare un alieno immaginario a forma di cubo, chiamato Veyru. Un agente interpreta un medico con conoscenze specialistiche; l’altro deve eseguire interventi fisici basandosi su osservazioni incomplete. I due comunicano con un budget limitato, il che li spinge ad adattare il modo in cui comunicano.

I primi messaggi assomigliano all’inglese corrente. Nell’esempio dei ricercatori, il medico dice al secondo agente di suonare una campanella in punti precisi del corpo dell’alieno e di applicare calore per un periodo stabilito. Dopo vari tentativi, le istruzioni diventano più brevi: «Bell each face center x1, start back, moderate. Then warm stone beside Veyru 5s.» Infine, il messaggio può ridursi a «@D8fB».

GlossoGen registra ogni messaggio, azione e cambiamento dell’ambiente. I ricercatori possono riprodurre una sequenza, riavvolgerla, intervenire nella simulazione e confrontare ciò che gli agenti hanno detto con ciò che è successo. Questo approccio consente di studiare se un messaggio insolito rappresenti un sistema di comunicazione dotato di significato, anziché testo casuale o un codice fisso.

Il gruppo ha testato anche un gioco di «trova le differenze», in cui gli agenti devono confrontare alcune scene e riferire le discrepanze. Nel corso di più partite, alcune coppie di agenti hanno sviluppato sistemi diversi dall’inglese sia per il vocabolario sia per la grammatica. Le lingue risultanti variavano inoltre da una sequenza all’altra, anche quando i ricercatori usavano gli stessi scenari e gli stessi agenti.

Nuove parole, nuove regole

I ricercatori distinguono questi sistemi emergenti da semplici abbreviazioni esaminandone la struttura interna. In un esempio, un’intera procedura — drappeggiare un panno su due bordi adiacenti di una faccia — si trasforma in un unico termine, «P6». Il cambiamento riguarda il modo in cui gli agenti suddividono i concetti, non soltanto il modo in cui abbreviano espressioni inglesi già note.

I sistemi usano anche caratteristiche specifiche del testo, non necessarie nelle lingue parlate. Gli agenti possono trattare i caratteri maiuscoli e minuscoli come segnali diversi e usare la punteggiatura o altri simboli come parte del proprio vocabolario. Gli autori descrivono esperimenti in cui «F» e «f» hanno significati diversi.

Alcuni sistemi mostrano una morfologia e una sintassi produttive. Gli agenti possono applicare regole apprese a messaggi mai incontrati prima, invece di limitarsi a ripetere sequenze memorizzate. I ricercatori hanno osservato anche casi in cui i modificatori comparivano dopo i sostantivi. La fonte osserva che in genere gli aggettivi inglesi vengono dopo il sostantivo che modificano e descrive schemi con il modificatore in seconda posizione nelle lingue degli agenti, tra cui «Lb» e «Ld» per «lampada luminosa» e «lampada fioca».

Senza conoscere il sistema che l’ha generato, un lettore umano non può interpretare un messaggio come «@D8fB». I ricercatori avvertono che la sola reciproca incomprensibilità non dimostra che gli agenti abbiano creato una lingua nel pieno senso linguistico umano. La loro analisi del vocabolario, delle distinzioni simili a suoni rappresentate nel testo e delle regole grammaticali produttive mira a verificare se i sistemi abbiano una struttura più profonda di quella di un codice.

Tre condizioni favoriscono l’emergere delle lingue

L’ambiente controllato di GlossoGen ha permesso al gruppo di variare le condizioni di ogni interazione. Sono emerse nuove lingue quando gli agenti erano sotto pressione per comunicare in modo efficiente, potevano accedere a una fase di analisi a posteriori tra un turno e l’altro e usavano modelli sufficientemente capaci.

Gli esperimenti hanno testato GPT 5.4, Opus 4.7 e Sonnet 4.6 come modelli di frontiera in grado di creare nuove lingue. Modelli open weight meno capaci, tra cui Llama-3.3-70B e Qwen3-32B, non sono riusciti regolarmente a inventarne una nelle stesse condizioni generali.

Questo non significa che i modelli più deboli non possano partecipare. I ricercatori hanno rilevato che gli agenti basati su sistemi open weight meno capaci potevano imparare una lingua emergente già esistente se abbinati a un agente di frontiera o esposti a esempi d’uso della lingua.

La distinzione è importante perché creare una lingua e impararla sono capacità separate. Gli agenti che non riuscivano a inventare un sistema di comunicazione potevano comunque acquisirlo da altri agenti. Il gruppo ha osservato anche fenomeni di riparazione conversazionale: gli agenti chiedevano chiarimenti su termini insoliti e modificavano i propri messaggi quando la comunicazione si interrompeva.

Perché è importante la comunicazione opaca tra agenti

La supervisione umana spesso dipende da messaggi, trascrizioni e spiegazioni leggibili. Se gli agenti comunicano tramite sistemi che gli esseri umani non riescono a interpretare, il monitoraggio diventa più difficile sia a livello individuale sia a livello di gruppo. Chi effettua le verifiche può faticare a individuare collusioni, imbrogli, errori o piani non sicuri prima che questi comportamenti influiscano sul compito.

L’opacità incide anche sui passaggi di consegne tra persone e macchine. Un operatore umano potrebbe essere in grado di sostituire un agente solo se riesce a comprendere i messaggi, le decisioni e le ipotesi precedenti. Una lingua specifica di un agente potrebbe lasciare una documentazione tecnicamente completa, ma di fatto inutilizzabile.

Lo studio non dimostra che i sistemi di IA utilizzati siano segretamente impegnati a formare lingue indipendenti nei normali prodotti. I risultati provengono da simulazioni circoscritte, concepite per costringere gli agenti a comunicare sotto pressione, e gli autori descrivono il lavoro sulla piattaforma come ancora in una fase iniziale. Gli esperimenti dimostrano però che possono emergere convenzioni simili a una lingua senza istruzioni esplicite per produrre comunicazioni cifrate né la necessità di nascondere i messaggi agli osservatori.

GlossoGen è disponibile come progetto open source e la pagina di Schmidt Sciences rimanda all’articolo di ricerca. L’obiettivo immediato della ricerca è concreto: determinare quando compaiono questi sistemi, come si diffondono tra gli agenti e se sia possibile tradurli o limitarli con strumenti senza rinunciare all’efficienza che li ha generati.

Fonte

Esplora

Altri articoli