Vai al contenuto
AI.info

The Pulse

Un test di JetBrains rileva che i modelli di IA criticano ripetutamente Python

JetBrains ha chiesto a 12 modelli di IA opinioni controverse sui linguaggi di programmazione in 1.200 richieste. L’azienda ha rilevato critiche ripetute a Python, Rust e TypeScript, mentre tutte le 28 opinioni su PHP lo difendevano.

Un test di JetBrains rileva che i modelli di IA criticano ripetutamente Python

In un test di JetBrains che ha chiesto a 12 modelli di IA opinioni provocatorie sui linguaggi di programmazione, Python è stato criticato in 299 delle 312 opinioni generate sul linguaggio. L’azienda ha riferito che, delle 1.200 risposte relative a tutti i linguaggi, 904 sono state classificate come attacchi e 291 come difese.

Il test ha esaminato se i modelli, autorizzati a esprimere opinioni provocatorie, avrebbero prodotto punti di vista diversi o ripetuto opinioni simili. I risultati variavano a seconda del linguaggio: tutte le 28 opinioni su PHP lo difendevano, mentre per Go si è registrata una divisione equa tra attacchi e difese, oltre a due risposte miste.

Come funzionavano le domande

L’azienda ha testato 12 modelli di 10 laboratori in tre Paesi, tra cui modelli di OpenAI, Anthropic, Google, DeepSeek e Mistral AI. Ogni modello ha risposto 50 volte a ciascuna delle due domande, in nuove conversazioni senza un prompt di sistema.

Una domanda chiedeva al modello di scegliere a caso un linguaggio di programmazione e di esprimere l’opinione più controversa al riguardo. L’altra chiedeva un’opinione controversa sui linguaggi di programmazione senza richiedere una scelta casuale. Entrambi i prompt chiedevano un’opinione di una frase, due o tre frasi di ragionamento e una lunghezza complessiva compresa tra 50 e 90 parole.

JetBrains ha rilevato che le 600 risposte alla domanda sul linguaggio scelto a caso riguardavano 14 linguaggi. Cinque linguaggi rappresentavano 541 scelte, pari al 90%, mentre Go e Python, insieme, ne rappresentavano 307. Gemini 4 Argon ha scelto Python 35 volte e lo ha criticato ogni volta; DeepSeek V4 Pro ha scelto Rust 31 volte e lo ha criticato ogni volta.

Critiche e lodi

Considerando entrambe le domande, Rust ha ricevuto 167 opinioni, di cui 164 erano attacchi. Il risultato dell’azienda che ha avuto la maggiore diffusione riguardava il modello di proprietà di Rust: 78 opinioni, espresse da modelli di nove dei 10 laboratori, sostenevano che per il normale codice applicativo comportasse costi superiori ai benefici.

Secondo JetBrains, TypeScript ha ricevuto 138 opinioni, di cui 137 erano attacchi. Tra le critiche, 57 opinioni sostenevano che la sicurezza dei tipi comportasse costi superiori ai benefici, mentre 24 affermavano che desse agli sviluppatori una falsa sicurezza sul comportamento in fase di esecuzione.

PHP, al contrario, ha ricevuto 28 difese su 28 opinioni. Java ha ricevuto 90 opinioni, di cui 80 erano difese; 67 difendevano le sue eccezioni controllate. C# non è stato oggetto di nessuna delle 1.200 opinioni, anche se è comparso come termine di paragone in 24 risposte.

I modelli erano in disaccordo con sé stessi

Per Go si è registrata una divisione equa: 118 attacchi, 118 difese e due opinioni miste, su un totale di 238. JetBrains ha conteggiato 94 difese della gestione esplicita degli errori di Go e 65 attacchi a questa caratteristica, comprese critiche alla verbosità del codice e argomentazioni secondo cui il linguaggio avrebbe dovuto avere le eccezioni.

In conversazioni separate, alcuni modelli hanno sostenuto posizioni opposte. GPT-6.1 Sol ha difeso la gestione degli errori di Go 20 volte e l’ha attaccata 21 volte, mentre Claude Opus 5.5 ha prodotto 40 difese e nessun attacco, secondo quanto rilevato dall’azienda. Considerando tutti i modelli, 54 risposte riprendevano parola per parola una frase iniziale che lo stesso modello aveva già prodotto.

Limiti del test

Claude Opus 5.5 e GPT-6.1 Sol hanno etichettato separatamente ogni risposta indicando il linguaggio a cui si riferiva, se lo attaccava o lo difendeva e quale fosse l’affermazione specifica. I nomi dei modelli erano nascosti a chi assegnava le etichette, e Gemini 4 Argon ha risolto i disaccordi. I due valutatori concordavano sul linguaggio di riferimento nel 99% dei casi e sull’affermazione specifica nel 94% dei casi.

Due dei modelli usati per assegnare le etichette erano anche tra quelli sottoposti al test. È ancora prevista una revisione umana dei gruppi di titoli. JetBrains ha precisato che chiedere un linguaggio a caso era un’istruzione, non un metodo di campionamento verificabile, e ha affermato che le 50 risposte per modello per ciascuna domanda potevano mostrare abitudini marcate, ma non differenze minime.

DeepSeek e Qwen sono stati eseguiti tramite host di terze parti anziché tramite le API dei rispettivi laboratori. Il costo totale, comprese le etichettature, è stato di 38,16 USD.

Fonte

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli