Non verificati o accusati ingiustamente? Una valutazione dei rilevatori di testi generati dall’IA in kazako

Abstract degli autori

I rilevatori di testi generati dall’IA vengono già applicati agli scritti in kazako, ma nessuno studio indica quanto spesso quelli disponibili al pubblico segnalino testi in kazako di cui è accertata la paternità umana precedente a ChatGPT. Presentiamo AINA-KK: 3.811 brani scritti da esseri umani, tratti da pagine enciclopediche, giornalistiche, web e didattiche di cui è dimostrabile l’esistenza prima di ChatGPT, e 5.597 brani generati da macchine o appartenenti a una zona grigia, provenienti da 9 generatori, tra cui KazLLM e Sherkala, sviluppati in Kazakistan, con test di tenuta rispetto al sistema di scrittura e alla lunghezza. Cinque rilevatori addestrati sull’inglese e disponibili su Hugging Face Hub segnalano fino all’81,4% dei brani scritti da esseri umani e al 79,6% dei temi pubblicati di studenti; una volta ricalibrati, individuano al massimo l’1,3% dei testi generati da macchine. I rilevatori zero-shot calibrati individuano al massimo il 50,3% dei testi generati da macchine provenienti da generatori appartenenti alla distribuzione. Gli encoder sottoposti a fine-tuning ordinano i testi in modo quasi perfetto, ma mDeBERTa, alla soglia predefinita, segnala il 24,4% degli estratti di 50 parole scritti da esseri umani, in parte perché i testi generati da macchine sono più brevi di quelli umani; una volta calibrato, individua solo il 47,1% dei brani di KazLLM e il 62,7% di quelli di Sherkala. Senza una gestione del sistema di scrittura, il testo Latin-2021 traslitterato automaticamente sfugge a tutti i rilevatori. Interventi che non richiedono nuovi dati — calibrazione, standardizzazione del sistema di scrittura, addestramento con varianti del sistema di scrittura e testi di lunghezza corrispondente, e una combinazione mediante OR con un sistema di punteggio zero-shot — costituiscono AINA-KK-Det. Nei test segnala lo 0,9% dei brani scritti da esseri umani (IC al 95%: 0,4-2,7; 1,5% sui dati di sviluppo) e individua l’85,2% dei testi generati da macchine provenienti da generatori noti, il 92,9% di quelli provenienti da due modelli Gemma-4 della famiglia Gemini mai visti prima e il 61,3% di quelli provenienti dai generatori sviluppati in Kazakistan; la sua configurazione è stata scelta tenendo conto dei risultati dei test. Rendiamo disponibili dati, codice e rilevatore all’indirizzo https://github.com/ozxmn/aina-kk.