Yapay zeka metinleri yalnızca yapısal özelliklerinden tespit edildi
Öne çıkanlar
- Sistem yalnızca 187 yapısal nitelik kullanarak 98,0 makro F1 tespit başarısına ulaştı.
- Yapay zeka metinleri yeniden yazıldığında tespit başarısı 98,1 ile sabit kaldı.
- İçeriklerin yüzde 79,3'ü hangi yapay zeka modeli tarafından yazıldığıyla doğru eşleştirildi.
Araştırmacılar, ticari web içeriklerinde yapay zeka tarafından üretilen metinleri yalnızca biçimsel ve yapısal özelliklerine bakarak tespit eden SlopShape yöntemini tanıttı. Mevcut kelime bazlı tespit araçlarının yeniden yazma işlemlerine karşı kırılgan olduğunu belirten ekip, içeriklerin sunum sırası, kanıt kullanımı ve anlatım dili gibi yapısal işaretlerini inceleyen 214 nitelikli bir sistem geliştirdi.
Çalışma kapsamında ChatGPT öncesi döneme ait 268 şirket alan adından toplanan 2 bin 250 insan yazımı blog yazısı ile beş öncü yapay zeka modelinin ürettiği 11 bin 250 kopya metin karşılaştırıldı. Testlerde sadece 187 yapısal nitelik kullanıldığında sistem, daha önce karşılaşmadığı şirket içeriklerinde 98,0 makro F1 başarı puanına ulaştı. Yapay zeka metinleri kendi modelleri tarafından yeniden yazıldığında dahi bu tespit başarısı 98,1 seviyesinde kalarak değişmedi.
Yapısal imzanın tespitin ötesinde kaynak modelini de ayrıştırabildiği belirlendi. Deneylerde yapay zeka tarafından üretilen içeriklerin yüzde 79,3'ü doğru kaynak modele atfedildi; bu oran yüzde 16,7 olan rastgele tahmin olasılığının oldukça üzerinde gerçekleşti. Araştırma ekibi geliştirdikleri veri işleme hattını, komutları, kodları ve analiz araçlarını açık kaynak olarak erişime açtı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.