Çevrim içi anketlerdeki sahte yanıt verenleri temizlemek veriyi bozabildi

Pew Research Center, çevrim içi anketlerde veri kalitesini düşüren sahte yanıt verenleri tespit etmeye yönelik üç farklı filtreleme yöntemini inceleyen kapsamlı bir araştırma yayımladı. Araştırma ekibi, tuzak sorular, otomatik ön eleme yazılımları ve resmi seçmen kütükleriyle eşleştirme yöntemlerini opt-in yöntemiyle toplanan geniş bir anket verisi üzerinde test etti. Sonuçlar, sahte vakaları eleme çabalarının genel hata payını bazı metriklerde düşürse de kusursuz bir çözüm sunmadığını ve hatta bazı durumlarda yeni sapmalara yol açtığını gösterdi.

Araştırmada kullanılan tuzak sorular ve otomatik ön filtreleme sistemi, anlamsız açık uçlu yanıtları ve her soruya evet deme eğilimini belirgin biçimde azalttı. Buna karşın, katılımcıları seçmen kütüğü kayıtlarıyla eşleştirme yöntemi beklenen başarıyı sağlayamadı. Katılımcıların yaklaşık yarısı isim ve adres gibi kişisel iletişim bilgilerini paylaşmayı reddettiği için örneklem dışı kaldı. Gizlilik endişesiyle bilgi vermeyen bu kitlenin çoğunlukla özenli ve gerçek katılımcılardan oluşması, seçmen eşleştirme filtresinin veri kalitesini düzeltmek yerine hata oranını artırmasıyla sonuçlandı.

Elde edilen bulgulara göre, test edilen üç filtreleme yöntemi de 2024 ABD başkanlık seçimi tahminlerinde Demokrat aday lehine sapmayı hafifçe yükseltti. Araştırmacılar, bu durumun sistematik bir partizan yanlılıktan değil, sahte yanıt verenlerin kazanan adayı seçme eğiliminden kaynaklandığını belirtti. Çalışma, çevrim içi anketlerde hız veya tekdüze tıklama gibi standart kontrollerin yetersiz kaldığını ve sahte yanıtlarla mücadelenin dikkatle tasarlanmış karma teknikler gerektirdiğini ortaya koydu.