Web sunucusu kayıtları Google botlarının bilinmeyen yönlerini ortaya koydu
Öne çıkanlar
- Google-Safety gibi dahili denetim botları robots.txt dosyasında belirtilen engelleme kurallarını yok sayıyor.
- GCP altyapısındaki sahte Google botları JA4 TLS parmak izi farklılıkları sayesinde başarıyla ayırt edildi.
- İncelenen sunucu trafiğinde resmi Google altyapısı genel trafiğin yalnızca yüzde 0,4'ünü oluşturdu.
- Google belgelerinde yer almayan Google-AMPHTML gibi belgesiz tarayıcı kimlikleri doğrudan şirket IP'lerinden istek attı.
HAProxy sunucu kayıtlarını JA4 TLS parmak izi, IP ve otonom sistem numaraları üzerinden inceleyen teknik analiz, Google kaynaklı web trafiğinin bilinmeyen detaylarını ortaya çıkardı. robots.txt dosyasının tüm Google botlarını durdurmaya yetmediği, özellikle güvenlik ve kötüye kullanım taraması yapan Google-Safety gibi araçların bu kuralları bilerek yok saydığı belirlendi. Araştırma, resmi arama motoru botları ile üçüncü taraf kötü niyetli taramaların ayrıştırılmasında geleneksel yöntemlerin yetersiz kaldığını gösterdi.
İncelemeye göre toplam site trafiğinin yaklaşık yüzde 3,09'u Google Cloud Platform (GCP) üzerinden gelirken, doğrudan şirketin kendi altyapısına ait ASN 15169 numaralı ağdan gelen resmi istekler yalnızca yüzde 0,4 seviyesinde kaldı. GCP IP bloklarından gelen bazı isteklerin kullanıcı kimliğini rastgele değiştirerek veritabanı yedekleri ve yapılandırma dosyalarını aradığı, yani Google adını taklit eden saldırganlar tarafından açık arama amacıyla yürütüldüğü saptandı. JA4 parmak izlerinin farklı çıkması da bu sahte istekleri ele veren en kritik kanıt oldu.
Analiz sürecinde Google'ın resmi belgelerinde yer almayan Google-AMPHTML gibi bot kimlikleri ve yalnızca Google dizesinden ibaret genel kullanıcı ajanları tespit edildi. Ters DNS sorguları ile doğrulanan resmi Google isteklerinin dahi dokümante edilmemiş yollarla site içeriğini tarayabildiği kaydedildi. Bu bulgular, yalnızca IP veya kullanıcı ajanı dizesine dayalı filtrelemelerin modern bot yönetiminde yetersiz kaldığını ve TLS parmak izi doğrulamasının önem kazandığını ortaya koydu.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.