Geliştirici JavaScript kullanmadan web trafiğindeki botları ayrıştırdı
Öne çıkanlar
- Ağ ve üst bilgi kuralları tarayıcı kimliği bildiren isteklerin yüzde 74,5'ini eledi.
- Barındırma ağlarından gelen 60 istek, tarayıcı gezinti başlıklarını taşımasına rağmen bulut trafiği sayıldı.
- Tüm filtrelerin ardından kalan 95 sayfa isteği, komut dosyası sayacının 14 yükleme verisiyle örtüşmedi.
Bir yazılım geliştiricisi, kişisel blogunda JavaScript çalıştırmadan bot trafiğini tespit etmek amacıyla ağ ve HTTP başlığı kuralları geliştirdi. Cloudflare Worker ve D1 üzerinde uygulanan kurallar, tarayıcı User-Agent bilgisine sahip 372 isteğin 277'sini tarayıcı kategorisinden çıkardı. İnceleme sonucunda, tarayıcı taklidi yapan isteklerin yüzde 74,5'inin gerçekte sunucu barındırma sağlayıcılarından gelen botlar veya eksik üst bilgi taşıyan istemciler olduğu belirlendi.
Sistem, istemcilerin Autonomous System Number (ASN) verisini ve Sec-Fetch-Mode gibi Fetch Metadata başlıklarını inceleyerek sınıflandırma yapıyor. Hosting ağlarından gelen istekler geçerli başlıklar taşısalar dahi bulut trafiği olarak işaretlenirken, modern Chromium, Firefox ve Safari sürümlerini taklit edip ilgili başlıkları içermeyen talepler elendi. Yapılan denetimlerde, Accept başlığındaki kalite değerlerinin yanlış işlenmesi gibi hatalar da düzeltildi.
Geliştirici, başlık ve ağ filtrelemesinden geçen 95 isteğin hâlen Cloudflare Web Analytics tarafından kaydedilen 14 sayfa yüklemesinden yüksek olduğunu bildirdi. Web Bot Auth imzalarının ve bot doğrulama mekanizmalarının istemci kimliğini tanıdığı ancak içeriğin bir insan tarafından okunup okunmadığını kanıtlayamayacağı kaydedildi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.