Hacker News paylaşımı sonrası geliştiricinin sitesi yapay zeka botlarının akınına uğradı
Öne çıkanlar
- Sitenin toplam trafiğinin yaklaşık yarısını yapay zeka bülteni için veri toplayan tek bir servis oluşturdu.
- Botların büyük kısmı sitenin tek sayfa uygulaması (SPA) yapısını çalıştırmadan sürekli doğrudan uç noktaları sorguladı.
- Geliştirici söz konusu botu engelledi, robots.txt kurallarını sıkılaştırdı ve istek sınırlaması getirdi.
Kişiselleştirilebilir haber akışı okuyucusu sprinklz.io projesini geliştiren Sammy Straus, projesini Hacker News üzerinde paylaştıktan sonra web sitesinin aşırı yavaşladığını ve sunucu yükünün olağandışı biçimde arttığını açıkladı. İlk aşamada durumu topluluk ilgisine bağlayan geliştirici, günlerce devam eden performans kaybının ardından sunucu loglarını incelediğinde sorunun gerçek kullanıcılardan değil, yoğun bot trafiğinden kaynaklandığını tespit etti.
Uç nokta ve NGINX günlüklerini analiz eden geliştirici, toplam trafiğin yaklaşık yarısının tek bir kaynaktan geldiğini belirledi. İncelemeler sonucunda bu trafiğin, internet sitelerindeki değişiklikleri takip edip yapay zeka destekli bültenler üreten bir servise ait olduğu anlaşıldı. Dakikada onlarca sorgu atan bu servisin yanı sıra Claude, OpenAI ve Google gibi şirketlerin tarayıcılarının ve çeşitli güvenlik açığı tarayıcılarının da tek sayfa uygulaması (SPA) mimarisine sahip siteyi yoğun biçimde sorguladığı görüldü.
Söz konusu yapay zeka bülten servisini engelleyen Straus, robots.txt dosyasını güncelleyerek yapay zeka tarayıcılarını kısıtladı ancak arama motoru dizinleyicilerine izin vermeyi sürdürdü. Sistem altyapısına istek sınırlaması (rate limiting) getiren ve mimari iyileştirmeler yapan geliştirici, yapay zeka içerik toplayıcılarının bağımsız projeler üzerindeki sunucu maliyetine ve oluşturduğu yüke dikkat çekti.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.