Bir geliştirici, 2012'den bu yana web tarama teknolojilerindeki gelişmeleri ve maliyetleri güncelleyerek, 2025 yılında bir milyar web sayfasını 24 saatten biraz fazla bir sürede ve yaklaşık 462 dolara nasıl taradığını detaylandıran bir makale yayınladı. Michael Nielsen'ın 2012 tarihli benzer çalışmasına atıfta bulunan yazar, CPU çekirdeklerinin artması, NVMe SSD'lerin yaygınlaşması, ağ bant genişliklerinin genişlemesi ve bulut bilişim hizmetlerinin çeşitlenmesi gibi teknolojik ilerlemelerin, büyük ölçekli web tarama operasyonlarını nasıl daha erişilebilir hale getirdiğini araştırdı. Projenin temel amacı, bir günde bir milyar sayfayı tarayarak bu hedefin günümüz koşullarında ne kadar gerçekçi olduğunu göstermekti.
Deney, belirli kısıtlamalarla yürütüldü. En önemlisi, taramanın sadece HTML içeriğiyle sınırlı olmasıydı; yani JavaScript çalıştırma veya dinamik içerik oluşturma süreçleri dahil edilmedi. Bu yaklaşım, eski web taramalarıyla karşılaştırılabilir bir zemin sağlamanın yanı sıra, projenin karmaşıklığını ve maliyetini düşük tutmayı amaçladı. Şaşırtıcı bir şekilde, web'in büyük bir kısmının hala bu geleneksel yöntemle taranabilir olduğu ortaya çıktı. Ayrıca, tarama sırasında web sitelerine karşı "nezaket" kurallarına sıkı sıkıya uyuldu; robots.txt dosyalarına riayet edildi, bilgilendirici bir kullanıcı aracısı kullanıldı ve aynı alan adına yapılan istekler arasında minimum 70 saniye bekleme süresi uygulandı.
Sonuç olarak, proje 1.005 milyar web sayfasını ortalama 25.5 saatlik aktif makine süresiyle ve toplamda 462 dolarlık bir maliyetle başarıyla tamamladı. Bu, 2012'deki benzer bir girişimin 41.000 dolar civarında olduğu tahmin edilen maliyetine kıyasla, web tarama teknolojilerinin ve bulut altyapısının ne kadar geliştiğini ve ekonomikleştiğini gözler önüne seriyor. Makale, modern web tarama operasyonlarının teknik zorlukları, maliyet etkinliği ve etik yaklaşımları hakkında önemli bilgiler sunuyor.
Modern bulut altyapısı ve optimize edilmiş yöntemlerle, geçmişe kıyasla çok daha düşük maliyetle ve kısa sürede milyarlarca web sayfasını taramanın mümkün olduğunu gösteriyor.