Cloudflare Queues ile telemetri verilerinde çift tamponlama mimarisi kuruluyor
Öne çıkanlar
- Sistem telemetri verilerini gruplamak için Cloudflare Workers, Queues, Workflows ve R2 kullanıyor.
- Aktif ve pasif kuyrukların yönlendirilmesinde UTC zaman damgaları ve modülo aritmetiği uygulanıyor.
- Tüketici görevi her saatin 30. dakikasında tetiklenerek pasif kuyruğu boşaltıyor ve veriyi R2 üzerinde arşivliyor.
Telemetri verilerini saatlik gruplar halinde toplamak ve maliyetleri düşürmek amacıyla Cloudflare altyapısı üzerinde çift tamponlu kuyruk mimarisi geliştirildi. Sistem, telemetri olaylarını yakalamak, toplu işlemek ve depolamak için Cloudflare Workers, Queues, Workflows ve R2 hizmetlerini bir araya getiriyor. Veri akışını saat dilimi karmaşasından korumak için UTC zaman standardı temel alınıyor.
Mimarideki üretici katmanı, gelen verinin zaman damgasını inceleyerek yükü o an aktif olan kuyruğa yönlendiriyor. Aktif kuyruğun belirlenmesinde ve tüketim aşamasında modülo aritmetiği kullanılıyor. Tüketici görevi ise her saat başından yarım saat sonra tetiklenerek bir önceki saatin boşta kalan ve güvenli hale gelen kuyruğunu boşaltıyor.
İşlenen veri yığınları sıkıştırılarak basit bir bölümleme stratejisiyle R2 nesne depolama alanına yazılıyor. Bu yaklaşım, düzensiz telemetri akışlarını saatlik arşivlere dönüştürerek sunucusuz bir veri gölü oluşturuyor. Yapı, analitik işlemleri için optimize edilmiş arşivler sunarken bulut depolama maliyetlerini de asgari seviyede tutuyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.