Turbopuffer, dahili indeksleme iş kuyruğunu yenileyerek önemli bir iyileştirme gerçekleştirdi. Önceki sistemde, kuyruklar indeksleme düğümleri arasında parçalıydı, bu da yavaş bir düğümün kendisine atanan tüm işleri bloke etmesine neden oluyordu. Yeni yaklaşım, nesne depolama üzerinde tek bir JSON dosyası kullanarak dağıtılmış bir kuyruk oluşturuyor. Bu yeni sistem, durumsuz bir broker aracılığıyla FIFO (ilk giren ilk çıkar) yürütme, en az bir kez garanti ve önceki uygulamaya göre 10 kat daha düşük kuyruk gecikmesi sunarak indeksleme işlerinin daha hızlı tamamlanmasını sağlıyor.
Şirket, bu çözümde nesne depolamayı tercih etmesinin nedenlerini basitlik, öngörülebilirlik, kolay operasyon ve yüksek ölçeklenebilirlik olarak açıklıyor. Kuyruğun toplam veri boyutu 1 GiB'den az olduğu için, en basit tasarım olarak queue.json adlı tek bir dosyanın tüm kuyruk içeriğiyle tekrar tekrar üzerine yazılması benimsenmiş. Kuyruk iticileri (pushers), dosyanın içeriğini okuyup yeni bir işi sona eklerken, kuyruk işçileri (workers) ise ilk talep edilmemiş işi "devam ediyor" olarak işaretler. Her iki işlem de Compare-and-Set (CAS) ilkelini kullanarak atomik olarak gerçekleştirilir. CAS, yazma işleminin yalnızca dosya okunduğundan beri değişmediyse başarılı olmasını sağlayarak karmaşık kilitleme mekanizmalarına gerek kalmadan güçlü tutarlılık garantileri sunar.
Nesne depolamanın düşük yazma gecikmesi dezavantajını aşmak için sistem, "group commit" adı verilen bir teknikle işleri toplu olarak yazıyor. Bir yazma işlemi devam ederken gelen istekler bellekte tamponlanır ve mevcut yazma işlemi biter bitmez tampondaki veriler bir sonraki CAS yazma işlemi olarak diske aktarılır. Bu yöntem, geleneksel veritabanlarında da kullanılan bir desen olup, yüksek verim elde etmek için yazma işlemlerini birleştirmeye yardımcı olur. Bu sayede, saniyede birden fazla isteği işleyebilen, yüksek performanslı ve güvenilir bir dağıtılmış kuyruk elde edilmiş oluyor.
Nesne depolamanın basit ve ölçeklenebilir yapısını kullanarak, geleneksel veritabanı karmaşıklığı olmadan yüksek performanslı ve güvenilir bir dağıtılmış kuyruk sistemi oluşturulabileceğini gösteriyor.