ByteDance öneri sistemleri için geliştirdiği USDB depolama motorunu tanıttı
Öne çıkanlar
- ByteDance, öneri sistemlerindeki veri asimetrisi için USDB depolama motorunu geliştirdi.
- Canlı sistem testlerinde ortalama yazma gecikmesi yüzde 85,8 oranında azaldı.
- Altyapı maliyetleri yeni mimariyle birlikte yüzde 42,1 düşürüldü.
- Sistem, kümeleme itme tekniğiyle standart okumalara kıyasla 8,5 kat yüksek verim sundu.
ByteDance araştırmacıları, yeni nesil öneri sistemlerinde kullanılan uzun ve zengin kullanıcı geçmişlerini verimli şekilde saklamak amacıyla USDB adlı birleşik dizi depolama motorunu geliştirdi. Tavsiye modellerinde sıkça görülen sürekli küçük yazma işlemleri ile tekrarlanan büyük okuma talepleri arasındaki asimetriyi hedef alan sistem, hem gerçek zamanlı akış hem de toplu iş yüklerini tek bir mimaride bir araya getiriyor.
Sistem mimarisinde CascadeLSM tabanlı zamana duyarlı sıkıştırma aşamaları, uygulamaya özel geçmişleri hazır hale getiriyor ve hibrit sütunlu format sayesinde öznitelik bazlı okuma işlemleri hızlandırılıyor. Farklılaştırılmış kopyalar kalıcı dosyaları ortak kullanırken, kısmi dökümler son durum ile sürümlenmiş geçmişi birleştirerek çıkarım girdilerini yeniden oluşturuyor. Bu yapı, veri bakım sonuçlarının veri alma, çıkarım ve model eğitimi aşamalarında tekrar kullanılmasını sağlıyor.
Canlı üretim ortamındaki geçiş verilerine göre USDB, ortalama yazma gecikmesini yüzde 85,8 oranında azaltırken altyapı maliyetini yüzde 42,1 düşürdü. Optimize edilmiş RocksDB tabanlı sistemlerle yapılan karşılaştırmalarda uzun geçmiş okumalarında daha yüksek performans sergileyen platform, kümeleme itme özelliğiyle sınırlı kaynak altında 8,5 kat daha yüksek verim sağladı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.