ClickBench hile yaptığı belirlenen pgrust girdisini listeden çıkardı
Öne çıkanlar
- ClickHouse, pgrust girdisini ClickBench testlerinden çıkardı.
- Yazılımın her test sorgusu için elle yazılmış özel çekirdekler içerdiği belirlendi.
- Tekrarlanan sorgularda veriye dokunulmadan önbellekteki eski yanıtlar sunuldu.
ClickHouse ekibi, veri tabanı performans kıyaslama platformu ClickBench üzerinde yer alan pgrust projesini test kurallarını ihlal ettiği gerekçesiyle sistemden kaldırdı. Platform yöneticileri tarafından birleştirilen değişiklik talebinde, pgrust motorunun genel bir veri tabanı gibi çalışmak yerine ClickBench sorguları için özel olarak hazırlanmış kodlar içerdiği açıklandı. Geliştiriciler bu durumu hile olarak nitelendirerek ilgili motoru sıralamadan çıkardı.
İncelemeler, pgrust sürümünün her bir ClickBench sorgusu için elle yazılmış bağımsız çekirdekler barındırdığını gösterdi. Sistem, genel amaçlı sorgu planlaması yürütmek yerine doğrudan test sorgularına göre adlandırılan plan eşleştiricileri kullandı. Ayrıca filtre kararlarını sorgular arasında önbelleğe alan bir yapı kurularak, tekrarlanan sıcak çalıştırmalarda veriye hiç erişilmeden doğrudan önceki yanıtların kopyalandığı belirlendi.
Test ortamında yapılan denemelerde, ClickBench sorgularında yapılan ufak değişikliklerin dahi hata verdiği görüldü. Örneğin sistemin en temel sorgu varyasyonlarını bile çalıştıramayıp reddetmesi, yazılımın gerçek bir veri tabanı gibi genel sorguları işleyemediğini kanıtladı. Alınan kararla birlikte ClickBench sonuçlarının şeffaflığı ve kıyaslama güvenilirliği yeniden sağlandı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.