Çoklu görünüm 3D rekonstrüksiyon yöntemleri, kamera optik özellikleri ve görüntü sinyal işleme (ISP) varyasyonlarından kaynaklanan fotometrik tutarsızlıklara karşı oldukça hassastır. Mevcut azaltma stratejileri, örneğin kare başına gizli değişkenler veya afin renk düzeltmeleri, fiziksel bir temele sahip değildir ve yeni görünümlere kötü genelleşir. Bu durum, radyans alanı rekonstrüksiyonlarında fotometrik varyasyonların geometrik artefaktlar olarak modellenmesine yol açar. NVIDIA araştırmacıları, bu sorunu çözmek için Fiziksel Olarak Makul ISP (PPISP) düzeltme modülünü önermektedir.
PPISP, kamera içi ve yakalamaya bağlı etkileri fiziksel tabanlı ve yorumlanabilir dönüşümler aracılığıyla ayrıştırır. Özel bir PPISP kontrolcüsü, gerçek kameralardaki otomatik pozlama ve otomatik beyaz dengesine benzer şekilde, giriş görünümlerinde eğitilerek yeni bakış açıları için ISP parametrelerini tahmin eder. Bu tasarım, zemin gerçekliği görüntülerine erişim olmaksızın yeni görünümlerde gerçekçi ve adil bir değerlendirme yapılmasını sağlar. PPISP, pozlama ofseti, kromatik vinyetleme, doğrusal renk düzeltme ve doğrusal olmayan kamera yanıt fonksiyonu gibi fiziksel tabanlı modülleri sıralı bir şekilde uygulayarak rekonstrüksiyon kalitesini artırır.
PPISP, fotometrik varyasyonları açıklayarak rekonstrüksiyon kalitesini önemli ölçüde iyileştirir ve standart karşılaştırmalarda en iyi performansı (SoTA) elde eder. Diğer yöntemler, örneğin bilateral ızgaralar, fotometrik telafiyi yalnızca eğitim görünümlerinde optimize ederken, PPISP'nin kontrolcü modülü yeni görünümlerde kare başına parametreleri tahmin ederek bu genelleme sorununu aşar. Bu sayede, PPISP hem sezgisel kontrol sunar hem de mevcut olduğunda meta veri entegrasyonunu destekleyerek 3D rekonstrüksiyon alanında önemli bir ilerleme kaydetmektedir.
PPISP, 3D rekonstrüksiyon kalitesini artırarak, özellikle farklı kamera koşullarında elde edilen verilerle çalışırken daha güvenilir ve gerçekçi modeller oluşturulmasını sağlıyor.