Deep High Dynamic Range Imaging: Reconstruction, Generation and Display

Abstract

High Dynamic Range (HDR) images offer significant advantages over Low Dynamic Range (LDR) images, including greater bit depth, a wider color gamut, and a higher dynamic range. These features not only provide users with an enhanced visual experience but also facilitate post-production processes in photography and filmmaking. Despite the considerable advancements in HDR technology over the years, significant challenges persist in the acquisition and display of HDR content. This thesis systematically explores the potential of leveraging deep learning techniques combined with physical prior knowledge to address these challenges. First, it investigates how implicit neural representations can be utilized to reconstruct all-in-focus HDR images from sparse, defocused LDR inputs, enabling flexible refocusing and re-exposure. Additionally, it extends the scope to the 3D domain by employing 3D Gaussian Splatting to reconstruct HDR all-in-focus fields from multi-view LDR defocused images, supporting novel view synthesis with refocusing and re-exposure capabilities. Expanding further, the thesis investigates strategies for generating HDR content from the in-the-wild LDR data or limited HDR datasets, and subsequently utilizes the resulting HDR generative models as priors to enable the transformation of LDR images into HDR. Finally, it proposes a feature contrast masking loss inspired by visual masking theory, enabling a self-supervised learning tone mapper to display the HDR content on LDR devices.

High Dynamic Range (HDR)-Bilder bieten im Vergleich zu Low Dynamic Range (LDR)-Bildern erhebliche Vorteile, darunter eine höhere Bittiefe, ein breiteres Farbspektrum und einen größeren Dynamikbereich. Diese Eigenschaften bieten den Nutzern nicht nur eine verbesserte visuelle Erfahrung, sondern erleichtern auch die Nachbearbeitungsprozesse in der Fotografie und Filmproduktion. Trotz der erheblichen Fortschritte in der HDR-Technologie in den letzten Jahren bestehen weiterhin große Herausforderungen bei der Erfassung und Darstellung von HDRInhalten. Diese Dissertation untersucht systematisch das Potenzial des Einsatzes von Deep-Learning-Techniken in Kombination mit physikalischem Vorwissen, um diese Herausforderungen zu bewältigen. Zunächst wird der Einsatz impliziter neuronaler Netzwerke untersucht, um HDR-Bilder mit vollständigem Fokus aus spärlichen LDRBildern mit Defokus zu rekonstruieren und dabei flexible Nachfokussierungs- und Belichtungsanpassungen zu ermöglichen. Darüber hinaus wird der Anwendungsbereich auf den 3D-Bereich erweitert, indem 3D-Gaussian Splatting verwendet wird, um HDR-Felder mit vollständigem Fokus aus Multi-View-LDR-Bildern mit Defokus zu rekonstruieren, wodurch die Synthese neuer Ansichten mit Nachfokussierungsund Belichtungsanpassungsfunktionen unterstützt wird. Weiterführend untersucht die Dissertation Strategien zur Generierung von HDR-Inhalten aus unstrukturierten LDR-Daten oder begrenzten HDR-Datensätzen und nutzt die resultierenden HDR-Generativmodelle als Prior, um die Umwandlung von LDR- in HDR-Bilder zu ermöglichen. Schließlich wird ein Feature Contrast Masking Loss vorgeschlagen, der von der Theorie der visuellen Maskierung inspiriert ist und einen selbstüberwachten Tone-Mapping-Ansatz ermöglicht, um HDR-Inhalte auf LDR-Geräten darzustellen.