Neuroexplicit models for data processing

Abstract

This thesis explores hybrid approaches that integrate neural networks into model-based methods for image processing. Model-driven techniques based on differential equations and variational methods offer strong theoretical foundations and mathematical guarantees. If one expresses their goals and the algorithms to achieve them as mathematical equations, they become explicit and human-interpretable. Conversely, neural networks excel across a wide range of tasks but still remain black boxes. To bridge this gap, we investigate how the potential of neural networks can be leveraged by model-based approaches while preserving their interpretability. First, we focus on the model-based side. We propose a new derivation for a class of discretisations, which can then be implemented using typical neural network building blocks for a fast implementation. Next, we demonstrate that even simple neural solvers can effectively address numerically challenging problems, achieving good results for the inpainting of images and sound fields. Finally, we propose a neural mask optimisation framework for diffusion-based inpainting. It leads to the first neural method capable of handling high-resolution images by harmoniously combining model-based principles with neural optimisation. By embedding neural solutions within the structure of established model-based frameworks, our work advances the field of neuroexplicit computing and constructs interpretable yet performant approaches.

Diese Arbeit untersucht hybride Ansätze, die neuronale Netze in modellbasierte Verfahren der Bildverarbeitung integrieren. Modellgetriebene Techniken, die auf Differenzialgleichungen und Variationsmethoden basieren, bieten robuste theoretische Grundlagen und mathematische Garantien. Wenn deren Ziele und eingesetzte Algorithmen als Gleichungen ausgedrückt werden, sind diese explizit beschrieben und lassen sich klar interpretieren. Im Gegensatz dazu liefern neuronale Netze bei einer Vielzahl von Aufgaben gute Ergebnisse, bleiben aber weiterhin „Black Boxes“. Um beide Welten zusammenzuführen, untersuchen wir, wie neuronaler Netze in modellbasierte Ansätze integriert werden können, ohne deren Interpretierbarkeit zu beeinträchtigen. Wir schlagen eine neue Herleitung für eine Klasse von Diskretisierungen vor, die sich mittels typischer Bausteine neuronaler Netze effizient implementieren lässt. Weiterhin zeigen wir, dass bereits einfache neuronale Löser numerisch anspruchsvolle Probleme effektiv bewältigen und dabei gute Ergebnisse beim Inpainting von Bildern und Schallfeldern erzielen können. Schließlich stellen wir ein neuronales Maskenoptimierungs-Framework für diffusionsbasiertes Inpainting vor. Die harmonische Kombination von modellbasierten Prinzipien und neuronaler Optimierung ermöglicht hier die Verarbeitung von hochauflösenden Bildern. Durch die Einbettung neuronaler Lösungen in etablierte modellbasierte Frameworks leistet unsere Arbeit einen Beitrag zu neuroexpliziten Methoden und liefert interpretierbare und zeitgleich performante Ansätze.