Towards a synthetic world

Abstract

Visual information needs to fulfill various requirements. On the one hand such information should be realistic, while on the other hand it should be easily modifiable. Both of these requirements are met by different kinds of visual data: Computer generated imagery can be modified, but is generally less realistic than captured content, whereas captured data is photo-realistic, but merely modifiable. This thesis approaches the interplay of generated and captured data in different ways, with the goal of joining the advantages of both kinds. Towards this goal we introduce a representation format which allows the merge of content coming from different data sources. We have advanced algorithmic approaches that enhance captured data by information comparable to generated data. On the basis of our novel representation various processing steps can be implemented, of which some are presented here. An important contribution is our analysis of subjectively perceived quality of augmented and virtual reality scenarios, and an approach to determine this quality algorithmically.

Visuelle Informationen müssen verschiedenen Anforderungen genügen. Sie sollen zum einen realistisch aussehen und zum anderen einfach modifizierbar sein. Diese beiden Anforderungen werden in verschiedenen Darstellungsformen visueller Informationen bedient: So sind computergenerierte Bilder leicht modifizierbar, aber in der Regel weniger realistisch als Kamera-Aufnahmen. Hingegen sind Kamera-Aufnahmen photorealistisch, aber kaum oder nur schwer modifizierbar. Diese Arbeit betrachtet das Zusammenspiel von generierten und aufgenommenen Daten aus verschiedenen Blickwinkeln, mit dem Ziel, die Vorteile beider Datenstrukturen zu kombinieren. Dafür stellen wir ein Datenformat vor, welches die Zusammenführung verschiedener Datenquellen erlaubt, und von uns entwickelte algorithmische Ansätze werden präsentiert, um in aufgenommenen Daten eine mit computergenerierten Daten vergleichbare Wissensbasis zu schaffen. Mit dieser Grundlage eröffnen wir für die Verarbeitung der Bilddaten vielfältige Möglichkeiten, von denen hier einige vorgestellt werden. Ein wichtiger Beirag ist unsere Analyse der subjektiv empfundenen Qualität von Fehlern, wie sie in Virtual Reality- und Augmented Reality-Szenarien vorkommen, und der von uns entwickelte Ansatz, diese Qualität algorithmisch zu bestimmen.