SciDok

Eingang zum Volltext in SciDok

Lizenz

Dissertation zugänglich unter
URN: urn:nbn:de:bsz:291-scidok-67738
URL: http://scidok.sulb.uni-saarland.de/volltexte/2017/6773/


Distributed querying of large labeled graphs

Verteiltes Abfragen von großen markierten Graphen

Gurajada, Sairam

pdf-Format:
Dokument 1.pdf (1.352 KB)

Bookmark bei Connotea Bookmark bei del.icio.us
SWD-Schlagwörter: RDF <Informatik> , Verteiltes Datenbanksystem , Abfrageverarbeitung , Zustandsgraph
Freie Schlagwörter (Deutsch): effiziente Abfrageverarbeitung
Freie Schlagwörter (Englisch): distributed databases , RDF , SPARQL , BGP , set reachability , distributed graph processing
CCS - Klassifikation: H.2.4 ,
Institut: Fachrichtung 6.2 - Informatik
Fakultät: Fakultät 6 - Naturwissenschaftlich-Technische Fakultät I
DDC-Sachgruppe: Informatik
Dokumentart: Dissertation
Hauptberichter: Weikum, Gerhard (Prof. Dr.)
Sprache: Englisch
Tag der mündlichen Prüfung: 06.02.2017
Erstellungsjahr: 2016
Publikationsdatum: 10.02.2017
Kurzfassung auf Englisch: Graph is a vital abstract data type that has profound significance in several applications. Because of its versitality, graphs have been adapted into several different forms and one such adaption with many practical applications is the “Labeled Graph”, where vertices and edges are labeled. An enormous research effort has been invested in to the task of managing and querying graphs, yet a lot challenges are left unsolved. In this thesis, we advance the state-of-the-art for the following query models, and propose a distributed solution to process them in an efficient and scalable manner.
• Set Reachability. We formalize and investigate a generalization of the basic notion of reachability, called set reachability. Set reachability deals with finding all reachable pairs for a given source and target sets. We present a non-iterative distributed solution that takes only a single round of communication for any set reachability query. This is achieved by precomputation, replication, and indexing of partial reachabilities among the boundary vertices.
• Basic Graph Patterns (BGP). Supported by majority of query languages, BGP queries are a common mode of querying knowledge graphs, biological datasets, etc. We present a novel distributed architecture that relies on the concepts of asynchronous executions, join-ahead pruning, and a multi-threaded query processing framework to process BGP queries in an efficient and scalable manner.
• Generalized Graph Patterns (GGP). These queries combine the semantics of pattern matching and navigational queries, and are popular in scenarios where the schema of an underlying graph is either unknown or partially known. We present a distributed solution with bimodal indexing layout that individually support efficient processing of BGP queries and navigational queries. Furthermore, we design a unified query optimizer and a processor to efficiently process GGP queries and also in a scalable manner.
To this end, we propose a prototype distributed engine, coined “TriAD” (Triple Asynchronous and Distributed) that supports all the aforementioned query models. We also provide a detailed empirical evaluation of TriAD in comparison to several state-of-the-art systems over multiple real-world and synthetic datasets.
Kurzfassung auf Deutsch: Graphenorientierte Datenmodelle haben in den vergangenen Jahren zunehmend an Relevanz im Bereich der Datenverarbeitung mittels moderner Informationssysteme gewonnen. Eine sehr vielseitige, allgemeine Form der graphenorientierten Repräsentation von Datenobjekten und deren Beziehungen zueinander bieten sogenannte „beschriftete Graphen“, in denen sowohl die Knoten als auch die Kanten zwischen den Datenobjekten Beschriftungen tragen. Wegen der enorm vielseitigen Anwendbarkeit dieser graphenorientierten Datenmodelle beschäftigt sich eine große Anzahl aktueller Forschungsarbeiten insbesondere mit der verteilten Verarbeitung und Anfragebearbeitung von großen Graphdatensätzen. Dennoch bleiben viele Herausforderungen gerade bezüglich der Effizienz und der Skalierbarkeit dieser Ansätze weiterhin offen. Die vorliegende Dissertation erweitert die aktuellen Forschungsergebnisse für die folgenden Anfragemodelle auf großen, beschrifteten Graphen.
• Verteilte Mengenerreichbarkeit. Auf Basis des bekannten Erreichbarkeitsproblems in gerichteten, beschrifteten Graphen formulieren wir eine Verallgemeinerung dieses Problems, welches wir als „verteilte Mengenerreichbarkeit“ bezeichnen. Mengenerreichbarkeit bezeichnet das Erreichbarkeitsproblem für Mengen von Quell- und Zielknoten, zwischen denen wir alle Paare von Quell- und Zielknoten, die jeweils im zu Grunde liegenden Datengraphen erreichbar sind, suchen. Im Gegensatz zu bestehenden Ansätzen zur Anfrageauswertung auf verteilten Graphen präsentieren wir einen nicht-iterativen Lösungsansatz, der nur einen einzigen Kommunikationsschritt zwischen allen Rechenknoten in einem Rechnerverbund benötigt. Diese Garantie gilt für beliebige Graphen und Mengenerreichbarkeitsanfragen und wird durch eine Kombination aus Vorausberechnungen, Replikation und Indexierung der partiellen Erreichbarkeitseigenschaften des partitionierten Datengraphen erreicht.
• Einfache Graphenmuster. Anfragen mit sogenannten „einfachen Graphenmustern“ werden von einer Reihe aktueller Anfragesprachen unterstützt und bilden die häufigste Form von Anfragen in semantischen Graphen, biologischen Datensätzen und vielen weiteren Formen von graphenorientierten Daten. Zur effizienten und skalierbaren Auswertung dieser Form von Anfragen präsentieren wir eine neuartige, verteilte Architektur, die verschiedene Konzepte der Optimierung von Ausführungsplänen innerhalb eines Rechnerverbundes, der parallelen Ausführung dieser Ausführungspläne innerhalb eines jeden Rechenknotens, sowie der asynchronen Kommunikation zwischen den Rechenknoten miteinander verbindet.
• Verallgemeinerte Graphenmuster. Diese Form der Anfragen kombinieren einfache Graphenmuster mit zusätzlichen Navigationsbedingungen, die in Form von regulären Ausdrücken zwischen den einfachen Graphenmustern vorliegen. Diese Anfragen kommen insbesondere dann zum Einsatz, wenn das Schema des zu Grunde liegenden Datengraphen nicht oder nur teilweise bekannt ist. Zur verteilten Auswertung dieser verallgemeinerten Graphenmuster präsentieren wir eine Kombination unserer Indexstrukturen zur Auswertung einfacher Graphenmuster mit unseren Indexstrukturen zur Auswertung von Mengenerreichbarkeitsanfragen. Des Weiteren entwickeln wir einen einheitlichen Ansatz zur Optimierung und der – sowohl verteilten als auch parallelen – Auswertung von Anfragen mit verallgemeinerten Graphenmustern.
Zusammenfassend stellt die vorliegende Dissertation die Architektur eines verteilten Prototypens (genannt „TriAD“ für „Triple-Asynchronous-Distributed“) zur effizienten und skalierbaren Auswertung der oben genannten Anfragen auf großen, beschrifteten Graphen vor. Des Weiteren präsentiert die Dissertation eine detaillierte, empirische Evaluation von TriAD im Vergleich zu einer Reihe aktueller Systeme auf großen Graphdatensätzen mit unterschiedlichen Eigenschaften.
Lizenz: Veröffentlichungsvertrag für Dissertationen und Habilitationen

Home | Impressum | Über SciDok | Policy | Kontakt | Datenschutzerklärung | English