Parsen und Transformieren von SQL-MDi-Abfragen in Föderierten Data Warehouse-Systemen

Transkript

1 Parsen und Transformieren von SQL-MDi-Abfragen in Föderierten Data Warehouse-Systemen Diplomarbeit zur Erlangung des akademischen Grades Mag.rer.soc.oec. im Diplomstudium Wirtschaftsinformatik Eingereicht an der Johannes Kepler Universität Linz Institut für Wirschaftsinformatik Data & Knowledge Engineering Eingereicht von: Wolfgang Brunneder Begutachter: o. Univ.-Prof. Dr. Michael Schrefl Betreuender Assistent: Mag. Stefan Berger Linz, April 2008

2

3 Eidesstattliche Erklärung Ich erkläre an Eides statt, dass ich die vorliegende Diplomarbeit mit dem Titel Parsen und Transformieren von SQL-MDi-Abfragen in Föderierten Data Warehouse-Systemen selbständig und ohne fremde Hilfe verfasst, andere als die angegebenen Quellen und Hilfsmittel nicht benutzt bzw. die wörtlich oder sinngemäß entnommenen Stellen als solche kenntlich gemacht habe. Linz, April 2008 Wolfgang Brunneder 3

4

5 Danksagung An dieser Stelle möchte ich mich bei allen bedanken, die mich beim Verfassen dieser Diplomarbeit unterstützt haben. Ich bedanke mich bei meinem Betreuer Mag. Stefan Berger, der mir mit seiner konstruktiven Kritik geholfen hat, den Aufbau und Inhalt dieser Diplomarbeit auszuarbeiten. Weiters bedanke ich mich bei Herrn o. Univ.-Prof. Dr. Michael Schrefl, aufgrund dessen Feedback aus dem Diplomarbeitsseminar ich die Qualität der Arbeit noch wesentlich verbessern konnte. Darüber hinaus bedanke ich mich bei meiner Familie und meinen Freunden, welche mich immer wieder neu motivierten und von etwaigen Zweifeln befreiten. Meiner Freundin Katharina danke ich für ihre liebevolle Unterstützung in der Endphase meiner Diplomarbeit, wodurch ich deren Fertigstellung nochmals beschleunigen konnte. Abschließend gilt mein besonderer Dank meinen Eltern, welche mir mein Studium überhaupt erst ermöglichten. Wolfgang Brunneder 5

6

7 Zusammenfassung Unternehmenskooperationen und -zusammenschlüsse können Data Warehouse-übergreifende Analysen zur Leistungsbeurteilung erfordern, wofür sich die Erstellung eines Föderierten Data Warehouse-Systems anbietet. Ein Föderiertes Data Warehouse-System bietet transparenten Zugriff auf die integrierten Komponentensysteme mit Hilfe eines globalen Schemas bzw. eines globalen Würfels. Um Transparenz zu gewährleisten, ist es erforderlich den Benutzer von den zwischen den zu integrierenden Schemata bzw. Würfeln bestehenden Heterogenitäten abzuschirmen. Für diesen Zweck wurde die multidimensionale Abfragesprache SQL-MDi entwickelt, welche die Auflösung der Heterogenitäten ermöglicht. Ziel dieser Diplomarbeit ist die Entwicklung einer Parser-Komponente, welche eine Teil-Komponente eines Abfrage-Werkzeugs zur Generierung kompatibler Schemata bzw. Würfel in einem Föderierten Data Warehouse-System darstellt. Die Parser-Komponente hat die Aufgabe, eine in SQL-MDi formulierte Abfrage zu analysieren, d.h. die Korrektheit der Syntax und der enthaltenen Metadaten zu prüfen sowie logische Konflikte zu erkennen und zu behandeln. Der vom Parser zu generierende Output ist eine Baumstruktur, welche die Operatoren der SQL- MDi zugrunde liegenden Algebra beinhaltet. Die Baumstruktur dient als Ausführungsplan für eine Prozessor-Komponente, welche auf Basis der Algebra-Operatoren Sub-Anweisungen für die Komponentensysteme erzeugt und ein integriertes Schema bzw. einen integrierten Würfel berechnet. Durch die Berücksichtigung von logischen Optimierungsmöglichkeiten bei der Erzeugung der Baumstruktur, wird die Prozessor-Komponente bei der effizienten Generierung und Verarbeitung der Sub-Anweisungen unterstützt. 7

8

9 Abstract Business cooperations or mergers may require cross-data Warehouse analysis to assess business performance. A Federated Data Warehouse System is an appropriate instrument for that purpose by providing transparent access to the integrated component-systems with a global scheme or global cube, respectively. In order to ensure transparency it is necessary to hide existing hetergeneities between the component-schemes from the user. Thus, the multidimenisonal query language SQL-MDi was developed in order to resolve the heterogeneities. The goal of this thesis is the development of a parser-component as a part of a query tool to generate compatible component-schemes or cubes, respectively, in a Federated Data Warehouse System. One challenge for the parser-component is to analyse a SQL-MDi query by checking the validity of the syntax and contained metadata and by recognizing and handling logical conflicts. The ouput of the parser-component is a tree-structure which contains the operators of the algebra on which SQL-MDi is based on. This tree-structure will be used as an execution plan for a processor-component, which creates statements for the component-systems according to the algebra-operators and calculates an integrated scheme or cube, respectively. Considering logical optimizations during the contruction of the tree-structure enables the processor-component to efficiently create and process the statements for the component-systems. 9

10

11 Abkürzungsverzeichnis API AST CWM DA DBMS DBS DDBMS DEA DFM DW DWS EBNF ETL FA FDBS FDWS GAV LAV Application programming interface Abstract Syntax Tree (Syntaxbaum) Common Warehouse Metamodel Dimension-Algebra Datenbankmanagementsystem Datenbanksystem(e) Distributed database management system (Verteiltes Datenbankmanagementsystem) Deterministischer, endlicher Automat Dimensional Fact Model Data Warehouse/Data Warehousing Data Warehouse-System(e) Erweiterter Backus-Naur-Formalismus Extraction, Transformation, Loading Fact-Algebra Föderiertes Datenbanksystem Föderiertes Data Warehouse-System Global as view Local as view 11

12 MDBMS MDBS MDWS MFUA MFUB MOLAP NEA OLAP OLTP RA RDBMS ROLAP UML Multidimensionales Datenbankmanagementsystem Multi-Datenbanksystem(e) Multi-Data Warehouse-System(e) Mobilfunkunternehmen A (des Rahmenbeispiels) Mobilfunkunternehmen B (des Rahmenbeispiels) Multidimensionales OLAP Nichtdeterministischer, endlicher Automat Online analytical processing Online transactional processing Relationale Algebra Relationales Datenbankmanagementsystem Relationales OLAP Unified Modeling Language 12

13 DA/FA-Operatoren ζ δ γ α Ω σ π λ ξ χ ɛ Rename (DA und FA) Change (DA) Convert (DA und FA) Delete level (DA) Override rollup (DA) Select (FA) Project (FA) Delete measure (FA) Pivot (split measure attribute) (FA) Pivot (merge measure attributes) (FA) Enrich dimensions (FA) µ Merge facts (FA) 13

14

15 Inhaltsverzeichnis 1 Einleitung Föderiertes Data Warehouse-System Themenstellung, Zielsetzung und Abgrenzung der Arbeit Rahmenbeispiel Aufbau der Arbeit I Data Warehousing und integrierte Data Warehouse-Systeme 41 2 Data Warehousing Einordnung und Abgrenzung Data Warehousing-Architektur Multidimensionales Datenmodell Data Warehouse-Design Konzeptuelles Design Schemaebene Instanzebene Logisches Design Star-Schema Snowflake-Schema OLAP-Abfragen und materialisierte Sichten Physisches Design Indexstrukturen Partitionierung Zusammenfassung Integration von Datenbank- und Data Warehouse-Systemen Allgemeine Ansätze für die Datenintegration Local as view (LAV) Global as view (GAV) Deklarative vs. prozedurale Integration Ansätze für die Integration von Datenbanksystemen Klassifizierung von Systemen zur Datenbankintegration Architektur eines Föderierten Datenbanksystems Heterogenitäten zwischen Datenbanksystemen Lösungsansätze Ansätze für die Integration von Data Warehouse-Systemen Klassifizierung von Systemen zur Data Warehouse-Integration

16 3.3.2 Architektur eines Föderierten Data Warehouse-Systems Heterogenitäten zwischen Data Warehouse-Systemen Konflikte auf Schemaebene Konflikte auf Instanzebene DBS-Heterogenitäten vs. DWS-Heterogenitäten Lösungsansätze Zusammenfassung II Sprachen für die Integration von Data Warehouse-Systemen 79 4 Analyse von Abfragesprachen für die Integration von DBS/DWS Beurteilungskriterien Überblick über Abfragesprachen für MDBS HiLog MSQL IDL SchemaLog UDM RSQL, RRA und SISQL Tabular Algebra SchemaSQL CQL nd-sql MD-SQL, MQL/MA und FISQL/FIRA SQL M Beurteilung Analyse ausgewählter Abfragesprachen SchemaSQL Theoretische Konzepte Anwendung für die Integration von DWS Exkurs: Horizontale Aggregation Fazit nd-sql Theoretische Konzepte Anwendung für die Integration von DWS Exkurs: Beliebige GROUP-BY Kombinationen Fazit CQL Theoretische Konzepte Anwendung für die Integration von DWS Exkurs Fazit Beurteilung SQL-MDi und DA/FA-Algebra Theoretische Konzepte

17 5.2 SQL-MDi-Syntax Auflösung von Konflikten auf Schemaebene Auflösung von Konflikten auf Instanzebene Formulierung einer SQL-MDi-Abfrage Dimension-Algebra/Fact-Algebra Eine formale Algebra für SQL-MDi Kanonisches, multidimensionales Datenmodell Operatoren der Dimension- und Fact-Algebra Operatoren der Dimension-Algebra Operatoren der Fact-Algebra Komposition der DA/FA-Operatoren Logische Struktur des Operator-Baums Auswertungsreihenfolge der DA/FA-Operatoren Konflikte im Abfrage-Kontext SQL-MDi-Anweisungen vs. DA/FA-Operatoren Zusammenfassung III Parser-Implementierung Grundlagen des Übersetzerbaus Formale Sprachen und Automaten Grundbegriffe Zeichenketten und Sprachen Grammatiken Erweiterter Backus-Naur-Formalismus (EBNF) Chomsky-Hierarchie Reguläre Sprachen und ihre Beschreibungsformen Reguläre Grammatiken Reguläre Ausdrücke Endliche Automaten Kontextfreie Sprachen und ihre Beschreibungsformen Kontextfreie Grammatiken Kellerautomaten Übersetzerbau Übersetzungsphasen Lexikalische Analyse Spezifikation von Symbolen Erkennung von Symbolen Syntaxanalyse Top-down-Analyse Bottom-up-Analyse Fehlerbehandlung Semantikverarbeitung Symboltabellen Attributierte Grammatiken

18 Zwischensprache Übersetzer-Generatoren Zusammenfassung SQL-MDi Query Parser Anforderungen an den SQL-MDi Query Parser Funktionale Anforderungen Nicht-funktionale Anforderungen Integration in FDWS-Architektur Integrations-Werkzeug Query Parser Query Prozessor Technologien und Standards Programmiersprache Java Java Database Connectivity (JDBC) Log4j JUnit Eclipse JavaCC JavaCC Eclipse Plugin Common Warehouse Metamodel (CWM) Systemarchitektur Systemimplementierung Komponente Parser Klasse TokenManager Klasse Parser Abstract Syntax Tree (AST) Anpassung von Fehlermeldungen und automatischer Wiederaufsatz Komponente Metadata Management Metadaten-Design Metadaten-Management Komponente Operatortree Physisches Design der Operator-Baumstruktur Einfügen von DA/FA-Operatoren Konfliktprüfung für DA/FA-Operatoren Klasse SemanticProcessingVisitor Visitor-Design Pattern Erzeugen und Einfügen eines DA/FA-Operators Systemänderungen und -erweiterungen Beispiel: Änderung der SQL-MDi-Syntax Beispiel: Erweiterung von SQL-MDi und der FA Zusammenfassung Evaluierung, Resumee und Ausblick Evaluierung Design des Integrationstests

19 8.1.2 Ergebnis des Integrationstests Resumee Ausblick A Spezifikation der SQL-MDi-Syntax 227 B Integrationstest 231 B.1 SQL-MDi-Abfrage B.2 Operator-Baumstruktur B.3 Testdaten und Testergebnis

20

21 Abbildungsverzeichnis 1.1 Föderiertes Data Warehouse-System (vereinfachte Darstellung) Würfel für MFUA und MFUB Data Warehousing-Architektur (vgl. [CD97]) Fakt Schema: Verkauf (MFUA) Primäre Faktinstanz: Verkauf (MFUA) Fakttabelle: Verkauf (MFUA) Star-Schema: Verkauf (MFUA) Snowflake-Schema: Verkauf (MFUA) Klassifizierung: Multidatenbanksysteme (vgl. [SL90]) Fünf-Ebenen-Schema-Architektur für FDBS (vgl. [SL90]) Architektur eines FDWS (vgl. [BS08]) Rahmenbeispiel: Konzeptuelle DW-Schemata Verarbeitung einer SQL-MDi-Abfrage Operator-Baumstruktur für Listing Mögliche Konflikte zwischen DA/FA-Operatoren Zustandsgraph eines deterministischen, endlichen Automaten (vgl. [HMU02]) Übersetzungsphasen (vgl. [Mös06a]) Aufbau eines Syntaxbaums bei der Top-down-Analyse Aufbau eines Syntaxbaums bei der Bottom-up-Analyse Anwendungsfall-Diagramm: SQL-MDi Query Parser Software-Komponenten im FDWS Systemarchitektur des SQL-MDi Query Parser Funktionalität der Komponente Parser Verarbeitung des AST mit der Klasse SemanticProcessingVisitor Parser: ASTPivotSplitMeasure-Knoten Parser: Einfügen in den AST Metadata Management: Metadaten-Design Metadata Management: Measure-Objekt mit Pfad-Angabe Metadata Management: Metadaten-Management-Design Operatortree: Abstrakte Basisklassen der Operator-Baumstruktur Operatortree: Einfügen eines Operators vom Typ HighPriority Op Operatortree: Einfügen eines Operators vom Typ LowPriority Op Operatortree: Einfügen eines Operators vom Typ Global Op Operatortree: Einfügen eines Operators vom Typ SimpleOperator

22 7.16 Operatortree: Einfügen eines konfliktären Operators Simulation des Query Prozessors

23 Tabellenverzeichnis 3.1 Semantische Heterogenitäten zwischen DWS (vgl. [BS06a]) Rahmenbeispiel: DW-Instanzen von MFUA (Star-Schema) Rahmenbeispiel: DW-Instanzen von MFUB (Star-Schema) HiLog: Beurteilung MSQL: Beurteilung Erweitertes MSQL: Beurteilung IDL: Beurteilung SchemaLog: Beurteilung UDM: Beurteilung RSQL, RRA, SISQL: Beurteilung SchemaSQL: Beurteilung CQL: Beurteilung nd-sql: Beurteilung MD-SQL, MQL, FISQL/FIRA: Beurteilung Beurteilung der Abfragesprachen CQL: Ergebnispräsentation SQL-MDi-Anweisungen vs. DA/FA-Operatoren 1/ SQL-MDi-Anweisungen vs. DA/FA-Operatoren 2/ Beurteilung der Übersetzer-Generatoren

24

25 Listings 2.1 SQL: OLAP-Abfrage SQL: Dimensionalität SQL: Unterschiedliche Aggregationshierarchien SQL: Namenskonflikt SQL: Domänenkonflikt (Kenngrößen) SQL: Domänenkonflikt (unterste Klassifikationsstufe) SchemaSQL: Schema-Instanz-Konfikt (MFUB MFUA) SchemaSQL: Schema-Instanz-Konflikt (MFUA MFUB) SQL: Überlappende Fakten (Identitätsbeziehung) SQL: Überlappende Fakten (Kontextbeziehung) SQL: Disjunkte Fakten SQL: Namenskonflikte (Instanzen) SchemaSQL - Exkurs: Horizontale Aggregation nd-sql: Schema-Instanz-Konflikt (MFUB MFUA) nd-sql: Schema-Instanz-Konflikt (MFUA MFUB) nd-sql - Exkurs: Beliebige GROUP-BYs CQL: Dimensionalität CQL: Domänenkonflikt (Kenngrößen) CQL: Domänenkonflikt (unterste Klassifikationsstufe) CQL - Exkurs: Sub-Abfragen CQL - Exkurs: Feature Split CQL - Exkurs: Ergebnispräsentation SQL-MDi: Ausblenden einer Dimension SQL-MDi: Löschen einer Klassifikationsstufe SQL-MDi: Umbenennen eines Kenngrößen-Attributs SQL-MDi: Umbenennen eines dimensionalen Attributs SQL-MDi: Umbenennen einer Klassifikationsstufe SQL-MDi: Umbenennen eines nicht-dimensionalen Attributs SQL-MDi: Konvertierung eines Kenngrößen-Attributs SQL-MDi: Roll-up eines dimensionalen Attributs SQL-MDi: Konvertierung eines nicht-dimensionalen Attributs SQL-MDi: Pivot-Variante SQL-MDi: Pivot-Variante SQL-MDi: Aggregation von überlappenden Fakten SQL-MDi: Kontextdimension für überlappende Fakten SQL-MDi: Bevorzugung von überlappenden Fakten

26 5.15 SQL-MDi: Handhabung von disjunkten Fakten SQL-MDi: Umbenennen von Dimensionsinstanzen SQL-MDi: Überlappende/Disjunkte Dimensionsinstanzen SQL-MDi: Überschreiben einer roll-up Beziehung SQL-MDi: Vollständige SQL-MDi-Abfrage Scanner-Implementierung Top-down Parser-Implementierung Implementierung einer Symboltabelle [App98] Attributierte Grammatik mit Coco/R Parser: Definition von Symbolen mit TOKEN Parser: Definition von Kommentaren mit SPECIAL TOKEN Parser: Definition von zu ignorierenden Zeichen mit SKIP Parser: Produktionsregel für PIVOT MEASURE Anweisung Parser: Definition eines AST-Knotens Parser: Anpassung von Fehlermeldungen Parser: Automatischer Wiederaufsatz SemanticProcessingVisitor: Erzeugen und Einfügen von α Operatoren SQL-MDi Erweiterung: Regel für NEW MEASURE Anweisung SQL-MDi Erweiterung: visit() Methode für ASTNewMeasure B.1 Integrationstest: SQL-MDi-Abfrage

27 Beispielverzeichnis 2.1 Würfel Kenngröße Dimension Klassifikationsstufe Roll-up Beziehung Hierarchie Nicht-dimensionales Attribut Aggregation pattern SQL: OLAP-Abfrage Heterogentität: Dimensionalität Heterogentität: Unterschiedliche Aggregationshierarchien Heterogentität: Namenskonflikte Heterogentität: Domänenkonflikte Heterogentität: Schema-Instanz-Konflikt Heterogentität: Überlappende Fakten Heterogentität: Namenskonflikt (Instanz) Heterogentität: Heterogene roll-up Beziehungen SQL: Dimensionalität SQL: Unterschiedliche Aggregationshierarchien SQL: Namenskonflikt SQL: Domänenkonflikt (Kenngröße) SQL: Domänenkonflikt (Klassifikationsstufe) SchemaSQL: Schema-Instanz-Konflikt I SchemaSQL: Schema-Instanz-Konflikt II SQL: Überlappende Fakten I SQL: Überlappende Fakten II SQL: Disjunkte Fakten SQL: Namenskonflikt (Instanz) SchemaSQL: Horizontale Aggregation ndsql: Schema-Instanz-Konflikt I ndsql: Schema-Instanz-Konflikt II ndsql: Beliebige GROUP BYs CQL: Dimensionalität CQL: Domänenkonflikt (Kenngröße) CQL: Domänenkonflikt (Klassifikationsstufe)

28 4.19 CQL: Sub-Abfragen CQL: Feature split CQL: Ergebnispräsentation SQL-MDi: Dimensionalität SQL-MDi: Unterschiedliche Aggregationshierarchien SQL-MDi: Namenskonflikt (Kenngröße) SQL-MDi: Namenskonflikt (dimensionales Attribut) SQL-MDi: Namenskonflikt (Klassifikationsstufe) SQL-MDi: Namenskonflikt (Nicht-dimensionales Attribut) SQL-MDi: Domänenkonflikt (Kenngröße) SQL-MDi: Domänenkonflikt (Klassifikationsstufe) I SQL-MDi: Domänenkonflikt (Klassifikationsstufe) II SQL-MDi: Domänenkonflikt (Nicht-dimensionales Attribut) SQL-MDi: Schema-Instanz-Konflikt I SQL-MDi: Schema-Instanz-Konflikt II SQL-MDi: Überlappende Fakten I SQL-MDi: Überlappende Fakten II SQL-MDi: Überlappende Fakten III SQL-MDi: Disjunkte Fakten SQL-MDi: Namenskonflikt (Instanz) SQL-MDi: Überlappende/Disjunkte Dimensionsinstanzen SQL-MDi: Heterogene roll-up Beziehungen DA: Rename ζ DA: Change δ w v(l.kj l.a i )(d) DA: Convert γ (l.kj l.a i )θ(d) DA: Delete level α lj (d) DA: Override rollup Ω m v (d) FA: Select σ P (c) FA: Project π (L AC )(c) FA: Delete measure λ (N MF )(c) FA: Rename ζ FA: Convert γ M θ(c) FA: Pivot ξ M A (c) FA: Pivot χ ML M x,a x (c) FA: Enrich dimensions ɛ A =v(c) FA: Merge facts µ(g[n, θ]h) DA/FA: Operator-Abhängigkeit Rekursive Grammatik EBNF Reguläre Grammatik Regulärer Ausdruck Deterministischer, endlicher Automat Kontextfreie Grammatik Kellerautomat

29 6.8 Spezifikation von Symbolen Erkennung von Symbolen Top-down Syntaxanalyse Bottom-up Syntaxanalyse Symboltabellen Attributierte Grammatik Parser: Erkennung von Symbolen Parser: Syntaxprüfung Parser: Aufbau des AST Parser: Syntaxfehler Metadata Management: Measure-Objekt mit Pfad-Angabe Metadata Management: Metadaten-Fehler Operatortree: Einfügen eines Operators vom Typ HighPriority Op Operatortree: Einfügen eines Operators vom Typ LowPriority Op Operatortree: Einfügen eines Operators vom Typ Global Op Operatortree: Einfügen eines Operators vom Typ SimpleOperator Operatortree: Fehler aufgrund eines logischen Konflikts