Multidimensionale Datenbanksysteme

Transkript

1 Multidimensionale Datenbanksysteme Modellierung und Verarbeitung Von Dr.-Ing. Wolfgang Lehner IBM Almaden Research Center, San Jose, USA Technische Universität Darrr:ctadi FACHBEREICH INFORMATIK BIBLIOTHEK Inventar-Nr.: Sachgebiete: Standort: B.G.Teubner Stuttgart Leipzig 1999

2 Inhaltsverzeichnis A Multidimensionale Datenanalyse: Exemplarischer Einsatz und allgemeine Methodik 15 1 Einleitung Statistische Informationsverarbeitung Prozeß der statistischen Datenanalyse Charakteristika statistischer Informationsgewinnung Versuch einer Taxonomie der Begriffe 'SSDBMS', 'Data Warehouse' und 'Online Analytical Processing' Beispiele statistischer Informationsverarbeitungssysteme Regionaldatenanalyse bei 'Statistics Norway', Paneldatenanalyse bei der 'Gesellschaft für Konsum-, Markt- und Absatzforschung' Zusammenfassung Gegenstand und Struktur des Buches 25 2 'Data Warehouse' und 'Online Analytical Processing' Das Konzept des 'Data Warehouse' Versuch einer Definition von 'Data Warehouse' Trennung von operativen und 'Data Warehouse'-Umgebungen Konzeptionelle 'Data Warehouse'-Architektur 'Data Warehouse'-Architektur entsprechend den Phasen des Prozesses statistischer Datenanalyse Konfigurationen der Datenbasis eines 'Data Warehouse' 36

3 8 Inhaltsverzeichnis 2.3 Multidimensionale Datenexploration: 'Online Analytical Processing' Die Evolution des 'Online Analytical Processing' Logische multidimensionale Sichtweise Dünnbesetztheit multidimensionaler Datenwürfel Realisierungsalternativen der multidimensionalen Sichtweise Zusammenfassung 42 3 Allgemeine Methodik multidimensionaler Datenanalyse Mikro- und Makrodaten in multidimensionalen Auswertungen Übergang von Mikro- zu Makrodaten Beschreibung von Makrodaten Einsatz klassifikatorischer Strukturen zur Aggregationsunterstützung Das Prinzip der Klassifikation Betrachtung klassenspezifischer Eigenschaften Die Verwendung klassifikatorischer Strukturen beim Übergang von Mikro- zu Makrodaten Sprachkritische Rekonstruktion der multidimensionalen Aggregation Grundlegende Terminologie Rekonstruktion intensionaler Aspekte einer Klassifikation Rekonstruktion extensionaler Aspekte einer Klassifikation Zusammenfassung 57 B Modellierungs- und Verarbeitungsmethodologie in der multidimensionalen Datenanalyse 58 4 Modellierungsmethodologie in statistischen Datenmodellen Eigenschaften multidimensionaler statistischer Datenmodelle Grundlegende Struktur statistischer Tabellen Grundlegende Struktur statistischer Modellierungsansätze 62

4 Inhaltsverzeichnis Multidimensionale Datenorganisationskonzepte Grundlegende Modellierungskonstrukte Erweiterte konzeptionelle Modellierungskonstrukte Zusammenfassung Multidimensionale Dätenstrukturkonzepte Multidimensionale Datenmanipulationskonzepte Projektions- und Selektionsoperation Multidimensionale Verbundoperation Multidimensionale Aggregationsoperation Zusammenfassung Bewertung multidimensionaler statistischer Datenmodellierungsansätze Relationale Abbildung multidimensionaler Strukturen und Operatoren Das relationale Datenmodell Relationales Datenstrukturkonzept Relationales Datenmanipulationskonzept Erweiterung der relationalen Algebra um die Aggregationsoperation Relationale Abbildung multidimensionaler Strukturen Relationale Abbildung nach dem Muster des S/M-Schemas Relationale Abbildung nach dem Muster des Star-Schemas Relationale Abbildung nach dem Muster des Snowflake-Schemas Nullwertbehandlung in der relationalen Abbildung Nullwertbehandlung im multidimensionalen Kontext Nullwertbehandlung im qualifizierenden Kontext Zusammenfassung 95

5 10 Inhaltsverzeichnis 5.3 Aggregatspezifikation auf Ebene relationaler Anfragesprachen Aggregatformulierung in SQL Erweiterung der statistischen Funktionen in SQL Erweiterung der Gruppierungsfunktionalität Optimierung der relationalen Aggregatverarbeitung Optimierungsstrategien in der Aggregatverarbeitung Approximative Anfragebeantwortung /-auswertung Nutzung und Auswahl materialisierter Sichten Klassifikation wissenschaftlicher Arbeiten im Bereich der Aggregatverarbeitung Grundlagen der Anfrageverarbeitung Restrukturierungstechniken für Aggregationsanfragen Restrukturierungstechniken zur Integration von Präaggregaten Zusammenfassung Bewertung relationaler Abbildungs- und Verarbeitungstechniken Methoden der Präaggregationstechnik Theorie der aggregationsbezogenen Ableitbarkeit Additivität von Aggregationsfunktionen Ableitbarkeit von Aggregationsfunktionen Konzept des aggregatbezogenen Auswertekontextes Aggregationsgitter ohne funktionale Abhängigkeiten Aggregationsgitter mit funktionalen Abhängigkeiten Ausprägungen eines Aggregationsgitters Präaggregationsstrategien Klassifikation von Präaggregationsstrategien Verhältnis von Speicherplatz und Laufzeit 141

6 Inhaltsverzeichnis Konstruktive Materialisierungsstrategien auf relationalen Anfragegraphen Strategie nach Yang, Karlapalem und Li Strategie nach H. Gupta Zusammenfassung Konstruktive Präaggregationsstrategien über einem Aggregationsgitter Strategie nach Harinarayan, Rajaraman und Ullman Strategie nach Baralis, Paraboschi und Teniente Zusammenfassung Adaptive Strategien für materialisierte Anfrageergebnisse Strategie nach Scheuermann, Shim und Vingralek Strategie nach Deshpande, Ramasamy, Shukla und Nauhgton Zusammenfassung Bewertung existierender Präaggregationsstrategien 155 C CubeStar: Methodologie einer erweiterten multidimensionalen Datenanalyse Geschachteltes multidimensionales Datenmodell Multidimensionales Datenorganisationskonzept Basisklassen für Mikrodatenidentifikationsobjekte Konzept der Dimension und Primärklassifikation Konzept der Sekundärklassifikationen Konzept der Klassifikationsobjekte Klassifikationsobjekte Wertebereich von Klassifikationsobjekten 168

7 12 Inhaltsverzeichnis Abstand von Klassifikationsobjekten Mengentheoretische Operationen auf Klassifikationsobjekten Zusammenfassung Multidimensionales Datenstrukturkonzept Grundlegende Konzepte multidimensionaler Strukturen Konzept der klassischen und kompakten multidimensionalen Objekte Klassische multidimensionale Objekte MO-'Inlays' Kompakte multidimensionale Objekte Konzept der nicht-kompakten multidimensionalen Objekte Multidimensionales Datenmanipulationskonzept Datenmanipulationskonzepte für die interaktive multidimensionale Datenanalyse Klassifikationsbasierte Bereichsspezifikation Klassifikationsorientierte Navigationsoperatoren Eigenschaftsorientierte Navigationsoperatoren Implizite Aggregation Datenmanipulationskonzepte für die Analyse komplexer Strukturen Explizite Aggregation Zellenorientierte Operationen Vertikale Komposition multidimensionaler Objekte Horizontale Komposition kompakter multidimensionaler Objekte ('Patch-Working') Zusammenfassung 201

8 Inhaltsverzeichnis 13 8 Multidimensionales Verarbeitungsmodell Ableitbarkeit und Aggregationsgitter Ableitbarkeit multidimensionaler Objekte Aggregationsgitter für multidimensionale Objekte Konstruktive Apriori-Präaggregationsstrategie Prinzip der Apriori-Präaggregationsstrategie Zusammenfassung und Bewertung Adaptive Präaggregationsstrategie Idee und Positionierung des Ansatzes Einflußfaktoren der Aggregatverdrängungsstrategie Bestimmung der multidimensionalen gewichteten relativen Referenzierungshäufigkeitsdichte Bestimmung des Verwandtschaftsgrades multidimensionaler Objekte Bestimmung der Wiederherstellungskosten eines multidimensionalen Objektes Relativer Nutzen eines multidimensionalen Objektes Verdrängungsalgorithmus Simulation der Präaggregationsstrategien Simulationsumgebung und Simulationskonfiguration Simulation mit ädaptiver Präaggregationsstrategie Vergleich von ädaptiver und Apriori-Präaggregationstrategie Zusammenfassung und Bewertung Zusammenfassung Relationales Implementierungsmodell Logische Architektur des CubeStar-Systems Architektur des CubeStar-Systems Interne Struktur des CubeStar-Servers 247

9 14 Inhaltsverzeichnis Phasen der multidimensionalen Anfrageverarbeitung im CubeStar-Server Zusammenfassung Relationale Abbildung multidimensionaler Strukturen Relationale Abbildung multidimensionaler Operatoren Relationale Abbildung von Selektionsund Aggregationsoperation Relationale Abbildung der horizontalen Komposition Relationale Abbildung der vertikalen Komposition Zusammenfassung 263 D Zusammenfassung und Ausblick 265 Literaturverzeichnis 269 Stichwortverzeichnis 282