WPF im WS 2009/10 Advanced Database Themes: Tuning & Information Integration

Transkript

1 WPF im WS 2009/10 Advanced Database Themes: Dieses WPF mit den beiden Themenschwerpunkten Tuning und Informationsintegration biete ich für alle Informatikstudiengänge AI, MI, TI, WI (BA, D) an wahlweise in deutscher oder englischer Sprache. Es sollen Vorträge mit kurzen schriftlichen Ausarbeitungen (Zusammenfassungen) erstellt werden. Wenn das Thema es zulässt sollen auch Übungsaufgaben gestellt und gemeinsam mit den übrigen Teilnehmern gelöst werden. Die im Stundenplan vorgegebenen Zeiten für dieses WPF sind noch verhandelbar und werden mit den Teilnehmern abgestimmt. Themenübersicht: 1 Tuning Tuning bei Programmierung und Design (1 Vortrag/Bertelsmeier) DBA Eine Einführung in die 11g-Administration (1-2 Vorträge) Oracle: Statistikbasiertes Tuning mit Optimizer-Statistiken (1-2 Vorträge) Oracle: Statistikbasiertes Tuning mit Performance-Statistiken (1-2 Vorträge) Oracle: Werkzeuge für s DBS-Tuning Oracle Diagnostics Pack (1-2 Vorträge) Oracle Database Tuning Pack (1-2 Vorträge) Oracle Real Application Testing (1 Vortrag) Oracle: Parallele Query / DML (1 Vortrag) Selftuning (Forschung) (1-2 Vorträge) Information Integration Einführung in die Informationsintegration (1 Vortrag/Bertelsmeier) Grundlagen: Repräsentation von Daten (1 Vortrag) Grundlagen: Probleme bei der Informationsintegratio (1 Vortrag/Bertelsmeier) Überblick: Wissensrepräsentation (1 Vortrag) Techniken: Architekturen (1 Vortrag) Techniken: Schema- und Metadatenmanagement (1 Vortrag) Techniken: Anfragebearbeitung (2 Vorträge) Techniken: Semantische Integration mit Ontologien (1 Vortrag) Techniken: Semantische Integration beim Semantic Web (1 Vortrag) Semantic Web bei Oracle (1 Vortrag) Datenintegration (1 Vortrag) Vermischtes Überblicksthemen Sicherheit / Verschlüsselung im DBMS (Opitz Consulting im Dezember) Agile DB-Entwicklung (Opitz Consulting im Januar) Mehr Informationen zu den einzelnen Themen und dem Ablauf gibt es auf meiner Homepage: oder per Mail: birgit.bertelsmeier@fh-koeln.de

2 1 Tuning 1.1 Tuning bei Programmierung und Design (1 Vortrag/Bertelsmeier) Die Art der Programmierung von Anweisungen macht einen großen Teil des Tuning- Potentials aus. Jeder Entwickler kann seinen Beitrag leisten, um einen späteren Tuning- Aufwand deutlich zu reduzieren, bzw. wenig performanten Code ohne viel Aufwand schneller zu gestalten. Es ist herauszuarbeiten, welche Regeln/Grundsätze sind bei der Programmierung von SQL-Anweisungen und auch beim Design von Datenmodellen zu beachten sind, damit man die Ausführungszeit reduzieren kann. - Vortrag mit Code-Beispielen / Übungen Price, J.; Oracle 11g SQL, Oracle Press, 2008, Kap. 16 Gulutzan, P./Pelzer, T.: SQL-Performance Tuning; Addison-Wesley, 2006 Faroult, St./L Hermite, P.: Refactoring SQL Applications, O Reilly, 2008 Powell, G.: Oracle High Performance Tuning for 9i and 10g, Elsevier, 2004, Part I, II. 1.2 DBA Eine Einführung in die 11g-Administration (1-2 Vorträge) Eine Einführung in die Grundzüge der Datenbankadministration mit dem Schwerpunkt, Grundlagen für das Thema Tuning zu legen. Freeman, R.G.: Oracle Database 11g New Features, Oracle Press, 2008, Kap. 1 Held, A.: Oracle 11g New Features; Hanser, 2008, Kap. 2 Oracle Database 2 Day DBA 1.3 Oracle: Statistikbasiertes Tuning mit Optimizer-Statistiken (1-2 Vorträge) Das Regelbasierte Tuning gilt als überholt und es wird von den Herstellern und insbesondere auch von Oracle nur noch das statistikbasierte Tuning propagiert. Was verbirgt sich dahinter und wie funktioniert es in der Praxis? Oracle unterscheidet in seiner Datenbank zwei Hauptarten von Statistiken. Einmal die Optimizer-Statistiken und zum Anderen die Performancestatistiken. Beide Arten helfen dabei die Performance in der Datenbank zu steigern, in dem eine kontinuierliche Anpassung an aktuelle Datenbestände erfolgt. Die Optimizer-Statistiken haben einen großen Einfluss auf den Query Optimizer und dadurch direkten Einfluss auf den täglichen Betrieb, weil Sie den Ausführungsplan der Anfragen unmittelbar bestimmen. Held, A.: Oracle 11g New Features; Hanser, 2008, Kap Freeman, R.G.: Oracle Database 11g New Features, Oracle Press, 2008, Kap. 9

3 1.4 Oracle: Statistikbasiertes Tuning mit Performance-Statistiken (1-2 Vorträge) Oracle unterscheidet in seiner Datenbank zwei Hauptarten von Statistiken. Einmal die Optimizer-Statistiken und zum Anderen die Performancestatistiken. Beide Arten helfen dabei die Performance in der Datenbank zu steigern, in dem eine kontinuierliche Anpassung an aktuelle Datenbestände erfolgt. Die Performancestatistiken gehören zum Gebiet der regelmäßigen Wartungskontrolle und stellen somit eher eine Ergänzung zum Thema DBA Eine Einführung in die 11g-Administration dar. 1.5 Oracle: Werkzeuge für s DBS-Tuning Oracle Diagnostics Pack (1-2 Vorträge) Das Diagnostics Pack wird von Oracle als vollständige, kosteneffektive, leicht zu bedienende Lösung, um alle Performanz-Probleme der Datenbankumgebung zu finden und zu lösen. Es werden Funktionalitäten wie die automatische Identifikation von Engpässen, ein geführtes Problemlösen sowie ein umfangreiches Monitoring zur Verfügung gestellt. Oracle hat dazu Features wie Automatic Workload Repository (AWR), Automatic Database Diagnostic Monitor (ADDM), Active Session History (ASH) implementiert Oracle Database Tuning Pack (1-2 Vorträge) Dieses Tool-Paket automatisiert den Tuning-Prozess für Datenbank-Anwendungen, wobei Oracle spürbare Kostensenkungen bei der Verwaltung der Datenbank verspricht durch Leistungssteigerung und mehr Zuverlässigkeit. Zwei zentrale Feature sind: SQL Tuning Advisor Es werden ein oder mehrere SQL-Anweisugen eingegeben und als Ausgabe erhält man Empfehlungen, wie man die Anweisung tunen kann. Diese Empfehlungen sind begründet und der zu erwartende Vorteil wird spezifiziert. Sie basieren auf den Objektstatistiken und können sein: neuen Index anlegen, Restrukturierung der SQL-Anweisung, SQL-Profiles erzeugen SQL Access Advisor Hier geht es um Empfehlungen, wie man die Datenzugriffspfade optimieren kann unter zu Hilfenahme von materialisierten Sichten, deren Log-Datenein, Indexen und Partitionen.

4 1.5.3 Oracle Real Application Testing (1 Vortrag) Ein stetiges Problem beim Tuning ist die Simulation des Laufzeitverhaltens vom Realsystem. Wird in echt auf dem Realsystem getuned, so kann das zusätzlich die übrigen Anwender spürbar ausbremsen (Ressourcenbedarf für wiederholte Ausführungstests, Indexaufbau, Einspielen alter Statistiken, ) und das Tuning selbst dauert auch länger. Potentielle Gefahren sind auch nicht zu unterschätzen, z.b. Datenverlust durch im laufenden Betrieb geänderte Speicherstrukturen oder Partitionen, Der Aufbau identischer Tuning-Umgebungen ist sehr aufwändig und teuer: identische Hardware, identisches DB-Release mit allen Patches, identische Datenbestände, identische Anwendungen, Zu diesem Thema bietet Oracle im Wesentlichen zwei Feature an: Database Replay Mit ihm wird die Arbeitslast eines Produktivsystems erfasst und auf dem Testsystem abgespielt mit den gleichen Abläufen. SQL Performance Analyzer Hier besteht die Möglichkeit, den Effekt von Systemänderungen auf die Laufzeit von SQL-Anweisungen zu abzuschätzen. 1.6 Oracle: Parallele Query / DML (1 Vortrag) Sinn, Zweck, Vor- und Nachteile und Voraussetzungen, Restriktionen bei der parallelen Ausführung von SQL-Anweisungen - Vortrag mit Übungen/ mit Beispielen Oracle Database Concepts (Kap. 20 Parallel Execution of SQL Statements), SQL-Reference (Kap. INSERT, UPDATE, DELETE, SELECT), Database Performance Guide and Reference (Kap. 5 Optimizer Hints) 1.7 Selftuning (Forschung) (1-2 Vorträge) Bislang erforderte das Thema Tuning Experten auf dem Gebiet, die sich meist durch langjährige praktische Erfahrungen und viel Phantasie auszeichneten. Nun gehen Datenbankhersteller erste Schritte in die Richtung, Performance-Analysen und auch die notwendigen Reaktionen darauf zu automatisieren. Welche Wege gehen sie, was unterscheidet sie bzw. wo sind die Gemeinsamkeiten ihrer Ansätze? Welche Schwierigkeiten sind noch zu bewältigen? Dies kann beispielhaft für Oracle und IBM aufgezeigt werden. - Vortrag mit Beispielen, Demos / Übungen Datenbank-Spektrum: Autonomic Computing (Selftuning), Heft 27/Dezember 2008 Held, A.: Oracle 11g New Features; Hanser, 2008, Kap. 8.4 Freeman, R.G.: Oracle Database 11g New Features, Oracle Press, 2008, Kap. 9

5 2 Information Integration 2.1 Einführung in die Informationsintegration (1 Vortrag/Bertelsmeier) Es werden Einblicke in die Themen Informationsintegration (II) und Informationsintegrationssysteme (IIS) gegeben, wie wir uns in dieser Veranstaltung damit auseinander setzen werden. Die grundlegende Differenzierung zwischen materialisiert und virtuell wird besprochen. Die Architekturen der IIS im Überblick vorgestellt, sowie einige wichtige Begriffe. Sie erhalten eine Idee davon, was Sie bei den verschiedenen Themen erwartet. Leser, U./Naumann, F.: Informationsintegration, Grundlagen: Repräsentation von Daten (1 Vortrag) Es sind die verschiedenen Datenmodelle vorzustellen, vom relationalen Modell (über das objektorientierte) bis hin zu XML, samt den zugehörigen Anfragesprachen (RA, SQL, Datalog, SQL/XML, XPath, XQuery, XSLT) sowie Datalog (eine in der Wissenschaft verwendete Anfragesprache). Dieses Verständnis ist grundlegen für ein detailliertes Verständnis der Probleme wie auch der Lösungen. - Vortrag mit Beispielen und Demos / Übungen auf Papier Leser, U./Naumann, F.: Informationsintegration, 2007, Kap Grundlagen: Probleme bei der Informationsintegration (1 Vortrag/Bertelsmeier) Warum ist Informationsintegration ein so wichtiges Thema, dass wir es in diesem WPF behandeln? Warum ist Informationsintegration ein so komplexes Thema, dass es ein halbes WPF füllt? Es werden die drei Grundprobleme Verteilung, Heterogenität und Autonomie erläutert. Dieses Kapitel ist essentiell für das weitere Verständnis der Lösungen der Informationsintegration. - Vortrag mit Beispielen Leser, U./Naumann, F.: Informationsintegration, 2007, Kap Überblick: Wissensrepräsentation (1 Vortrag) Die grundlegende Struktur und das System des Semantic Web beruhen auf Teilen des Prinzips der Wissensrepräsentation. Systeme zur Wissensrepräsentation dienen im Allgemeinen dazu, eine Sammlung von Wissen bzw. Informationen formal darzustellen. Die genaue Aufstellung der formalen Kriterien und Regeln ist hierbei von der Mächtigkeit und Dynamik des eigentlichen Systems abhängig, wobei der Grad der Mächtigkeit antiproportional zur Dynamik ist. Je mächtiger ein System ist, desto komplexer ist es. In der einfachsten und am wenigsten dynamischen Form würde dies zum Beispiel einem Katalog- oder Glossarsystem entsprechen, bei welchem bestimmte Objekte festgelegte und direkte Zuordnungen aufweisen, sodass jedes Objekt über einen

6 (und meist einen einzigen) exakt zugeordneten Begriff verfügt. Beispiele für hingegen sehr komplexe und mächtige Systeme sind Axiomensysteme und die Prädikatenlogik, welche eine starke Anbindung an den mathematischen Formalismus aufweisen.3 Von der Mächtigkeit her gesehen liegt das System des Semantic Web, welches nur Teilbereiche der Wissensrepräsentation aufgreift, zwischen den einfachen und den komplexen Systemen. - Vortrag mit Beispielen Leser, U./Naumann, F.: Informationsintegration, 2007 und dortige Literaturhinweise 2.5 Techniken: Architekturen (1 Vortrag) Um ein integriertes Informationssystem zu schaffen, reicht es heute nicht mehr aus Schnittstellen zu programmieren, es sind sehr komplexe Systeme, die i.d.r. eine Vielzahl heterogener Datenquellen integrieren. So eine Komplexität lässt sich besser handhaben, wenn für sie eine Architektur entworfen wird. Es werden die unterschiedlichen Architekturen von der monolithischen Datenbank bis hin zum Peer-Daten-Managementsystem mit ihren Eigenheiten vorgestellt, diskutiert und bewertet. - Vortrag mit Beispielen Leser, U./Naumann, F.: Informationsintegration, 2007, Kap Techniken: Schema- und Metadatenmanagement (1 Vortrag) Unter dem Schema- und Metadatenmanagement werden die Techniken zur Erkennung und Überwindung struktureller und teilweise semantischer Heterogenität auf Schemaebene verstanden. Wichtige Basis dafür ist das Mapping, z.b. auf der untersten Ebene das Attribut- Attribut-Mapping. Vortrag mit Beispielen und Demos / Übungen auf Papier - Leser, U./Naumann, F.: Informationsintegration, 2007, Kap Techniken: Anfragebearbeitung (2 Vorträge) Bei einigen Architekturen wie z.b. virtuell integrierten oder online materialisierten Systemen erfolgt die Integration der Datenquellen erst bei der Anfrage. Die Daten werden in (ihren ursprünglich) unterschiedlichen Formaten gespeichert und erst bei der Anfrage in eine einheitliche Darstellung überführt. In diesem Zusammenhang werden dann globale und lokale Anfragen unterschieden. Unabhängig von der Speicherform der Daten formuliert der Anwender seine globale Anfrage, die dann systemintern in verschiedene lokale Anfragen an die verschiedenen Speichersysteme überführt wird, die die gewünschten Daten ermittelt. Die eigentliche Integrationsarbeit erfolgt somit erst bei der Anzeige der Ergebnisdatenmenge für den Anwender.

7 1. Vortrag: Basisabläufe bei der Anfragebearbeitung Aufbau und Verwendung von Anfragekorrespondenzen Anfrageplanung im Detail: GaV, LaV Leser/Naumann Kap Vortrag: Basisabläufe bei der Anfragebearbeitung Techniken der Anfrageoptimierung Integration beschränkter Quellen Leser/Naumann Kap. 6.3, (ggf. ergänzt um Kap. 8) - Vortrag mit Beispielen Leser, U./Naumann, F.: Informationsintegration, 2007, Kap Techniken: Semantische Integration mit Ontologien (1 Vortrag) Bei den Techniken zur Anfragebearbeitung und dem Schema- und Metadatenmanagement wird die semantische Heterogenität der verschiedenen Schemata mittels Korrespondenzen überwunden. Hier werden nun ontologiebasierte Ansätze vorgestellt. Unter einer Ontologie wird in der Informatik ein Modell eines Anwendungsbereichs verstanden, das die Kommunikation zwischen verschiedenen Anwendern unterstützt. Je nach Art und Komplexität der Beziehungen zwischen den Begriffen werden Ontologien, semantische Netze und Thesauri unterschieden. - Vortrag mit Beispielen / Übungen auf Papier Leser, U./Naumann, F.: Informationsintegration, 2007, Kap Techniken: Semantische Integration beim Semantic Web (1 Vortrag) Das semantic web ist ein Beispiel für einen ontologiebasierten Ansatz für eine semantische Informationsintegration. Was ist es darüber hinaus noch? Welche Ziele, Konzepte und Erweiterungen verbergen sich hinter diesem Schlagwort? Wie grenzt sich dieser Begriff vom web 2.0 ab? - Vortrag mit Beispielen / Übungen auf Papier Leser, U./Naumann, F.: Informationsintegration, 2007, Kap Semantic Web bei Oracle (1 Vortrag) Wie setzt Oracle dieses Thema praktisch um? Was ist bereits realisiert? Was noch nicht? Was ist problematisch umgesetzt? - Vortrag mit Beispielen und Demos / Übungen Oracle Database Semantic Technologies Developer's Guide

8 2.11 Datenintegration (1 Vortrag) Bislang bezogen sich die Integrationsthemen auf die logische Ebene, die Schemata der verschiedenen DQs, die zu vereinheitlichen sind. Jetzt betrachten wir die unterste Ebene, die Daten auch Instanzen genannt? Datenintegration muss betrieben werden, wenn die Ergebnisdatenmengen der verschiedenen DQs an das IIS zurückgeliefert werden und ist damit eigentlich Teil der Anfragebearbeitung. Es treten Probleme der syntaktischen Heterogenität, Duplikaterkennung, mangelnde Qualität, Fehler, etc. auf. Grundsätzlich können analoge Techniken und Strategien zum Einsatz kommen, wie den materialisierten II-Lösungen, den ETL-Prozessen der DWHs, mit jedoch einem wichtigen Unterschied. Die Datenintegration bei virtuellen II-Ansätzen verlängert immer die Antwortzeiten für Anfragen und muss entsprechend schnell und effektiv gestaltet werden. - Vortrag mit Beispielen / Übungen auf Papier Leser, U./Naumann, F.: Informationsintegration, 2007, Kap. 8 (ggf. als Ergänzung zu Vortrag 2 des Kap. 6)