Vorlesung Datenbankmanagementsysteme

Transkript

1 Vorlesung Datenbankmanagementsysteme Grundlagen Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-1

2 Ausgangspunkt Informationen in vielen Bereichen nicht elektronisch erfasst - Nur teilweise in verarbeitbarer Form verfügbar - Unterschiedliche Systeme, Formate, Semantik - Ansonsten in wiss. Veröffentlichungen oder Expertenwissen Beispielsweise Speicherung von - einfachen experimentellen Ergebnissen, Beobachtungen, Zusammenhängen - Krankheitsbildern, Stoffwechselwegen,... Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-2

3 Ausgangspunkt II Probleme - Für neue oder komplexere Informationen fehlen häufig Modelle und geeignete Datenstrukturen - Automatische Extraktion von Informationen z.b. durch Text Mining fehleranfällig Speicherung, Wiedergewinnung, Verknüpfung, Aufbereitung, Integration bereits vorhandener Daten oder Datenbankinhalte Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-3

4 Informationssysteme Klassisch: - System zur Speicherung, Wiedergewinnung, Verknüpfung und Auswertung von Informationen - Datenbanksystem und Anwendungsprogramme Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-4

5 Erweiterte Sicht: Informationssysteme II - Persistente (dauerhafte) Speicherung von Informationen - Wiedergewinnung der gespeicherten Informationen nach beliebigen Anfragekriterien - Anwendungsspezifische Auswertung und Aufbereitung der gespeicherten Informationen - Korrekte (integritätsbewahrende) Aktualisierung der gehaltenen Informationen Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-5

6 Datenbanksystem Informationssysteme III - Speicherung und Wiedergewinnung von Informationen Spezifische Datenbank-Anwendungsprogramme - Anwendungsspezifische Auswertung und Aufbereitung - Korrekte Aktualisierung der gehaltenen Informationen Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-6

7 Informationssysteme IV Weitere Funktionalitäten - Integration weiterer Quellen - Modellierung von Benutzerschnittstellen und Benutzerführung Zugriff über Netze Kooperierender Zugriff auf andere informationsverarbeitende Systeme - Verteilungsaspekte und autonome Aspekte Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-7

8 Motivation Datenbanksysteme als Basis moderner Softwaresysteme - Webbasierte Systeme (ebay, Amazon) - ERP-Systeme (SAP R/3), CRM-Systeme, Finanzsysteme - Administrative Anwendungen - Wissenschaftliche Anwendungen (Sloan Sky Survey, NASA Earth Observation System, Human Genome Project) Querbezüge zu anderen Bereichen der Informatik - Modellierung, Datenstrukturen, Theorie, Verteilte Systeme, Betriebssysteme, Sicherheit, Multimedia Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-8

9 Motivation II Große Herausforderungen - Verwaltung von Daten im TB-Bereich, viele Nutzer - Weltweit verteilte Datenbestände - Multimedia-Inhalte - Hochverfügbarkeit, Sicherheit DB-Kenntnisse unverzichtbar für Informatik-Berufe - Administration - Planung, Entwurf - Anwendungsentwicklung - Nutzung Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-9

10 Ohne DB Basis- oder Anwendungssoftware verwaltet ihre eigenen Daten in - eigenen (Datei-)Formaten - Textverarbeitung: Texte, Artikel und Adressen - Buchhaltung: Artikel, Adressen - Lagerverwaltung: Artikel, Aufträge, Nachbestellungen - Auftragsverwaltung: Aufträge, Artikel, Adressen - CAD-System: Komponenten, technische Bauelemente Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-10

11 Ohne DB II Daten sind redundant (mehrfach gespeichert)! - Probleme: Verschwendung von Speicherplatz Vergessen von Änderungen, Widersprüche Keine zentrale, genormte Datenhaltung Andere Software-Systeme können große Mengen von Daten nicht effizient verarbeiten Mehrere Nutzer oder Anwendungen können nicht parallel auf den gleichen Daten arbeiten, ohne sich zu stören Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-11

12 Ohne DB III Anwendungsprogrammierer/Benutzer können Anwendungen nicht programmieren/nutzen, ohne - Interne Darstellung der Daten - Speichermedien oder Rechner zu kennen (fehlende Datenunabhängigkeit) Datenschutz und Datensicherheit sind nicht gewährleistet Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-12

13 Mit Datenbank Die gesamte Basis- und Anwendungssoftware arbeitet auf denselben Daten, z.b. werden Adressen und Artikel nur einmal gespeichert - Datenbanksysteme können große Datenmengen effizient verwalten (Anfragesprachen, Optimierung, interne Ebene) - Benutzer können parallel auf Datenbanken arbeiten (Transaktionskonzept) - Datenunabhängigkeit durch 3-Ebenen-Konzept (interne, konzeptuelle und externe Ebene) - Datenschutz (kein unbefugter Zugriff) und Datensicherheit (kein ungewollter Datenverlust) werden vom System gewährleistet Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-13

14 Vor- und Nachteile von Datenbanken Vorteile des Datenbankeinsatzes - Nutzung von Standards - Kürzere Entwicklungszeiten - Hohe Flexibilität - Hohe Verfügbarkeit - Große Wirtschaftlichkeit Mögliche Nachteile des Datenbankeinsatzes - Hohe Anfangsinvestitionen für Hardware, Software, Schulung - Universalität eines DBMS für die Definition und Verarbeitung von Daten - Mehrkosten für die Bereitstellung von Sicherheit, Nebenläufigkeitskontrolle, Wiederherstellung und Integrität Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-14

15 Nutzergruppen DB-Administratoren DB-Entwickler DB-Anwender - Gelegentliche Nutzer - Anspruchsvolle Nutzer - Experten Systemanalysten, Anwendungsprogrammierer, -architekten Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-15

16 Historie Anfang 1960er Jahre - elementare Dateien Anwendung 1... Anwendung n - anwendungsspezifische Datenorganisation - geräteabhängig, redundant, inkonsistent Datei 1... Datei m Ende 1960er Jahre - Datenverwaltungssysteme (SAM, ISAM) mit Dienstprogrammen (Sortieren) Anwendung 1... Anwendung n Dateiverwaltung - geräteunabhängig, aber weiter redundant und inkonsistent Datei 1... Datei m Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-16

17 Historie II Hierarchisches Modell (1969), Netzwerkmodell (1971) - Datenbankmodelle der ersten Generation - Zeigerstrukturen zwischen Daten - Schwache Trennung zwischen interner/konzeptueller Ebene [Quelle: Wikipedia] Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-17

18 Historie III 1970er und 1980er Jahre - Relationale Datenbanksysteme geräteunabhängig, datenunabhängig, redundanzfrei, konsistent Daten in Tabellenstrukturen 3-Ebenen-Konzept (dazu später mehr) Deklarative DML Trennung von DML und Programmiersprache 1980er und 1990er Jahre - Objektorientierte Datenbanksysteme Daten in komplexen Objektstrukturen Trennung zwischen Objekt und seinen Daten Deklarative oder navigierende DML Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-18

19 Historie IV Ab den 2000er Jahren - NoSQL-Datenbanksysteme Not only SQL Nicht-relationale, verteilte Datenspeicher Einfache Datenstrukturen Hohe Performance bei sehr vielen Lese-/Schreibzugriffen auf großen Datenmengen Nachteile hinsichtlich Konsistenz und Transaktionen In der Vorlesung: Fokus auf relationalen Datenbanksystemen Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-19

20 Prinzip Aufbau - DB Datenbank Anwendung 1... Anwendung n - DBMS Datenbankmanagementsystem DBMS - DBS Datenbanksystem (DBMS + DB) Datenbank... DBS Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-20

21 Prinzip II Grundmerkmale von DBMS - Verwaltung persistenter (langfristig zu haltender) Daten - Effiziente Verwaltung großer Datenmengen - Definition eines Datenbankmodells, mit dessen Konzepten alle Daten einheitlich beschrieben werden (Integration) - Operationen und Sprachen (DDL, DML) - Transaktionskonzept mit Mehrbenutzerkontrolle - Datenschutz, Datenintegrität, Datensicherheit Grundprinzip moderner Datenbanksysteme - 3-Ebenen-Architektur (physische und logische Datenunabhängigkeit) - Trennung zwischen Schema (z.b. Tabellenstruktur) und Instanz (z.b. Tabelleninhalt) Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-21

22 Neun Codd sche Regeln Aufgaben von Datenbanken: 1. Integration Einheitliche Verwaltung aller von Anwendungen benötigten Daten Redundanzfreie Datenhaltung 2. Operationen Möglichkeiten zur Speicherung, Suche, Änderung des Datenbestandes 3. Katalog Zugriffe auf Datenbankbeschreibungen im Katalog (Data Dictionary) Metadaten 4. Nutzersichten Unterschiedliche Anforderungen von Applikationen Sichten auf d. Datenbestand; durch DBMS kontrolliert [E. F. Codd. Relational Database: A Practical Foundation for Productivity. Communications of the ACM, 25(2): , 1982.] Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-22

23 Neun Codd sche Regeln II Aufgaben von Datenbanken (Forts.): 5. Konsistenzüberwachung aka Integritätssicherung Gewährleistung von Korrektheit des Datenbestandes, z.b. bei Änderungen 6. Datenschutz Nur autorisierte Zugriffe auf d. Datenbestand Z.B. personenbezogene Informationen, Werksspionage 7. Transaktionen Zusammenfassung funktioneller Einheiten von Änderungen Commit & Rollback [E. F. Codd. Relational Database: A Practical Foundation for Productivity. Communications of the ACM, 25(2): , 1982.] Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-23

24 Neun Codd sche Regeln III Aufgaben von Datenbanken (Forts.): 8. Synchronisation Keine Beeinflussung paralleler Transaktionen verschiedener Nutzer Z.B. Schreibkonflikte auf gemeinsamen Datenbeständen 9. Datensicherung Wiederherstellung bei Systemfehlern [E. F. Codd. Relational Database: A Practical Foundation for Productivity. Communications of the ACM, 25(2): , 1982.] Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-24

25 Konzeptuell: Relationenmodell Konzeptuell ist eine Datenbank eine Menge von Tabellen BUCH INVNR TITEL AUTOR 0007 Dr. No James Bond 1201 Datenbanken Vossen 4711 Datenbanken Ullman 4712 Pascal Wirth AUSLEIHE INVNR NAME 4711 Meier 1201 Meier 4712 Schulze Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-25

26 Konzeptuell: Relationenmodell II Fett geschriebene Zeilen: Relationenschema Weitere Einträge in der Tabelle: Relation Eine Zeile der Tabelle: Tupel Eine Spaltenüberschrift: Attribut Relationenname Attribute R A 1... A n Relationenschema Tupel Relation Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-26

27 Anfrageoperationen Selektion: Zeilen (Tupel) auswählen SEL [NAME= Meier ] (AUSLEIHE) AUSLEIHE INVNR NAME Meier Meier Schulze Projektion: Spalten (Attribute) auswählen PROJ [INVNR, TITEL] (BUCH) BUCH INVNR TITEL AUTOR 0007 Dr. No James Bond 1201 Datenbanken Vossen 4711 Datenbanken Ullman 4712 Pascal Wirth Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-27

28 Anfrageoperationen II Verbund (Join): Verknüpfung von Tabellen über gleichbenannte Spalten und gleiche Werte PROJ [INVNR, TITEL] (BUCH) JOIN SEL [NAME= Meier ] (AUSLEIHE) INVNR TITEL Datenbanken Datenbanken NAME Meier Meier Weitere Operationen: Vereinigung, Differenz, Durchschnitt, Umbenennung Alle Operationen beliebig kombinierbar (Algebra) Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-28

29 Einsatzgebiete und Grenzen Klassische Einsatzgebiete - Viele Objekte ( Bücher, 300 Benutzer,...) - Wenige Objekttypen (BUCH, AUSLEIHE, BENUTZER) - z.b. Buchhaltung, Auftragserfassung, Bibliothek Aktuelle Anwendungen - E-Commerce, entscheidungsunterstützende Systeme (Data Warehouse, OLAP), Data Mining Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-29

30 Einsatzgebiete und Grenzen II Normalerweise sind herkömmliche Datenbanksysteme überfordert mit: - CAD oder anderen technischen Anwendungen (viele Objekte, viele Objekttypen, stark strukturierte Objekte) Objektorientierte, objektrelationale Datenbanksysteme - Expertensystemen (wenige Objekte, viele Objekttypen, komplizierte Operationen) Deduktive Datenbanksysteme Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-30

31 Datenbankgrößen ebay Data Warehouse - 6,5 PB ( 6, Bytes) - 96 Server - 17 Billiarden Datensätze - 50 TB pro Tag WalMart Data Warehouse - 2,5 PB - Verkäufe und Produktinformationen aus Märkten Anfragen pro Woche Facebook PB TB pro Tag Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-31

32 Heutige Entwicklungslinien Unterstützung spezieller Anwendungen - Multimediadatenbanken Verwaltung multimedialer Objekte (Bilder, Audio, Video) - XML-Datenbanken Verwaltung semistrukturierter Daten (XML-Dokumente) - Verteilte Datenbanken Verteilung von Daten auf verschiedene Rechnerknoten - Föderierte Datenbanken, Multidatenbanken, Mediatoren Integration von Daten aus heterogenen Quellen (Datenbanken, Dateien, Web-Quellen) - Mobile Datenbanken Datenverwaltung auf Kleinstgeräten (PDA, Handy,...) Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-32

33 Föderiertes Datenbanksystem (FDBS) Zusammenfassung von mehreren DBS Bezeichnung als Komponenten-DBS (KDBS) Aufrechterhaltung der Autonomie aller KDBS Unterscheidung zwischen lokalen und globalen Nutzern Daten werden durch Komponentendatenbanken kontrolliert wesentlicher Bestandteil ist Föderierungsdienst Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-33

34 Föderiertes Datenbanksystem (FDBS) II Höding, Türker, Janssen, Sattler, Conrad, Saake, Schmitt, Magdburg 1995 Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-34

35 Mediator Einführung als Alternative zu FDBS Grund: schwieriger Entwurf von großen föderierten Schemata Einsatz von kleinen Vermittlern Mediator: - abgeschlossene Softwaremodule mit definierten Schnittstellen - Insb. für Daten, die nicht in DBMSen vorliegen - Anwender kommuniziert in einem standardisierten Format mit dem Mediator homogene Sicht auf verschiedene Datenquellen keine generelle Verwaltungssoftware (wie beim Föderierungsdienst) viele einzelne Module Besonderheit: kaskadierende Mediatoren Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-35

36 Mediator II Anwendung I Anwendung II Anwendung III Mediator D Mediator A Mediator B Mediator C Datenquelle 1 Datenquelle 2 Datenquelle 3 Wiederhold 1992 Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-36

37 Wrapper Erweiterung von Mediatoren Wrapper Wrapper: - Softwaremodule, die Anfragen und Daten von einem Modell in ein anderes konvertieren - Wrapper greift auf die Datenquelle zu, nicht der Mediator Mediator muss nicht angepasst werden Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-37

38 Data Warehouse Einschub: Operativsystem - Dient der Speicherung und Verwaltung operativer Daten für den laufenden Geschäftsbetrieb eines Unternehmens erforderlich z.b. aktueller Lagerbestand eines Produktes - Datenstrukturen und Abfragewerkzeuge sind auf Routineaufgaben abgestimmt - Momentaufnahmen, keine historischen Daten - Operationen: Lesen, Schreiben, Ändern, Löschen - OLTP-System (OnLine Transactional Processing) In der Bioinformatik z.b. Genbankinformationssystem Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-38

39 Data Warehouse II Konzept der analytischen Datenbanken/Datawarehouses - Trennung von Daten: Operative Daten Daten für Entscheidungsunterstützung oder Berichtswesen - Wichtige Rolle: Zeitabhängigkeit von Daten - Integration von Daten aus mehreren Quellen - Operationen: Lesen, periodisches Hinzufügen Definition: Datensammlung mit den folgenden Eigenschaften - Fachorientierung - Integrierte Datenbasis - Nicht-flüchtige Datenbasis - Historische Daten Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-39

40 Data Warehouse III Erklärung: - Fachorientierung (subject oriented): Modellierung eines spezischen Anwendungsziels Ziel ist nicht die Erfüllung einer Aufgabe - Integrierte Datenbasis (integrated): Nutzung von Daten aus verschiedenen Quellen Intern und extern - Nicht-flüchtige Datenbasis (non-volatile): Daten werden im Warehouse persistent gespeichert Daten werden nicht mehr verändert oder entfernt - Historische Daten (time variant): Verwendung von Daten, die über einen längeren Zeitraum erhoben wurden, z.b. für Zeitreihenanalysen Speicherung über einen längeren Zeitraum Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-40

41 Data Warehouse: Beispiel-Szenario (I) Eike Schallehn, Magdeburg 2003 Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-41

42 Data Warehouse: Beispiel-Szenario (II) Anfragen: - Wie viele Flaschen Bier wurden letzten Monat verkauft? - Wie hat sich der Verkauf von Rotwein im letzten Jahr entwickelt? - Wer sind unsere Top-Kunden? - Von welchen Lieferanten beziehen wir die meisten Kisten? Probleme: - Nutzung externer Quellen (Kundendatenbank, Lieferantendatenbank,...) - Daten mit historischen Bezug nicht in Operativsystemen Eike Schallehn, Magdeburg 2003 Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-42

43 Data Warehouse: Ergebnis(-Würfel) Welche Umsätze sind in den Jahren 1998 und 1999 in den Abteilungen Kosmetik, Elektro und Haushaltwaren in den Bundesländern Sachsen- Anhalt und Thüringen angefallen? Eike Schallehn, Magdeburg 2003 Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-43

44 Data Warehouse: Ergebnis(-Bericht) Eike Schallehn, Magdeburg 2003 Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-44

45 Data-Warehouse-Architektur Datawarehouse-Manager DB 1 DB 2 DB n Extraktion Extraktion Extraktion Staging Area Staging-Area-DB Laden Laden Laden Datawarehouse-DB Analyse n Analyse 2 Analyse 1 Metadaten-Repository Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-45

46 Zusammenfassung Motivation für Datenbanken - Verwaltung von Daten im TB- Bereich, viele Nutzer - Weltweit verteilte Datenbestände - Multimedia-Inhalte - Hochverfügbarkeit, Sicherheit - Redundanzfreiheit - Parallele Operationen mehrerer Nutzer - Nutzung von Standards Grundlegende Konzepte - Codd sche Regeln - Relationenmodell - Anfrageoperationen Spezielle Anwendungen - Föderierte Datenbanksysteme - Mediatoren/Wrapper - Data Warehouses Vorlesung Datenbankmanagementsysteme Grundlagen M. Lange, S. Weise Folie #1-46