Grundlagen von Datenbanken und Informationssystemen

Transkript

1 Anwendersoftware (AS) Grundlagen von Datenbanken und Informationssystemen Holger Schwarz Wintersemester 2009/10 Teile zu diesem Folienskript beruhen auf einer ähnlichen Vorlesung, gehalten von Prof. Dr. T. Härder am Fachbereich Informatik der Universität Kaiserslautern und Prof. Dr. N. Ritter am Fachbereich Informatik der Universität Hamburg. Für dieses Skriptum verbleiben alle Rechte (insbesondere für Nachdruck) bei den Autoren. Organisatorisches Vorlesung: Dr. rer. nat. habil. Holger Schwarz Mittwoch: 11:30-13:00 (V38.04) Donnerstag: 8:00-9:30 (V38.04) Übung: Philipp Janowski Mittwoch: 11:30-13:00 (V38.04) Sprechstunde Mittwoch:13:00-14:00 Zimmer bitte vorher per anmelden: stuttgart Prüfung schriftlich oder mündlich als Bestandteil der Vertiefungslinie Datenbanken und Informationssysteme 2

2 Vorläufiger Zeitplan (Stand: ) KW Mittwoch Donnerstag : : : Motivation,, Grundbegriffe : Informationsmodelle : Informationsmodelle : Informationsmodelle : Relationenmodell : 11 Übung (Modellierung) : Relationenmodell : Relationenmodell : Standardsprache SQL : Übung (ERM, Relationenalgebra) : Standardsprache SQL : Standardsprache SQL : Standardsprache SQL : Übung (SQL) : Integritäts- und Zugriffskontrolle : Integritäts- und Zugriffskontrolle : Logischer ogsc DB-Entwurf : : : Übung (SQL, Integrität) : Logischer DB-Entwurf : Logischer DB-Entwurf : Architektur : Übung (FA, DB-Entwurf) : Architektur : Anwendungsprogrammierschnittstelle : Anwendungsprogrammierschnittstelle : Übung (Trigger) : Transaktionsverwaltung : Transaktionsverwaltung : Informationssysteme : Abschluss (Probeklausur) 3 Ausbildungsstruktur im Überblick Mehrrechner- DBS Multimedia- DBS Data-Warehouse, Data-Mining- und OLAP-Technologien Datenstrukturen Fachpraktikum DB Ingenieur- DBS Transaktionssysteme Implementierung von DB & IS Daten- und Wissensmod. Advanced Information Management (Haupt-)Seminar Grundlagen von DB & IS ist Voraussetzung für 4

3 Bücher [KE04] [KW06] [Da04] [EN04] Literatur Kemper, A., Eickler, A.: Datenbanksysteme - Eine, Oldenbourg, 5. Auflage, ISBN: , (6. Auflage, ISBN: , 2006) Kemper, A., Wimmer, M.: Übungsbuch Datenbanksysteme, Oldenbourg, ISBN: , Date, C.J.: An Introduction to Database Systems, Addison-Wesley Publ. Comp., Reading, Mass., 8th Ed., ISBN: , 2004 Elmasri, R.; Navathe, S.B.: Fundamentals of Database Systems, Benjamin/Cummings Publishing Company, 4th Ed., ISBN: , 2004 [GU+02] Garcia-Molina, H., Ullman, J.D., Widom, J.: Database Systems. The Complete Book, Prentice Hall, ISBN: , 2002 [SK+02] Silberschatz, A., Korth, H.F., Sudarshan, S.: Database System Concepts, 4th Ed. McGraw-Hill Book Comp., New York, ISBN: , Literatur Weitere Bücher: [DD93] Date, C.J., Darwen, H.: A Guide to the SQL Standard, Addison-Wesley Publ. Comp., Reading, Mass., 3rd Edition, 1993 [MS99] Melton, J., Simon, A.R.: SQL : understanding relational language components, Morgan Kaufmann, ISBN: , 2002 [AB+00] Abiteboul, S., Buneman, P., Suciu, D.: Data on the Web, Morgan Kaufmann Publ. San Francisco, California, 2000 [RV02] Rahm, E., Vossen, G.: Web und Datenbanken. Konzepte, Architekturen, Anwendungen, dpunkt Verlag, 2002 [HR01] Härder, T., Rahm, E.: Datenbanksysteme - Konzepte und Techniken der Implementierung, Springer-Verlag,

4 Literatur ZEITSCHRIFTEN: TODS, Transactions on Database Systems, ACM Publikation (vierteljährlich) Information Systems, Pergamon Press (6-mal jährlich) The VLDB Journal, Springer (vierteljährlich) Informatik - Forschung und Entwicklung, Springer (vierteljährlich) TAGUNGSBÄNDE: SIGMOD Tagungsband, g jährliche Konferenz der ACM Special Interest Group on Management of Data VLDB Tagungsband, jährliche Konferenz Very Large Data Bases IEEE Tagungsband, g jährliche Konferenz Int. Conf. on Data Engineering g GI Tagungsbände der Tagungen der Gesellschaft für Informatik, Tagungen innerhalb des Fachausschusses 2.5 Informationssysteme... und viele weitere Konferenzreihen 7 Vorlesungskapitel Kap 1: Motivation,, Grundbegriffe Date Kemper Elmasri/ (8th Ed.) (5. Aufl.) Navathe 4th Ed. Kap 1 Kap 1 Kap 1, 2 Kap 2: Kap 14 Kap 2 Kap 3, 4 Informationsmodelle Kap 3: Grundlagen des Kap 6, 7 Kap 3, 8 Kap 5, 6, 7 Relationenmodells Kap 4: Die Standardsprache SQL Kap 3, 4, 10 Kap 4 Kap 8 Kap 5: Kap 9 Kap 4, 5 Kap 8 Integritäts- und Zugriffskontrolle Kap 6: Logischer DB-Entwurf Kap 11, 12, 13 Kap 6 Kap 10, 11 Kap. 7: Architektur Kap 2 Kap 1 Kap 2 Kap 8: Anwendungsprogrammierschnittstelle Kap 4 Kap 4 Kap 9 Kap. 9: Transaktionsverwaltung Kap 15, 16 Kap 9 Kap 17, 18, 19 Kap. 10: Informationssysteme Kap 1 8

5 Digitales Universum 2007 In 2007 entstandene Daten: 281 Exabyte weltweit d.h. 41 Gigabyte pro Mensch ca. 10 Exabyte in Deutschland Prognose: ca. 60% Wachstum pro Jahr 1 Gigabyte (GByte) = 1000 Megabyte = 10 9 Byte 1 Terabyte (TByte) = 1000 Gigabyte = Byte 2011: 1800 Exabyte weltweit 1 Petabyte (PByte) = 1000 Terabyte = Byte Weltbevölkerung: 6,8 Mrd. Anzahl Galaxien: Anzahl Protonen und Elektronen im Universum: Exabyte (EByte) = 1000 Petabyte = Byte 1 Zettabyte (ZByte) = 1000 Exabyte = Byte Quelle: IDC-Studie - The Diverse and Exploding Digital Universe, Digitales Universum 2006: Die Daten 150 Mrd. Fotos 6 Exabyte (ohne Spam) Telefon, Film, Fernsehen, Internet, 70% der Daten werden durch Privatpersonen erzeugt 85% der Daten durch Unternehmen gespeichert, verarbeitet, übermittelt, etc. 95% der Daten sind unstrukturiert pro Tag: 100 Millionen neue Videos auf YouTube >1 Mrd. MP3-Files über Internet ausgetauscht 2 TByte neue Daten bei Energiekonzern Chevron > 220 Mio. Transaktionen im Reisebuchungssystem Amadeus Quelle: IDC-Studie - The Expanding Digital Universe,

6 Digitales Universum 2006 Quelle: IDC-Studie - The Expanding Digital Universe, Schlussfolgerungen für die künftige Entwicklung In wenigen Jahren sind wir in der Lage, alles aufzuheben, d. h., keine Information muss weggeworfen werden. Die typischen Informationen werden nur noch von Rechnern aufbewahrt, gesucht und aufbereitet; der Mensch sieht weder die Daten, noch kennt er den Aufbewahrungsort und die genauen Ableitungsverfahren. Heute konzentriert man sich eher auf das Erfassen und Speichern von Daten, z.b. bei den Digitalen Bibliotheken auf die Eingabe, d.h., das Scannen, Komprimieren und OCR von Informationen. Morgen wird anstelle der Eingabe die relevante Auswahl die wesentliche Rolle spielen: Selektion, Suche und Qualitätsbewertung von Informationen. 12

7 Übersicht 1. Motivation,, Grundbegriffe Daten und Information Datenbanksysteme Informationssysteme 13 Transiente vs. persistente Daten Bisher bekannte Datenstrukturen Felder (Reihungen, Arrays,... ) Verbunde (Sätze, Records,... ) Listen Graphen Bäume transiente Daten: Datenstrukturen im Hauptspeicher, d. h. Bestand nur für die Dauer einer Programmausführung g persistente Daten: Datenbestand auf Externspeicher, d.h. Werte bleiben über Programmende, Sitzungsende, Betriebssystem-Uptime, Rechnereinschaltung, etc. hinaus erhalten AP Datenstruktur Datenstruktur Datenstruktur AP: Anwendungsprogramm 14

8 Datenhaltung im Dateisystem Isolierte Datenhaltung Produktionsplanung Verkauf Rechnungswesen Redundanz AP AP AP Konsistenz schwierig zu garantieren Integritätsbedingungen schwierig zu prüfen hohe Entwicklungskosten File File File eingeschränkte Produktinformationen Verarbeitungsmöglichkeiten Gemeinsame Datenhaltungng Produktionsplanung Verkauf Rechnungswesen Probleme des Mehrbenutzerbetriebs AP AP AP Sicherheitsprobleme File File Produktinformationen 15 Datenbanken große Datenmengen einfache Handhabung mächtige Auswertungsoperationen Mehrbenutzerbetrieb Datenunabhängigkeit Anwendungsneutralität explizite Integritätsbedingungen Konsistenzüberwachung Redundanzfreiheit Produktionsplanung Verkauf Rechnungswesen AP AP AP Datenbankverwaltungssystem t File File File Datenbanksystem 16

9 Datenbanksystem (DBS) Zentrales Hilfsmittel für Informationssysteme Anwendungssysteme DBS = DB + DBMS Datenbanksysteme Betriebssystem Eine Datenbank (DB) ist eine Sammlung gespeicherter Daten, Hardware die von Anwendungssystemen benötigt werden. Ein Datenbankverwaltungssystem (DBVS, engl. DBMS) ist ein standardisiertes Softwaresystem zur Definition, Verwaltung, Verarbeitung und Auswertung der Daten in einer DB. Es kann mittels geeigneter Parametrisierung an die speziellen Anwendungsbedürfnisse angepasst werden (hochgradig generisches System). 17 Beispiel: Universität mme ungsprogram Nutze er/anwendu DB-Administration Studiensekretariat Prüfungsamt DBMS Uni-DB Prüfungsdaten Studierenden- daten Institutsdaten Mitarbeiterdaten 18

10 Übersicht 2. Informationsmodelle DB-Entwurf und Modellierung Entity-Relationship-Modell Erweiterungen und Abstraktionskonzepte 19 Miniwelt und Informationsmodell Miniwelt Gegenstände Tatsachen Zusammenhänge Eigenschaften Informationen Sachverhalte Vorgänge Veränderungen Formalisierung, Diskretisierung (Systemanalyse) Objekte Beziehungen Typ, Grad Attribute optional ein-/mehrwertig existenzabhängig einfach/ zusammengesetzt Abstraktionskonzepte Klassifikation Schlüssel Generalisierung Wertebereiche Aggregation Assoziation Nullwerte Methoden (Verhalten) Rollen Informationsmodell Objekte Beziehungen Attribute 20

11 Beispiel Universität: Analyse Rektoramt Interview Studiensekretariat Prüfungsamt Vorlesungen werden durch eine Nummer, den Titel sowie den Prüfer beschrieben. Zu jedem Studierenden soll die Matrikelnummer, das Semester, der Name, der Wohnort sowie die zugehörige Postleitzahl gespeichert werden. Zu jeder abgelegten Prüfung wird das Datum und die Note festgehalten. Jeder Professor wird beschrieben durch Name, Fakultät, Lehrstuhl, Jeder Fakultät sind mehrere Institute und Lehrstühle zugeordnet. 21 Beispiel Universität: Modell Entity- -Relationship- -Modell Vorlesungen werden durch eine Nummer, den Titel sowie den Prüfer beschrieben. Zu jedem Studierenden soll die Matrikelnummer, das Semester, der Name, der Wohnort sowie die zugehörige Postleitzahl gespeichert werden. Zu jeder abgelegten Prüfung wird das Datum und die Note festgehalten. Vorlesung Prüfung VorlNr VorlTitel Prüfer Datum Note MatrNr Student Name Semester PLZ Wohnort 22

12 SQL-Umsetzung in DBS Vorlesung Prüfung Student VorlNr VorlTitel Prüfer Datum Note MatrNr Name Semester PLZ Wohnort CREATE TABLE Vorlesung ( VorlNr NOT NULL ) IN VorlSpace; CREATE INDEX VorlI1 ; CREATE TABLE Student ( MatrNr NOT NULL ); CREATE INDEX StudI1 ; CREATE INDEX StudI2 ; Uni-DBS 23 Übersicht 3. Grundlagen des Relationenmodells Abbildungskonzepte Integritätserhaltung Relationenalgebra (Operationen, Algebraische Optimierung) 24

13 Relationales Datenmodell Datenmodell Legt die Modellierungskonstrukte fest zur Beschreibung der Datenobjekte (Datentypen, Beziehungen, Einschränkungen) Festlegung der anwendbaren Operatoren und deren Wirkungen. relationales Datenmodell Datenstruktur: Relation/Tabelle einzige Datenstruktur (neben atomaren Werten) alle Informationen ausschließlich durch Werte dargestellt 25 Beispiel Universität: Tabellen Vorlesung VorlNr VorlTitel Prüfer Vorlesung VorlNr VorlTitel Prüfer Grundlagen der Mitschang/Schwarz Datenbanken und Informationssysteme Data-Warehouse, Data- Mitschang/Schwarz Mining- und OLAP- Technologien Prüfung Datum Note MatrNr Püf Prüfung VorlNr MatrNr Datum Note , ,3 Student Name Student Semester MatrNr Name Semester PLZ Wohnort PLZ Albrecht Stuttgart Bettina München Carl Stuttgart Wohnort Daniela München 26

14 Beispiel Universität: Operatoren Welche Vorlesungen hat Bettina prüfen lassen und was war jeweils das Ergebnis? π VorlTitel,Note (σ NAME = Bettina (Vorlesung Püf Prüfung Student)) t)) VorlNr MatrNr π, σ, : Operatoren der relationalen Algebra Prüfung Vorlesung VorlNr VorlTitel Prüfer Grundlagen der Mitschang/Schwarz Datenbanken und Informationssysteme Data-Warehouse, Data- Mitschang/Schwarz Mining- und OLAP- Technologien VorlNr MatrNr Datum Note , ,3 Student MatrNr Name Semester PLZ Wohnort Albrecht Stuttgart Bettina München Carl Stuttgart Daniela München 27 Datenmodelle Seit der kommerzieller Datenbanksysteme in den späten 1960ern wurden verschiedenste Datenmodelle vorgeschlagen. relationales Modell (RDBMS) objekt-relationales Modell (ORDBMS) objekt-orientiertes ti t Modell (OODBMS) Netzwerkmodell (CODASYL) hierarchisches Modell flat files seit ca. 2000: semistrukturierte Daten und XML 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%

15 Übersicht 4. Die Standardsprache SQL Datendefinition Abbildung und Warten von Beziehungen Mengenorientierte Anfragen und Datenmanipulation 5. Integritäts- und Zugriffskontrolle Semantische Integritätskontrolle Aktives Verhalten Datenschutz via Zugriffskontrolle 29 SQL: Abfrage und Manipulation Datenmanipulation Füge Studierende im 6. Semester in die Tabelle Student ein. INSERT INTO Student VALUES (100500, Daniela, 6, 80100, München); Datendefinition CREATE TABLE Vorlesung (VorlNr INT PRIMARY KEY, VorlTitel CHAR (50) NOT NULL, Anfragen Welche Studierende wohnen in München? SELECT * FROM Student Prüfer CHAR(30) NOT NULL) WHERE Wohnort = München ; Uni-DBS 30

16 SQL: Integritätsbedingungen Integritätsbedingungen g g legen Trage eine Prüfung mit Ergebnis ein. fest: zulässige Wertebereiche Beziehungen e der Daten, de die garantiert a te t werden müssen Aufgaben des DBMS: automatische Überwachung der Bedingungen Zurücksetzen der Änderungsoperationen aktive Folgeänderungen (TRIGGER) INSERT INTO Prüfung VALUES (02520, , , 5.3); Uni-DBS Integritätsbedingungen CREATE ASSERTION Max-Note CHECK( (SELECT Max(Note) FROM Prüfung) 5.0); 31 Übersicht 6. Logischer DB-Entwurf Formale Grundlagen Normalformenlehre Erste Normalform (1NF), 2NF, 3NF, 4NF Synthese von Relationen 32

17 Änderungsanomalien Student MatrNr Name Semester PLZ Wohnort Albrecht Stuttgart Bettina München Carl Stuttgart Daniela München Datenmanipulation UPDATE Student SET Wohnort="Karlsruhe" WHERE MatrNr=100500; Student MatrNr Name Semester PLZ Albrecht Bettina Carl Daniela Postleitzahlen PLZ Wohnort Stuttgart München Karlsruhe Student MatrNr Name Semester PLZ Wohnort Albrecht Stuttgart Bettina München Carl Stuttgart Daniela Karlsruhe 33 Normalisierung Normalisierungs- prozess Normalisierung von Relationen hilft einen gegebenen Entwurf zu verbessern lokales Verfahren auf existierenden Datenstrukturen schrittweise Eliminierung von Änderungsanomalien PNR ANR ANR ANAME funktionale Abhängigkeiten R (PNR, ANR, ANAME) anfängliches Relationenschema 1NF 2NF 3NF BCNF 4NF R1 (PNR, ANR) R2 (ANR, ANAME) Relationenschema in 3NF unnormalisierte und normalisierte Relationen 34

18 Übersicht 7. Architektur Anforderungen an DBS Schichtenmodelle für DBS Drei-Schema-Architektur Dynamischer Ablauf von DB-Operationen 35 Anforderungen an ein DBS Kontrolle über die operation alen Daten Leistung und Skalierbarkeit Hoher Grad an Datenunabhängigkeit DBS 36

19 5-Schichten-Modell Relationen, Sichten... ab 2 xyz a bb 3 xyz b rec. 1 rec. 2 rec. 3 Externe Sätze 1 aa 2 ab 3 bb 2 xyz a 3 xyz b Transaktionsprogramme Interne Sätze record 1 record 2 record 3 Logische Datenstrukturen Logische Zugriffspfade DB-Puffer aa ab bb A record1 record3 Speicherungsstrukturen C record2 B Seitenzuordnungsstrukturen Segment A B C Speicherzuordnungsstrukturen Externspeichermedien Datei 3 A A' B C C' Externer Speicher Übersicht 8. Anwendungsprogrammierschnittstelle gp g Kopplung von DB- und Programmiersprache Spracheneinbettung und Übersetzung Statisches und Dynamisches SQL Call-Level-Interfaces: CLI, JDBC, 38

20 Datenbankzugriffe Anweisungen zur Datendefinition- und Manipulation Standardverarbeitung z.b. am Semesterende Vordefinierte Auswertungen Individuelle Anfragen in einer Anfragesprache DB-Administration Studiensekretariat Prüfungsamt Unterschiedliche Kopplung von DB und Programmiersprache notwendig. Uni-DBS 39 Kopplungsansätze Anwendungsprogramm con = DriverManager.getConnection(url, userid, passwd); Statement stmt = con.createstatement(); createstatement(); String stmttext = "SELECT projectno, manager FROM projects"; main () { ResultSet rs = stmt.executequery(stmttext); exec sql begin declare section; char X[3] ; stmt = con.createstatement(); int GSum; exec sql end declare section; stmttext = "UPDATE projects SET budget = exec sql connect to dbname; WHERE projectno = 'PJ47'"; exec sql insert into Pers (Pnr, Name) values (4711, Ernie ); int rowsupdated = stmt.executeupdate(stmttext); exec sql insert into Pers (Pnr, Name) values (4712, Bert ); printf ( Anr? ) ; scanf ( %s, X); while (rs.next()) { exec sql select sum (Gehalt) into :GSum from Pers where Anr = :X; String pno = rs.getstring(1); /* Es wird nur ein Ergebnissatz zurückgeliefert! */ printf ( Gehaltssumme: %d\n, GSum) exec sql commit work; System.out.print(" Project = " + pno); exec sql disconnect; } rs.close(); SQL-Einbettung: statisch oder dynamisch integrierte Sprachen/ Spracherweiterungen CALL-Schnittstelle: z.b. JDBC DBS 40

21 Übersicht 9. Transaktionsverwaltung Transaktionskonzept Synchronisation Wiederherstellung im Fehlerfall 41 Klassische Transaktionsverarbeitung UPDATE accounts SET balance = balance WHERE K# = 03874; BOT UPDATE accounts SET balance = balance WHERE K# = 01099; Transaktionssystem Datenbanksystem Transakt tionsmme Program Karte? PIN? Konto? Buchung Ausgabe # Kontostand EOT OK 42

22 Transaktionskonzept Transaktionskonzept mit Garantie von ACID-Eigenschaften Atomizität (atomicity) Konsistenz (consistency) Isolation (isolated execution) Dauerhaftigkeit it (durability) Ausfallsicherheit Aufzeichnung redundanter Daten im Normalbetrieb Replikation von Datenstrukturen automatische Reparatur der Datenbestände nach Programm-, System- und Gerätefehlern Rückgängigmachen unvollständiger Transaktionen, so dass sie wiederholt werden können Wiederherstellen der Ergebnisse vollständiger Transaktionen, so dass sie nicht wiederholt werden müssen 43 Ziele Vermittlung von Kenntnissen, Fähigkeiten und Fertigkeiten in der Nutzung von Informations- und Datenmodellen, insbesondere Entity/Relationship-Modell und Erweiterungen, Relationenmodell und SQL, Netzwerkmodell und Hierarchiemodell in der Modellierung von anwendungsbezogenen Realitätsausschnitten (Miniwelten, Diskursbereiche) in der Programmierung von DB-Anwendungen im Entwerfen, Aufbauen und Warten von Datenbanken Voraussetzungen für Übernahme von Tätigkeiten: Entwicklung von datenbankgestützten Anwendungen Nutzung von Datenbanken unter Verwendung von (interaktiven) Datenbanksprachen Systemverantwortung für Datenbanksysteme, insbesondere Unternehmens-, Datenbank-, Anwendungs- und Datensicherungsadministrator 44

23 Top 10 Signs you hired the wrong SQL DBA 10. They can t understand why changing column names may break the application 9. Think performance tuning = buy better hardware 8. Believe a Stored Procedure which compiles is production ready 7. Forcefully argue that indexing every field in the databases is the best way to increase performance (right after buying better hardware) 6. They prefix all stored procedures with sp_ so as to be consistent with the Microsoft naming convention 5. Thinks 9 hours to copy one million records across databases is good performance 4. Thinks a stored procedure is the best way to copy one million records across databases 3. Is convinced that the error generated by trying to insert a duplicate primary key value, is a bug in SQL 2. Thinks adding a new column to a table is a four step process: create a new table, copy all the data over, drop the old table, and rename the new table 1. Believe that adding a foreign key constraint with the Enforce Relationship checkbox unchecked is the best of both worlds, it defines relationships without having to deal with those pesky constraint errors when modifying data 45