Vorlesung Datenbankmanagementsysteme

Transkript

1 Vorlesung Datenbankmanagementsysteme (auf Basis von Oracle) M. Lange, S. Weise Folie #14-1

2 Themen der Vorlesung Grundlagen Architekturen Modellierung Relationale Datenbanken Relationaler DB-Entwurf SQL zur Datendefinition Sichten, Zugriffskontrolle, Trigger SQL zur Datenabfrage/- manipulation SQL zur Datenanalyse Programmiersprachenanbindung Transaktionsverwaltung Phys. Datenbankdesign und Zugriffsstrukturen M. Lange, S. Weise Folie #14-2

3 Wiederholung Binary Large Objects Textindex XML Zusammenfassung Gliederung der Vorlesung M. Lange, S. Weise Folie #14-3

4 Wiederholung M. Lange, S. Weise Folie #14-4

5 Transaktionsbegriff I Eine Transaktion ist eine Folge von Operationen (Aktionen), die die Datenbank von einem konsistenten Zustand in einen konsistenten, eventuell veränderten, Zustand überführt, wobei das ACID-Prinzip eingehalten werden mus Logische Verarbeitungseinheit auf DB Umfasst eine oder mehrere Datenbankoperationen (Einfügen, Löschen, Modifizieren oder Suchen) Aspekte: - Semantische Integrität: Korrekter (konsistenter) DB-Zustand nach Ende der Transaktion - Ablaufintegrität: Fehler durch gleichzeitigen Zugriff mehrerer Benutzer auf dieselben Daten vermeiden M. Lange, S. Weise Folie #14-5

6 Verhalten bei Systemabsturz Bildquelle: Heuer, Saake: Foliensatz Datenbanken I, 8-10 M. Lange, S. Weise Folie # Transaktionen und Integritätsüberwachung

7 ACID-Eigenschaften Atomicity (Atomarität): Transaktion wird entweder ganz oder gar nicht ausgeführt Consistency (Konsistenz oder auch Integritätserhaltung): Datenbank ist vor Beginn und nach Beendigung einer Transaktion jeweils in einem konsistenten Zustand Isolation (Isolation): Nutzer, der mit einer Datenbank arbeitet, sollte den Eindruck haben, dass er mit dieser Datenbank alleine arbeitet Durability (Dauerhaftigkeit / Persistenz): nach erfolgreichem Abschluss einer Transaktion muss das Ergebnis dieser Transaktion dauerhaft in der Datenbank gespeichert werden M. Lange, S. Weise Folie #14-7

8 Beispiel-Datenbankanwendungen Flugreservierung: Umbuchung und Buchen von Reservierungen (T1) Bankdatenbank: Überweisung und Einzahlung von Geldbeträgen (T2) Transaktion T 1 Transaktion T 2 read(x); X:=X-N; write(x); read(y); Y:=Y+N; write(y); rollback; read(x); X:=X+M; write(x); commit; M. Lange, S. Weise Folie #14-8

9 Lost Update Zeitliche Überschneidung von Operationen zweier Transaktionen, so dass sich falscher Wert eines Datenbankobjektes ergibt Beispiel: Aktualisierung von X durch T 1 geht verloren T 1 T 2 X read(x); X:=X+10; write(x); read(x); X:=X+1; write(x); M. Lange, S. Weise Folie #14-9

10 Dirty Read Aktualisierung eines Datenbankobjektes durch Transaktion, die anschließend aber fehlschlägt Beispiel: T 2 nutzt falschen Wert von X T 1 T 2 read(x); X:=X+100; write(x); abort; read(x); Y:=Y+X; write(y); commit; M. Lange, S. Weise Folie #14-10

11 Phantom Problem Berechnung einer Aggregatfunktion auf Datensatzmenge, während andere Transaktion einige Datensätze aktualisiert Beispiel: T 1 nutzt veralteten Wert für X T 1 T 2 select count(*) into X from Mitarbeiter; update Mitarbeiter set Gehalt = Gehalt /X; commit; insert into Mitarbeiter values ( Meier, 50000); commit; M. Lange, S. Weise Folie #14-11

12 Mehrbenutzeranomalie T 1 T 2 X Y read(x); X:=X+10; write(x); read(y); Y:=Y+10; write(y); read(x); X:=X*1.1; write(x); read(y); Y:=Y*1.1; write(y); M. Lange, S. Weise Folie #14-12

13 Isolationsebenen vs. Problemklassen Isolationsebene dirty read non-repeatable read Phantom READ UNCOMMITTED möglich möglich Möglich READ COMMITTED verhindert möglich möglich REPEATABLE READ verhindert verhindert möglich SERIALIZABLE verhindert verhindert verhindert M. Lange, S. Weise Folie #14-13

14 Sperren Realisierung der Isolationsebenen durch Sperren: - Tabelle - Zeile Lesend Schreiben Tabellensperre Lesesperre Schreibsperre Read Uncommitted Read Committed - - X Repeatable Read - X X Serializable X X X M. Lange, S. Weise Folie #14-14

15 Probleme bei Sperren Aufwändig für DBMS -> langsamere Ausführung Transaktion 1 wartet zu lange auf Transaktion 2 - nicht festgeschriebene Änderungen zu werden zu alt Deadlocks - Mehrere Transaktionen blockieren sich gleichzeitig SQL Session 1 SQL Session 2 UPDATE mitarbeiter set gehalt = gehalt WHERE abteilung = 10; UPDATE mitarbeiter set gehalt = gehalt WHERE abteilung = 20; ORA-00060: deadlock detected while waiting for resource UPDATE mitarbeiter set gehalt = gehalt WHERE abteilung = 20; UPDATE mitarbeiter set gehalt = gehalt WHERE abteilung = 10; M. Lange, S. Weise Folie #14-15

16 Binary Large Objects M. Lange, S. Weise Folie #14-16

17 Unstrukturierte Daten Gemischte Verwaltung relationale, nicht-relationale Daten Warum? - Viele verschiedene Datenhaltungs-Systeme - Große Aufwände zur Integration - Interaktion sehr langsam XML M. Lange, S. Weise Folie #14-17

18 LOBS Spezielle RDBS-Datentypen für sehr große, unstrukturierte Informationen - VARCHAR max 4000 Zeichen! - BLOB, CLOB, NCLOB, und BFILE Binary Large Objects (BLOBs): Byte-Folgen wie Bilder, Audio- und Videosequenzen Character Large Objects (CLOBs): Folgen vonascii-zeichen (unstrukturierter ASCII-Text) Maximale Größe 128TByte pro LOB lange Felder überschreiten i.a. Grenzen eines Extends deshalb spezielle Speicherrungsstrategie - langsamer Zugriff! M. Lange, S. Weise Folie #14-18

19 LOBs in Tabellen: create table Anweisung create table dokument_tab( name varchar2(200), lob_column blob ) lob (lob_column) store as ( tablespace LOBTS disable storage in row chunk 32k); LOB-Segmente liegen im - gleichen Tablespace wie Tabelle oder - Seperaten Tablespace Chunk-Size (Block-Größe) - Default bzw. Minimale Einstellung ist TS BLOCKSIZE - Große LOB's: Große Chunk Sizes - Kleine LOB's: Kleine Chunk Sizes Speicherung gemischt; in-line, wenn LOB kleiner als ~4000 Bytes, ansonsten out-line LOB-Segmente werden nicht im Buffer Cache gehalten M. Lange, S. Weise Folie #14-19

20 LOBS mit JAVA in Datenbank laden BLOB-Tabelle anlegen CREATE TABLE t1 ( c1 INT PRIMARY KEY NOT NULL, c2 BLOB ); Datei als BLOB einfügen PreparedStatement pstmt = conn.preparestatement ("INSERT INTO t1 VALUES (?,?)"); pstmt.setint (1, 100); File fblob = new File ( "image1.gif" ); FileInputStream is = new FileInputStream ( fblob ); pstmt.setbinarystream (2, is, (int) fblob.length() ); pstmt.executeupdate(); M. Lange, S. Weise Folie #14-20

21 LOBS mit JAVA aus Datenbank abfragen Statement stmt = conn.createstatement (); ResultSet rs= stmt.executequery("select * FROM t1"); while(rs.next()) { int val1 = rs.getint(1); InputStream is = rs.getbinarystream(2); FileOutputStream os = new FileOutputStream( c:\test.txt"); byte[] b = new byte[4096]; // chunk size 4Kbyte int number_of_bytes; while ((number_of_bytes = is.read(b))!= -1) { os.write(b, 0, number_of_bytes); } is.close(); os.close(); } rs.close(); M. Lange, S. Weise Folie #14-21

22 Textindex Quelle Bildmaterial teilweise von ORACLE Deutschland M. Lange, S. Weise Folie #14-22

23 World Wide Web Nachrichtenauswertung Produktdatenbanken Literaturrecherche Social Networking Dr. Lange: Vortrag Modell des Information Retrieval, Hochschule Anhalt Folie 23

24 Dr. Lange: Vortrag Modell des Information Retrieval, Hochschule Anhalt Folie 24

25 Dr. Lange: Vortrag Modell des Information Retrieval, Hochschule Anhalt Folie 25

26 Dr. Lange: Vortrag Modell des Information Retrieval, Hochschule Anhalt Folie 26

27

28 Unscharfe Suche in nicht-atomaren Spalten Nicht alles atomar zerlegt oder zerlegbar (1. Normalform) - Name Vorname, Nachname - Adresse Straße, Hausnummer, Stadt, PLZ, Land Beispiel Kunden Namen und Kundenadresse - Suche nach Kunden aus Syracuse - Nutzung von like %Syracuse% zu langsam und ungenau! M. Lange, S. Weise Folie #14-28

29 Unscharfe Suche in Texten (CLOB) Volltextrecherche "State-of-the-Art (GOOGLE-Ansatz) - Linguistische Suchfunktionalität Stemming, Base-Letter, Thesaurus-Suche, Phrasensuche - Dokumente innerhalb und außerhalb der Datenbank FILE_DATASTORE, URL_DATASTORE - Erweiterungen für Text Mining Klassifizierung, Clustering Nutzung über SQL (ORACLE Spezialität) - CREATE INDEX - SELECT... WHERE CONTAINS... M. Lange, S. Weise Folie #14-29

30 ORACLE TEXT Indizierung Unterstützung aller gängigen Datentypen - XMLTYPE, VARCHAR2, CLOB, BLOB,... Auch mehrere Indizes pro Tabelle M. Lange, S. Weise Folie #14-30

31 ORACLE TEXT Volltextrecherche Abfrage mit SQL - CONTAINS-Funktion - Kombinierbar mit relationalen Abfragen Relevanz-Ranking anhand Wort-Häufigkeiten - SCORE()-Funktion Ergebnis-Aufbereitung - Highlighting - "Keyword-in-Context" M. Lange, S. Weise Folie #14-31

32 ORACLE TEXT - Prinzip M. Lange, S. Weise Folie #14-32

33 ORACLE TEXT Methode: Reverse Index ID TEXT 1001 Nacht und Tag,<b>Tag und Nacht</b> 1002 Es war eine <i>stürmische Nacht</i> 1. Textzerlegung in Token (Filter, Lexer) - Stop-Wörter (Bsp.: und, es, war, eine ) 2. Anlegen Reverse Index mit Token-Zusatzinformationen - Lautschrift, Position, Gewicht TOKEN_TEXT TOKEN_INFO NACHT (ROWID 1001, POS: 1,4) (ROWID 1002, POS: 2) TAG (ROWID 1001, POS: 2,3) STÜRMISCHE (ROWID 1002, POS: 1) M. Lange, S. Weise Folie #14-33

34 ORACLE TEXT: Abfragemöglichkeiten I Exakte Wort/Phrasensuche... where contains(text, Hund )>0 Logische Kombinationen... where contains(text, Hund AND Katze ) >0 Wildcard-Suche... where contains(text, Hu%d AND Kat_e ) >0 Soundex... where contains(text,!tatenbongen ) >0 Fuzzy matching... where contains(text,?hunt ) >0 findet: Hund!! Multilinguale Stammsuche... where contains(text, $läuft ) >0 M. Lange, S. Weise Folie #14-34

35 ORACLE TEXT: Abfragemöglichkeiten II NEAR-Operator... where contains(text, near(hund, Katze), 4 ) >0 Suche in Sektionen, Sätzen und Paragraphen (HTML)... where contains(text, Hund WITHIN TITEL ) >0 (Vorrauss.: Sectioner beim Indizieren erkennt HTML) Score-bezogene Funktionen... where contains(text, Hund MINUS Katze) >0... where contains(text, Hund OR Katze*3) >0 Score-bezogene Operationen auf Ergebnislisten... where contains(text, Hund )>10 ISO 2788 konformer Synoynm-Wörterbuch... where contains(text, SYN(Hund,[thes] >0) M. Lange, S. Weise Folie #14-35

36 ORACLE TEXT: Abfragemöglichkeiten III Was ist das? - Erweiterung der Textquery schrittweise bis die gewünschte Trefferzahl erreicht ist. M. Lange, S. Weise Folie #14-36

37 ORACLE TEXT: Weitere Informationen xt.111/b28303/toc.htm M. Lange, S. Weise Folie #14-37

38 Zusammenfassung Unstrukturierte Daten im DBMS - XML, Texte, Bilder, Dateien LOB LARGE Objects - Bis zu 128T pro LOB-Wert - BLOB, CLOB, BFILE, - JAVA-JDBC zum Einfügen, Auslesen ORACLE TEXT - Performante Textabfragen Nicht-atomare VARCHARS Text (normaler Text, HTML, XML) - Vielzahl an Ähnlichkeitsoperationen M. Lange, S. Weise Folie #14-38