Algorithmen und Datenstrukturen II

Transkript

1 Algorithmen und Datenstrukturen II Alexander Goesmann Bioinformatics Resource Facility Center for Biotechnology Universität Bielefeld Vorlesung Sommer 2010

2 Überblick Datenspeicherung in relationalen Datenbanken Persistente Datenspeicherung in Java mit JDBC ORM Objekt-relationales Mapping Datenspeicherung mit Hibernate

3 Datenspeicherung in relationalen Datenbanken Teil I

4 Relationale Datenbanken Relationale Datenbank dient zur elektronischen Datenverwaltung in Computersystemen Beruht auf relationalem Datenbankmodell von Edgar F. Codd aus dem Jahr 1970 Basiert auf Relationen und Operationen darauf (Vgl. relationale Algebra) Verwaltung der gespeicherten Daten mit relationalem Datenbankmanagementsystem (RDBMS) Abfrage und Manipulation der Daten mit Datenbanksprache SQL (Structured Query Language)

5 Grundlegende Konzepte Relationale Datenbank ist Sammlung von Tabellen (Relationen) mit gespeicherten Daten Jede Zeile (Tupel) in einer Tabelle ist ein Datensatz (record) Tupel besteht aus Reihe von Attributwerten (Attribute = Eigenschaften), den Spalten der Tabelle Relationenschema legt Anzahl und Typ der Attribute für eine Relation fest Eindeutige Identifizierung von Datensätzen über Schlüssel (key)

6 Beispiel Quelle: Wikipedia

7 Beziehungen zwischen Tabellen Redundante Speicherung von Daten vermeiden Verwendung eines eindeutigen Schlüssels pro Tabelle zur Identifizierung des Datensatzes (primary key) Verweis aus anderen Tabellen auf Daten mit Hilfe dieses Schlüssels Derartige Attribute werden als Fremdschlüssel (foreign key) bezeichnet Tabellen ohne Fremdschlüssel heißen flache Tabellen

8 Tabelle anlegen Syntax: CREATE TABLE "Tabellen_Name" " "("Spalte 1" "Datentyp_für_Spalte_1", " " "Spalte 2" "Datentyp_für_Spalte_2", " "... )" Beispiel: CREATE TABLE Nutzer (Nutzer-ID int, " " "Vorname varchar(50), " " " "Nachname varchar(50)) "

9 Daten einfügen Syntax: INSERT INTO <Tabellenname> " (<Spaltenname> [, weitere Spaltennamen]) VALUES (<Wert für die erste Spalte> [, weitere Werte])" Beispiel: INSERT INTO Nutzer (Nutzer-ID, Vorname, Nachname) " VALUES (13, 'Hans', 'Müller')"

10 Daten abfragen Syntax: SELECT... FROM... WHERE <Bedingung 1> " [<logischer Operator> <Bedingung 2>]" Beispiele: Select * FROM Nutzer" Select * FROM Nutzer WHERE Vorname = Hans " Select Autor, Titel FROM Bücher WHERE Verlagsjahr > 2000 "AND Verlag!= KVG "

11 Daten aktualisieren Syntax: UPDATE <Tabelle> SET <Name einer Spalte> = <Ausdruck aus Spalten, Konstanten, Funktionen> [, weitere Spaltennamen = Ausdruck] WHERE <Bedingung>" Beispiele: UPDATE Bücher SET Datum = " UPDATE Bücher SET Datum = Datum WHERE Datum < 20"

12 Daten löschen Syntax: DELETE FROM <Tabelle> WHERE <Bedingung>" Beispiele: DELETE FROM Nutzer" DELETE FROM Entliehen WHERE Nutzer-ID = 12"

13 Weiterführende Themen Zusammengesetzte Schlüssel Indexierung JOINs Komplexe Abfragen und Unterabfragen Normalisierung & Normalformen Optimierung Gespeicherte Funktionen und Prozeduren

14 Persistente Datenspeicherung in Java mit JDBC Teil II

15 JDBC Java Database Connectivity Einheitliche Datenbankschnittstelle zu DBMS verschiedener Hersteller Java Application JDBC Client Machine RDBMS proprietary protocol RDBMS Database Server

16 JDBC Treiber Für jedes DBMS ist ein JDBC-Treiber nötig Typ 1 bildet die JDBC API auf andere native API ab Typ 2 teilweise in Java, teilweise in nativem Code geschrieben Typ 3 vollständig in Java geschrieben, kommuniziert über einen middleware-server über ein datenbankunabhängiges Protokoll Typ 4 vollständig in Java geschrieben, implementiert das jeweilige Datenbank-Protokoll

17 Verbindung herstellen Treiber laden Class.forName( com.mysql.jdbc.driver ) Treiber registriert sich beim Laden selbstständig beim DriverManager Verbindungs-URL jdbc:<treiber>:<dbname>[propertylist] z.b. jdbc:mysql:testdb DriverManager vs. DataSource

18 DriverManager Treiber registrieren sich beim DriverManager Erhält Verbindungs-URL Optional Benutzername, Passwort Löst den Treiber über Namen in URL auf Beispiele Connection con = DriverManager.getConnection ( jdbc:derby:coffees ) DriverManager.getConnection ( jdbc:derby:coffees, user, password )

19 DataSource Interface Beschreibt eine Verbindung zur Datenbank Wird häufig außerhalb der Anwendung definiert und z.b. über Java Naming and Directory Interface (JNDI) abgefragt (hängt vom verwendeten Framework ab) Beispiel InitialContext ic = new InitialContext(); DataSource ds = ic.lookup("java:comp/env/ jdbc/mydb"); Connection con = ds.getconnection();

20 Programmatische DataSource Beispiel: ClientDataSource ds = new org.apache.derby.jdbc.clientdatasource(); ds.setport(1527); ds.sethost("localhost"); ds.setuser("app") ds.setpassword("app"); Connection con = ds.getconnection();

21 Beispieltabelle COFFEES COF_NAME SUP_ID PRICE SALES TOTAL Colombian French_Roast Espresso Colombian_Decaf French_Roast_Decaf

22 Connection Connection stellt die Verbindung zur Datenbank dar Kann über Statement-Objekte SQL Code ausführen Ergebnisse der Statements werden durch ResultSets repräsentiert

23 Daten aus Tabelle lesen Statement stmt = con.createstatement(); ResultSet srs = stmt.executequery("select COF_NAME, PRICE FROM COFFEES"); ResultSet repräsentiert zurückgegebene Tabelle Methoden zum Auswählen der Zeile Methoden zum Auslesen einer Zelle zur aktuellen Zeile -> API

24 ResultSet Beispiel ResultSet srs = stmt.executequery( "SELECT COF_NAME, PRICE FROM COFFEES"); while (srs.next()) { String name = srs.getstring("cof_name"); float price = srs.getfloat("price"); System.out.println(name + " " + price); }

25 Daten in der Tabelle ändern Statement stmt = conn.createstatement(); ResultSet srs = stmt.executequery("select COF_Name from COFFEES where price = 7.99"); srs.next(); srs.updatestring("cof_name", "Foldgers"); srs.updaterow(); Änderungen werden erst mit updaterow() geschrieben Abbrechen mit cancelupdates()

26 Weitere Features Daten einfügen und löschen INSERT/DELETE Statements Transaktionen Es werden entweder alle Änderungen gemacht oder keine Stored Procedures Werden in der Datenbank ausgeführt

27 Vor- und Nachteile Vorteile: Direkter und vollständiger Zugriff auf Daten Ausführung von beliebigem (nativem) SQL-Code Geringer Overhead Nachteile: Sehr aufwändig bei großen Datenbanken Duplikation von ähnlichen SQL-Statements Gefahr von Fehlern durch copy & paste Kein direkter Bezug zu Objektmodell im Programm Kompatibilitätsprobleme bei Verwendung von RDBMS spezifischem Code

28 ORM Objekt-Relationales Mapping Teil III

29 Persistente Datenspeicherung Programme arbeiten oftmals auf großen Datenbeständen Daten werden gelesen, geändert und gespeichert Persistenz = Verwaltung und Speicherung von Daten über die Laufzeit eines Programms hinaus

30 Layerstruktur objektorientierter Applikationen

31 Objektorientierte Programmierung vs. Relationale Datenbanken Objektorientierte Programmierung fordert Einheit von Code und Daten Relationale Datenbank (RDB) beinhaltet nur Verwaltung von Daten und Aufrechterhaltung ihrer Konsistenz Relationale Datenbanken sind nicht in der Lage komplette Objekte (als Summe ihrer Attribute und Methoden) zu verwalten RDB eignet sich nur zur Speicherung der Daten eines Objektes, also des Inhalts seiner Attribute Ansatz: Mapping, also das Abbilden von Objekten und Attributen in Datenbank-Tabellen bzw. deren Spalten

32 Persistenz-Layer Aufgabe: Bereitstellen von Methoden zum Erzeugen, Abfragen, Verändern und Löschen von Objekten einer Klassenhierarchie CRUD: Create, Retrieve, Update, Delete getter/setter-methoden zur Abfrage und Veränderung einzelner Attribute Schlüssel zur Flexibilität und Geschwindigkeit ist die Art und Weise, mit der die Struktur der Objekte auf die relationale Datenbank gemappt werden Umfasst auch Information über Vererbungshierarchie

33 Identifizierung von Objekten in Datenbanken Ein Objekt existiert laut dem Paradigma der Objekt- Orientierten Programmierung (OOP) nur einmal Jede Objekt-Orientierte Programmiersprache verwendet Referenzen auf Objekte, um diese zu verwalten: Objekt wird erzeugt, eine Referenz verwaltet, weitere Referenzen angelegt, Methoden werden benutzt und das Objekt wird am Ende seiner Existenz zerstört Gleichheit von Objekten wird durch Gleichheit der Referenz ausgedrückt Inhaltliche Gleichheit durch Gleichheit der Werte von Attributen

34 Identifizierung von Objekten in Datenbanken Beim Ablegen eines Objektes in einer relationalen Datenbank muss diese Form des Selbst aufrecht erhalten werden Objekt muss eindeutig von anderen Objekten unterscheidbar und identifizierbar sein Persistenz-Layer weisen Objekten eindeutige Identifikationsnummern, genannt object ids (OID) zu Anhand dieser Nummer kann das Objekt sich selbst, seine Daten und assoziierte Objekte identifizieren

35 Identifizierung von Objekten anhand einfacher Nummern Fortlaufende Nummerierung der Objekte Datenbank-Systeme liefern hierzu geeignete Hilfsmittel, z.b. SERIAL INTEGER in PostgreSQL oder AUTOINCREMENT in MySQL Eigenhändige Lösung: Anlegen einer Datenbanktabelle für Metadaten zur Verwaltung der OIDs und anderer Daten Vorteil: Gute Übertragbarkeit auf jedes Datenbank-System Nachteil: Zusätzlicher Aufwand zur Verwaltung der Metadaten Um Eindeutigkeit der OID zu gewährleisten, muss jeder Zugriff auf die Metadaten exklusiv erfolgen Locking der Tabelle oder einzelner Spalten nicht zu umgehen Ausbremsen des Systems durch Locking, wenn viele Clients in kurzer Folge neue OIDs anfordern

36 Identifizierung von Objekten mit zusammengesetzten Nummern Um Performanz-Einbußen beim konkurrierenden Zugriff auf Metadaten zu verringern, wird OID aus zwei Komponenten zusammengesetzt (high-low-ansatz) Zwei Komponenten: Sitzungszähler wird von Datenbank verwaltet und beim Starten der Applikation durch Datenbank initialisiert Zweite Komponente wird durch Applikation selbst vergeben Beispiel: 32-bit-Integers (z.b. unterste 10 Bit aus internem Zähler, restliche Bits aus Sitzungszähler) gewährleistet Eindeutigkeit bei Verringerung der Zugriffe auf Metadaten um Faktor 2 10 = 1024 Nachteil: Verschwenderischer Umgang mit OIDs (Überlauf!)

37 Identifizierung von Objekten mit globalen OIDs Einsatz (weltweit) verteilter Datenbanken erfordert andere Mittel OID dient hier nicht nur dem Auffinden der Daten in der Datenbank, sondern muss es der Applikation auch ermöglichen, Datenbank als solche zu identifizieren Ansatz: Text-OIDs, die Hostnamen des Datenbank- Servers, Namen der Datenbank, Namen der Tabelle und numerische OID enthalten Andere Möglichkeiten: URIs und URNs

38 Mapping: Eine Tabelle pro Hierarchie Alle Klassen einer Hierarchie sowie ihre Attribute werden in eine einzige Tabelle gemappt Vorteile: Hohe Performanz (nur eine Tabelle pro Anfrage) Einfache Implementierung Einfache Abfrage der Daten Nachträgliches Verändern der Klassen sowie polymorphe Abfragen von Objekten ebenfalls einfach Nachteile: Je nach verwendeter Klassenstruktur hoher Speicherverbrauch, da unnötig viele Spalten pro Klasse existieren Viele leere Datenbankfelder

39 Mapping: Eine Tabelle pro konkreter Klasse Pro Klasse eine Tabelle, die die kompletten Attribute dieser Klasse (inklusive der Attribute evtl. vorhandener abstrakter Oberklassen) enthält Vorteile: einfache Implementierung Speicherbedarf hält sich in Grenzen Nachteile: Polymorphe Abfragen von Objekten, besonders auf höherer Ebene der Klassenhierarchie, sind schwierig, da mehrere Tabellen nacheinander abgefragt werden müssen Veränderung von Attributen (Hinzufügen, Löschen) ist um so aufwändiger, je höher die Klasse in der Hierarchie angesiedelt ist

40 Mapping: Eine Tabelle pro Klasse Pro Klasse wird eine Tabelle erzeugt, die jedoch nur die in dieser Klasse definierten Attribute enthält, sowie die OID des Objektes Verknüpfung von Tabellen mit Hilfe der OID um die Gesamtdaten der Attribute eines Objektes zu erhalten Vorteile: Beste Unterstützung für polymorphe Abfragen Nachteile: Höchste Anforderungen an Implementierung Performanz kann je nach verwendeter Datenbank geringer als bei anderen Methoden sein, da die Verknüpfung evtl. mehrerer Tabellen einen hohen Verarbeitungsaufwand erzeugt

41 Mapping: Ein einfaches Beispiel

42 Vor- und Nachteile der Mapping- Verfahren Methode Geschwindigkeit Polymorphismus Speicherbedarf Hierarchie Konkrete Klasse Klasse - + +

43 Datenspeicherung mit Hibernate Teil IV

44 Was ist Hibernate? Englisch für Winterschlaf halten Persistenz- und Objekt-Relationales Mapping-Framework für Java (mittlerweile auch für.net) Speicherung von Objekten mit Attributen und Methoden in relationalen Datenbanken Zugriff auf Daten mit eigener Abfragesprache (HQL) Dadurch: Unabhängig von gewählter Datenbank (z.b. MySQL) Kompatibel zur Java Persistence API (JPA) Open-Source

45 Verbreitung und Verwendung Hibernate findet Verwendung in zehntausenden Java- Projekten weltweit Etwa angemeldete Entwickler in den Hibernate-Foren Anzahl täglicher Download: ca (Quelle: Wikipedia 2010, Hibernate Framework)

46 POJO Plain old Java Object = ein ganz normales Objekt Beispiel Die Klasse / das POJO Region : public class Region() { private String name; private int start; private int stop; } public int getstart () { return start; } public int getstop () { return stop; } public String getname () { return name; }

47 Primärschlüssel Jedes Objekt benötigt zur eindeutigen Identifikation in der Datenbank einen eindeutigen Primärschlüssel Beispiel Erweiterung der Klasse Region um ein neues Attribut _id public class Region() { private Long _id; } public long get_id() { return _id; } Alternativ hätte auch das Attribut name verwendet werden können Dann müsste Eindeutigkeit aber sichergestellt sein!

48 Datenbanktabelle Beispiel: Region Feld _id name start stop Typ int(11) char(255) int(8) int(8) 1 cg cg

49 Objekt-Relationales Mapping Erlaubt Abbildung der Objekt/Klassenstruktur auf ein relationales Datenbankschema Grundgerüst des Mappings in Hibernate mittels XML: <?xml version="1.0"?> <!DOCTYPE hibernate-mapping PUBLIC "-//Hibernate/Hibernate Mapping DTD 3.0//EN" " <hibernate-mapping>... </hibernate-mapping> Alternativ möglich: Beschreibung des Mappings mit Hilfe von Annotationen

50 Objekt-Relationales Mapping Mapping für die Klasse Region auf die entsprechende Datenbanktabelle: <hibernate-mapping> <class name="de.cebitec.region" table="region">... </class> </hibernate-mapping>

51 Objekt-Relationales Mapping Mapping für die Klasse Region auf die entsprechende Datenbanktabelle: <hibernate-mapping> <class name="de.cebitec.region" table="region"> <property name="start" column="start"/> <property name="stop" column="stop"/> <property name="name" column="name"/> </class> </hibernate-mapping>

52 Objekt-Relationales Mapping Wichtig: Definition des Primärschlüssels mit der Anweisung diesen bei jedem neuen Objekt automatisch zu erhöhen <hibernate-mapping> <class name="de.cebitec.region" table="region"> <property name="start" column="start"/> <property name="stop" column="stop"/> <property name="name" column="name"/> <id column="_id" name="_id"> <generator class="increment"/> </id> </class> </hibernate-mapping>

53 Erweiterung der Klasse Region Jede Region kann in einer Art Eltern-Kind -Relation zu einer anderen Region stehen: public class Region() {... private Region parentregion;... public Region getparentregion () { return parentregion; } }

54 Datenbanktabelle Beispiel: Region erweitert um Eltern (Parent) - Region Benötigt zusätzliche Spalte mit Fremdschlüssel Feld _id name start stop parent_region_id Typ int(11) char(255) int(8) int(8) int(11) 1 cg cg null

55 Objekt-Relationales Mapping Fremdschlüssel zeigt auf Parent -Region <hibernate-mapping> <class name="abc.region" table="region"> <id column="_id" name="_id"> <generator class="native"/> </id> <property name="start" column="start"/> <property name="stop" column="stop"/> <property name="name" column="name"/> <many-to-one class="de.cebitec.region" column="parent_region_id" name="parent_region"/> </class> </hibernate-mapping>

56 Datenspeicherung und Abfrage Transaktionen Ausführung einer oder mehrerer Operationen (z.b. Holen und Änderung von Region-Objekten) innerhalb einer Transaktion ACID Eigenschaften von Transaktionen: Atomarität: Ganz oder gar nicht Konsistenz: konsistenter Datenzustand (z.b. Abbuchung von Konto und Einzahlung auf einem anderen) Isolation: Keine gegenseitige Beeinflussung von Transaktionen (z.b. Reisebuchung Sperrung eines Flugs während Auswahl des Hotels) Dauerhaftigkeit: Änderungen einer erfolgreich abgeschlossenen Transaktion sind dauerhaft (persistent)

57 Datenspeicherung und Abfrage Komponenten/Architektur von Hibernate: Session Repräsentiert Konversation zwischen Anwender (Anwendung) und Datenbank Kapselt Verbindung zur Datenbank (JDBC-Connection) SessionFactory Kennt alle Mappings für eine Datenbank Dient als Factory für Session-Objekte Optional: Zwischenspeicher für abgerufene Datenbankobjekte zur Steigerung der Performance (Caching)

58 Hibernate Konfiguration XML-Konfiguration einer SessionFactory <?xml version='1.0' encoding='utf-8'?> <!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3.0//EN" " <hibernate-configuration> <session-factory> <property name="connection.driver_class"> com.mysql.jdbc.driver </property> <property name="dialect"> org.hibernate.dialect.mysqldialect </property>... <mapping resource="de/cebitec/region.hbm.xml"/> </session-factory> </hibernate-configuration>

59 Beispiel: Ablauf einer Datenbankabfrage Erstellung der Verbindung zur Datenbank (Initialisierung der SessionFactory mit Hibernate Konfiguration) Öffnen einer Session über die SessionFactory Beginn einer Transaktion Abfrage/Speicherung von Objekten Commit der Transaktion (Erst jetzt werden Änderung/ Objekte persistent!) Schließen der Session Später eventuell: Öffnen einer weiteren Session...

60 Beispiel: Holen aller Regions // Initialisierung der SessionFactory (hier nicht gezeigt) private static SessionFacotory sessionfactory =... // Methode zum Holen aller Region-Objekte (Wo ist hier die Transaktion?) public List<Region> getregions() { List<Region> regions = null; Session session = sessionfactory.opensession(); try { regions = session.createquery( "select region from Region as region" ).list(); } catch (Exception ex) { // Fehlerbehandlung } finally { session.close(); } return regions; }

61 Beispiel: Speicherung einer Region // Methode zur Erstellung und Speicherung eines Region-Objekts public Region createnewregion(string name, int start, int stop) { Region region = new Region(); region.setname(name); region.setstart(start); region.setstop(stop); } Session session = sessionfactory.opensession(); Transaction tx = null; try { tx = session.begintransaction(); session.save(region); tx.commit(); } catch (Exception ex) { tx.rollback(); // Rollback aller Änderungen! return null; // besser: Ausnahme werfen! } finally { session.close(); } return region;

62 Literatur C. J. Date und H. Darwen SQL - Der Standard. Addison-Wesley, 1997 S.W. Ambler The Design of a Robust Persistence Layer for Relational Databases. S.W. Ambler Mapping Objects to Relational Databases. S.W. Ambler Building Object Applications that work. Cambridge University Press, C. Bauer, G. King (2005) Hibernate in Action. Manning Publications Co. Hibernate - JBoss Community (2010)

63 Vielen Dank für Eure Aufmerksamkeit