Abschlussbericht. Entwicklung einer Datenbankabfrageoberäche im AWV-Projekt

Transkript

1 Universität Leipzig Abschlussbericht Projektpraktikum Ägyptologie Entwicklung einer Datenbankabfrageoberäche im AWV-Projekt Manuel Stöÿel Matr.-Nr.:

2

3 Inhaltsverzeichnis 1 Einleitung 1 2 Projektbeschreibung 3 3 Technologie Backend Frontend Datenbank Ablauf Sprint 1: Einarbeitung in JSF, Maven, git und Tomcat, einfacher Rechner Sprint 2: Einarbeitung in Datenbankstruktur, Datenbankzugri über JSF Sprint 3: Erstellen der Suche in den Metadaten Sprint 4: Fehlerbehebung und Erstellen der Suche in der BWL Sprint 5: Änderung der Suche in der BWL und Erstellen der Suche für aggregierte Daten Sprint 6: Integration in AWV Seite und Integration Testing Zusammenfassung 11 iii

4

5 1 Einleitung Ziel dieses Projektes war es, eine Datenbankabfrageoberäche im Rahmen des AWV Projektes zu erstellen, die sich in die bestehende Weboberäche des Projektes integrieren lässt. Die zu erstellenden Seiten sollten verschiedene Suchen in der Datenbank des Projektes ermöglichen, die im Seminar des Projektpraktikums entwickelt wurden. Das AWV Projekt beschäftigt sich mit verschiedenen ägyptologischen Wörterbüchern des 19. und 20. Jahrhunderts im Vergleich zum aktuellsten Wörterbuch, der Berliner Wortliste. Im Projekt wurde eine Webanwendung entwickelt, in der Einträge aus den zu untersuchenden Wörterbüchern mit Einträgen aus der Berliner Liste verknüpft werden. Zudem werden zu jeder Verknüpfung noch eine Reihe Metadaten erfasst. Diese beinhalten zum Beispiel Daten über die Qualität der Wörterbucheinträge und Literaturangaben zur Transliteration und Übersetzung. Diese Daten werden in einer MySQL-Datenbank hinterlegt. Dieser Projektbericht gliedert sich in die drei Bereiche Technologie, Ablauf und Zusammenfassung. Das Kapitel Technologie beschreibt die verschiedenen verwendeten Technologien und geht auf die Struktur der entwickelten Anwendung ein. Im Kapitel Ablauf werden die verschiedenen Sprints beschrieben. Auÿerdem wird auf diverse Probleme eingegangen, die im Laufe der Implementierung aufgekommen sind. Das letzte Kapitel fasst noch einmal kurz das Projektpraktikum zusammen und geht auf mögliche Verbesserungen und weitere Features ein. 1

6

7 2 Projektbeschreibung Die verschiedenen Anforderungen an die Suche in der Datenbank wurden in einem Projektseminar erarbeitet. Das Projektseminar bestand aus Studenten aus den Geisteswissenschaften und der Informatik. Die Geisteswissenschaftler beschäftigten sich mit der Konzeptionierung der Suchfunktionen und dem Design der Suchoberächen. Die Aufgabe der Informatiker war es, die entwickelten Konzepte umzusetzen. Die Konzepte wurden anhand von Userstories und einfachen HTML-Dateien für die Suchoberächen kommuniziert. Es wurden drei verschiedene Suchfunktionen im Projektseminar beschrieben. Eine Suche in der Berliner Wortliste, die das aktuellste deutsche Wörterbuch für Altägyptische Sprachen darstellt. Die Berliner Wortliste lag als eine Tabelle in der Datenbank des AWV Projektes vor. Hier sollte schnell nach Einträgen per Volltextsuche gesucht werden können. Auÿerdem sollten weitere Suchparameter mit UND oder ODER Verknüpfung hinzugefügt werden können. Diese haben ein Auswahlfeld für die Suchkategorie - Eintrags-ID, Transkription, Übersetzung oder Bibliographienangabe, und ein Textfeld für das Suchwort. Die nächste Suchfunktion sollte die Metadaten durchsuchen können, die an jeder Verlinkung zwischen den verschiedenen alten Wörterbüchern und der Berliner Wortliste, angehängt sind. Hier konnte man diverse Suchparameter auswählen, u.a. eine Volltextsuche, Filter für Bewertungen der Übersetzungen und Literaturangaben. Die Metadaten sind als auch als eine Tabelle in der Datenbank hinterlegt, jedoch mit vielen Verknüpfungen zu weiteren Tabellen mit den eigentlichen Metadateneinträgen. Die dritte Suchfunktion sollte aggregierte Daten wiedergeben, die einem alle Einträge mit verschiedenen Eigenschaften, wie Bewertungen, Ghostwords und Autoren, zurückgibt und eine Funktion zum Durchzählen dieser Ergebnisse. 3

8

9 3 Technologie Da die Integration in bestehende Strukturen Priorität war wurden die zu benutzenden Technologien gröÿtenteils vorgeschrieben. Auf diese Technologien wird in den folgenden Punkten näher eingegangen. 3.1 Backend Das Backend besteht aus einem Apache Tomcat 7 Application Server, der eine lauähige WAR- Datei übergeben bekommen muss. Das Projekt wird mit Maven kompiliert und die WAR-Datei erstellt. Die Integration Tests sollen idealerweise auch in den Maven Lifecycle integriert werden, allerdings können die Tests auch getrennt durchgeführt werden. Das Testframework hierfür sollte Selenium sein. Umgesetzt wurde das Backend grundsätzlich mit zwei Java-Klassen. Einer Bean, die alle Variablen und Funktionen enthält, auf die durch die JSF zugegrien wird. Die Funktionen in dieser Bean generieren auch schon fertige SQL-Abfragen, die nur noch an die Singleton Instanz der zweiten Klasse übergeben werden. Die zweite Klasse ist eine klassische Singleton- Implementierung zum Datenbankzugri auf die MySQL-Datenbank per JDBC. 3.2 Frontend Da schon Templates und Designs für die Seite vorhanden waren, wurde hier einfaches XHTML in Verbindung mit JavaServerFaces (Primefaces / ExpressionLanguage v.2.2) für das dynamische Laden von Inhalten vorgeschrieben. Diese EL-Tags erlauben den Zugri auf Variablen und Methoden von Java-Beans aus dem XHTML-Code heraus und bieten eigene Formular- Tags mit vielen dynamischen Eigenschaften, die beim Rendervorgang in reines HTML übersetzt werden. So wird mit folgendem Tag auf eine Stringvariable zugegrien. Bei Änderung des Textes im Eingabefeld wird dieser Wert hier in die Variable querytext in der Bean searchfunctionbean geschrieben. Hierbei ist zu beachten, dass die Namen der Getter und Setter für diese Variable einer bestimmten Konvention folgen. Listing 3.1: EL-Tag zum Zugri auf eine Variable via Eingabefeld <h : inputtext value="#{searchfunctionsbean. querytext }"/> Hieraus erstellt JSF dann folgenden HTML-Code: Listing 3.2: XHTML-Tag von JSF erstellt <input type="text " name="j_idt5 : j_idt10"> Für die drei Suchfunktionen wurden drei verschiedene XHTML-Dateien erstellt. Zur Navigation wurde noch eine Seite erstellt, die auf diese drei Seiten verweist. 5

10 3 Technologie 3.3 Datenbank Abbildung 3.1: Übersicht der Struktur der Anwendung Die zu benutzende Datenbank war eine MySQL Datenbank. Es wurde vorgeschlagen das Hibernate Framework zu benutzen. Da allerdings das Reverse-Engineering der bestehenden Datenbank zur Erstellung der entsprechenden Java-Klassen wegen fehlender Fremdschlüsseldenitionen nicht korrekt durchgeführt werden konnte und ein sehr hoher Einarbeitungsaufwand notwendig gewesen wäre, wurde das JDBC Frameworks in einer einfachen Java Singleton Klasse verwendet. 6

11 4 Ablauf In den folgenden Abschnitten gehe ich zu den einzelnen Sprints im Projekt ein. Dort werden die Sprintziele erklärt und auf wichtige Details und Probleme der Implementierung eingegangen. 4.1 Sprint 1: Einarbeitung in JSF, Maven, git und Tomcat, einfacher Rechner Im ersten Sprint war das Hauptziel die Einarbeitung in Maven, Tomcat und JSF. Zudem wurde eine erste einfache Webapplikation erstellt, in der mit Hilfe von JSF ein einfacher Taschenrechner dargestellt wurde. Der Einarbeitungsaufwand in JSF und die Java-Bean- Technologie war sehr hoch. Die Benutzung von git, Maven und Tomcat war ohne gröÿeren Aufwand zu realisieren. 4.2 Sprint 2: Einarbeitung in Datenbankstruktur, Datenbankzugri über JSF In diesem Schritt wurde die Datenbankstruktur anhand eines bereitgestellten MySQL-Dumps untersucht und mittels MySQL Workbench ein Reverse Engineering des Modells erstellt. Zudem wurde die Benutzung des Hibernate Framework evaluiert und mit den Jboss-Tools auch hier ein Reverse Engineering durchgeführt, was die Hibernate Klassen erstellt hat. Da allerdings der Einarbeitungsaufwand zur Benutzung von Hibernate sehr hoch war, wurde eine einfache Singleton-Klasse zum Zugri auf die Datenbank mit Hilfe des JDBC Frameworks erstellt. Dies wurde auch mit einer vereinfachten Version der Suche in den Metadaten erfolgreich genutzt. Hierfür wurde eine Klasse erstellt, die alle Variablen enthält, auf die per EL-Tags aus dem XHTML heraus zugegrien wird. Zudem wurde eine Klasse erstellt, die alle Funktionen enthält, die aus den Formulardaten die SQL Abfragen erstellen und an die Datenbank weiterreicht. 4.3 Sprint 3: Erstellen der Suche in den Metadaten Hier gab es zunächst noch Verständnisprobleme zur genauen Datenbankstruktur, da nicht explizit alle Fremdschlüssel deklariert waren und so das erstellte Modell auch nicht ganz korrekt war. Als diese Unklarheiten per Nachfrage geklärt wurden, wurde die Suchoberäche zur Suche in den Metadaten entsprechend den nun im Seminar erstellten Userstories und Designs angepasst und erweitert. In diesem Sprint wurde die Funktion buildquerymd() angepasst, um eine korrekte SQL Abfrage zu erstellen. Hier gab es ein Problem mit dem Datenbankmodell aus dem Reverse Engineering, da dort einige Relationen nicht enthalten waren. Diese wurden dem Modell hinzugefügt. Auÿerdem wurde noch die entsprechenden Funktionalitäten 7

12 4 Ablauf implementiert, um die Rückgabe der Datenbank dynamisch in einer DataTable darstellen zu können. 4.4 Sprint 4: Fehlerbehebung und Erstellen der Suche in der BWL Auch in diesem Sprint wurde weiter an der automatisierten Darstellung der Datenbankrückgabe gearbeitet und zudem die Suchoberäche und Backend-Funktionen für die Suche in der Berliner Wortliste erstellt. Dazu wurde insbesondere die Funktion buildquerybwl(boolean) implementiert, die wiederum die SQL Anfragen für diese Suche erstellt. 4.5 Sprint 5: Änderung der Suche in der BWL und Erstellen der Suche für aggregierte Daten Wie auch im letzten Sprint wurden weiterhin Feinheiten am bestehenden Quellcode korrigiert und verbessert. Zudem wurde die Funktion buildqueryad() erstellt die die SQL Anfrage in dieser Suche generiert. Auÿerdem wurde die Suchoberäche für die Suche in der Berliner Wortliste erweitert. Man kann nun mehrere Suchparameter logisch miteinander verknüpfen und immer neue Suchparameter hinzufügen. Diese werden zudem in Echtzeit auch in einer DataTable dargestellt. 4.6 Sprint 6: Integration in AWV Seite und Integration Testing Im letzten Sprint wurde nun das bestehende Projekt aus dem Projektpraktikum in die neue AWV- Seite integriert und einige grundlegende Integration Tests implementiert. Um die Suchfunktion in die AWV-Seite zu integrieren, habe ich die SearchFunctions.java in das Paket de.unileipzig.wirote.control und die MySQLAccess.java in das Paket de.unileipzig.wirote.database kopiert. Dann habe ich den Inhalt des <body> in den XHTML-Dateien in entsprechend benannten Templates kopiert. Auÿerdem wurde noch einen Import der MySQLAccess-Klasse in der SearchFunctions.java eingefügt, da die beiden Klassen hier auf zwei Pakete aufgeteilt wurden. Die AWV-Seite war sollte lauähig sein, allerdings konnte ich auf meinem lokalen System zu diesem Zeitpunkt, aufgrund einer SQLException, die Applikation nicht im Tomcat starten. Dies lag an einem MySQL Benutzer, der in der persistence.xml hinterlegt war und nicht in der lokalen MySQL Installation vorhanden war. Diese persistence.xml wird von der c3p0 Bibliothek genutzt, die für das Connection Pooling von JDBC zuständig ist. Nach den entsprechenden Anpassungen war die Seite auch lokal lauähig. Die Suche für aggregierte Daten musste noch einmal korrigiert werden, da hier die generierte SQL- Abfrage kein korrektes Ergebnis geliefert hat. Dann gab es noch eine kurze Einarbeitung in GUI Testing mit dem Selenium WebDriver und ein erster einfacher Test wurde erstellt, doch für die korrekte Integration des Tests in den Maven Lifcycle musste man sich nochmal eingehender mit Maven beschäftigen. Um hier Zeit zu sparen, wurden die Tests, in die vorhandene Testklasse SeitenTest.java integriert, da davon auszugehen war, das diese korrekt ausgeführt werden. Die implementierten Tests prüfen mit festgelegten Eingaben nur, ob nach dem Abschicken der Suchparameter keine Fehler 8

13 4.6 Sprint 6: Integration in AWV Seite und Integration Testing entstehen. Dies garantiert eine zumindest formal richtig generierte SQL Abfrage und korrekt ablaufenden Programmcode bis dahin. Eine Überprüfung der Ergebnisse mittels junit nach dem Auslesen durch Selenium wurde aus Zeitgründen nicht durchgeführt. Sie wäre eine sinvolle Erweiterung der derzeitigen Arbeit. 9

14

15 5 Zusammenfassung In diesem Projektpraktikum wurden alle gewünschten Features implementiert, jedoch bleibt natürlich Raum für Verbesserungen. Insbesondere sollten die MySQL-Abfragen optimiert werden. Es bleibt auch zu überlegen, ob es nicht sinnvoll wäre doch noch auf Hibernate umzusteigen als, wie bisher, alles mit dem JDBC Framework zu gestalten. Auch kann es vor Veränderungen an den Datenbank-bezogenen Funktionen sinnvoll sein noch weitere spezischere Tests zu implementieren. Weiterhin kann man noch Überlegungen anstellen die Suchoberächen zu vereinheitlichen und eventuell auch in eineseite zu integrieren und nicht, wie bisher, auf drei Seiten zu verteilen. Die Ziele des Projektpraktikums wurden vollständig erreicht. Es fand eine tiefgehende Auseinandersetzung mit verschiedensten gängigen Technologien aus der Softwaretechnik statt und es wurde eine wichtiges Element der AWV Seite implementiert und dem Projekt zur Verfügung gestellt. 11