Kurzanleitung zur Erweiterung der htdig

Transkript

1 Kurzanleitung zur Erweiterung der htdig

2 Inhaltsverzeichnis 1. Einleitung Kompilieren des Projektes Erweiterung der htdig Erweiterung der Konfigurationsdatei htdig.conf XML-Export SQL-Export Import der SQL-Daten in MySQL

3 1. Einleitung In dieser Anleitung soll ein Kurzüberblick zu den Erweiterungen der htdig Suchmaschine gegeben werden, die im Rahmen des Projektthemas verbesserte Datenbankanbindung der htdig Suchmaschine durchgeführt wurden. Es wird sowohl die Funktionalität als auch die Bedienung des Programms und der neuen Features kurz erklärt, damit ein reibungsloses Arbeiten möglich wird. Als Neuerung ist nun ein Export der htdig-daten in das standardisierte XML-Format möglich. Zusätzlich können die Daten für relationale Datenbanken in einer vordefinierten SQL-Syntax exportiert werden. Diese SQL-Daten sind für einen direkten Import in eine MySQL-Datenbank vorbereitet. Für andere SQL-Datenbanken muss lediglich die verwendete Tabellendefinition entsprechend angepasst werden. 2. Kompilieren des Projektes Nachdem man die htdig Suchmaschine downgeloadet und entpackt hat, muss diese erst übersetzt werden. Obwohl keine plattformspezifischen Erweiterungen der htdig vorgenommen wurden beziehen sich die folgenden Übersetzungsbeispiele auf ein Linux System mit Gnu C- Compiler. Die Kompilierung des Projektes ist selbstverständlich auch unter anderen Betriebssytemen möglich, die eine Erstellung der Standard-htdig zulassen. GCC Version 2.9.5: htdig>./configure htdig>make htdig>make install GCC Version 3.2.2: htdig>cxxflags=-wno-deprecated CPPFLAGS=-Wno-deprecated./configure htdig>make htdig>make install Ist bei dem Übersetzen kein Fehler aufgetreten und wurde die Suchmaschine ornungsgemäß installiert, kann man diese nun im Installationsverzeichnis betreiben. Standardmäßig ist dies /opt/www/htdig/

4 3. Erweiterung der htdig Als Erweiterung der htdig wird ein XML- und SQL-Export angeboten. 3.1 Erweiterung der Konfigurationsdatei htdig.conf Möchte man die Standard-Parameter für SQL- und XML-Dateinamen ändern, kann man dies in der allgemeinen Konfigurationsdatei htdig.conf im Unterverzeichnis conf tun. Hierzu können einige Parameter verändert oder hinzugefügt werden: XML-Export Dateiname xml_list DTD-Dateiname zur Validierung dtd_file XSL-Dateiname zur Visualisierung xsl_file SQL-Dateiname für die Datenbankerstellung (create table) create_sql_list SQL-Dateiname zum Datenimport (insert-values) insert_sql_list 3.2 XML-Export Um den XML-Export zu erzeugen kann man folgende Aufrufe verwenden: htdig/bin>./htdig -x oder htdig/bin>./htdump -x Bei einem XML-Dump erhält man standardmäßig folgende Dateien: db.xml Datendokument in XML db.dtd Dokumenttypdefinition des XML-Dokuments db.xsl Formatierungsbeschreibung für das XML-Dokument - 4 -

5 Die hiermit erstellten Dump-Dateien findet man im Verzeichnis der htdig Datenbank. Dies ist standardmäßig /opt/www/htdig/db. Wurde der XML-Export ausgeführt, kann man nun testen, ob das XML-Dokument allen gewünschten Kriterien entspricht. Um sich das Dokument anzuschauen, benötigt man einen Web-Browser mit XML- Prozessor. Die Browser IE, NE und Mozilla zeigen bei korrektem XML-Export die Daten in tabellarischer Form an. Einzige Ausnahme bildet der Browser Konqueror, dieser kann die Formatierung nicht interpretieren. Getestet wurde die Darstellung und Gültigkeit des XML-Dokuments mit den Web- Browsern Internet Explorer Version 5.5 und Mozilla Version Sollte der XML-Export nicht korrekt ausgeführt worden sein, gibt der jeweilige XML- Prozessor die entsprechenden Fehlermeldungen aus und das Dokument kann nicht angezeigt werden. 3.3 SQL-Export Möchte man einen SQL-Export generieren, dann kann man dies mit folgenden Aufrufen realisieren: htdig/bin>./htdig -q oder htdig/bin>./htdump -q Bei einem SQL-Dump erhält man standardmäßig folgende Dateien: createdb.sql Mit dieser Datei kann man eine MySQL Datenbank aufbauen, welche dann die htdig Daten speichern kann. Achtung: Änderung der Datei notwendig, bei anderer relationalen Datenbank. insertdb.sql Daten Datei, mit SQL92 insert Befehlen für den relationalen Datenbank Import. Die Dump-Dateien sind im Verzeichnis der htdig Datenbank zu finden. Standardmäßig unter /opt/www/htdig/db. Der Test wurde mit einer unter SuSE Linux 8.2 installierten MySQL Datenbank Version durchgeführt

6 Eine einfache Datenbankadministration ist mit phpmyadmin möglich, wird hier aber nicht weiter verfolgt. 4. Import der SQL-Daten in MySQL Hat man den SQL-Export erstellt, kann man nun diese Dateien in eine MySQL Datenbank importieren. Es wird hier nur eine Möglichkeit des Imports beschrieben, man hat jedoch mit Eigeninitiative die Möglichkeit dies mittels einer Skript- oder Batch-Datei zu automatisieren. Voraussetzung für die folgenden Erklärungen ist eine installierte und gestartete MySQL Datenbank. Um Benutzerprofile und die Rechtevergabe der Datenbank zu verwalten, wird auf die MySQL Dokumentation verwiesen. Es wird ein Datenbank-Benutzer vorausgesetzt, der berechtigt ist, eine Datenbank und Tabellen zu erstellen. Es wird weiterhin angenommen, dass die Standarddateinamen und Pfade verwendet wurden. Bei Abweichungen müssen die Befehle entsprechend angepasst werden. Datenbank- und Tabellendefinition in MySQL erstellen: linux> cat /opt/www/htdig/db/createdb.sql mysql -u <dbuser> -p<passwort> Achtung: kein Leerzeichen nach -p! Hier ein Beispiel: linux> cat /opt/www/htdig/db/createdb.sql mysql -u htuser -ptestpw Sie können sich zur Kontrolle auf die Datenbank einloggen und folgende Befehle ausführen: mysql> show databases; Database htdig mysql

7 2 rows in set (0.47 sec) mysql> use htdig Database changed mysql> show tables; Tables_in_htdig ht_retrieval row in set (0.00 sec) mysql> describe ht_retrieval; Field Type Null Key Default Extra ht_url varchar(255) PRI ht_title varchar(255) YES NULL ht_state tinyint(3) unsigned YES NULL ht_last_mod bigint(20) unsigned YES NULL ht_size int(10) unsigned YES NULL ht_excerpt mediumtext YES NULL ht_meta_desc mediumtext YES NULL ht_time_last_ret bigint(20) unsigned YES NULL ht_outgoing_link int(10) unsigned YES NULL ht_incoming_link int(10) unsigned YES NULL ht_hop_count int(10) unsigned YES NULL ht_signature int(10) unsigned YES NULL ht_ varchar(255) YES NULL ht_ _send_date varchar(255) YES NULL ht_ _subject varchar(255) YES NULL ht_description mediumtext YES NULL ht_anchor mediumtext YES NULL rows in set (0.32 sec) mysql> \q Sie sehen, dass eine neue Datenbank htdig mit einer Tabelle ht_retrieval angelegt wurde

8 htdig-daten in MySQL importieren: linux> cat /opt/www/htdig/db/insertdb.sql mysql -u <dbuser> -p<passwort> htdig Achtung: kein Leerzeichen nach -p! Hier ein Beispiel: linux> cat /opt/www/htdig/db/createdb.sql mysql -u htuser -ptestpw htdig Die Daten können nun mit den üblichen MySQL-Mitteln selektiert und weiterbearbeitet werden