1. Zwischenreport Jänner 2007

Transkript

1 1. Zwischenreport Jänner Einleitung Das Projekt "Experimentelle Knowledge-Engine der österreichischen Zivilgesellschaft im Informationszeitalter" fokussiert auf experimentellen Technologien, mittels denen von traditionellen Knowledge Engines schlecht erfassten Datensätze, etwa Blogs und listen, besser erfasst und genutzt werden können. Diese Medien spielen insbesondere als Organisations- und Kommunikationsmedien für die Zivilgesellschaft eine immer größere Rolle. Ziel des Projektes ist, einerseits den technischen Gestaltungsspielraum für solche Anwendungen auszuloten, andererseits die Nutzung/Rolle dieser Medien innerhalb der österreichischen Zivilgesellschaft zu klären. Die erste Phase des Projektes, die sich von Anfang Dezember 2006 bis Ende Januar 2007 erstreckte, war der Evaluation und dem Aufbau der technischen Basis- Infrastruktur gewidmet. Hierbei standen drei Überlegungen im Vordergrund. Erstens die Anforderungen an die Server-Hardware. Zweitens die Spezifikationen der serverseitigen Software, insbesondere der Datenbank und der Concept Search Indizierungssoftware. Drittens die Konvertierung der heterogenen Datenformate, wie sie auf dem Internet durch diverse Blog- und listen Software erzeugt werden. Ziel war es, eine robuste, ausbaufähige Infrastruktur auszubauen, die es uns einerseits erlaubt, Datensätze einzulesen und laufend zu aktualisieren, und andererseits uns einen flexiblen Zugriff auf dieses Daten ermöglicht, damit wir mit den Indexierungsmöglichkeiten und den Ausgabe-Interfaces experimentieren können 1

2 2. Technische Infrastruktur Im Folgenden werden neben der technischen Ausstattung von Server und Serverumgebung die einzelnen Software-Pakete, die wir verwenden, beschrieben Server und Serverumgebung Die Testumgebung besteht aus drei Servern, die für unterschiedliche Teilaufgaben zuständig sind WIR01: Data Collection & Processing Technische Ausstattung von WIR01: CPU: 4 x 900 Mhz, Speicher: 4 GB RAM Storage-System: 3 x 18GB (RAID-5) Datengewinnung aus dem Web (Fetching von aktuellen und Archiv- Datenbestände) Aufbereitung/Konvertierung für das Indexing Siehe auch: 2.3 Software Data Collection & Processing WIRDB: Indexing, Database, Retrieval + Web-Services Technische Ausstattung von WIRDB: CPU: 8 x Xeon 2 Ghz Speicher: 16GB RAM Storage-System: 2 x 73GB Boot/App (RAID-1) + 3 x 147GB Data Datenbank beherbergt indizierte Daten SOAP Web Service zur Bedienung der Query-Engine Siehe auch: 2.4 Software Indexing and Retrieval WIR02: Web Frontend Technische Ausstattung von WIR01: CPU: 2x Xeon 2Ghz Speicher 2GB RAM Storage-System: 3x 18GB (RAID-5) Betrieb der Plone-basierten Frontend-Applikation 2

3 Standort-Infrastruktur und Aussenanbindung Durch USV und Klimaanlage wird ein stabiler Betrieb des Systems gewährleistet. Network Uplink 100MBit/s Die Data Collection Services können sich eines weltweiten Netzwerks aus Proxy- Servern bedienen. Dadurch wird eine auf unterschiedliche IP-Netze verteilte Abfrage der Datenquellen möglich Software Indexing and Retrieval Indizierung Die Indizierung der aufbereiteten Daten geschieht in folgender Weise: Der Indexer holt sich jedes einzelne neue Dokument vom Data Collection Server. Spracherkennung: Anhand verschiedener Kriterien und Abgleich mit Wortlisten wird die Sprache eines Dokuments erkannt. Stoplists: Geläufige Wörter (Präpositionen, Adverben,...) können von der Indizierung ausgeschlossen werden, um die Indexgröße zu reduzieren. Stemming: Wörter werden basierend auf den Stemming Algorithmen des "Snowball Project" in mehreren Sprachen auf ihre Grundformen zurückgeführt ( Fuzzy Stemming: Um die Fehlertoleranz zu erhöhen, werden bei der Indizierung verdoppelte Konsonanten eliminiert. Unterstützte Zeichen: Für den Index werden alle Zeichen abgesehen von "a-z", "A-Z", "0-9" und Apostroph auf Leerzeichen gemapped, diakritische zeichen (z.b. á, ä) werden durch die entsprechenden ASCII-Äquivalente ersetzt (z.b. "a"). Bei Search-Resultsets scheinen die Sonderzeichen allerdings unverändert auf. Zukünftig ist eine weitere Verfeinerung der Indizierung möglich, etwa durch Soundex-Algorithmen Retrieval Engine Die Retrieval Engine bietet folgende Möglichkeiten: Neben indexspezifischen Query-Argumenten (Terms, Language, Metadata, Sort, Spellcheck,...) stehen diverse BooleanFilter und Operatoren zur logischen Verknüpfung mehrerer Suchaufträge zur Verfügung. Es stehen weitere Anfrage-Möglichkeiten zu Verfügung a) nach der Volltextbzw. Summary-Version (highlighted Search-Terms) sowie b) nach übergreifenden statischen Angaben über die Dokumente in der Datenbank. Die Ergebnisliste gibt neben Referenzen auf die Matching Documents auch eine probabilistische Analyse der Query zurück. In Zukunft ist auch die Klassifikation der Dokumente auf Basis einer Ontologie möglich. Die Retrieval Engine kann über SOAP Web Services abgefragt werden. Dazu stehen detaillierte XML Schema Outlines zur Verfügung. 3

4 2.3. Software Data Collection & Processing Software Installationen am WIR01 realtime retrieval: SMTP server (postfix) MDA (procmail) RSS libraries archive retrieval: tor/socks/privoxy anonymiser proxies 504. http/ftp tools parsing/übertragen: python XML libraries zusätzliche software: HTTP server (apache2) SMB/CIFS server (samba) Übertragen der content retrieval scripts mbox archive downloader blog archive crawler list archive crawler (fuer nicht mbox archive) Installieren und testen der realtime update scripts RSS blog monitor procmailrc setup xml(1) parsing tools zur einbuchung in WIRDB via RPC (1) vorläufige DTD (noch stark an un*x mbox angelehnt, bedarf noch einiger Erweiterungen ist aber bereits mit weblogs und RSS + X-Headers getestet: Code: <!ELEMENT Contents (post*)> <!ELEMENT Post (Title?, Date?, Author, To?, URL?, Cc?, Bcc?)> <!ELEMENT Title (#PCDATA)> <!ELEMENT Date (year, month, day, hour, min, sec, date_str)> <!ELEMENT year (#PCDATA)> <!ELEMENT month (#PCDATA)> <!ELEMENT day (#PCDATA)> <!ELEMENT hour (#PCDATA)> 4

5 <!ELEMENT min (#PCDATA)> <!ELEMENT sec (#PCDATA)> <!ELEMENT date_str (#PCDATA)> <!ELEMENT Author (recipient)> <!ELEMENT URL (recipient+)> <!ELEMENT To (recipient+)> <!ELEMENT Cc (recipient*)> <!ELEMENT Bcc (recipient*)> <!ELEMENT recipient (alias?, ?)> <!ELEMENT alias (#PCDATA)> <!ELEMENT (#PCDATA)> <!ELEMENT content (#PCDATA)> 2.4. Software Web-Frontend Um die Retrieval Engine möglichst Hardware-, Betriebssystem- und ortsunabhängig nutzen zu können, wird ein Frontend entwickelt, das mit allen gängigen Web-Browsern bedienbar ist. Dazu wird das auf der Skriptsprache Python und dem Open Source Applikationsserver Zope basierende CMS-Framework Plone adaptiert. Folgende Bereiche werden in einer prozessorientierten "Work in Progress" Arbeitsweise parallel vorangetrieben: Entwicklung einer Schnittstelle in Python, das nach und nach alle Funktionen der Retrieval Engine API via SOAP Web Service zur Verfügung stellt. ( Implementierung der Schnittstelle als "Python Product" für den Open Source Applikationsserver Zope ( Schrittweise Konzeption und Integration eines grafischen Interface für die Retrieval API als Plone Product. ( 3. Ausblick Nachdem der Aufbau der technischen Infrastruktur (erste Projektphase) fast abgeschlossen ist, werden wir uns nun der zweiten zuwenden. In der zweiten werden wir zum einen weiter mit dem "Knowledge Engine" experimentieren und bereits bekannte Datensätze einlesen und analysieren. Zum anderen, und dies wird die wesentliche Arbeit innerhalb der nächsten 6 Wochen sein, werden wir Vertreter/innen der Zivilgesellschaft interviewen, um zu klären, welche isten und Blogs für ihre spezialisierte Arbeit von besonderer Bedeutung sind, und wie sie diese nutzen. Wir werden aufgrund dieser empirischen Datenerhebung, die mehr exemplarischen als repräsentativen Charakter haben wird, weitere Datenquellen in den Knowledge Engine einlesen und den interessierten Vertreter/innen dieser Organisation Zugang zu den Ausgabe Interfaces, die sich zu diesen Zeitpunkt noch im Alpha Stadium befinden werden, geben. Wir erwarten, dass diese zweite Phase Mitte März abgeschlossen sein wird und werden wir sie dann in einem zweiten Zwischenreport dokumentieren. Konrad Becker - Wolfgang Christl - Christoph Kummerer - Felix Stalder - Ralf Traunsteiner 5