Verteilte Informationsstrukturen zur modernen Wissensauffindung im Internet

Transkript

1 Verteilte Informationsstrukturen zur modernen Wissensauffindung im Internet Untersuchungen und Testimplementierung von standardisierten Übertragungsmechanismen für das xfind System Wilfried Lackner

2 Verteilte Informationsstrukturen zur modernen Wissensauffindung im Internet Untersuchungen und Testimplementierung von standardisierten Übertragungsmechanismen am xfind System Diplomarbeit an der Technischen Universität Graz vorgelegt von Wilfried Lackner Institut für Informationssysteme und Computer Medien (IICM) Technische Universität Graz A-8010 Graz, Österreich Dezember 2004 Copyright 2004, Wilfried Lackner Diese Arbeit ist in deutscher Sprache verfasst. Begutachter: o.univ.-prof. Dr. Dr.h.c.mult. Hermann Maurer Betreuer: Dipl.-Ing. Dr.tech. Christian Gütl

3 Distributed Informationstructure of Modern Information Retrieval Systems Analysis and Testimplementation of standardised Datatransfermechanism for the xfind System Master s Thesis at Graz University of Technology submitted by Wilfried Lackner Institut for Information System and Computer Media (IICM) Graz University of Technology A-8010 Graz, Austria December 2004 Copyright 2004, Wilfried Lackner This Thesis is written in german language. Advisor: o.univ.-prof. Dr. Dr.h.c.mult. Hermann Maurer Supervisor: Dipl.-Ing. Dr.tech. Christian Gütl

4 Kurzfassung Wissensauffindung im Internet kann grundsätzlich über verschiedene Möglichkeiten realisiert werden. Der Zugriff auf das verteilte Wissen erfolgt jedoch meist unstrukturiert unter Nutzung verschiedener Suchfunktionen. Im WWW erfolgt die Suche nach Information mit Hilfe von Suchmaschinen. Aufgrund des stetig steigenden Datenvolumens können herkömmliche Suchmaschinen oft keine brauchbaren Antworten mehr liefern. Ein großer Anteil des Wissens steckt zudem im nicht indizierten DeepWeb. Information in verschiedenen Formaten, Medien oder Sprachversionen erschweren zudem die Suche. Um nun gezielt nach Informationen suchen zu können, bedarf es deshalb zusätzlicher Aufwände. Das Anreichern der Information mit Metadaten erleichtert z.b. eine spezifische Datensuche. Das xfind System versucht insbesondere in diesem Bereich der Informationsauffindung mögliche Problembereiche zu verbessern. xfind ist eine verteilte Sucharchitektur mit der vordefinierte Quellen, themenspezifisch durchsucht werden können. Die xfind Kommunikations-schnittstellen sind nicht standardisiert und besitzen kein modernes Sicherheitskonzept. Ziel dieser Arbeit ist es, Vorschläge zur Verbesserung der xfind Kommunikationsschicht im Bereich der Datenübertragung, Modulanbindung und Verwaltung mit Hilfe standardisierter Protokolle und Methoden zu erstellen. Im Untersuchungsteil dieser Arbeit werden Problembereiche verteilter Informationsstrukturen und verteilter Anwendungen dargestellt. Vor- und Nachteile verschiedener verteilter Topologien liefern zusätzliche Informationen für eine eingehende Analyse verteilter Architekturen. Neue Ideen und konzeptionelle Ansätze können aus Architekturformen wie z.b. offenen und dezentralen Peer-to-Peer Netzwerken, die sich verstärkt im Internet verbreiten, gewonnen werden. Viele bestehende Lösungen aus dem Bereich der Middleware Applikationen setzen vorwiegend standardisierte Schnittstellen ein. Eine Analyse diverser standardisierter Dienste und Transportprotokolle für verteilte Suchsysteme bildet die Basis für weitere Untersuchungen an der xfind Übertragungsschicht. Um Vorschläge zur Verbesserung der xfind Kommunikationsschnittstellen erstellen zu können, wird im Gestaltungsteil eine eingehende Analyse der xfind Systemarchitektur durchgeführt. Zu Testzwecken wird das Übertragungsverhalten einer xfind Client-Server Kommunikation unter Nutzung einer Testimplementierung simuliert. Mit diesem Simulationsaufbau werden Benchmarkwerte erstellt, um vergleichbare Analyseergebnisse mit anderen Technologien zu gewinnen. In weitere Folge werden zwei Technologien näher untersucht und Prototypen für eine verbesserte Kommunikationsarchitektur für das xfind System implementiert. So findet BEEP im Bereich der Datenübertragung und das JXTA Protokollframework für den Bereich der automatisierten Verwaltung im Gestaltungsbereich seine Anwendung. Mit Hilfe dieser Prototypen werden spezifische Kennwerte der jeweiligen Technologien erstellt und mit den Ergebnissen von xfind verglichen. Den Abschluss des Gestaltungsteiles bildet eine Übersicht an möglichen Vorschlägen und neuen Ideen zur Verbesserung bzw. Erweiterung des xfind Systems.

5 Abstract Information retrieval in the Internet can in principle be realized in miscellaneous ways. However, access to distributed knowledge often occurs in unstructured fashion through the use of different search methods. In case of the WWW, the search for information is carried out by means of search engines. Because of the constantly rising quantity of data, conventional search engines often provide no useful answers. Furthermore, a large portion of knowledge resides in the un-indexed DeepWeb. Information storage in different formats, media or language versions additionally complicate the retrieval process. In order to be able to look for purposeful information additional methods are required. For example, providing information with metadata facilitates a specific data search. The xfind system introduced in this work tries to present some solutions as to how these problems of information retrieval could be prevented. xfind is a distributed search architecture which enables a topic-specifical search in pre-defined resources. The xfind communication interfaces are not standardized and have no modern security concept. The goal of this thesis is to find some suggestions for the improvement of the xfind communication layer in the range of the data communication, the module binding and the module administration with the help of standardized protocols and methods. The theoretical section of this thesis tries to present problem areas of distributed information structures and distributed applications. Pro and cons of different distributed topologies give additional information for a detailed analysis of distributed architectures. New ideas and conceptional approaches can be extracted from new architecture forms such as open and decentralized peer-to-peer networks which increasingly spread in the Internet. Many existing solutions from the area of middleware applications use predominantly standardized interfaces. An analysis of various standardized services and transport protocols for distributed searching systems forms the base for further investigations at the xfind communication layer. In order to be able to provide suggestions concerning the improvement of the xfind communication interfaces, a detailed analysis of the xfind architecture is accomplished in the practical section of this thesis. In order to get comparable results of the xfind transient characteristic a simulation test of the xfind Client Server communication has been implemented. With this test simulation, benchmark values are provided for future analysis. Furthermore, two technologies are closely investigated and implemented as prototypes to achieve improvements for the xfind communication architecture. In this way, BEEP will be tested in the practical section in the area of data communication and the JXTA protocol framework in the range of automated administration. With the help of special test implementations, the characteristic values of the respective technologies are provided and compared with the results of the xfind system. The conclusion of the practical section is an overview of possible suggestions and new ideas for the improvement and extension of the xfind search system.

6 Ich versichere hiermit, diese Arbeit selbständig verfasst, andere als die angegebenen Quellen und Hilfsmittel nicht benutzt und mich auch sonst keiner unerlaubten Hilfs-mittel bedient zu haben. I herby certify that the work presented in this thesis is on my own and the work performed by others is appropriately cited.

7 Danksagung Mein Dank gilt den Mitarbeitern des IICM um Herrn Prof. Dr. Dr. hc. mult. Hermann Maurer für die Unterstützung in administrativen Angelegenheiten, sowie meinen Kollegen in der Web Application Group (WAG) die mich stets ermutigt haben und von deren Wissen ich sehr viel profitieren konnte. Insbesondere danken möchte ich meinem Diplomarbeits Betreuer, Herrn Dipl.-Ing. Dr.tech. Christian Gütl, der mich durch zahlreiche Anregungen, Ratschläge und viel Geduld bei der Erstellung dieser Arbeit unterstützt hat. Der größte Dank gilt meiner Frau Anita, die mich auch in schwierigen Zeiten immer motiviert hat und mir vor allem beim Korrekturlesen eine große Hilfe war. Schon ein Sprichwort sagt: "Ein Mann muss in seinem Leben einen Sohn (Clemens & Paul) zeugen, ein Haus bauen, einen Baum pflanzen und ein Buch schreiben." Ich habe diese Reihenfolge strikt eingehalten, was sich naturgemäß auf die Erstellungsdauer der vorliegenden Arbeit niedergeschlagen hat. Die Bedeutung hinter diesem Sprichwort sagt aber doch viel mehr aus. "Gib das Leben, das du ohne dein Zutun empfangen hast weiter und sorge zusätzlich dafür, dass dein Kind ein Dach über dem Kopf hat. Arbeite nicht nur für dich und deine Familie, sondern tue etwas für die Zukunft der Allgemeinheit. Du weißt zwar nicht, wer in 200 Jahren unter deinem Baum sitzen wird, aber mit dem Pflanzen des Baumes tust du etwas für deine Nachwelt. Behalte deine Gedanken nicht für dich, sondern schreibe sie auf. Du weißt zwar nicht, wer dein Buch einmal lesen wird, aber du hast etwas hinterlassen, was ein Baustein im Denken eines anderen Menschen sein könnte." von Armin Assmann aus dem Buch der Erntewagen Danke Annemarie und Ferdinand, dass ich all die eben erwähnten Dinge ohne größere Probleme vollbringen konnte.

8 Inhaltsverzeichnis: 1. Einleitung Motivation Strukturierung der Arbeit... 3 I Untersuchungsbereich Einführende Betrachtungen Einleitung Informationsaufkommen im Internet Resource Discovery Schlussbemerkung Verteilte Informationsstrukturen Einleitung Begriffsbestimmungen Architekturen verteilter Informationsstrukturen Anforderungen an verteilte Informationsstrukturen: Anwendungen für verteilte Datenverwaltung Remote Procedure Call in der Kommunikationsschicht Schlussbemerkung Verteilte Anwendungen Einleitung Topologien verteilter Anwendungen Transaktionen Verteiltes Dateisystem Network File System NFS Andrew File System Objektorientiertes verteiltes System - Komponentenarchitektur Client-Server versus Peer-To-Peer Middleware als Basiskomponente für verteilte Anwendungen Allgemeine Betrachtung DCE COM DCOM NET mono:: Java 2 Plattform - J2EE Open Net Environment - ONE Dino - Dinopolis Web Service Architektur (WSA) UDDI WSDL Schlussbemerkung... 70

9 5. Transport Protokolle Standardisierung Allgemeines Z XML-Grundlagen DOM SAX DTD XML-Schema XSLT - Stylesheets XML Verknüpfungstechnologien: XLink / XPointer / XPath XHTML BEEP XML-RPC ebxml SOAP Jabber JXTA Protokolle Schlussbemerkung Verteilte Suchsysteme Freenet FASD JXTA Harvest xfind Schlussbemerkung II Gestaltungsbereich xfind Kommunikationsarchitektur Einleitung xfind Konfiguration xfind Kommunikation xfind Datenübertragung Beschreibung der xfind QCF-Datenpakete Testimplementierung Client-Server Simulation xfind Benchmark Tests Schlussbemerkung Analyse des Protokolls BEEP Aufbau der BEEP Kommunikation BEEP Testimplementierung BEEP Benchmark Tests xfind Objekte in BEEP serialisieren BEEP im Vergleich mit der xfind-kommunikationsschicht Schlussbemerkung

10 9. Analyse des JXTA Protokoll-Frameworks Beschreibung der JXTA-Core Protokolle Peer Discovery Protokoll (PDP) Information Protokoll (PIP) Pipe Binding Protokoll (PBP) Peer Resolver Protokoll (PRP) Rendezvous Protokoll (RVP) Endpoint Routing Protokoll (ERP) Aufbau von JXTA Advertisements Peer Advertisement Peer Group Advertisement Module Class Advertisement Module Specification Advertisement Module Implementation Advertisement Implementierung von Advertisements Einsatz von JXTA Services xfind JXTA Testimplementierung Schlussbemerkung Verbesserungsvorschläge für das xfind System xfind Konfiguration xfind interne Kommunikation xfind externe Kommunikation xfind Architektur Schlussbemerkung Zusammenfassung III Anhang QCF-Spezifikation Allgemeines Übersicht über die QCF-Keys xqms Spezifikation Profiling Analyse Ergebnisse Call Graph xfind Client Call Graph xfind Manager Call Graph BEEP Client N-N Call Graph BEEP Daemon N-N Call Graph BEEP Client N-TLS Verzeichnisse Tabellenverzeichnis Listingverzeichnis Abbildungsverzeichnis Numerische Aufzählung von RFC Referenz Dokumenten Literatur und Quellenverzeichnis

11

12 Seite 1 Kapitel 1 1. Einleitung 1.1. Motivation Information wird immer stärker zu einem entscheidenden Wettbewerbsfaktor mit strategischer Dimension. Dennoch entspricht Information nicht zugleich auch Wissen. Nur wer Zugriff auf Informationen zum richtigen Zeitpunkt und am richtigen Ort hat, kann daraus Wissen ableiten bzw. Wissen erzeugen. Dies kann schon auf jeden Einzelnen in seinem persönlichen Umfeld zutreffen und wirkt sich insbesondere auf Unternehmenseinheiten und Organisationen aus. Wer klare Strategien verfolgen kann, um aus abrufbarer Information Wissen zu erzeugen, kann auch den nötigen Vorsprung in der Informationsgesellschaft erzielen. In der Studie How Much Information 1 von Peter Leyman und Hal R. Varian wird die derzeitig verfügbare Informationsmenge 2 mit 12 Exabyte beziffert. Pro Jahr 3 werden laut der Studie ca. 1.5 Exabyte an neuen Daten (ohne Duplikate) produziert. Die Studie besagt auch, dass 99,97% des jährlichen Informationsaufkommens in digitaler Form produziert wird. In der heutigen Informationsgesellschaft wird der Einsatz des Internet als Informationsträger und als Informationsvermittler (Transportmedium) vermehrt eingesetzt. Der Zugriff auf die Informationen kann über synchrone und asynchrone Vermittlungsmethoden erfolgen. Eine Unterscheidung in der Informationsaufbereitung erfolgt auch aufgrund verschiedener Anforderungen der Zielgruppen, Mensch oder Maschine. Dabei steht der einfache Zugriff auf die Informationen dem Problem der Informationsflut gegenüber. Das World Wide Web (WWW) bietet mit dem Erscheinen der Studie Zugriff auf mehr als 2.5 Milliarden Dokumenten an und wächst um 7.3 Millionen Seiten täglich. Dabei wird unterschieden zwischen quasi statischen Informationen (Surface Web) und dynamischen Informationen (Hidden Web), die durch Interaktion durch einen Benutzer erstellt werden (z.b. Eingabeformular, als Resultat dynamische Ergebnisseite). 1 siehe 2 Die Informationen sind auf verschiedenen Medien gespeichert: Papier (Bücher, Zeitschriften, Statistiken, Office Dokumente), Film (Foto, Zelluloid, Röntgenbilder), Optisch (Musik CD, Daten CD, DVD), Magnetisch (Datenbänder, Festplatten) 3 Die Studie ist aus dem Jahr Entsprechend sollen die Zahlen nur die Größenordnungen darstellen [Anmerkung des Autors]

13 Seite 2 Kapitel 1 - Einleitung Information wird durch Medien und Telekommunikationsgeräten produziert, empfangen und verarbeitet. Über entsprechende Verteilungsmechanismen ist es ein Leichtes, Informationen technisch einem breiten Anwenderkreis zur Verfügung zu stellen. Zudem stellt der Wunsch einer kontinuierlichen Informationsvermittlung (Mobile,- Wearable-Computing) auch neue Anforderungen an die Informationsbereitsteller. Die richtige Information im richtigen Umfang zu vermitteln sind eine große Herausforderung und teilweise ungelöste Probleme bei der Informationsauffindung und der Informationsvermittlung. Eine Informationsüberflutung verursacht neben größerem Verwaltungsaufwand auch häufig negativen Stress 4. Um der Informationsüberflutung Einhalt gebieten zu können, ist es wichtig, systematisches Wissensmanagement zu betreiben. Um aus der Vielzahl von Informationen gezielt Wissen gewinnen zu können, müssen spezielle Verfahren mit Hilfe von Filter-Mechanismen strukturiert und selektiv eingesetzt werden. Metadaten als zusätzliche Entscheidungskriterien werden z.b. in personalisierten Nachrichtendiensten oder gängigen Metasuchmaschinen ausgewertet. Die Informationsexplosion ist nicht das Problem; streng genommen gibt es keine Informationsflut, sondern nur eine der Medienwirklichkeit unangemessene kulturtechnische Praxis. [Hartmann 1999] Die Aussage von Frank Hartmann bringt eine weitere Problematik zu Tage. Es werden jegliche Informationen digitalisiert und zumeist unstrukturiert abgelegt. Hauptsache die Daten sind irgendwo und in irgendeiner Form gespeichert. Dass man aber gleichzeitig einen gezielten Zugriff auf die Daten zur Verfügung stellt, ist dabei leider oft nicht von Relevanz. D.h. die technologischen Voraussetzungen zur Datenerzeugung, Datenspeicherung und Datenauffindung sind bereits vorhanden, jedoch fehlt es am notwendigen Verantwortungsbewusstsein die Technologien entsprechend ihrer Einsatzbereiche zu nutzen. Die Speicherung und Verbreitung von großen Datenmengen ist in der heutigen Zeit problemlos möglich. Problembereiche wie die stetige Wachstumsrate des Datenvolumens, eine gemeinsame Nutzung von freien und kostenpflichtigen Diensten, die Verteiltheit (Informationen oder allgemein Ressourcen), der Einsatz verschiedener Medien, verschiedene Sprachen, verschiedene Benutzerkreise (geschützter Zugriff) und diverse Kombinationen erschweren jedoch den schnellen Zugriff auf diese Datenmengen. In weiterer Folge ist auch eine gezielte Suche nach relevanten Informationen für den Einzelnen nur unter gewissen Rahmenbedingungen möglich. Mögliche Lösungen wären eine Adaption der Suchdienste hinsichtlich ihrer Informationsabdeckung (themenspezifische Auswahl) und eine Anpassung in der Suchmethodik. Einen weiteren Problembereich stellt das Vertrauen in die Information bzw. deren Gültigkeit oder Aktualität dar. [Gütl 2002] Die Verarbeitung der vielfältigen Informationen in unterschiedlichsten Repräsentationen ist aus genannten Gründen nicht mehr von zentralen Stellen aus zu bewältigen. Vielmehr sind intelligente Suchsysteme gefragt, die verteilte Dienste und Applikationen verschiedener Hersteller nutzen können. Dabei geht es nicht immer nur um herkömmliche Suchdienste in den gegenwärtig bekannten Formen. Vermehrt sollen auch Übersetzungsdienste, Klassifizierungsdienste und weitere Dienste aus andern Bereichen 4 Stress ist für den Organismus nicht immer nur als negativ zu bewerten. In der Stressforschung wird zwischen positivem, vitalisierendem, lebensnotwendigem Stress (Eustress) und negativem, schädlichem, Lebens zerstörendem Stress (Distress) unterschieden [

14 Seite 3 zur verbesserten Informationsauffindung zum Einsatz kommen. So ist unter anderem auch die Zusammenarbeit oder die Kombination von kommerziellen und nicht kommerziellen Diensten als weiteres Ziel eines selektiven Datenzugriffs wünschenswert und möglich. [Gütl 2002] Die Zusammenarbeit verschiedener Dienste im Allgemeinen, kann jedoch nur erreicht werden, wenn die anzusprechenden Systemteile über bekannte, standardisierte (technologisch anerkannt, siehe dazu Abschnitt 5.1 Standardisierung) Kommunikationsschnittstellen verfügen. Die Auswahl aus einem Pool an speziellen Systemdiensten könnte auch bestimmten Benutzerkreisen einen speziellen thematischen Zugriff auf die Informationen in geregeltem Umfang ermöglichen; siehe auch [Gütl 2002]. Zusätzliche Intelligenz zum automatisierten Auffinden möglicher geeigneter Dienste erleichtert den strategischen Zugriffsprozess auf die Daten für einen größeren Anwenderbereich. Dies beinhaltet die Suche nach entsprechenden Diensten und Komponenten anhand deren spezifischer Eigenschaften. Systeme könnten ihrerseits die Dienste anhand charakteristischer Eigenschaften gezielt in einer Umgebung anbieten. Eine Erweiterung der Kommunikationsschicht würde die Anbindung dieser Dienste ermöglichen. Sicherheitsaspekte in der Übertragung der Daten spielen neben einem automatisierten Datenzugriff eine weitere wichtige Rolle. Eine verteilte Umgebung bietet mehr Angriffsmöglichkeiten als zentral verwaltete Systeme. Datenkonsistenz in Verbindung mit sicheren Übertragungsmechanismen sind weitere wichtige Anforderungen an moderne Übertragungstechnologien. [Gütl 2002] Ziel dieser Arbeit ist es, geeignete Übertragungsmechanismen für verteilte Informationssysteme zu finden. Insbesondere gilt das Augenmerk auf die Unterstützung standardisierter Übertragungsprotokolle bei der modernen Wissensauffindung. Hierzu werden Mechanismen der Informationsübertragung und Informationsauffindung für verteilte Systeme untersucht. Basierend auf diesen Erkenntnissen wird eine geeignete Auswahl getroffen, um die Übertragungsschicht des xfind Suchsystems erweitern und verbessern zu können Strukturierung der Arbeit Die vorliegende Arbeit gliedert sich in einen Untersuchungsbereich und einem Gestaltungsbereich auf. Im Untersuchungsbereich werden in den Kapiteln 2 bis 6 verteilte Informationsstrukturen zur modernen Wissensauffindung im Internet diskutiert. Die Thematik reicht von der Darstellung grundlegender Problematiken des stetig steigenden Informationsaufkommens und deren Verarbeitung bis hin zu modernen Lösungsansätzen der verteilten Datenverarbeitung. Im Gestaltungsbereich werden geeignete Technologien zur Erweiterung des xfind Suchsystems anhand diverser Testimplementierung analysiert. Mit der Erweiterung der Transportschicht will man einerseits eine breitere Akzeptanz erreichen und andererseits bestehende Dienste nutzen bzw. in weiterer Folge auch Dienste über das Internet anbieten. Um ein Grundverständnis für die Wissensauffindung im Internet zu bekommen, wird im Kapitel 2 das Informationsaufkommen im Internet und deren Verbreitung über Netzwerke untersucht. Des Weiteren werden mittels Möglichkeiten von Ressource Discovery Systemen die Verarbeitung verteilter Informationen mit Webbasierten Technologien beschrieben

15 Seite 4 Kapitel 1 - Einleitung In Kapitel 3 wird näher auf konzeptionelle Ansätze der Datenverwaltung, wie verteilte Informationsstrukturen und Architekturansätze eingegangen. Ausgehend von Begriffsbestimmungen verteilter Informationsstrukturen werden allgemein gültige Anforderungen an verteilte Architekturen abgeleitet. Zum Abschluss des Kapitels wird eine Basistechnologie der verteilten Informationsübertragung, Remote Procedure Calls (RPC), vorgestellt. Zu Beginn des Kapitels 4 werden Topologie Formen vorgestellt, um verteilte Informationsstrukturen und Architekturen theoretisch abbilden zu können. In weiterer Folge werden verschiedene Möglichkeiten zur Umsetzung von Topologie-Formen beschrieben. Dazu gehören funktionale Ansätze, objektorientierte Ansätze, den Einsatz von Komponenten Architektur und Peer-to-Peer (P2P) Technologien. Die theoretischen Ansätze verteilter Informationsverarbeitung werden im Anschluss in einem Überblick über Middleware Lösungen näher untersucht. Ausgehend von Erkenntnissen aus dem Überblick Middleware Lösungen) wird in Kapitel 5 eine Auswahl an standardisierten Übertragungsprotokollen vorgestellt, die historische Protokolle (z.b. Z39.50) und moderne XML-basierte Ansätze (z.b. SOAP) enthält. Als einleitender Abschnitt des Kapitels 5 wird das Thema Standardisierung für Hilfestellungen bei der Entwicklung von Software behandelt. Kapitel 6 gibt einen Überblick über verteilte Suchsysteme und bildet den Abschluss des Untersuchungsteiles. In Rückschluss auf Kapitel 5 werden die geeignetsten Technologien zur Erweiterung des xfind-suchsystems ausgewählt und im Untersuchungsbereich näher analysiert. In Kapitel 7 wird die xfind Kommunikationsarchitektur analysiert. Dabei werden vor allem die vorhandenen Problembereiche aufgezeigt. Eine Benchmark Testimplementierung wird zur Gewinnung von Performancedaten herangezogen. Diese Testdaten dienen als Ausgangsbasis für Vergleiche mit anderen Übertragungstechnologien. Kapitel 8 analysiert das Datenübertragungsprotokoll BEEP. Dabei wird näher auch den technischen Aufbau und der Datenübermittlung eingegangen. In einer Testimplementierung werden wiederum Benchmark Tests zur Gewinnung von Performancedaten eingesetzt. Der direkte Vergleich von BEEP mit xfind zeigt die Vorteile und Nachteile beider Technologien auf. Als zweite Technologie wird das JXTA Protokoll Framework in Kapitel 9 näher untersucht. Insbesondere gilt die Aufmerksamkeit der selbstorganisierenden Eigenschaft dieser Peer-to-Peer Technologie. Anhand von zwei Testimplementierungen wird die einfache Verwendung der JXTA Module aufgezeigt. Im letzten Kapitel des Gestaltungsteiles werden Vorschläge zur Verbesserung des xfind Systems erstellt. Um eine Differenzierung zu erreichen werden die Vorschläge thematisch getrennt in Konfiguration, Kommunikation und Architektur. Im Anhang ist die xfind QCF und XQMS Spezifikation beigefügt. Zusätzlich sind Profiling Daten der xfind und BEEP Benchmarktests ersichtlich. Auch die Aufzählung der referenzierten RFC-Dokumente, sowie ein Abbildungsverzeichnis und ein Tabellenverzeichnis sind im Anhang ersichtlich. Abschließend ist eine vollständige Literaturliste in alphabetischer Reihenfolge enthalten.

16 Seite 5 I Untersuchungsbereich

17 Seite 6

18 Seite 7 Kapitel 2 2. Einführende Betrachtungen 2.1. Einleitung Ziel des Kapitels ist es, Problembereiche der verteilten Informationsverarbeitung im Hinblick auf Erzeugung, Verbreitung und Auffindung von Information und Diensten darzustellen. Die ständig wachsende Informationsflut und die Verteilung der Information bringen an sich bereits viele Probleme mit sich. Zudem werden die Informationseinheiten oft dynamisch erzeugt und liegen in verschiedenen Formaten bzw. Medien oder Sprachversionen vor. Entsprechend müssen geeignete Werkzeuge und Mechanismen zur Informationsverarbeitung und Informationsauffindung bereitgestellt werden. Im Bereich der Informationsauffindung kommt es einerseits darauf an, gezielt nach bestimmten Informationsbereichen zu suchen bzw. zuzugreifen und andererseits möchte man gleichzeitig auch weitere unterstützende Dienste (z.b. Übersetzungsdienste, Klassifizierungsdienste) nutzen. Dies setzt jedoch voraus, dass Dienste und Anwendungen über geeignete Kommunikationsschnittstellen verfügen. Liegen diese etwa standardisiert vor, ist es möglich, einzelne Dienste zu koppeln bzw. diese einem größeren Anwendungsbereich zur Verfügung zu stellen. Im ersten Abschnitt dieses Kapitels soll der große Problembereich des Informationsaufkommens im Internet beschrieben werden. In Überleitung zu Möglichkeiten der verteilten Informationsverarbeitung im Internet wird im Abschnitt Resource Discovery der Zusammenhang von Informations-Diensten mittels Web- Services dargestellt 2.2. Informationsaufkommen im Internet In den vergangenen Jahren gab es eine rasche Zunahme der Anzahl an PCs und Workstations in Local-Area und Wide-Area Netzwerken. Ebenso nahm die Anzahl an Mobile Computing Geräten rasant zu. Dies bewirkte neben dem steigenden Informationsaufkommen auch eine Änderung in der Datenspeicherung, der Datenverteilung, der Datenpräsentation sowie in der Auffindung von relevanten Daten und Diensten. Netze, die die Grundlage der Kommunikation darstellen, sind nur Teil eines vollständigen Distributed Computing Environment. Die Bedeutung von verteilten Systemen stieg in erster Linie aufgrund der Senkung von Produktionskosten im Hardwarebereich (Speicherkomponenten und Prozessoren) und dem Ausbau der weltweiten Netzwerkverbindungen. [Cailliau 1995] [Leiner et al. 2000]

19 Seite 8 Kapitel 2- Einleitung Neue Entwicklungen im Bereich der Netzwerktechnologie (z.b. ATM 5, ADSL 6, XDSL 7 ) lassen eine bessere Verfügbarkeit und eine Erzielung höherer Bandbreiten zu. Die technischen und materiellen Fähigkeiten der Zusammenarbeit (Interoperabilität) in solchen verteilten Systemen ermöglichen den Zugriff auf Daten unabhängig von Ort und Zeit. Das Internet als multifunktionale und weltweit verfügbare Kommunikationsplattform hat sich sowohl im Business-to-Consumer-Bereich (B2C) als auch im Business-to-Business-Bereich (B2B) durchgesetzt. Die Nachrichtenvermittlung erfolgte in den Anfängen des Internets über gezielte Zugriffe (browsen, , etc.) auf Datenbestände (Standort), die von speziellen Informationsdiensten bereitgestellt wurden. [Cailliau 1995] [Leiner et al. 2000] Ein wesentliches Merkmal des Internet ist, dass es nicht von einem Betreiber zentral organisiert und betrieben wird, sondern aus einer Vielzahl von dezentral verwalteten, aber untereinander verbundenen Teilnetzen besteht. Sehr streng müssen hierbei die weltweit eindeutigen Adressierungsvorschriften sowie die TCP/IP Protokollspezifikationen eingehalten werden, um die Kompatibilität sicher zu stellen. Hieraus resultieren neben den Vorteilen der Internationalität und geringen Kosten auch die Nachteile einer sehr heterogenen Netzqualität (z.b. Performance und Sicherheit). Die Einsatzbereiche reichen dabei von der simplen Bereitstellung multimedialer Unternehmens spezifischer Informationen und die Verwendung von als Nachrichtendienst bis hin zu Online- Shopping-Systemen und anderen Web basierten Diensten. Als geeignete Maßnahmen gegen Sicherheitslücken in der Internet-Architektur, insbesondere beim Austausch sensibler Daten, werden verschiedene Verschlüsselungs-Mechanismen, elektronische Unterschrift oder die Verwendung von Firewalls eingesetzt. Das stetige Wachstum der Netzwerke bzw. die damit aufkommende Informationsflut (siehe Abbildung 2.1 und Tabelle 2.1) bereitet herkömmlichen zentralen Ansätzen in der Informationsverarbeitung (Software) immer mehr Probleme. Die weltweite Vernetzung von Computern und deren Anbindung an das Internet, impliziert auch eine Vernetzung der gespeicherten Daten. [Zakon 2002] Abbildung 2.1: Wachstum des Internet (Anzahl an Webseiten) [Zakon 2002] 5 ATM steht für Asynchronous Transfer Mode und basiert auf Punkt-zu-Punkt-Verbindungen. Vorteile sind eine gute Skalierbarkeit, Datenübetragung in Echtzeit und gut kontrollierbare Datenströme. 6 ADSL steht für Asymmetric Digital Subscriber Line und ist eine Breitbandtechnologie. ADSL benutzt die herkömmlichen Kupferdrähte des Telefonnetzes trennt Sprache von Daten. Die Datenübermittlung erfolgt asymmetrisch. 7 XDSL ist der Oberbegriff für Technologien, die Telefonkabel für den digitalen Datenverkehr nutzen. X ist eine Variable und kann statt "A" auch beispielsweise für ein "S" (Symmetrical Digital Subscriber Line) stehen.

20 Seite 9 January 2002 December 2002 Growth Hostnames 36,689,008 35,543, % Active Sites 14,134,142 16,629, % IP Addresses 3,801,101 4,007, % IP Addresses with Scripting Languages 612, , % SSL Servers 153, , % Tabelle 2.1: Internet Wachstumsrate Jahr 2002 ( Die Wandlung des Internet vom Status des reinen Informationsbereitsteller zu einem interaktiven Medium bezeugen Schlagworte wie B2C, B2B oder auch Web-Services. Speziell das Angebot an verteilten Diensten nimmt in letzter Zeit aufgrund der Entwicklung neuer Technologien rasant zu. Die Informationsauffindung im WWW wird durch Suchmaschinen wesendlich erleichtert. Entsprechend müssen auch die Wege der Informationsauffindung, im Speziellen die Suche, den neuen Gegebenheiten angepasst werden. Suchdienste die nur reine Textinhalte indizieren und filtern sind veraltet und können gegenwärtige und künftige Anforderungen nicht mehr abdecken. Multimediale Suchfähigkeiten oder Ähnlichkeitssuche (unter Verwendung von z.b. Word Stemming 8 ) bzw. Spracherkennung (Language Guessing) und Anforderungen aus dem Bereich Resource Discovery, erfordern neben Adaptionen in der Suchmethodik (verteilte Suche, mobile Agenten, Peer-to-Peer) auch eine Anpassung der Übertragungsprotokolle. [Gütl 2002] Insbesondere im Bereich Verteilter Suchsysteme ist der Einsatz standardisierter Übertragungsprotokolle von großer Bedeutung, So können Dienste verschiedener Suchsysteme kombiniert werden, um deren spezielle Eigenschaften nutzen zu können. Ein wichtiger Grund Suchsysteme bzw. deren Dienste zu verteilen ist, eine bessere Skalierbarkeit bezüglich gezielter themenspezifischen oder medienspezifischer Informationen zu erlagen. Nur ein Bruchteil aller verfügbaren Informationen kann von einem Suchsystem abgedeckt werden. Die durchschnittliche Lebensdauer (Veränderung, Ortswechsel, dynamischer Inhalt) einer Webseite von weniger als 70 Tage bringt zusätzliche Probleme. Weiters ist ein Großteil des Datenbestandes in Datenbanken gespeichert und nur über dynamische Datenaufbereitung mittels Interaktion abrufbar. Hier scheitern gängige Suchsysteme zur Gänze. Web Archive stellen auch keine Lösung für dieses Problem dar (siehe auch [Lackner et al. 2001]). Der Zugang zu diesen Datenbeständen über Web-Services wäre eine Möglichkeit diese Datenbestände auch allgemein nutzbar zu machen. In weiterer Folge kann mit Hilfe von Web-Services auch die Migration von Systemumgebungen erleichtert werden. Anwendungen die dieser Themenzuordnung genügen, werden dem Bereich Resource Discovery zugeordnet, auf welche speziell im nächsten Abschnitt eingegangen wird. [Gütl 2002] 8 berücksichtigt verschiedene grammatische Formen und Schreibweisen eines Suchbegriffes