Analysis and integration of Web 2.0 data sources into a system for analysis and storage of Artefact-Actor-Networks

Transkript

1 Analysis and integration of Web 2.0 data sources into a system for analysis and storage of Artefact-Actor-Networks Adrian Wilke wilke@[remove]campus.upb.de 09. September 2010

2 Ziele Zielsetzung der Bachelorarbeit Aus der Zielvereinbarung: Datenquellen für Artefact-Actor-Networks System Ontologien definieren Crawler- und Parser-Komponenten entwickeln AAN: Analysis and integration of Web 2.0 data sources 2

3 Ziele Zielsetzung der Bachelorarbeit Aus der Zielvereinbarung: Datenquellen für Artefact-Actor-Networks System Ontologien definieren Crawler- und Parser-Komponenten entwickeln Konkrete Arbeitsschritte: Relevante Daten? Nutzbare Schnittstellen? Einbettung Ontologie? Konzeption & Implementierung Komponenten AAN: Analysis and integration of Web 2.0 data sources 2

4 Übersicht Vortrag Übersicht I. Artefact-Actor-Networks Vorstellung des Konzepts II. Datenformate Wie werden Daten abgelegt? III. Web 2.0 Netzwerke als Datenquellen Analyse von Delicious, SlideShare und Scribd IV. AAN Framework Vorstellung des Systems V. Entwickelte Komponenten Netzwerke durchlaufen, Daten-Extraktion und -Speicherung VI. Ergebnisse und Ausblick Aktuelle und zukünftige Projekte AAN: Analysis and integration of Web 2.0 data sources 3

5 Vorstellung AAN I. Vorstellung Artefact-Actor-Networks (AAN) I. Artefact-Actor-Networks Artefact-Actor-Networks - Was steckt dahinter? Dokumentennetzwerke einfaches Beispiel: Verlinkte Webseiten Soziale Netzwerke In Organisationen oder auch im Web (Facebook) Ansatz: Zusammenschluß beider Netzwerkarten Neue (indirekte) Verbindungen AAN: Analysis and integration of Web 2.0 data sources 4

6 Dokumentennetzwerke Konsolidierung von Dokumentennetzwerken I. Artefact-Actor-Networks Network in World Wide Web Network of documents Consolidated artefact network I Document D B Website B D Website A Document C A C (1) (2) (3) Consolidated artefact network I Network with bookmarks Consolidated artefact network II Website B Bookmark E (1) (2) (3) AAN: Analysis and integration of Web 2.0 data sources 5

7 Soziale Netzwerke I. Artefact-Actor-Networks Konsolidierung sozialer Netzwerke Actor network of company Private actor network Consolidated actor network Person Y Person Z Person Y Person Z Person X Person X Person X (1) (2) (3) Verbindung über berufliches und privates Umfeld von Person X AAN: Analysis and integration of Web 2.0 data sources 6

8 Konsolidierung Konsolidierung beider Netzwerkarten I. Artefact-Actor-Networks Consolidated artefact network II Consolidated actor network Typen semantischer Relationen AAN: Analysis and integration of Web 2.0 data sources 7

9 Semantische Relationen Semantische Relationen zwischen Akteuren I. Artefact-Actor-Networks Zusammenschluß der verschiedenartigen Netzwerkarten: 3 Typen von semantischen Relationen hasinbuddylist : relates : ACT² relates : ACT² Actor Y isinbuddylist : isrelatedby : ACT² Actor X isrelatedby : ACT² Actor Z Eigenschaften in Abbildungen: Vererbung, Inversion Standards, Vokabularien: FOAF, RELATIONSHIP AAN: Analysis and integration of Web 2.0 data sources 8

10 Semantische Relationen I. Artefact-Actor-Networks Relationen zwischen Artefakten, Relationen zwischen Akteuren und Artefakten Standards, Vokabularien: Dublin Core, SIOC linksto : references : ART² references : ART² haslink : isreferencedby : ART² isreferencedby : ART² Website A Website B Document C AAN: Analysis and integration of Web 2.0 data sources 9

11 Semantische Relationen I. Artefact-Actor-Networks Relationen zwischen Artefakten, Relationen zwischen Akteuren und Artefakten Standards, Vokabularien: Dublin Core, SIOC linksto : references : ART² references : ART² haslink : isreferencedby : ART² isreferencedby : ART² Website A Website B Document C bookmarkerof : ACT-ART Actor Y hasbookmarker : ART-ACT Bookmark Q AAN: Analysis and integration of Web 2.0 data sources 9

12 Stand der Dinge Stand der Dinge I. Artefact-Actor-Networks Nutzen und Mehrwert durch lokalen Zugriff und neu erschließbare Verbindungen Wolfgang Reinhardt et al.: Artefact-Actor-Networks Tobias Varlemann: Konzeption und Entw. Architektur Außerdem: Twitter, HTML Matthias Moi: Anwendung im Kontekt von Wikis Außerdem: Semantische Ähnlichkeit (SemSim) Zusammen mit ihnen: Modeling, obtaining and storing data from social media tools with Artefact-Actor-Networks, ABIS 2010 Workshop, Oktober in Kassel AAN: Analysis and integration of Web 2.0 data sources 10

13 Datenformate II. Datenformate II. Datenformate Bisher: Konzept von Artefact-Actor-Networks Aber: Speicherung semantisch angereicherter Daten? Drei aufeinander aufbauende Formate: RDF, RDFS, OWL AAN: Analysis and integration of Web 2.0 data sources 11

14 RDF Resource Description Framework (RDF) II. Datenformate Tripel: Subjekt, Prädikat, Objekt Subjekt: Resource (URI oder Blank Node) Prädikat: Resource, keine Blank Nodes Objekt: Resource oder Literal Didactics of Informatics Terminologie: Ressource hat Eigenschaft mit Eigenschafts-Beschreibung Repräsentation von Informationen Semantische Beschreibung? AAN: Analysis and integration of Web 2.0 data sources 12

15 RDFS RDF Schema (RDFS) II. Datenformate Zur Definition von Ontologien hasemployee rdfs:domain rdfs:range Corporation Person rdfs:subclassof University Ontologie (im Kontext des Semantic Web): Terme zur Beschreibung und Repräsentation eines Wissensgebiets. Bereitstellen von Beschreibungen der Konzepte Klasse, Beziehung, Eigenschaft. AAN: Analysis and integration of Web 2.0 data sources 13

16 OWL II. Datenformate Web Ontology Language (OWL) Repräsentation der Bedeutung von Termen in Vokabularien und den Beziehungen zwischen solchen Termen. Inversion, Transitivität, Symmetrie, Hatten wir das nicht gerade? Ja, aber OWL kann mehr, z.b.: Beschränkungen in der Kardinalität... Die AAN Ontologie basiert auf OWL. AAN: Analysis and integration of Web 2.0 data sources 14

17 AAN Ontologie (Version 2) AAN Grundontologie II. Datenformate <! #bookmarkerof > <owl:objectproperty rdf:about= #bookmarkerof > <rdfs:subpropertyof rdf:resource= #act art /> </owl:objectproperty> AAN := artefact-actornetworks.net/ontologies/ 2010/03 Übersicht Ontologie AAN: Analysis and integration of Web 2.0 data sources 15

18 Web 2.0 Datenquellen III. Netzwerke als Datenquellen III. Web 2.0 Netzwerke als Datenquellen Bisherige Grundlagen: Artefact-Actor-Networks Konzept Ablage von semantischen Daten Welche Daten der Netzwerke sind relevant? AAN: Analysis and integration of Web 2.0 data sources 16

19 Web 2.0 Datenquellen III. Web 2.0 Netzwerke als Datenquellen Kriterien für Daten Relevanz für AAN Öffentliche Daten Statische Eingenschaften Konsistente Nutzung AAN: Analysis and integration of Web 2.0 data sources 17

20 Web 2.0 Datenquellen III. Web 2.0 Netzwerke als Datenquellen Kriterien für Daten Relevanz für AAN Öffentliche Daten Statische Eingenschaften Konsistente Nutzung Verfügbare Datentypen Klassen Relationen Eigenschaften AAN: Analysis and integration of Web 2.0 data sources 17

21 Delicious Delicious: Social Bookmarking III. Web 2.0 Netzwerke als Datenquellen AAN: Analysis and integration of Web 2.0 data sources 18

22 Delicious III. Web 2.0 Netzwerke als Datenquellen AAN: Analysis and integration of Web 2.0 data sources 19

23 SlideShare III. Web 2.0 Netzwerke als Datenquellen AAN: Analysis and integration of Web 2.0 data sources 20

24 Scribd III. Web 2.0 Netzwerke als Datenquellen AAN: Analysis and integration of Web 2.0 data sources 21

25 Dokumentennetzwerke III. Web 2.0 Netzwerke als Datenquellen AAN: Analysis and integration of Web 2.0 data sources 22

26 Schnittstellen Schnittstellen der Netzwerke III. Web 2.0 Netzwerke als Datenquellen Kriterien für Schnittstellen Öffentlich zugängliche Daten Alle zuvor gewählten Daten Möglichst keine störenden Restriktionen Möglichst strukturierte Daten AAN: Analysis and integration of Web 2.0 data sources 23

27 Schnittstellen: Delicious Schnittstellen: Delicious III. Web 2.0 Netzwerke als Datenquellen API: Zugriff persönlicher Daten (Login) Feeds: Beschränkungen 1 Aufruf pro Sekunde Maximal 100 zurückgegebene Bookmarks HTML: Nicht strukturiert Öffentlich Strukturiert API - Feeds HTML - AAN: Analysis and integration of Web 2.0 data sources 24

28 Schnittstellen: Delicious Genutzte Delicous Feeds (10/23) III. Web 2.0 Netzwerke als Datenquellen Tag Tag(s) bmpopularbytag bmbytags URL(s) Actor URL bmbyurl Bookmarks URL Actor bmbyuser Tag(s) Tag(s) Actor bmbyuserandtags Actor Actor networkfans networkmembers Users Actor(s) Tag(s) Actor Actor tagsbyuser tagsbyuserandtags Tags Tag(s) URL urlinfo URL Tag(s) URL Input classes Feed patterns Output schemes Output classes AAN: Analysis and integration of Web 2.0 data sources 25

29 Schnittstellen: Delicious Schnittstellen: SlideShare III. Web 2.0 Netzwerke als Datenquellen get_user_contacts(username) Actor get_slideshows_by_user(username) Keyword get_slideshows_by_tag(tag) API: 4 von 13 Methoden decken Bedarf semantischer Daten search_slideshows(query) Query Artefact get_slideshow(id url) ID URL HTML: Zusätzlich für Volltexte und Kategorien API method XML Response AAN: Analysis and integration of Web 2.0 data sources 26

30 Schnittstellen: Delicious Schnittstellen: Scribd III. Web 2.0 Netzwerke als Datenquellen ACT² Actor AA AA Keywords of Artefact Keyword API: 1 von 24 Methoden liefert verwendbare Daten Artefact docs.search(query) HTML: Für zusätzlichen Bedarf API method HTML parser Query AAN: Analysis and integration of Web 2.0 data sources 27

31 AAN Framework IV. Das AAN Framework IV. AAN Framework Wir kennen: Artefact-Actor-Networks Konzept Ablage von semantischen Daten Daten in Netzwerken Jetzt wird es praktischer: Das AAN Framework Grundlage: Die OSGi Service Platform (Java) Architektur des AAN Frameworks In Arbeit entwickelte Komponenten AAN: Analysis and integration of Web 2.0 data sources 28

32 OSGi OSGi Service Platform IV. AAN Framework Spezifikation der OSGi Alliance Verschiedene Implementationen, u.a. Equinox (Eclipse Foundation) Java-basiert Portabilität Abhängigkeitsmanagement operiert auf Versionierung Bundles: Ressourcen und Klassen Statischer Export oder dynamisch angebotene Services Implementierungen von Interfaces, registriet bei Service Registry AAN: Analysis and integration of Web 2.0 data sources 29

33 AAN Framework Architektur AAN Framework IV. AAN Framework AAN: Analysis and integration of Web 2.0 data sources 30

34 Entwickelte Komponenten V. Entwickelte Komponenten V. Entwickelte Komponenten Bisher behandelt: AAN Konzept Semantische Daten Daten in Netzwerken AAN Framework Nun zu den entwickelten Komponenten. Für jede der 3 Datenquellen war zu entwickeln: Crawler Komponente Parser Komponente AAN: Analysis and integration of Web 2.0 data sources 31

35 Entwickelte Komponenten Entwickelte OSGi Bundles V. Entwickelte Komponenten Crawler Komponenten: Schnittstellen: Webservice, Observierung, Job Behandlung Durchlaufen der Netzwerk-Strukturen Parser Komponenten: Schnittstellen: Parsen möglich? Parsen. Extraktion relevanter Daten Speicherung im Modell Erstellen von Folgeaufträgen AAN: Analysis and integration of Web 2.0 data sources 32

36 Workflows Workflows Crawling Komponenten V. Entwickelte Komponenten AAN: Analysis and integration of Web 2.0 data sources 33

37 Workflows Workflow Scribd Parser V. Entwickelte Komponenten AAN: Analysis and integration of Web 2.0 data sources 34

38 Workflows Workflow Delicious Crawler Manager V. Entwickelte Komponenten AAN: Analysis and integration of Web 2.0 data sources 35

39 Workflows Workflow Delicious Crawler Manager V. Entwickelte Komponenten AAN: Analysis and integration of Web 2.0 data sources 36

40 Ergebnisse und Ausblick VI. Ergebnisse und Ausblick VI. Ergebnisse und Ausblick Behandelt wurden: AAN Konzept Semantische Daten Daten in Netzwerken AAN Framework Entwickelte Komponenten Abschließend eine Übersicht der Ergebnisse und ein Ausblick AAN: Analysis and integration of Web 2.0 data sources 37

41 Ergebnisse Ergebnisse VI. Ergebnisse und Ausblick Komplette Daten Ontologie aus allen Netzwerken Vollständige Ergebnisse für SlideShare und Scribd Volltexte für Delicious und SlideShare Keine Volltexte aus Scribd (Optionale Anforderung in der Zielvereinbarung) In Zukunft: Daten aus PDFs extrahieren? Keine vollständigen Ergebnisse für Delicious Warum? AAN: Analysis and integration of Web 2.0 data sources 38

42 Ergebnisse Beschränkungen Delicious Feeds VI. Ergebnisse und Ausblick AAN: Analysis and integration of Web 2.0 data sources 39

43 Ergebnisse VI. Ergebnisse und Ausblick Delicious Analyse Fallbeispiel Job: Delicios Tag fsln10 Es gibt 387 BM von 12 Akteuren, 384 BM ohne Doppel-Einträge Job mit rekursiven Anfragen, interner Tiefe 1 (ca. 25 Minuten) 630 Artefakte von 7 Akteuren wurden gecrawlt Das sind 327 BM (grep -o artefact-list.xml wc -w) Job mit rekursiven Anfragen, interner Tiefe Artefakte von 10 Akteuren wurden gecrawlt Das sind 383 BM AAN: Analysis and integration of Web 2.0 data sources 40

44 Ergebnisse Delicious Analyse Fallbeispiel VI. Ergebnisse und Ausblick Benutzer Webseite Job 1 Differenz Job 2 Differenz jul wol syw seb Den rol mey chr eva dig moi cwa Gesamt oder 4 AAN: Analysis and integration of Web 2.0 data sources 41

45 Ausblick Ausblick VI. Ergebnisse und Ausblick Analyse: Auswertung zu Delicious und Slideshare im Journal of Computer Science and Technology (Beiträge bis 1. Oktober 2010) Aktive Weiterentwicklung Visualisierung und Analyse im Fachgebiet DDI Projektgruppe: knowaan Voraussichtlich im WS 2010/11 Seminar: Future Social Learning Networks im WS 2010/11 AAN: Analysis and integration of Web 2.0 data sources 42

46 Fazit Persönliches Fazit VI. Ergebnisse und Ausblick Wissen in verschiedenen Bereiche erworben: Theorie (z.b. Repräsentation von Semantiken) Technik (z.b. Architektur OSGi Platform & AAN Framework) Praxis (Entwurf & Entwicklung der Komponenten) Teamarbeit, Englisch-Kenntnisse Vielen Dank! AAN: Analysis and integration of Web 2.0 data sources 43

47 Anhang: Vereinfachte Ontologie V2, Stand: Juli 2010 Grundontologie AAN: Analysis and integration of Web 2.0 data sources 44