Informationsgewinnung mit semantischen Technologien Die SMILA Plattform

Transkript

1 Informationsgewinnung mit semantischen Technologien Die SMILA Plattform Dr. Mario Lenz, VP Product Management, Empolis Information Management GmbH Seite 1

2 Empolis ist Ihnen heute schon viel näher als Sie vielleicht denken Seite 2

3 Unsere Mission Business Intelligence auf Texten Empolis-Lösungen befähigen Unternehmen und Organisationen, die exponentiell wachsende Menge strukturierter und unstrukturierter Daten zu analysieren, zu interpretieren und automatisiert zu verarbeiten. Sie nutzen damit ihr Wissenskapital, um unternehmenskritische Geschäftsprozesse zu optimieren. Entscheider, Mitarbeiter und Kunden erhalten so stets situations- und aufgabengerecht genau die Information, die für sie relevant ist und können so schneller bessere Entscheidungen treffen. Seite 3

4 Empolis liefert Lösungen für unternehmenskritische Prozesse Über 25 Jahre Erfahrung 150 Mitarbeiter 250 der Fortune Unternehmen 500 Installationen Professional User 34 Mio. End-Kunden weltweit Seite 4

5 Unsere Vision Die richtige Information zur richtigen Zeit zur richtigen Person auf einem beliebigen Endgerät Seite 5

6 Agenda Motivation Warum SMILA? SMILA aus Metern SMILA in der Praxis: Wettbewerbsbeobachtung Zusammenfassung / Q&A Seite 6

7 Die Anzahl der Dateien, Bilder, Einträge und anderen digitalen Informationen soll zwischen 2009 und 2020 um den Faktor 67 anwachsen Seite 7

8 Seite 8

9 Wir ertrinken in Informationen, aber uns dürstet nach Wissen. John Naisbitt Seite 9

10 Wir ertrinken in Informationen, aber uns dürstet nach Wissen. Ja, aber warum? John Naisbitt Seite 10

11 Nicht die Daten sind das Problem. Sondern die falschen Werkzeuge. Seite 11

12 Semantische Verfahren schaffen Überblick Die richtige Information erhalten Antworten statt Treffer Bedeutung von Texten und Anfragen erfassen Inhaltliche Navigation Ähnliche Informationen finden Relevante Informationen hervorheben Seite 12

13 IAS: Information verstehen Das Information Access System ist die skalierende, semantische Plattform für wertschöpfende Wissensmanagement-Lösungen. Das IAS versteht die Bedeutung der Inhalte. Das IAS erkennt Begrifflichkeiten und Objekte in diesen Inhalten und setzt diese automatisch miteinander in Bezug. Analysen und Recherche erfolgen anhand von tatsächlichen Sinnzusammenhängen und es werden automatisch Verknüpfungen mit strukturierten Daten hergestellt. Die Informationsrecherche erfolgt damit nicht mehr länger nur auf der Basis von Buchstaben, sondern das IAS versteht auch etwas von Ihrem Geschäft. Seite 13

14 Agenda Motivation Warum SMILA? SMILA aus Metern SMILA in der Praxis: Wettbewerbsbeobachtung Zusammenfassung / Q&A Seite 14

15 Hürde #1: Semantik ist vielfältig keiner kann alles Natürliche Sprache Linguistik Regel Engines Chemische Formeln Linked Open Data Semantik Ontologien Case Based Reasoning Bilderkennung Video- Formate Seite 15

16 Hürde #2: Infrastruktur schafft keinen Mehrwert Plattform Support e:ias Platform Matrix Server Scenarios x86 (Intel Pentium CPU Architecture x64 (Intel IA64 AMD Athlon) Xeon/Core2 (Intel Itanium) UltraSparc/T1 OS Family OS Type 32 Bit 32 Bit 64 Bit 64 Bit 32 Bit 64 Bit Windows Win 2000 (SP4) x x -/- -/- -/- -/- Windows Server 2003 R2 (SP 2) x x x -/- -/- -/- Windows Server 2008 x x x -/- -/- -/- Solaris 8 -/- -/- -/- -/- x x* Solaris 9 -/- -/- -/- -/- x x* Solaris 10 -/- -/- -/- -/- -/- x SUSE Linux ES 9 -/- -/- x -/- -/- -/- SUSE Linux ES 10 -/- -/- x -/- -/- -/- RedHat EL 5 -/- -/- x -/- -/- -/- Monitoring Betrieb & IT Formate & Quellen Seite 16

17 SMILA SMILA is an extensible framework for building Big Data and/or search solutions to access and process unstructured information Seite 17

18 SMILA stellt gemeinsame Infrastruktur bereit Semantische Komponenten SMILA Seite 18

19 Fakten zu SMILA Eclipse Open Source Project: Start: Januar 2008 / Aktuelles Release: SMILA 1.2 Gemeinsame Plattform der Komponenten in Theseus Partner und Beitragende Empolis Information Management GmbH brox IT Solutions GmbH DFKI Fraunhofer IGD Fraunhofer IAIS Fraunhofer IGD Top 21 GmbH EML European Media Laboratory Universität Hildesheim Seite 19

20 Agenda Motivation Warum SMILA? SMILA aus Metern SMILA in der Praxis: Wettbewerbsbeobachtung Zusammenfassung / Q&A Seite 20

21 SMILA Architektur aus Metern Skalierbare Laufzeitumgebung Konfigurierbares Pipeline- Framework Offenes, erweiterbares Framework Out-of-the-box Komponenten für Vielzahl an Funktionen und Datenquellen Investitionssicherheit dank Open Source Seite 21

22 Im Detail: Synchrone und asynchrone Workflows Seite 22

23 Komplette Lösung Seite 23

24 Open Source Funktionen Connectoren File, Web, JDBC, Feeds Remote Crawling Vorverarbeitung Boilerpipe Web Extraktion Apache TIKA XML Verarbeitung Semantik Sesame RDF Store Suche Solr Seite 24

25 Fraunhofer ITWM: Test in Hercules Cluster - Indexing Quad Core Xeon 8GB RAM 20 Nodes 40 Nodes 60 Nodes 71 Mio Docs 284 GB Seite 25

26 SMILA Marketplace u.a. Komponente Anbieter Funktion Audio Mining Fraunhofer IAIS Automatische Sprach-Erkennung (Speech2Text) chemocr Fraunhofer SCAI Erkennung chemischer Strukturformeln ConExt DFKI Informations-Extraktion Drools Uni Hildesheim Regel-Engine EML EML European Media Laboratory LangID DFKI Sprach-Erkennung Transkription von Sprache, z.b. Video MDParser DFKI Natürliche Sprach-Verarbeitung OntoNaut Top 21 GmbH Semantische Verfahren Perceptual Hashing Fraunhofer IGD Bildverarbeitung, Objekterkennung in Bildern SemaVis-SmiVi Fraunhofer IGD Visualierungswerkzeuge Seite 26

27 SMILA Marketplace, z.b. chemocr Seite 27

28 Agenda Motivation Warum SMILA? SMILA aus Metern SMILA in der Praxis: Wettbewerbsbeobachtung Zusammenfassung / Q&A Seite 28

29 Herausforderungen Markt- und Wettbewerbsrecherche Seite 29

30 Markt- und Wettbewerbsrecherche Aufgabenstellung Reduzierung des manuellen Rechercheaufwandes Qualitätsgewinn in der Recherche und Analyse Aufdecken neuer Zusammenhänge, die im manuellen Prozess übersehen würden Gezielte und regelmäßige Bereitstellung von Informationen auf Basis aller bekannten Online-Quellen Identifizierung neuer Quellen zur Recherche Seite 30

31 Empolis Competitive Intelligence Filtern und Veredeln WWW Sammeln aller potentiell relevanten Informationen Filtern in Bezug auf die spezifische Thematik Auswerten mittels geeigneter Werkzeuge Erkennen neuer Zusammenhänge Seite 31

32 Ontologie als Basis Seite 32

33 Empolis Competitive Intelligence mit SMILA 1. Ontologie gibt Kontext vor WWW Erstellen der Ontologie Beschreibung der Anwendungsdomäne Ggf. Import Ontologie Management Seite 33

34 Ontologie filtert das Internet per Google Custom Search Seite 34

35 GCS liefert potentiell relevante Web Sites Seite 35

36 Empolis Competitive Intelligence mit SMILA 2. GCS auf Basis der Ontologie liefert Web Sites WWW Ontologie auslesen GCS Queries generieren Grobe Suche im Internet auf Basis der Ontologie GCS ausführen Web Sites sammeln Web Sites analysieren Web Sites annotieren Domain Pool befüllen Seite 36

37 Bewertung der Web Sites Seite 37

38 Befüllung von White List und Black List Seite 38

39 Empolis Competitive Intelligence mit SMILA 3. White List enthält relevante Web Sites WWW Domain Pool auslesen Gegen Black List filtern Web Seiten bewerten Bewertung der Internet Seiten und Festlegen der White List und Black List White List befüllen Seite 39

40 Crawling und tiefe Analyse Seite 40

41 Empolis Competitive Intelligence mit SMILA 4. Crawling und Indexing WWW White List auslesen Web Seiten crawlen Dubletten entfernen Beschaffung der Inhalte aus dem Internet Texte extrahieren Index erstellen Seite 41

42 Erstes Ergebnis: Korrelationen WER mit WEM über WAS Seite 42

43 Vertiefend zu einem Konzept, hier Hersteller Nissan Seite 43

44 Nissan und AESC? Seite 44

45 Drill Down: Suche nach AESC Seite 45

46 Starke Korrelation zu AESC Cell Seite 46

47 Dokumente über AESC Seite 47

48 Treffer zu AESC neuer Player Automotive Electric Supply Corp Seite 48

49 AESC im Korpus gehört in die Ontologie Seite 49

50 Heat Map: Wer mit wem? Seite 50

51 Z.B. welcher Hersteller mit welcher Technologie Seite 51

52 Nissan ist aktiv bei Li-Ion-Batterien Seite 52

53 Belegstellen per Klick dann Vertiefen Seite 53

54 Empolis Competitive Intelligence mit SMILA 5. Tiefe Semantische und statistische Analyse WWW Index auswerten Entitäten extrahieren Co-Occurrences ermitteln Auswertung der semantischen und statistischen Beziehungen Korrelationen errechnen Relevanzen ermitteln Visualisierungen erzeugen Seite 54

55 Heat Map für Delta Analyse Veränderungen über die Zeit Seite 55

56 Empolis Competitive Intelligence mit SMILA 6. Delta-Analyse WWW Analysestände auswählen Indizes auswerten Veränderungen berechnen Visualisierungen erzeugen Vergleich zweier Auswertungs- Stände Seite 56

57 Echte Pipelines für Competitive Intelligence in SMILA Seite 58

58 Ein wenig komplizierter, aber auch das geht Seite 59

59 Agenda Motivation Warum SMILA? SMILA aus Metern SMILA in der Praxis: Wettbewerbsbeobachtung Zusammenfassung / Q&A Seite 60

60 Zusammenfassung Seite 61

61 Weiterführende Informationen SMILA Empolis Competitive Intelligence Empolis allgemein Seite 62

62 Fragen? Dr. Mario Lenz Europaallee Kaiserslautern Germany Telephone Fax Mobile facebook.com/empolissoftware youtube.com/empolissoftware empolis.com/newsletter twitter.com/empolissoftware empolis.com/google+ Folgen Sie mir auf Seite 63