Enterprise Search Innovative Lösungen für Text Mining & Semantic Web. Effiziente Nutzung des Unternehmenswissens

Transkript

1 Enterprise Search Innovative Lösungen für Text Mining & Semantic Web Effiziente Nutzung des Unternehmenswissens

2 Kurzdarstellung IntraFind und makeit Firma, Kunden, Partner IntraFind AG und makeit information systems GmbH 2

3 IntraFind Software AG IntraFind ist Ihr Spezialist für die Informationsgewinnung in unstrukturierten und strukturierten Unternehmensdaten. Kunden: > 500 Mitarbeiter: 20 Gründung: Jahr 2000 Informationen zugänglich machen, schnell und einfach suchen, finden und filtern das ist seit über acht Jahren die Kernkompetenz des Expertenteams der IntraFind. Wir liefern innovative Produkte, Lösungen und die dazu passenden Beratungsleistungen. Namhafte Unternehmen wie Beiersdorf, Bosch, Deutsche Post DHL, GfK, Gruner+Jahr, Haufe Verlagsgruppe, Landesbank Berlin, Merck, Nycomed, Polizei Bayern, Rohde & Schwarz sowie Tech Data gehören zu unseren Kunden. IntraFind AG und makeit information systems GmbH 3

4 makeit information systems GmbH makeit ist Ihr Spezialist in Österreich für die Informationsgewinnung in unstrukturierten und strukturierten Unternehmensdaten. Kunden: > 20 Enterprise Kunden und einige KMU s Mitarbeiter: 30 (knapp die Hälfte fix angestellt) Gründung: Februar 2001 Informationen zugänglich machen, schnell und einfach suchen, finden und in geeigneter Weise filtern das ist seit mehreren Jahren eine der Kernkompetenz des Expertenteams der makeit. Wir liefern innovative Produkte, Lösungen und die dazu passenden Beratungsleistungen. Namhafte Unternehmen wie mobilkom austria AG, Telekom Austria AG, Wiener Wohnen, Allgemeine Unfallversicherungsanstalt (AUVA), UniCredit Group, UGIS (UniCredit Global Information Services), VAV Versicherungs-Aktiengesellschaft, MA31 Wasserwerke, Bundesministerium für Finanzen, Rundfunk- und Telekom Regulierungsbehörde (RTR), ÖBB Rail Cargo Austria AG, Canon Österreich, Österreichische Post AG, UC4 Software, BAWAG P.S.K. Gruppe, Ing.-DiBa Direktbank Austria, WIFI Wien, SAP AG sowie OMV Solutions GmbH gehören zu unseren Kunden. IntraFind AG und makeit information systems GmbH 4

5 Leistungsspektrum Informationslogistik (Crawler, Advanced Crawler, Anbindung und Analyse ext. Inhalte) Performante und skalierbare Volltextsuche / Indizierung Geführte Suche und intelligente Navigation für den Benutzter, Facettensuche Linguistik sorgt im Hintergrund für Vollständigkeit und Präzision! Assoziative Suche, taxonomie- und thesaurusunterstützte Suche Ähnlichkeitssuche zu inhaltlich passenden, weiterführenden Artikeln Erkennung von Entitäten (Personen, Firmen, Orten, Produkte, Marken, firmenspez. Entitäten) Informationsextraktion Themenerkennung Text-Clustering Unser Research: Natural Language Query Relation Mining IntraFind AG und makeit information systems GmbH 5

6 Produktspektrum ifinder: Enterprise Search TopicFinder: Textklassifikationslösung Search+: Kollektion von Webparts für die Verbesserung der MOSS 2007 Suche Namer Linguistik: Morphologische Analysetools Advanced Crawler Content Grabber IntraFind AG und makeit information systems GmbH 6

7 Lösungsspektrum Enterprise Search (PIDAS Österreich, Bosch, Landesbank Berlin, BHF-Bank Bank, GfK) Compliance Lösungen (Bundesverband deutscher Banken) Semantic Linking für Medienportale (Gruner+Jahr, Haufe) Expertenidentifikation (Deutsche Post DHL) Wissenslandskarten (R&D-Search Beiersdorf) Informationslogistiklösungen (Merck) Newslettermanagement / Newswatch (Nycomed) IntraFind AG und makeit information systems GmbH 7

8 Anforderungen an Enterprise Search IntraFind AG und makeit information systems GmbH 8

9 IST-Situation in Unternehmen Das Unternehmen hat mit folgenden Aufgaben zu kämpfen: gewachsene Applikationslandschaft mit unterschiedlichen Benutzeroberflächen Suchsyntax applikationsabhängig Fehlende Übersicht jeweils eigene Berechtigungen g File-System ERP-Systeme Datenbanken DMS- und Archivsysteme Exchange- oder Notes-Systeme Einarbeitung neuer Kollegen gestaltet sich durch komplexe Applikationslandschaft schwierig Gefahr, relevante Informationen zu übersehen Mitarbeiter bearbeiteten vermeintlich neue Aufgaben lieber selbst nochmals von vorne, als nach vorhandenen Lösungsansätzen oder Informationen zu suchen Das Rad wird unternehmensintern weltweit mehrfach neu erfunden IntraFind AG und makeit information systems GmbH 9

10 Lösung Die IntraFind AG erstellte folgende Lösung: Zielgerichtete, applikationsübergreifende Suche Vollständige Trefferliste durch Nutzung linguistischer Verfahren: Berücksichtigung von Grundformen, gebeugten Wortformen und Zerlegung zusammengesetzter Begriffe; Beispiel: Sie suchen nach Buch und finden auch Treffer mit Bücher, Fachbücher, Prozesshandbuch Vorschlag von firmenspez. Synonymen zu den verwendeten Suchbegriffen, z.b. Wasser -> H2O, Water, Aqua Dynamisch aus dem Content erzeugte Navigationselemente, z.b. Produkte, Autoren, Rohstoffe Suchen ohne zu suchen durch Nutzung intelligenter Wissenslandkarten Trefferanzeige unter Berücksichtigung von Zugriffsberechtigungen Wissenslandkarte: Ihr Unternehmenswissen auf einen Blick Der User findet alle relevanten Dokumente über unterschiedliche Sichten: klassisch über Suche oder über die Wissenslandkarte Durch die intuitive Benutzeroberfläche kann effizient und schnell auf Basis von Datenquellen, Wettbewerbern, Produkten, Rohstoffen und Experten gesucht werden IntraFind AG und makeit information systems GmbH 10

11 Nutzen der Lösung für Ihr Unternehmen Suche schnell, systemübergreifend und treffsicher Strukturierung durch intelligente Navigation -> Enterprise Search als intelligente Navigation Der Benutzer wird in seinem Rechercheprozess geführt -> Guided Search Die Gefahr, relevante Dokumente zu übersehen, sinkt drastisch Über die assoziative Suche werden Begriffe aus dem Umfeld des Suchbegriffes eingeblendet und somit die Fokussierung auf die richtigen Themenfelder gelenkt Suche nach inhaltlich ähnlichen Dokumenten, zu einem Dokument aus der Trefferliste Einfacher Zugriff auf weiterführende Informationen über die Expertenidentifikation / People Search Erleichtert die abteilungsübergreifende Zusammenarbeit Relevanter Content wird rasch und zielsicher gefunden Experten für definierte Themenbereiche im Unternehmen sind leicht auffindbar Stärkung der innerbetrieblichen Kommunikation Vermeidung von Doppelarbeiten an gleichen oder verwandten Themenfeldern IntraFind AG und makeit information systems GmbH 11

12 Erfolgsfaktoren für Enterprise Search Projekte Gute Planung im Vorfeld Die richtige Technologie für eine mittel- und langfristige Planung (Dateiformate, Anzahl Konnektoren, SSO, Skalierbarkeit) Eine gute Linguistik für gute Benutzerakzeptanz Das Wissen über die eigenen Daten Planen Sie ihre Datentöpfe richtig Konservative Einschätzung der Kosten und Komplexität für die Anbindung von Drittsystemen Security, Security, Security (realistische Security Anforderungen abwägen) Das richtige Projektteam (vom TopManager bis zum Werkstudent) Projekt-Laufzeiten mit ausreichenden QA-Zeiten im Projekt einplanen Groß denken, klein beginnen (Den Weg der kleinen Schritte ) (Nur Web, dann File-Shares, File- System Fachapplikationen oder ECM Systeme) Seien Sie mit Relevanz Ranking Anpassungen extrem behutsam Start mit einem Bereich nur mit interner Unterstützung/Marketing wird Suche zum Erfolg IntraFind AG und makeit information systems GmbH 12

13 User-Interface für Enterprise Search Lösungen KISS - Keep it easy and simple Ein Suchfeld für den Standard-User Unterstützung bei der Eingabe der Suchanfrage Ca. 97% aller User starten Ihre Suche mit einem Begriff Platzieren Sie das Suchfeld prominent und möglichst breit auf der Such-SeiteSeite Bringen Sie Intelligenz in Ihre Suche, wenn Sie die Ergebnisse anzeigen. Bieten Sie Ihren Mitarbeitern Möglichkeiten zur Einschränkung der Treffermenge über Navigatoren, geführte Suche Thesauri Assoziative Wortwolken Clustering Kategorisierung => Geben Sie Ihren Usern das passende Werkzeug an die Hand! IntraFind AG und makeit information systems GmbH 13

14 Einige wesentliche qualitative Verfahren: Linguistik, assoziative Suche und Entity Extraction IntraFind AG und makeit information systems GmbH 14

15 Noch ein Verfahren im Detail: Linguistik Die IntraFind liefert Ihnen die beste für Deutsch verfügbare Morphologie Referenzen: Haufe, Langenscheidt, Pidas, Hexaglot, Gruner-Jahr, Herder Verlag Einsatz in allen hier angesprochenen Anwendungsszenarien: Lemmatisierung und Kompositazerlegung auf fhöht höchstem Niveau Warum Linguistik? Wirkungsweise: Je besser der Index, desto besser alle weiteren Verfahren, die auf dem Index aufsetzen, wie z.b. Retrieval, Klassifikation oder Clustering, daher: linguistisch aufbereiteter Index es wird kein Volltextindex sondern ein sog. Grundformenindex generiert, in dem neben den Vollformen auch die zugehörigen Grundformen und Kompositabestandteile hinterlegt t sind. hochwertige Lemmatisierung und Kompositazerlegung sind für qualitativ hochwertiges Retrieval bei einer morphologisch komplexen Sprache wie Deutsch unerlässlich! IntraFind AG und makeit information systems GmbH 15

16 Linguistik Der Einsatz von qualitativ hochwertiger Linguistik liefert klare Mehrwerte: Suche nach Buch liefert eine vollständige und präzise Trefferliste: Die Suchfrage nach Buch Buch (egal, ob aktiv vom User initiiert oder für die Berechnung eines Verlinkungsvorschlags im Hintergrund automatisch ausgeführt) liefert auch Treffer mit Buches, Bücher, Büchern, Fachbuch, Sachbuches, Prozessmanagementhandbuch Die Suche liefert nicht den Baum oder Treffer mit dem Verb buchen zurück! Wirkliche Vollständigkeit und hohe Präzision der Trefferliste Der Benutzer übersieht keine relevanten Treffer mehr die er mit normaler Volltextsuche nie gefunden hätte! Damit auch hohe Präzision in allen aufbauenden Verfahren wie assoziative Analysen, Clustering oder der inhaltlichen Ähnlichkeitsanalyse IntraFind AG und makeit information systems GmbH 16

17 Wirkungsweise der Linguistik Erzeugung von Grundformen und Zerlegung - unbekannter - Komposita Lemmatisierung / Erzeugung der Grundform Korrekte Zerlegung beliebiger Komposita Qualitatives Alleinstellungs- merkmal: Kombination aus Lexikon + intelligenten Filterregeln für die Zerlegung der im deutschen häufigen Komposita IntraFind AG und makeit information systems GmbH 17

18 Unterschied zu Stemming Linguistik ist nicht gleich Linguistik! Einige Retrievalanbieter liefern Stemmer als Linguistikbestandteil: Diese hacken überwiegend nur Wortendungen ab (oft wird der sog. Porter-Stemmer verwendet) Stemmer liefern schlechte Qualität gerade im Deutschen: Wort im Text Stemmer IntraFind-Lemmatiser gelöst gelost lösen heißt heiss heißen Präsident prasid Präsident rot-grün rot rot-grün lieferte lief liefern Sinnentstellende Treffer -> gesucht wird nach liefern, geliefert werden Treffer, bei denen es um laufen geht IntraFind AG und makeit information systems GmbH 18

19 Vorteile für den Benutzer Klare aevorteile eefür den Benutzer: e Das Suchsystem ergänzt selbständig Pluralformen (Buch -> Bücher, Buches, ) gebeugte Wortformen (bringen -> gebracht, brachtest ) und findet auch Wortbestandteile der Suchfrage (Bsp.: Suche nach Buch Buch liefert auch Treffer mit Kinderbuch Kinderbuch ) Fazit: Intelligente Unterstützung für den Benutzer -> Vollständigkeit und Präzision Deutlich verbesserte Textanalyse und Textmining-Qualität für - Assoziative Berechnungen - Kontextanalysen - Verlinkungsvorschläge - Clustering IntraFind AG und makeit information systems GmbH 19

20 Linguistik für viele Sprachen Die hochwertige linguistische Textanalyse ist verfügbar für Deutsch Englisch Spanisch Französisch Italienisch Niederländisch Russisch Polnisch Serbo-Kroatisch Griechisch Chinesisch Arabisch Pasthu Da Sprache lebt, liefern wir jährliche Updates, die die neuen Worte einer Sprache mit berücksichtigt. IntraFind AG und makeit information systems GmbH 20

21 Assoziative Suche Kontexte herstellen Mit unserer assoziativen Suche haben wir eine Methode entwickelt, um dem Benutzer eine intelligente Auswahlmöglichkeit zu bieten, mit der er seine Trefferliste schnell und intuitiv eingrenzen kann. Die Maschine denkt mit abhängig von der Suchanfrage und dem Content, in dem gesucht wird. Die assoziative Suche berechnet die Wortwolke, es muß nichts manuell eingegeben werden! Zur Suchfrage BASF werden die inhaltlich stark korrelierten Begriffe (auch Multiwords) aus dem Content-Bestand ermittelt. Die Berechnung erfolgt in Echtzeit Schneller Drill down in der Trefferliste -> durch Klick auf + wird der ausgewählte Begriff in die Suche mit aufgenommen und eine neue Suche gestartet Neue Funktionalität: Stöbern im Content Anwendungsszenarien: - hier im Beispiel: Dynamische Navigation für User - Feature-Vorselektion für Themenerkennung - explorative Suche -> Suche nur mit den Begriffen der Wortwolke, ggf. ohne den Ursprungssuchbegriff IntraFind AG und makeit information systems GmbH 21

22 Lösungsbeschreibung: Trefferliste Einstieg g über ein einfaches Suchfeld Der Benutzer erhält eine nachvollziehbare Trefferliste Da die Treffermenge oft unüberschaubar b groß ist, werden dem User seitliche Navigationselemente angeboten, über die er die Suche intuitiv einschränken kann Die Navigationselemente werden dynamisch abhängig von Ihrer Suchfrage angezeigt Alleinstellungsmerkmal: Assoziative Wortwolke als Navigationselement. Im Kontext zur Suchanfrage werden stark assoziierte Begriffe angezeigt, mit der per Klick die Suchanfrage präzisiert und so die Treffermenge schnell und einfach reduziert werden kann Die Begriffe für die assoziative Suche werden in Echtzeit berechnet und müssen nicht eingegeben werden. Beispiel: ESP -> Nässe -> Präzisierung um den Begriff Spurstabilität durch Auswahl des Begriffs IntraFind AG und makeit information systems GmbH 22

23 Entity Extraction Automatische uo Extraktion von Entitäten äe / Eigennamen e Die Erkennung von Eigennamen von Personen, Unternehmen/Organisationen und Orten bietet zahlreiche Möglichkeiten, den Benutzer zu unterstützen: So lassen sich z.b. alle Personen und Unternehmen in unstrukturierten Texten sicher und zuverlässig erkennen, das erspart den Redakteuren den Aufwand, dies über manuelle Verschlagwortung zu erreichen. In Kombination mit unserer semantischen Suche können Sie unbekannte Zusammenhänge aufdecken: Welche Firmen werden oft in Kontext von anderen Firmen genannt? Neue Zusammenhänge werden automatisiert sichtbar so heben Sie verborgene Wissensschätze, machen dieses für Ihre Leser transparent, erhöhen die Kundenbindung und überraschen diese mit hochwertigen Informationen IntraFind AG und makeit information systems GmbH 23

24 Named Entity Recognition Automatische Extraktion von Kern-Informationen aus unstrukturierten Daten Eigennamen von Personen Eigennamen von Firmen Marken aus Produktlisten Technische Kennzahlen aus Technischen Daten (Raw Materials, Produkttypen, Bestellnummern, Prozessnr., eclass Kategorien) Straßen- Ortsbezeichnungen Währungs- und Buchhaltungswerte Datumsangabeng Telefonnummern, -Daten, Hyperlinks Suchfrage: Welche Personen / welche Unternehmen sind stark miteinander korreliert? IntraFind AG Wissenslandkarte und makeit information vom systems GmbH 24

25 Entity Extraction - Beispiel Welche Personen sind zu meiner Suchfrage oder zu dem gerade aufgerufenen Artikel stark korreliert ohne ggf. überhaupt im Artikeltext vorzukommen? Beispiel: Im Portal könnte z.b. die Personen-Wortwolke auf der rechten Seite eingeblendet werden (Beispieldaten aus dem Jahr 2002! Darstellung natürlich ohne Trefferliste) IntraFind AG und makeit information systems GmbH 25

26 Weitere Module Ähnlichkeitssuche e Die Ähnlichkeitssuche hilft dem Benutzer, per Knopfdruck zu einem für ihn relevanten Dokument inhaltlich sehr ähnliche Dokumente zu finden. Somit können z.b. in Echtzeit zu dem Artikel, den ein User gerade aufgerufen f hat, inhaltlich h sehr ähnliche Artikel aus dem Verlags-Content eingespielt werden. Themenbasierte Suche Die themenbasierte Suche ermöglicht Ihnen die Filterung der Trefferliste nach von Ihnen definierten Themengebieten. Die Themengebiete müssen mit Beispieldokumenten trainiert werden. Dann erkennt das Modul neue Artikel und ordnet sie den von Ihnen definierten Themengebieten zu. Es wird also ein Metadatum Thema erzeugt, nach dem die Suche gefiltert werden kann: Zeige mir alle Dokumente, die den Begriff Target enthalten und dem Thema Monoklonale l Antikörper angehören. Für die Nutzung dieser Funktion ist der Einsatz eines weiteren Produktes der IntraFind erforderlich: TopicFinder unsere high-quality Textklassifikationslösung. Das automatisierte Gegenstück zur themenbasierte Suche, die trainiert werden muss, ist das Clustering der Trefferliste: IntraFind AG und makeit information systems GmbH 26

27 Weitere Module Clustering Cuse Die thematische Sortierung der Trefferliste hilft dem Benutzer, sich noch schneller einen Informationsüberblick zu verschaffen. Die Trefferliste ist also nicht mehr flach, so wie sie es von herkömmlichen Suchmaschinen gewohnt sind, sondern thematisch gruppiert. So sorgt das Clustering für einen echten thematischen Überblick der Treffermenge. Die Sortierung wird wieder vollautomatisiert in Echtzeit gemacht, der Benutzer muss nichts einpflegen oder trainieren. Thesaurus-Anbindung Wir liefern unseren Kunden einen allgemeinsprachlichen Synonymthesaurus für Deutsch und Englisch mit aus, der um fachspezifische Thesauren / Wortlisten ergänzt werden kann. Der Benutzer erhält so z.b. über die Funktion Autovervollständigung der Suchanfrage auch synonyme, ergänzende Begriffe zu seinem gerade eingetippten t Suchbegriff vorgeschlagen, mit denen er seine Recherche h erweitern kann. IntraFind AG und makeit information systems GmbH 27

28 Lösungsbeschreibung: Thesaurus Synonyme Anreicherung g der Suchfrage um automatisch vorgeschlagene g Synonyme y Synonymliste für Erweiterung um unternehmensspezifische Begriffe manuell oder über Import pflegbar 1. Beispiel: Nach Pflege der firmenspezifischen Synonymliste werden bei Eingabe des Suchbegriffs ProAudi ProAudi die Synonyme Cups Cups, Kontostandsanzeiger Kontostandsanzeiger, Sales Sales, Verkaufswettbewerbe Verkaufswettbewerbe und gwplus challenge angezeigt. 2. Beispiel: Standard-Synonymerweiterung: Nach Eingabe von Etat, werden die Synonyme Budget, Haushalt und Haushaltsplan l vorgeschlagen IntraFind AG und makeit information systems GmbH 28

29 Lösungsbeschreibung Wissenslandkarte 360 View auf das verfügbare Unternehmenswissen 360 View auf alle Datenquellen Suche ohne Eingabe von Suchbegriffen Berücksichtigung g von Nutzerrechten Die Navigationselemente wie Rohstoffe, Experten, Produkte, Standorte werden dynamisch mit Text-Mining-Verfahren (Entity Extraction) aus dem Content generiert Navigationselemente an die Bedürfnisse des Unternehmens anpassbar => Suchen ohne zu suchen Zentraler Zugriff auf alle Datenquellen, dynamische Navigation, AND und OR Verknüpfung IntraFind AG und makeit information systems GmbH 29

30 Lösungsbeschreibung Wissenslandkarte IntraFind AG und makeit information systems GmbH 30

31 Erfahrungswerte Indizierung Trennung von Index und Suche Indexreplikation / Index-Duplikation Indizierung klassisches Filesystem mit Office-Mix: 10 TB ~ 15 Mio Dokumente 1 Indexserver Unsere Empfehlung: Mio Dokumente pro Indexserver Erstindizierung: 5-8 Tage Inkrementeller Update im 12 Stunden-Takt Indexgröße 5-7% der Größe im Filesystem Serverausstattung: QuadCore Systeme mit 32 GB RAM, 64 Bit Search-Server abhängig von der Userzahl Antwortzeiten: < 1,2 sec bei Index mit 500 GB! IntraFind AG und makeit information systems GmbH 31

32 Kontakt Franz Kögl Vorstand Rudolf Randus Geschäftsführer Tel: +49 (89) Fax: +49 (89) Web: Tel: +43 (1) Fax: +43 (1) Web: Intrafind Software AG Fraunhofer Straße Planegg makeit information systems GmbH Mooslackengasse 17 A-1190 Wien Vertriebs- und Integrationspartner Österreich IntraFind AG und makeit information systems GmbH 32