Neue Erkenntnisse aus unstrukturierten Daten gewinnen

Transkript

1 Neue Erkenntnisse aus unstrukturierten Daten gewinnen Univ.-Prof. Dr. Josef Küng Institut für anwendungsorientierte Wissensverarbeitung (FAW) Johannes Kepler Universität Linz In Zusammenarbeit mit Mag. Olaf Hahn IBM Österreich Wien, im Oktober 2010

2 Inhalt Ausgangssituation Information Extraction Classification IBM-Tools Masterarbeit: Eman El-Koshairy: Information Lifecycle Management: Evaluating the Use of IBM Tools for Classification and Management in Middle-Sized Companies

3 Ausgangssituation Datenmenge wächst extrem derzeit ca. 950 Exabyte (10 18 Byte), nach IDC Verdoppelung alle 1,5 Jahre (IDC) 80% der neuen Daten sind unstrukturiert (Dokumente, Bilder, Videos, s, Blogs, ) s belasten Unternehmen besonders Information Extraction Technologie und Produkte haben Praxisreife erreicht

4 Information Extraction - Definition Unter Informationsextraktion (engl. Information Extraction, IE) versteht man die ingenieursmäßige Anwendung von Verfahren aus der praktischen Informatik, der künstlichen Intelligenz und der Computerlinguistik auf das Problem der automatischen maschinellen Verarbeitung von unstrukturierter Information mit dem Ziel, Wissen bezüglich einer im Vorhinein definierten Domäne zu gewinnen. (Wikipedia, Deutsch, 2010)

5 Information Extraction generelle Ansätze Regelbasiert Eine Wissensbasis enthält Begriffe und Regeln Das System wendet diese an und setzt dann die definierten Aktionen ExpertInnen sind notwendig Trainiert Anhand von bekannten Testfällen wird das System angelernt Es finden Künstliche Intelligenz-Methoden (wie Support Vektor Machines, Neuronale Netze) Anwendung Kombiniert Generell: Das Ergebnis ist nie zu 100% korrekt. Aber ein großer Teil der Fälle kann mit hoher Sicherheit automatisch den richtigen Folgeaktionen zugeordnet werden. Der Rest muss einer manuellen Bearbeitung zugeführt werden.

6 Information Extraction Beispiele am FAW Job-Vermittlung Stellenanzeigen Titel, Skills, Adresse, Ort Lebensläufe Kombination Regelbasiert und KI Tourismus Webauftritte von Unterkünften Adresse, Telefon, Preise, Bilder Lohnfertiger Websites von Lohnfertigern Adresse, Maschinen, Dimensionen

7 Classification - Allgemeines Strukturierte Daten in To CC From Date Message-ID Unstrukturierte Daten Betreff Inhalt (Freitext, HTML) Anhänge (Typ, Inhalt)

8 Classification - Kategorisierungspläne Hauptkategorien Es wurden geschäftsorientierte Kategorisierungspläne entwickelt (in Summe 28). Unterkategorien für Kundenkommunikation Für jeden Fall wurde definiert, welche Information aus welchem Feld mit welcher Methodik geholt werden kann / muss. Für jeden Fall wurden dann mögliche Folgeaktionen vorgestellt.

9 Classification - Folgeaktionen bezogen Integration in andere Systeme Finden von Zusammenhängen weitere

10 Classification Enterprise Content Management IBM ECM -Server Content Collection Records Management Advanced Classification Electronic Discovery 4

11 Classification mit IBM-Tools [1] IBM Content Collector (ICC) Automatisches Sammeln und Weitergeben von Datenobjekten (u.a. s) sehr flexibel einsetzbar (verschiedenste Quell- und Speichersysteme) Drehscheibe für alle weiteren Module vermeidet Duplikate IBM Enterprise Content Management (ECM) FileNet, P8, CM8

12 Classification mit IBM-Tools [2] IBM Classification Module (ICM) Natural Language Processing für 18 Sprachen, analysiert Freitext regelbasiert, Decision Plans aber auch trainierbar, learn by example vielseitig einsetz- und integrierbar (innerhalb der IBM-Werkzeuge, aber auch in andere Software)

13 Classification mit IBM-Tools [3] IBM Classification Module (ICM) s -Felder (To, Subject, Content, Attachment) werden zu entsprechenden Content-Fields Diese können dann in Rules und Decision Plans explizit angesprochen werden Reguläre Ausdrücke und vordefinierte Phrasen können importiert und eingesetzt werden Metadaten, Annotationen (weitere Content-Fields) können generiert und in späteren Entscheidungen oder anderen Anwendungen verwendet werden Eine learn by example - Klassifikation kann in den Decision Plan mit aufgenommen werden Alle zuvor definierten Use-Cases können mit diesen Mechanismen realisiert werden.

14 Zusammenfassung Das automatische Verstehen einer und das darauf folgende automatische Setzen der richtigen Aktionen (incl. Verknüpfen mit anderen Daten) ist technisch gesehen für einem großen Teil der Fälle gelöst und kann die Effizienz und Compliance im Unternehmen wesentlich verbessern. Die IBM-Werkzeuge, im Besonderen der ICC (IBM Content Collector) und das ICM (IBM Classification Module) sind in diese Richtung sehr mächtig und absolut tauglich. Sie unterstützen vor allem den Information Life Cycle (Aktionen setzen, Datenverknüpfung, Datenspeicherung, Archivierung).