Für das Text Mining wichtige Grundbegriffe sind Text, Information und Wissen. Diese Begriffe werden näher erläutert:

Transkript

1 1 1 Wissen und Text * Text ist ein bedeutender Wissensrohstoff, der im Zeitalter des Internet in großen Mengen in digitaler Form zur Verfügung steht. Mit Hilfe von Text Mining kann das in Texten enthaltene Wissen strukturiert und teilweise automatisch extrahiert werden. Zunächst werden der Begriff des Text Mining präzisiert und seine Anwendungen skizziert: Wissensbaustein»Text Mining«(S. 1) Für das Text Mining wichtige Grundbegriffe sind Text, Information und Wissen. Diese Begriffe werden näher erläutert: Wissensbaustein»Aufbau & Struktur von Text«(S. 7) Text Mining ist eine wichtige Form der Wissensakquisition. Die Bezüge des Text Mining zum semantischen Web und der Tradition der Wissensakquisition in der Künstlichen Intelligenz werden skizziert: Wissensbaustein»Wissensverarbeitung gestern & heute«(s. 12) 1.1 Text Mining * Text repräsentiert Wissen. Im Unterschied zu den strukturierten Daten einer Datenbank stellen Texte unstrukturierte Daten dar. Mit Hilfe von Text Mining- Werkzeugen können aus digital vorliegenden Texten neue und relevante sachliche und inhaltliche Zusammenhänge extrahiert werden. Text Mining basiert auf statistischen und musterbasierten Verfahren und erlaubt innovative Anwendungen im Wissensmanagement. Wissensmanagement und Text Mining Auf allen Ebenen der Wertschöpfungsketten spielt der gezielte Umgang mit Wissen eine zunehmend wichtige Rolle für die Effektivität und Effizienz von insbesondere mittleren und großen Unternehmen.

2 2 1 Wissen und Text * Wissen Der Terminus Wissen bezeichnet dabei die meist auf Erfahrung beruhende und objektiv nachprüfbare Kenntnis von Fakten und Zusammenhängen eines Weltausschnitts, die Personen zur Lösung von Problemen einsetzen. Wissensmanagement Aufgabe des Wissensmanagements ist es, das Wissen der in einem Unternehmen beschäftigten Personen, das für einen Erfolg des Unternehmens relevant ist, zu erfassen, zu strukturieren und zum Nutzen des Unternehmens einzusetzen. Zu den konkreten Aufgaben des Wissensmanagements gehören dabei (vgl. /Krogh, Venzin 95/) Erschließen von Wissen (Erfahrungen, Best Practices) für alle, die dieses Wissen im Rahmen ihrer organisatorischen Rolle benötigen, Verfügbarmachen von Wissen am Ort und zur Zeit der Entscheidung, Erleichtern des effektiven und effizienten Entwickelns von neuem Wissen, Sicherstellen, dass jeder in der Organisation weiß, wo Wissen verfügbar ist, und Umsetzen dieser Kompetenzen in neue Produkte und Dienstleistungen. Beispiele In der Praxis findet sich kritisches Wissen besonders in den Bereichen: Herstellung von Produkten, frühzeitige Erkennung von Technologietrends, Angebot von Dienstleistungen, effektive Qualitätskontrolle, Ausfindigmachen der günstigsten und zuverlässigsten Zulieferer, Analyse des Marktes und der Vertriebswege, Optimierung von Betriebsabläufen. Eine Lösung dieser Aufgaben erfordert einerseits den Einsatz innovativer Methoden des Managements, wobei organisatorische Aspekte im Vordergrund stehen (vgl. /Bullinger et al. 00, S /). Sie kann und sollte andererseits aber auch den Einsatz innovativer Techniken invol-

3 1.1 Text Mining * 3 vieren /Bodendorf 03/. Von besonderem Interesse sind hierbei Techniken, mit deren Hilfe der Wissensrohstoff Text für das Wissensmanagement besonderes effizient genutzt werden kann. Sofern das für die erfolgreiche Durchführung eines Arbeitsschritts verfügbare Wissen dokumentiert ist, findet es sich meist in Form von Texten. Dabei gewinnen digital vorliegende Texte als Informationsquelle stetig an Bedeutung. Im Internet veranschlagt man einen Zuwachs von ca. 1 Million neuer Dokumente pro Tag! Im Unterschied zu Daten in einer Datenbank, die einem vorgegebenen Schema entsprechend strukturiert sind (für dessen Entwicklung meist ein großer Aufwand erforderlich ist), sind jedoch Texte inhaltlich nicht strukturiert: Im Text selber wird nicht hervorgehoben, welches die Schlüsselbegriffe oder Grundkonzepte der Anwendung sind, welche inhaltlichen Beziehungen zwischen diesen bestehen und wie bestimmte Textabschnitte in Bezug auf die Schlüsselbegriffe einzuordnen sind. Um nun das Wissen, das in einem Text enthalten ist, zu extrahieren, muss der Text zunächst in folgendem Sinne strukturiert werden: Die für die Anwendung charakteristischen Grundkonzepte müssen Texte als Informationsquelle Vergleich zu Daten Text Mining identifiziert, in einen systematischen Zusammenhang gebracht und instantiiert werden. Dies ist eine Verstehensleistung, die wir als Menschen gelernt haben, intuitiv zu erbringen. Mit dem Terminus Text Mining werden computergestützte Verfahren für die semantische Analyse von Texten bezeichnet, welche die automatische bzw. semi-automatische Strukturierung von Texten, insbesondere sehr großen Mengen von Texten, unterstützen. Definition

4 4 1 Wissen und Text * Der englische Begriff Mining bedeutet Bergbau. Wie beim Bergbau der Boden erkundet, erforscht, untersucht und sondiert wird, werden beim Data Mining Daten untersucht und beim Text Mining Texte exploriert. Text Mining und Text Mining-Werkzeuge Für den Begriff Text Mining hat sich in der Literatur noch keine einheitliche Definition durchgesetzt, vgl. /Berry 03/, /Mehler, Wolff 05/, /Doerre et al. 01/, /Franke et al. 03/, /Meier, Beckh 00/ und /Witten, Eibe 01/. Nach der oben gegebenen Definition umfasst Text Mining eine Gruppe methodischer Ansätze, um Texte zu strukturieren und damit neue und relevante Informationen zu extrahieren. Als Grundlage dienen vor allem statistische und musterbasierte Verfahren. Bei den statistischen Verfahren werden Texten unter Ausnut- zung sprachstatistischer Gesetzmäßigkeiten nach verschiedenen Kriterien relevante Merkmale zugeordnet. Auf der Grundlage von sog. Differenzanalysen des verwendeten Vokabulars werden relevante fachspezifische Begriffe identifiziert (vgl. Wissensbaustein»Differenzanalyse«(S. 95)). Mit Hilfe von sog. Kookkurrenzanalysen und der Analyse statistisch signifikanter Merkmale in Texten, einschließlich Cluster-Analysen, lassen sich semantische Abhängigkeiten zwischen Begriffen berechnen. statistische Verfahren Beispiel musterbasierte Verfahren Im Wissensbaustein»Beispielanalysen von zwei Textsammlungen«(S. 278) wird u.a. ein Fachtext aus der Finanzbuchhaltung mit Text Mining-Verfahren analysiert. Die Analyse zeigt, dass z.b. der Terminus»Auftrag«für diese Anwendung charakteristisch ist. Darüber hinaus bestehen in der Anwendungswelt der Finanzbuchhaltung semantische Abhängigkeiten zwischen dem Terminus»Auftrag«und den Termini»Lieferung«,»Ware«,»Kosten«und»Kostenstelle«. Bei den musterbasierten Verfahren werden innerhalb vorgegebener Texte weitgehend allgemeingültige und relevante Muster herausgefunden und Texte bzw. Textpassagen anhand von vorher festgelegten Mustern identifiziert.

5 1.1 Text Mining * 5 Personennamen, Produktnamen oder Firmennamen folgen meist bestimmten Mustern. So besteht der Name einer Person meist aus einer <Anrede>, einem optionalen <Titel>, einem <Vornamen> und einem <Nachnamen>. (Alle in spitzen Klammern stehenden Markierungen, so genannte Tags, können jeweils selbst weiter strukturiert sein). Beispiele Durch die Strukturierung von Text ermöglichen Text Mining- Werkzeuge Anfragen auf unstrukturierten Daten. Dabei kann im Unterschied zu einer Datenbankabfrage das Zugriffsergebnis nicht einfach geholt werden, sondern muss erst noch in einer geeigneten Weise interpretiert werden. Dies ist besonders dann der Fall, wenn durch den Einsatz von Text Mining-Werkzeugen in den untersuchten Texten sachliche und inhaltliche Zusammenhänge offen gelegt werden sollen. Werkzeuge Den Zusammenhang zwischen strukturierten und unstrukturierten Daten einerseits sowie der Art des Zugriffsergebnisses andererseits verdeutlicht die Tab Strukturierte Daten Unstrukturierte Daten Zugriffsergebnis zu holen Datenabfrage Datenbank-Systeme Inhaltsabfrage Suchmaschinen, Dokumenten- management- Systeme Zugriffsergebnis zu interpretieren Datenanfrage Data Mining- Werkzeuge Inhaltsanfrage Text Mining- Werkzeuge Tab : Systematik des Data und Text Mining. Was leistet Text Mining? Die wesentlichen Komponenten des Text Mining lassen sich anhand eines am Lehrstuhl für Automatische Sprachverarbeitung der Universität Leipzig entwickelten Basisverfahrens für Text Mining verdeutlichen. Aus einer Sammlung von vorgegebenen Texten, die auf einen Anwendungsbereich bezogen und inhaltlich zusammenhän-

6 6 1 Wissen und Text * gend sein sollten, wird zunächst eine projektspezifische linguistische Datenbank erstellt. Für die Speicherung von Texten unterschiedlichen Formats werden die Texte zunächst konvertiert sowie in Sätze und Wörter zerlegt. Danach werden unter Anwendung statistischer und musterbasierter Verfahren, bei denen nach Bedarf linguistisches Wissen zur Anwendung kommt, inhaltliche Zusammenhänge zwischen den Konzepten der Texte berechnet. Das Ergebnis der Analysen ist eine relationale Datenbank, die für weitergehende Auswertungsschritte zur Verfügung steht. Die Abb verdeutlicht das grundlegende Ablaufschema. Text- Eingabe Speicher- Ebene Statistische & Linguistische Analyse Anwendungen Text DLDB HTML Clustering, Klassifikation ASCII Text- Datenbank Statistische Analyse Linguistische Analyse Indizierung, Termextraktion XML... ALDB Visualisierung Legende: DLDB = Domänenspezifische linguistische Datenbank ALDB = Allgemeine linguistische Datenbank (Referenzwortschatz) Abb : Ablaufschema der Auswertungsschritte zum Aufbau der relationalen Datenbank. Text Mining- Anwendungen Funktional eignet sich Text Mining hauptsächlich dazu, die für eine Anwendungsdomäne relevanten und spezifischen Fachausdrücke zu identifizieren, semantische Relationen zwischen einzelnen Ausdrücken zu berechnen und damit inhaltliche Strukturen in Texten offenzulegen,

7 1.2Aufbau&StrukturvonText** 7 Ähnlichkeiten zwischen Begriffen zu finden, ähnliche Dokumente zu identifizieren, Definitionen, Erläuterungen und Referenzen in Texten aufzufinden. Anwendungsmöglichkeiten von Text Mining Text Mining ist ein zukunftsträchtiger Ansatz zur Bewältigung von wesentlichen Teilaufgaben des Wissensmanagements. Im Mittelpunkt steht dabei eine explorative Analyse von Texten, mit denen die Arbeitsproduktivität von Fachkräften in wissensintensiven Wertschöpfungsketten erhöht werden kann. Seine praktische Relevanz für unterschiedliche Anwendungen im Unternehmen ist häufig in folgenden Anwendungsfeldern gegeben: effiziente und hochselektive Recherche in Textbeständen, automatische Filterung und Verteilung von Nachrichten (z.b. s oder andere Dokumente, klassifiziert nach Themengruppen oder Schlüsselbegriffen), automatischer Aufbau von firmen- oder fachspezifischen Glossaren und Thesauren (Synonymwörterbüchern), teilautomatische Erstellung von semantischen Netzen für das Wissensmanagement (Erstellung einer inhaltlichen Struktur des Unternehmens). 1.2 Aufbau und Struktur von Text ** Text repräsentiert Wissen und stellt insofern eine wesentliche Grundlage der Wissensverarbeitung dar. Ein Text besteht aus Wortformen, die ihrerseits aus den Buchstaben eines Alphabets bestehen. Die Wortformen und Sätze eines Textes stellen informationstheoretisch gesehen zunächst einfach nur Daten dar. Werden diese Daten interpretiert (mit Bezug auf ein vorher festgelegtes Interpretationsschema), dann werden die Daten zu Informationen. Werden Informationen mit anderen Informationen vernetzt und zur Lösung von Problemen eingesetzt, dann werden sie als Wis-

8 8 1 Wissen und Text * sen bezeichnet. Die intendierte Nutzung eines Textes lässt sich oft anhand externer Merkmale dieses Textes erkennen. Text repräsentiert Wissen Seit den Anfängen der Schriftsprache in unserem Kulturkreis dient Text dazu, Wissen festzuhalten, zu bearbeiten und weiterzugeben. Text ist die Grundlage der Wissensverarbeitung. Ein Text ist strukturiert und besteht aus Sätzen, die nach Art und Zweck des Textes zu größeren Einheiten zusammengefasst werden (Absätze, Abschnitte, Kapitel), vgl. /Lissmann 01/. Textsorten Die Vielfalt der Textsorten, die Wissen vermitteln, ist groß. Hierzu zählen u.a. wissenschaftliche Aufsätze, Fachbücher, enzyklopädische Nachschlagewerke und Lexika, technische Dokumentationen, Benutzerhandbücher und Produktbeschreibungen, Normen, Gesetze, Kommentare und Verträge, Organisationsanweisungen, Korrespondenzen. Text als Wissensrohstoff geschriebenes Wort Allen Texten für die Vermittlung von Wissen ist gemeinsam, dass durch die Verwendung einer geschriebenen Sprache Wissen repräsentiert wird. Im Folgenden wird Text als Wissensrohstoff betrachtet, aus dem mit Hilfe von Verfahren der»automatischen Sprachverarbeitung«das im Text enthaltene Wissen extrahiert und aufbereitet werden kann. Als Grundlage hierfür wird zunächst das Verhältnis von Text und Wissen im Allgemeinen beschrieben. Zeichen, Nachricht, Information Ein Text besteht aus Wortformen und Wortformen bestehen aus Buchstaben (einschließlich Leer- und Sonderzeichen sowie Ziffern). Letztlich ist ein Text eine Aneinanderreihung von Zeichen, also eine Zeichenkette (siehe dazu auch Wissensbaustein»Linguistische Ebenen«(S. 323)).

9 1.2Aufbau&StrukturvonText** 9 Jeder sinnvolle Text repräsentiert eine Menge von Aussagen, die intuitiv als Wissen bezeichnet werden. Allerdings erschließt sich dieses Wissen erst, wenn man den Text (in einem bestimmten Sinne) verstanden hat. Das aber setzt voraus, dass zunächst die Zeichenketten des Textes semantisch richtig verstanden worden sind. Man betrachtet zur Verdeutlichung den folgenden Text, einen Auszug aus der Firmengeschichte des finnischen Mobilfunkherstellers Nokia ( nokia/tietoayhtiosta/historia/historia\_lyhyesti.html): Beispiel Keväällä 1992 Nokia vahvisti asemaansa kulutuselektroniikka-markkinoilla hankkimalla omistukseensa televisioita valmistavan Finluxin. Nokian tietoliikennekaapeliteollisuus vahvistui, kun yhtymään kuuluva hollantilainen NKF osti saksalaisen Philips Kommunikations Industrien kaapeliliiketoiminnan elokuussa luvun aikana Nokia on keskittynyt pääliiketoimintaansa tietoliikenteeseen luopumalla tietotekniikasta ja perusteollisuudesta. Vuonna 1995 Nokia myi osuutensa Nokia Kaapelista NKF:lle ja vuonna 1996 Turun televisiotuotannon ja Bochumin televisiotehtaan tuotantovälineet hongkongilaiselle Semi-Tech (Global) Company Limitedille. Nykyään Nokiaan kuuluu kaksi toimialaryhmää: Nokia Networks ja Nokia Mobile Phones sekä erillinen Nokia Ventures Organization ja yhtymän tutkimusyksikkö Nokia Research Center. Wenn Sie des Finnischen nicht mächtig sind, werden Sie sich schwer tun, den Text zu verstehen. Intuitiv sind einzelne Zeichenketten zu erkennen, von denen anzunehmen ist, dass sie im Deutschen eine ähnliche Bedeutung haben, z.b.»nokia«,»1992«,»bochumin«usw. Insgesamt aber ist nicht erkennbar, welche Aussagen der Text enthält, sofern Sie den Text nicht im engeren Sinne verstehen. Um Wissen aus einem Text extrahieren zu können, müssen zunächst semantische Relationen zwischen den Zeichenketten erkannt werden. Dies kann weitgehend automatisch erfolgen. Wesentliche Verfahren hierfür sind sprach- vom Text zum Wissen

10 10 1 Wissen und Text * statistische Verfahren, Clustering-Verfahren (Cluster-Analyse) und musterbasierte Verfahren. Sie werden in folgenden Gruppierungen behandelt: Wissensbaustein»Sprachstatistik«(S. 85) Wissensbaustein»Clustering «(S. 195) Wissensbaustein»Musteranalyse«(S. 227) Grundbegriffe Zeichen sind Elemente eines endlichen, geordneten Zei- chenvorrats, Alphabet genannt. Durch Ordnungsregeln (insbesondere eine Grammatik) lassen sich Zeichen zu Zeichenketten kombinieren. Eine nach vorher festgelegten Regeln zusammengestellte, endliche Folge von Zeichen und Zuständen, die eine Information vermittelt, bezeichnet man als Nachricht. Eine Nachricht zusammen mit ihrer Bedeutung für den Empfänger ist eine Information. vom Zeichen zur Information von Signalen zu Daten Beispiel Im Folgenden werden die hierfür erforderlichen informationstheoretischen Grundbegriffe behandelt. Die theoretische Grundlage für die automatische Verarbeitung von Zeichen und Informationen ist die Informationstheorie (/Bauer, Goos 91/, /Shannon, Weaver 49/). Physikalisch werden Zeichen als Signale zwischen einem Sender und Empfänger ausgetauscht. Charakteristisch für die moderne Informatik ist dabei die Verwendung digitaler Signale, d.h. Signale, deren Signalhöhe nur eine begrenzte Anzahl von Werten, meist nur die zwei Werte»an«oder»aus«, annehmen kann. Die so ausgetauschten Nachrichten werden als Daten bezeichnet. Daten sind also noch nicht interpretierte Zeichen bzw. Zeichenfolgen, die erst durch die Herstellung eines Interpretationsbezugs zu Informationen werden. Welche Information wird durch die binäre Zeichenfolge ausgedrückt? Damit diese Zeichenfolge eine Information erhält, muss zunächst festgelegt werden, ob sie beispielsweise als Binärzahl, als ASCII-codiertes Zeichen oder als Assembleranweisung interpretiert werden soll. Die konkrete Bedeutung der Zeichenfolge erschließt sich erst, wenn der Interpretationsbezug festgelegt worden ist.