Opinion Mining. Eine Einführung in den Themenkomplex. Autoren: Florian Kalisch (236865)

Transkript

1 Opinion Mining Eine Einführung in den Themenkomplex Autoren: Florian Kalisch (236865) Betreuerin: Prof. Dr. Monika Frey-Luxemburger Professorin der Hochschule Furtwangen University WS 2011/ Februar 2012 Application Architectures Modul: Data Warehousing und Business Intelligence

2 2

3 Zusammenfassung Der Forschungsbereich des Opinion Mining ist aktuell starker Nachfrage unterworfen und birgt ein hohes Potenzial für Unternehmen. Diese Arbeit gibt eine Einführung in das nötige Hintergrundwissen, welches für das Verständnis der Opinion Mining Methoden nötig ist. Im Anschluss wird die Struktur von zwei Plattformen zur Meinungsäußerung untersucht. Der Schwerpunkt dieser Ausarbeitung liegt auf der Darstellung der Grundlagen und Methodiken des Opinion Mining. Danach erfolgt die Dokumentation der praktischen Umsetzung und ein Fazit. Stichworte: Opinion Mining, Sentiment Analysis, Sentiment Detection, Potenziale des Internet, Prototyp, Assoziationsanalyse

4

5 Inhaltsverzeichnis iii Inhaltsverzeichnis Abstract i Inhaltsverzeichnis iii Abbildungsverzeichnis vi Tabellenverzeichnis viii Stichwortverzeichnis x Abkürzzungsverzeichnis xi 1 Einleitung 1 2 Hintergrundwissen Natural Language Processing Verfahren Annotation von Texten Data Mining Einführung Assoziationsanalyse Text Mining Einführung Plattformen zur Meinungsäußerung Produktbewertungsplattformen Twitter Sentiment Analysis Einführung Grundlagen Terminologien

6 iv Inhaltsverzeichnis Definition einer Meinung Verfahren mit hohem Automationspotenzial Document Sentiment Classification Aspect-Based Opinion Mining Alternativer Crowd Sourcing Ansatz Der Prototyp Anforderungen Evaluation möglicher Tools Scrapy Natural Language Toolkit Rapid Miner Umgesetzte Teile des Prototypen Aufgabendefinition Dokumentenselektion Fazit 30 Index 31 Literatur 32

7

8 vi Abbildungsverzeichnis Abbildungsverzeichnis 1 Job Trends from Indeed.com Knowledge Discovery in Databases Assoziationsanalyse Der Text Mining Prozess Produktbewertungsplattform ciao.de Produktbewertungsplattform amazon.de Inhalte von Tweets Komplexe Darstellung der Basiseinheiten Vereinfachte Darstellung der Basiseinheiten Meinungspolarität Automatische Klassifizierung Automatische Klassifizierung Scrapy Architektur NLTK Programmpakete Einblick in RapidMiner

9

10 viii Tabellenverzeichnis Tabellenverzeichnis 1 POS Beispieltags

11

12 x Stichwortverzeichnis Stichwortverzeichnis Annotation Bei einer Annotation handelt es sich um ein Hinzufügen von Information zu einem Objekt innerhalb des betrachteten Kontextes. Diese zusätzlichen Informationen können als Metadaten angesehen werden. Cluster In der Informatik wird unter einem Cluster eine Gruppe von ähnlichen Datenobjekten verstanden. Hidden Markov-Modelle HHM stellen eine stochastische Annäherung an Sprache dar. Korpus Korpus stellt ein Synonym für Textkorpus dar. Review Eine von einem Kunden verfasste und auf einer Produktbewertungsplattform veröffentlichte Kundenmeinung in Bezug auf ein Produkt oder sonstiges Objekt. Tag Das Tag 12 kann als Zuordnung einer Kategorie zu einem Objekt angesehen werden, wie es z.b. im Rahmen einer Annotation geschieht. Textkorpus Ein Textkorpus stellt eine Sammlung von Texten zur Beschreibung einer spezifischen Sprache dar. 12 angelehnt an tag (engl.), was in diesem Kontext mit Anhängeschild übersetzt werden kann

13 Abkürzzungsverzeichnis xi Abkürzungsverzeichnis BI Business Intelligence CI Competitive Intelligence DW Data Warehouse HMM Hidden Markov-Modelle IR Information Retrieval KDD Knowledge Discovery in Databases NLP Natural Language Processing NLTK Natural Language Toolkit POS Part-of-Speech 13 STTS Stuttgart-Tübingen Tagset TEI Text Encoding Initiative YALE Yet Another Learning Environment 13 engl. für Wortart

14 Einleitung 1 1 Einleitung Früher lag das Hauptaugenmerk in Unternehmen hauptsächlich auf sogenannten strukturierten Daten, welche zur Verarbeitung vorgehalten wurden. Dabei helfen Analysen, aus den gespeicherten Daten einen Mehrwert für das Unternehmen zu generieren. Mit dem rasanten Zuwachs an Textdaten sowohl innerhalb eines Unternehmens, als auch im World Wide Web, gewinnen diese eine immer wichtigere Bedeutung. Mittlerweile stellen diese einen wichtigen Teil der Data Warehouse (DW) 2.0 Architektur dar [Inmon et al., 2008, S. 310], bei welcher der Fokus jedoch noch immer auf den unternehmensinternen Daten liegt. Die Verwaltung, Bereitstellung und Analyse dieser Daten fällt in den Aufgabenbereich der Business Intelligence (BI). Die Competitive Intelligence (CI) richtet den Fokus auf die unternehmensexternen Daten, obgleich die internen Daten mit einbezogen werden. Das Ziel besteht in der Erreichung eines Wettbewerbsvorteils durch Beobachtung von Konkurrenzunternehmen. Der dieser Arbeit zugrunde liegende Bereich ist das Opinion Mining, welches zwischen der BI und CI einzuordnen ist. Hierbei besteht die Zielsetzung, einen Wettbewerbsvorteil für das eigene Unternehmen durch die systematische Beobachtung der Meinungen von Kunden im Internet zu erreichen. Abbildung 1 zeigt einen Einblick in den aktuellen Arbeitsmarkt. Dabei steht der prozentuale Zuwachs an relevanten Stellenangeboten in den Bereichen Data Mining, Text Mining und Opinion Mining im Vordergrund. Während beim Data Mining keine großen Schwankungen festzustellen sind, liegt dem Text Mining und vorallem dem Opinion Mining eine große Dynamik zugrunde. Gerade das Opinion Mining ist aktuell stark im Wachstum. 14 [Indeed.com, 2012]

15 2 Hintergrundwissen Abb. 1: Job Trends from Indeed.com 14 2 Hintergrundwissen 2.1 Natural Language Processing Verfahren Innerhalb des Natural Language Processing (NLP) existieren verschiedene Verfahren zur Analyse von Text. Diese werden nachfolgend aufgelistet und sind angelehnt an [Hammer, 2010]. Morphologische Analyse Bei der morphologischen Analyse werden einzelne Worte und ihre Wortformen untersucht. Diese gliedert sich auf in: ˆ Tokenisierung: Das Ziel der Tokenisierung besteht in der Auftrennung von Sätzen in einzelne Wörter. Als Trenner (delimiter) können Leerzeichen, Tabulatoren und Zeilenumbrüche dienen. ˆ Stammreduktion der Wörter: Die Stammreduktion, welche nach der Tokenisierung ausgeführt wird, reduziert die einzelnen Worte auf ihren Wortstamm. Dabei kann der morphologische oder lexikalische Stamm das Ziel sein. Gerade bei Text Mining Anwendungen ist dies ein wichtiger Schritt, da so der semantische Zusammenhang besser erfasst werden

16 Hintergrundwissen 3 kann. ˆ Finden von Satzgrenzen: Das Finden von Satzgrenzen dient der Erkennung, wo ein Satz aufhört und ein neuer anfängt. Auch wenn die Vermutung nahe liegt, dass dies eine triviale Aufgabe ist, so wird der Vorgang verkompliziert durch die Tatsache, dass (als Beispiel) der Punkt als Interpunktionszeichen zwar ein Satzende markiert, er jedoch auch innerhalb einer Zahl (z.b. als Dezimaltrennzeichen) auftauchen kann. Syntaktische Analyse ˆ Part-of-Speech Tagging: Beim Part-of-Speech (POS) Tagging geht es grundsätzlich um die Zuteilung eines Wortes zu seiner Wortform. Dieser Vorgang, auch Annotation von Texten genannt, ist ein wichtiger Vorverarbeitungsschritt des Opinion Mining und wird daher in Kapitel ausführlich beschrieben. ˆ Phrase Recognition: Aufbauen auf der POS Annotation, können auch funktionale Phrasen erkannt werden. Folgende Phrasen sind denkbar: Nominalphrasen Verbphrasen Adverbialphrasen Adjektivphrasen Präpositionalphrasen ˆ Parsing: Das Parsing baut auf dem POS Tagging auf, bringt jedoch noch mehr Informationen mit ein. So erfolgt eine Zuordnung der Wörter zu ihrer Stellung im Satz (Subjekt, Prädikat, Objekt).

17 4 Hintergrundwissen Semantische Analyse Die semantische Analyse stellt das aufwändigste Verfahren dar. Dabei wird der Sinn und die Bedeutung der von Sprache analysiert. Eine Aufgabe aus diesem Bereich ist die Erkennung von Doppeldeutigkeiten von Worten. So kann herausgefunden werden, ob die Bedeutung des Worts Bank im Textkontext die Sitzgelegenheit oder das Geldinstitut ist Annotation von Texten Die Annotation von Texten verfolgt das Ziel, den Wörtern, aus welchen der betrachtete Text besteht, bestimme Kategorien zuzuordnen. Diese Kategorien kommen in der Praxis in Form von standardisierten Tags zum Einsatz. Der Prozess dieser Annotation wird auch als tagging bezeichnet. Meist geschieht diese Kategorisierung in Form der Zuordnung zwischen Wort und grammatikalischen Form (Wortart), welche dann auch POS Tags genannt werden. Eine in der Praxis gebräuchliche Sammlung von POS Tags stellt das Stuttgart-Tübingen Tagset (STTS) dar. [Heyer et al., 2006, S ] Das STTS orientiert sich der Text Encoding Initiative (TEI) 15, welche Richtlinien und Standards für Textannotationen vorgibt und weist eine hierarchische Struktur auf, welche in Form von definiert angeordneten Buchstabensequenzen vorliegt. In Leserichtung ist jedes Tag so unterteilt, dass man vom Allgemeinen (Hauptwortart) zum Speziellen (Unterwortart) gelangt. Insgesamt sind 54 Tags definiert. [Schiller et al., 1999, S. 4 5] Die Tabelle 1 auf Seite 5 gibt einen Einblick, wie diese Tags aussehen. Daraus lässt sich folgender Beispielsatz aufstellen. Kaffeetassen[NN],[$,] T-Shirts,[$,] Videobänder[NN] und[kon] Bierdeckel[NN] lassen[vvfin] sich[prf] als[appr] Erinnerung[NN] an[appr] das[art] berüchtigte [ADJA] Gefängnis[NN] von[appr] Alcatraz[NE] mit[appr] nach[appr] Hause[NN] nehmen[vvinf] [$.] [Heyer et al., 2006, S ] POS getaggte Wörter beinhalten mehr Informationen als unstrukturierter Text, jedoch kann das Taggen schneller und genauer ausgeführt werden, als durch ein volles syntak- 15

18 Hintergrundwissen 5 Tag Bedeutung ADJA attributives Adjektiv APPR Präposition; Zirkumposition links ART bestimmter oder unbestimmter Artikel KON nebengeordnete Konjunktion NN Nomen NE Eigennamen PRF reflexives Personalpronomen VVFIN finites Verb, voll VVINF Infinitiv, voll $, Komma $. Satzbeendende Interpunktion Tabelle 1: POS Beispieltags tisches Parsen. Somit stellen sie einen guten Kompromiss zwischen Genaauigkeit und Nutzwert dar. [Dale et al., 2000, S. 403] Beim Vorgang des Taggens treten zweierlei Probleme auf ( [Dale et al., 2000, S. 404]): 1. Wörter können (je nach Kontext) zu mehreren POS Klassen gehören 2. Neue Wörter können entstehen bzw. noch nicht getagged worden sein Für das Taggen von Wörtern können, ausgehend von einem Trainingskorpus, Hidden Markov-Modelle (HMM) zur Kategorisierung nicht getaggter Wörter verwendet werden. Dabei lässt sich eine Genauigkeit von etwa 97% erreichen. [Heyer et al., 2006, S. 133] Für die deutsche Sprache bietet sich der Negra-Korpus 16 an, welcher aktuell in der Version 2 aus Wörtern besteht. Im englischsprachigen Raum ist das Penn Treebank Tagset stark verbreitet. 2.2 Data Mining Einführung Der Bereich des Data Mining ist im Zusammenhand mit dem Begriff des Knowledge Discovery in Databases (KDD) zu sehen. Während sich Data Mining im eigentlichen 16

19 6 Hintergrundwissen Sinne lediglich auf die Analyse von Daten bezieht, so umfasst der Begriff des KDD einen Prozess, welcher zusätzlich die Auswahl, Aufbereitung, Festlegung und Interpretation enthält. Dabei wird das Ziel verfolgt, aus den anfallenden Unternehmensdaten einen wirtschaftlich entscheidenden Vorteil für Unternehmen zu gewinnen. So können diese zur Gewinnung eines besseren Kundenverständnisses dienen. Aus den Kassentransaktionsdaten eines Handelsunternehmens lassen sich beispielsweise Verbundsbeziehungen zwischen verkauften Artikeln herstellen und aus diesen Maßnahmen zur Erhöhung der Kundenbindung ableiten. Diese könnten darin bestehen, dass Verbundartikel nahe beieinander platziert werden. Der KDD dient somit zur Aufdeckung von Auffälligkeiten (Beziehungen) in Daten. Diese müssen für einen Großteil der Daten gelten und unbekannte, als auch nützliche, Zusammenhänge aufdecken. Dabei wird aus dem implizit in den Daten vorliegenden Wissen, explizites Wissen abgeleitet. [Chamoni and Gluchowski, 2006] In der Praxis hat sich der Begriff des Data Mining als eine synonyme Bezeichnung für den Prozess des KDD etabliert [Fayyad et al., 1996]. Innerhalb des KDD fließen mehrere Forschungsrichtungen ein, wie Abbildung 2 verdeutlicht. Abb. 2: Knowledge Discovery in Databases 17 Das nachfolgende Unterkapitel setzt den Fokus ausschließlich auf das maschinelle Lernen und beschreibt ein elementares Verfahren, welches für das Verständnis der aspekt- 17 [Chamoni and Gluchowski, 2006, S. 245]

20 Hintergrundwissen 7 basierten Sentiment Analysis aus Kapitel benötigt wird Assoziationsanalyse Die Assoziationsanalyse operiert auf einem vorhandenen Datenbestand und verfolgt das Ziel, Regeln zwischen den einzelnen Datensätzen des Datenbestands aufzustellen. Unter den sogenannten Items werden Elemente des Datensatzes verstanden, welche als Ausprägungen der Attributwerte eines Datensatzes angesehen werden können. Eine Regel wird von einem Datensatz unterstützt, wenn dieser die Items der Regel enthält. Eine Regel besteht aus einem ersten Teil, der Prämisse, sowie einem zweitel Teil, der Konklusion oder auch Schlussfolgerung. [Chamoni and Gluchowski, 2006] Nachfolgend ist ein Beispiel für solch eine Regel abgebildet. Wenn Item A im Datensatz auftritt, dann kommt auch Item B vor. Zwei wichtige Begrifflichkeiten im Kontext der Assoziationsanalyse. 1. Support einer Regel: Bezeichnet das Verhältnis der unterstützten Datensätze zur Anzahl der Gesamtdatensätze. 2. Konfidenz einer Regel: Bezeichnet das Verhältnis zwischen Anzahl der Datensätze, auf die die Prämisse zutrifft, zur Anzahl der Datensätze, auf die die Konklusion zutrifft. Diese Begrifflichkeiten verdeutlicht Abbildung 3. Die Erzeugung der Regeln setzt voraus, dass ein Mindestsupport, als auch eine Mindestkonfidenz definiert wurden. Die eigentliche Regelerzeugung geschieht dann in zwei Phasen [Chamoni and Gluchowski, 2006]: 1. Erzeugung aller Kombinationen von Items, bei denen die Mindestsupportschranke überschritten wird. 2. Im Anschluss werden für jede dieser Kombinationen Regeln generiert, bei denen die Mindestkonfidenz überschritten wird. 18 [Chamoni and Gluchowski, 2006, S. 277]

21 8 Hintergrundwissen Abb. 3: Assoziationsanalyse Text Mining Einführung Text Mining operiert, im Gegensatz zum Data Mining, auf unstrukturierten bzw. je nach Dokumententyp auch semistrukturierten Daten. Es basiert dabei auf statistischen sowie musterbasierten Verfahren. [Heyer et al., 2006] In der Praxis hat sich ein Text Mining Prozess etabliert, welcher in Abbildung 4 dargestellt ist und nachfolgend erläutert wird. Abb. 4: Der Text Mining Prozess Aufgabendefinition: Dieser Schritt umfasst die Definition der Problemstellung und die Ableitung der Ziele, welche für das Text Mining gelten sollen. 2. Dokumentenselektion: Nach der Festlegung der Ziele muss die Auswahl der potenziellen Dokumente 19 angelehnt an [Hippner and Rentzmann, 2006]

22 Hintergrundwissen 9 erfolgen. Dieser Teilschritt ist dem Information Retrieval (IR) zugeordnet. 3. Dokumentenaufbereitung: Die Dokumentenaufbereitung verfolgt das Ziel, den un- bzw. semistrukturierten Daten eine Struktur zu verleihen. Dies ist dem Forschungsbereich des NLP zuzuordnen. Der Untersuchungsschwerpunkt liegt dabei auf der algorithmischen Verarbeitung von natürlicher Sprache. Dabei können folgende, BEREITS BE- SCHRIEBENENE, Verfahren zum Einsatz kommen. ˆ Morphologische Analyse ˆ Syntaktische Analyse ˆ Semantische Analyse 4. (Text) Mining Methoden: Nachdem den textuellen Daten eine Struktur verliehen wurde, können klassische Verfahren des Data Mining (maschinellen Lernens), wie beispielsweise die Assoziationsanalyse (siehe 2.2.2), angewendet werden. 5. Interpretation / Evaluation: Die Ergebnisse des Text Mining werden gefiltert und bewertet. 6. Anwendung: Abschließend können die Ergebnisse für konkrete Anwendungszwecke verwendet werden.

23 10 Plattformen zur Meinungsäußerung 3 Plattformen zur Meinungsäußerung 3.1 Produktbewertungsplattformen Produktbewertungsplattformen bieten Benutzern von Online-Shops einerseits die Möglichkeit selbst gemachte Erfahrungen mit Produkten anderen Personen mitzuteilen, als auch sich selbst über Produkte zu informieren. Die Beschreibung der Erfahrung liegt dann in Form eines sogenannten Reviews vor. Es existieren zwei Hauptarten, wie solche Reviews gestaltet sein können [Liu, 2011, S ] Format 1 - Pros, Cons und das detaillierte Review: Der Ersteller des Reviews wird aufgefordert, in knapper Form, die wichtigsten Pros und Contras separat zu beschreiben, sowie ein detaillierten Erfahrungsbericht zu beschreiben. Ein Beispiel stellt die Plattform ciao.de dar, von welcher ein beispielhaftes Review in Abbildung 5 zu sehen ist. Format 2 - Freies Format: Der Ersteller des Reviews kann einen freien Text verfassen und wird nicht dazu angehalten, die Pros und Cons separat darzustellen. Ein Beispiel stellt die Plattform amazon.de dar, von welcher ein beispielhaftes Review in Abbildung 6 zu sehen ist. Abb. 5: Produktbewertungsplattform ciao.de iphone 4S 16GB Test

24 Plattformen zur Meinungsäußerung 11 Abb. 6: Produktbewertungsplattform amazon.de Twitter Bei Twitter handelt es sich um einen Dienst, welcher unter die Kategorie Microblogging fällt. Wie der Name dieses Genres bereits vermuten lässt, werden die Eigenschaften von Weblogs mit der Festlegung auf eine gewisse Zeichenlänge (Vorsilbe Micro- ) vereint. Somit sind Benutzer zwar in der Länge ihrer Äußerungen eingeschränkt, jedoch werden sie gleichzeitig zu einer prägnanten Meinungsäußerung gezwungen. Twitter besteht einerseits aus Funktionen, welche durch die Plattform an sich zur Verfügung gestellt werden, als auch aus einer gewissen Semantik, welche innerhalb der zu sendenden Nachrichten (Tweets) Verwendung finden. Die folgende Auflistung, welche an [Herwig et al.,, S.4-5] angelehnt ist, stellt die wichtigsten Features, vor allem in Hinblick auf den Einsatz beim Opinion Mining, vor. Kommunikationsgestaltung 1. Öffentliche Antworten (@-reply genannt): Diese Art von Nachricht dient dazu, einem Benutzer eine Mitteilung, welche öffentlich einsehbar ist, zukommen zu lassen. Dazu muss innerhalb des Nachrichtentextes die auftauchen. 2. Lesezeichen (favorites): Jeder Benutzer besitzt die Möglichkeit, Nachrichten, welche sein Interesse besonders erwecken bzw. die er für sehr Interessant hält, als Favorit zu kennzeichnen. Dadurch wird der Tweet seinem Profil unter dem Menüpunkt Favoriten, welche auch öffentlich einsehbar sind, hinzugefügt. Externe Dienste wie Favotter oder

25 12 Plattformen zur Meinungsäußerung Favstar wiederum werten diese allgemein zugänglichen Favoriten aus und können so die beliebtesten Nachrichten identifizieren. 3. Listen: Die Möglichkeit der Anlage von Listen existiert erst seit Ende Oktober Eine List fasst mehrere Profile zu einer Gruppe zusammen. Der Vorteil besteht darin, dass die Nachrichten der Gruppe nur dann angezeigt werden, wenn die Liste eingesehen wird. Es ist dadurch nicht nötig, ein Leser der betreffenden Person zu werden (ihm zu followen). Listen anderer Benutzer kann auch gefolgt werden. 4. Retweeting: Da Twitter umgekehrt chronologisch organisiert ist, werden die neusten Nachrichten an oberster Stelle angezeigt. Ältere Beiträge weichen den neueren Updates. Das Retweeten bezeichnet den Vorgang des Kopierens einer älteren Nachricht und deren erneuter Post mit Hinweis auf den ur-sprünglichen Autor. Dies verlängert die Zirkulationsdauer eines Tweets, was dazu führt, dass der Beitrag länger sichtbar bleibt und damit mehr Leser erreicht. 5. Hashtags: Während die Punkte 1 bis 4 in das Twitter Userinterface integriert sind und somit per se für jeden Benutzer ersichtlich, so handelt es sich bei den sogenannten Hashtags lediglich um eine Konvention, welche sich mit der Zeit durch die begrenzte Anzahl an Zeichen herausgebildet hat. Das Wort setzt sich einerseits aus hash (engl. Raute) und tag (engl. für Etikett bzw. to tag engl. für etwas markieren) zusammen. Diese Kennzeichnung führt zu einer Klassifizierung des Beitrags. 22

26 Sentiment Analysis 13 Abb. 7: Inhalte von Tweets 22 4 Sentiment Analysis 4.1 Einführung Die Sentiment Analyse ist ein sehr breit gefasstes Forschungsgebiet, welches sich der Disziplinen Statistik, NLP, Text Mining, Maschinelles Lernen sowie auch Teilbereichen des Data Mining bedient. Bei Recherchen im Internet zu diesem Themenkomplex stößt man auf die Begrifflichkeiten Opinion Mining, Sentiment Analysis und Sentiment Detection, welche im Sinne der Meinungsextraktion als synonym zueinader anzusehen sind. Zur Entwicklung einer genaueren Vorstellung dieses Forschungsgebietes ist es dienlich, die Definitionen der Wörter Sentiment als auch Opinion genauer zu betrachten. Angelehnt an [[F9, 1997, S. 738] bezeichnet das Sentiment ein Gefühl bzw. eine Empfindung oder Gefühlsäußerung in Bezug auf eine bestimmte Sache. Das Wort Opinion 23 wiederum, beschreibt laut [Scholze-Stubenrecht, 1999, S. 2556] die persönlichen Ansichten, Überzeugungen bzw. Einstellungen in Bezug auf ein Objekt. Stellt man diese beiden Begriffe in Bezug zueinander, so ist erkennbar, dass beide in diesem Kontext zusammen betrachtet werden müssen. Ausgehend von den Meinungen einer Person in Bezug auf ein bestimmtes Objekt, können positive, negative oder auch neutrale Ansichten auftre- 23 engl. für die Meinung

27 14 Sentiment Analysis ten, welche wiederum Rückschlüsse auf die Empfindung der Person in Bezug auf das Objekt erlauben. Durch die enorme Bedeutung für die Praxis ist mittlerweile ein starker Zuwachs an Forschung im akademischen und wirtschaftlichen Bereich zu verzeichnen. So gab es in den USA im Jahr 2010 bereits ca. 30 Firmen, welche Dienste zur Sentiment Analyse anboten. [Indurkhya and Damerau, 2010, S ] Texte können, bezogen auf den Schwerpunkt der Meinungsextraktion, aus folgenden zwei Kategorien bestehen: Fakten: Als Fakten werden objektive Aussagen gegenüber einem Objekt oder dessen Eigenschaften angesehen. Meinungen: Unter Meinungen sind, angelehnt an [Scholze-Stubenrecht, 1999, S. 2556], zu verstehen. 4.2 Grundlagen Terminologien Im Bereich des Opinion Mining gibt es verschiedene Begrifflichkeiten, welche in diesem Unterkapitel anhand von Ontologien definiert werden. Die komplexe Darstellung aus Abbildung 8 stellt eine sehr detaillierte Beschreibung dar. Eine Entität ist ein Zielobjekt, zu welchem Meinungen ausgedrückt werden können. Eine solche Entität kann beispielsweise ein Produkt, eine Dienstleistung, eine Organisation, etc. sein. Weiterhin existieren Komponenten und Attribute. Eine Entität kann wiederum Komponenten besitzen und im Fall eines Smartphones könnten diese Komponenten zum Beispiel der Screen oder die Battery sein. Attribute können zu Komponenten oder aber der Entität selbst existieren und sind beispielsweise Gewicht oder Akkulaufzeit. Eine Meinung kann zur Entität, zu einer Komponente oder zu einem Attribut ausgedrückt werden. Da diese komplexe Untergliederung den Problembereich zu stark verkompliziert, wird in der Praxis eine Vereinfachung vorgenommen, welche Abbildung 9 zeigt. Die Kompo-

28 Sentiment Analysis 15 Abb. 8: Komplexe Darstellung der Basiseinheiten nenten und Attribute werden zusammengeführt in den Begriff des Aspekts, welcher in früheren Publikationen noch als Feature definiert wurde. Eine Meinungsäußerung kann sich somit nur noch auf eine Entität oder einen Aspekt beziehen Definition einer Meinung Eine Meinung wird über ein sogenanntes Meinungsquadrupel definiert, welches in nachfolgender Formel (vgl. [Liu, 2011, S. 463]) dargestellt ist. Definition 1 [Allgemeines Meinungsquadrupel] (e i, a ij, oo ijkl, h k, t l ) (1) 4.3 Verfahren mit hohem Automationspotenzial Document Sentiment Classification Die Klassifikation der Stimmung auf Dokumentenebene kann dem generellen Problemfeld der Textklassifikation zugeordnet werden, bei welchem Dokumente, aufgrund der

29 16 Sentiment Analysis Abb. 9: Vereinfachte Darstellung der Basiseinheiten in ihnen enthaltenen Wörter, einer Kategorie zugeordnet werden. Die Document Sentiment Classification verfolgt dabei den Ansatz, die Gesamtmeinung eines Autors zu einer Entität zu ermitteln und diese beispielsweise den Klassen Positiv, Negativ oder Neutral zuzuteilen. Anstatt der Betrachtung von häufig vorkommenden Wörtern, welche für die jeweilige Klasse charakteristisch sind, muss der Fokus bei der Klassifikation von Meinungen auf den Meinungsworten liegen. Hierbei spielen einzelne Aspekte einer Entität eine untergeordnete Rolle, da diese als ein Teil einer Entität angesehen werden (vgl. Kapitel 4.2.1) und somit jede geäußerte Meinung in Bezug auf einen Aspekt auch als eine Meinung in Bezug auf die Entität angesehen werden kann. Nachfolgende Formel 2 (vgl. (vgl. [Liu, 2011, S. 469])), deren Form angelehnt an das allgemeine Meinungsquadrupel (vgl. Formel 1) bestehen bleibt, verdeutlicht dies, indem die Aspekte durch GEN ERAL verallgemeinert werden. Weiterhin werden folgende Vorannahmen getroffen, welche bei Produktbewertungsplattformen als erfüllt angesehen werden können: ˆ Eine einzelne Entität: Innerhalb des Dokuments treten nicht mehrere Entitäten auf.

30 Sentiment Analysis 17 ˆ Ein einzelner Meinungsäußerer: Das Dokument beinhaltet nur einen Meinungsäußerer. Definition 2 [Meinungsquadrupel für Document Sentiment Classification] (e, GENERAL, oo, h, t) (2) Unter Einbeziehung der vorangegangenen Vorannahmen ist ersichtlich, dass oo ijkl des allgemeinen Meinungsquadrupels zu oo vereinfacht werden kann, denn es existieren weder mehrere Entitäten, mehrere Meinungsäußerer oder Zeitpunkte, noch Aspekte Aspect-Based Opinion Mining Einführung Im Gegensatz zur Klassifikation der Stimmung auf Dokumentenebene soll mittels dem Aspect-Based Opinion Mining ein detaillierteres Verständnis entwickelt werden. Das Abstrahieren von Meinungen, welche zu einzelnen Aspekten geäußert wurden, hin zur allgemeineren Entität, kann dazu führen, dass das Dokument in die Klasse der positiven Meinung eingestuft wird, obwohl darin einige Aspekte als sehr negativ hervorgehoben werden. Das Wissen um diese negativ bewerteten Aspekte könnte von entscheidender Bedeutung sein, entfällt jedoch aufgrund der Abstraktion. Eine solche tiefgreifende Analyse erfordert umfangreiche Methoden des NLP und hat das allgemeine Meinungsquadrupel aus Formel 1 als Grundlage. Das definierte Ziel besteht darin, aus einem Dokument d alle Meinungsquadrupel zu extrahieren. Die grundlegende Herangehensweise soll mittels des nachfolgenden, fiktiven, Reviews und den folgenden fünf Schrittfolgen (vgl. [Liu, 2011, S ]) sowohl theoretisch als auch praktisch veranschaulicht werden: Fiktives Review

31 18 Sentiment Analysis Geschrieben von: SeelenPluecker am (1) Ich habe mir vor ein paar Tagen ein Motorola Tablet gekauft und meine Freundin sich ein Tablet von Apple. (2) Als wir daheim waren, testeten wir beide unsere Geräte. (3) Der Touchscreen meines Mot fühlte sich sehr träge an, während die Haptik jedoch sehr gut war. (4) Meine Freundin war sehr zufrieden mit ihrem Äpfelchen und dem Screen. (5) Ich möchte aber ein Tablet mit gutem Display. (6) Wahrscheinlich tausche ich es um. 1. Im ersten Schritt steht die Aufdeckung aller Entitäten und zugehöriger Ausdrücke im Vordergrund. Nachdem alle Entitäten sowie deren Ausdrücke gefunden wurden, sind diese in Cluster-Form zu gruppieren. Es ergibt sich der erste Teil des Meinungsquadrupels. (e i, a ij, oo ijkl, h k, t l ) Extrahierte Entitäten und zugehörige Ausdrücke: ˆ Entität: Motorola Ausdruck: Mot ˆ Entität: Apple Ausdruck: Äpfelchen 2. Analog zu vorangegangenem Schritt wird auch mit den Aspekten verfahren. Diese mitsamt ihren Ausdrücken müssen ebenfalls aufgedeckt und gruppiert werden. Damit ergibt sich der zweite Teil des Meinungsquadrupels (e i, a ij, oo ijkl, h k, t l ). Extrahierte Aspekte und zugehörige Ausdrücke: ˆ Aspekt: Display Ausdrücke: Screen, Touchscreen ˆ Entität: Haptik Ausdrücke: Keine alternative Ausdrucksweisen 3. Nachfolgend werden die Meinungsäußerer sowie Zeitpunkte ermittelt, welche die letzten beiden Teile des Meinungsquadrupels ergeben (e i, a ij, oo ijkl, h k, t l ). Extrahierte Meinungsäußerer sowie zugehöriges Datum: ˆ Meinungsäußerer: SeelenPluecker, Freundin von SeelenPluecker

32 Sentiment Analysis 19 ˆ Datum: Nachdem die Entitäten, Aspekte und deren jeweilige Ausdrucksformen ermittelt wurden, kann gezielt die auf diese geäußerte Meinung sowie Meinungspolarität ausfindig gemacht werden. Dies führt zum dritten und letzten fehlenden Teil des Meinungsquadrupels (e i, a ij, oo ijkl, h k, t l ). Extrahierte Meinungen: Der Satz Nr. 3 enthält Meinungsäußerungen in Bezug auf die nachfolgend dargestellten Aspekte: ˆ Negativ: Display des Motorola ˆ Positiv: Haptik des Motorola Satz Nr. 4 enthält Meinungen zu folgenden Aspekten: ˆ Positive Äußerung auf gesamtes Gerät ˆ Positiv: Display des Apple Tablets 5. Im Rahmen des fünften und letzten Teils dieser Schrittfolge können alle zuvor ermittelten Teile zusammengeführt werden, um alle möglichen Meinungsquadrupel zu generieren. Generierte Meinungsquadrupel: ˆ (Motorola, Display, Negativ, SeelenPluecker, ) ˆ (Motorola, Haptik, Positiv, SeelenPluecker, ) ˆ (Apple, Allgemein, Positiv, Freundin SeelenPluecker, ) ˆ (Apple, Display, Positiv, Freundin SeelenPluecker, ) Vorangegangene Beschreibung der allgemeinen Vorgehensweise führte bereits grob in die nötigen Teilschritte ein. Die zwei umfangreichsten Problembereiche dabei liegen einerseits in der Ermittlung der Aspekte, andererseits in der Klassifikation der ausgedrückten Meinungen zu den Aspekten. Einen Einblick in diese Bereiche geben die nachfolgenden Beschreibungen. Die maßgebliche Grundlagenforschung von Bing Liu und Minqing Hu betrieben und in [Hu and Liu, 2004a] und [Hu and Liu, 2004b]

33 20 Sentiment Analysis veröffentlicht. Als Vorverarbeitungsschritt wird ein POS Tagging durchgeführt, welches in den beschriebenen Veröffentlichungen um ein syntaktisches Tagging ergänzt wird, so dass auch Nominalphrasen und Verbphrasen annotiert werden. Extraktion von häufig vorkommenden Aspekten Die Extraktion von Aspekten umfasst sowohl die Extraktion von häufig vorkommenden Aspekten, als auch nicht häufig auftretende Aspekte. Die Aspekte können in expliziter Form, d.h. namentlich genannt, oder in impliziter Form, d.h. mit Worten umschrieben, vorkommen. Die Publikationen beschränken sich jedoch auf die explizite Form, da diese die überwiegende Mehrheit der Reviews ausmachen. 1. Extraktion von häufig vorkommenden Aspekten: Häufig auftretende Aspekte, d.h. Aspekte, welche in vielen Reviews auftauchen, werden über die Assoziationsanalyse (vgl. Kapitel 2.2.2) aufgedeckt. In diesem Kontext werden Worte oder zusammengehörende Phrasen als Itemsets angesehen. Hierbei wird ein Itemset als häufig angesehen, wenn es in mehr als 1% der Reviews auftaucht (Mindestsupport). Auf die zweite Phase der Assoziationsanalyse kann verzichtet werden. 2. Pruning der Aspekte: Nicht alle durch die Assoziationsanalyse gefundenen Aspekte sind wirklich optimal. Es existieren auch Aspekte, welche nicht von Interesse sind bzw. doppelt vorkommen. Das ist Aufgabe dieses Schritts. An dieser Stelle sei auf die Quelle [Hu and Liu, 2004b] verwiesen. Extraktion der Meinungsworte Für die Extraktion der Meinungsworten wird davon ausgegangen, dass diese in der Nähe der häufig vorkommenden Aspekten stehen. Dabei wird so vorgegangen, dass jeder Satz nach einem häufigen Aspekt untersucht wird. Taucht dieser auf, so wird das nächst liegende Adjektiv extrahiert, welches das Meinungswort darstellt. Extraktion von nicht häufig vorkommenden Aspekten Während die häufig vorkommenden Aspekte die interessantesten sind, da über diese am häufigsten gesprochen wird, können durchaus auch die nicht häufig vorkommenden

34 Sentiment Analysis 21 Aspekte von Interesse sein. Um diese zu finden, wird analog zur Methodik der Extraktion der Meinungsworte vorgegangen. Für jeden Satz wird untersucht, ob darin kein häufig vorkommender Aspekt auftaucht. Ist dies der Fall so wird analysiert, ob sich in diesem ein Meinungswort befindet. Sollt das der Fall sein, so wird das nächstliegende Nomen bzw. die nächst liegende Nominalphrase extrahiert, welche als nicht häufig vorkommender Aspekt angesehen werden kann. Feststellen der Polarität der Meinungsworte Für jedes gefundene Meinungswort muss dessen Polarität in Bezug auf die Klassen positive Meinungsäußerung oder negative Meinungsäußerung festgestellt werden. Ausgehend von einer fest stehenden Liste an bereits klassifizierten Meinungsworten, wird diese über die Synonym-Funktionalität von WordNET in jeder Klasse erweitert. Abbildung 10 gibt einen Einblick, wie solche vorklassifizierten Meinungsworte aussehen können. Abb. 10: Meinungspolarität [Hu and Liu, 2004a]

35 22 Sentiment Analysis 4.4 Alternativer Crowd Sourcing Ansatz Dieses Kapitel beschreibt eine weniger stark automatisierte Art zur Ermittlung von Kundenmeinungen. Die Beschreibung der automatisierten Verfahren aus Kapitel 4.3 lassen bereits auf die Komplexität des Problems schließen. Verfahren des maschinellen Lernens versuchen dabei die Fähigkeiten des menschlichen Gehirns nachzubilden, welche es dem Menschen ermöglichen, den Zusammenhang in Texten zu verstehen und damit die von einem Meinungsäußerer ausgedrückte Meinung sicher einer Meinungspolarität zuzuordnen. Der Ansatz des Crowd Sourcing verzichtet auf die Verfahren des maschinellen Lernens und deligiert die Aufgabe der Meinungsklassifizierung an Menschen. Ein möglicher Ansatz hierzu ist im Internet 25 beschrieben. Ein Vergleich zwischen manuell und automatisch klassifizierten Meinungen ist in [Ellis, 2011] beschreiben. Die automatische Klassifikation in Abbildung 11 zeigt eine sehr hohe Anzahl an neutralen Bewertungen, welche durch die manuelle Klassifikation in Abbildung 12 deutlich vermindert werden konnte und damit mehr Klassifizierungen in die Klassen positiv und negativ fallen. Abb. 11: Automatische Klassifizierung

36 Der Prototyp 23 Abb. 12: Automatische Klassifizierung 27 5 Der Prototyp 5.1 Anforderungen Die Intention hinter dem zu entwickelnden Prototypen bestand darin, das durch Recherche erarbeitete und in dieser Ausarbeitung vermittelte Grundlagenwissen anhand einer praktischen Umsetzung zu verdeutlichen. Aufgrund der Tatsache, dass der Themenkomplex des Opinion Mining als eine Schnittmenge von vielen verschiedenen Forschungsrichtungen angesehen werden kann und sich noch keine Best-Practices etabliert haben, ist eine flexible und brauchbare Umsetzung ein schwieriges Unterfangen. Aus diesem Grund sollen die nachfolgend beschriebenen Anforderungen an den Prototypen gelten. ˆ Halbautomatisches Crawling der Web-Seiten: Unter halbautomatisch ist hier zu verstehen, dass ein konkretes Produkt (iphone 4) bereits vorgegeben ist und die Links auf die Reviews der Amazon.de Seite, welche sich über mehrere Seiten erstrecken, manuell mitgegeben werden. ˆ Anwendung der beschriebenen Aspekt-Mining Technik ohne Optimierung der Ergebnisse.

37 24 Der Prototyp ˆ Festlegung auf Reviews, welche in der englischen Sprache verfasst sind, denn für diese existiert die größte Vielfalt an Tools. 5.2 Evaluation möglicher Tools Scrapy Bei dem Tool Scrapy handelt es sich um ein auf Python basierendes Framework für Web-Crawling und Screen-Scraping. Es wird zum Crawlen von Web-Seiten und der strukturierten Datenextraktion aus diesen verwendet. Abbildung 13 verdeutlicht die grundlegende und sehr flexible Architektur. Abb. 13: Scrapy Architektur 28 Die nachfolgende Auflistung, angelehnt an [scrapy.org, 2012], beschreibt die einzelnen Komponenten der Architektur. ˆ Scrapy Engine: 28 vgl.

38 Der Prototyp 25 Die Scrapy Engine koordiniert den Datenfluss zwischen den Komponenten innerhalb des Systems. ˆ Scheduler: Der Scheduler nimmt Anfragen entgegen und speichert diese zwischen. ˆ Downloader: Der Downloader lädt die Seiten und reicht diese weiter an die Engine, welche diese wiederum an die Spiders weiterreicht. ˆ Spiders: Spider sind benutzerdefinierte Klassen, welche die runtergeladenen Dateien parsen und darin enthaltene Daten Extrahieren. URLs zu neuen Seiten sind auch auslesbar. ˆ Item Pipeline: Die Item Pipeline ist dafür verantwortlich, dass Items verarbeitet werden, nachdem sie durch die Spider extrahiert wurden. Typische Aufgaben dabei sind die Bereinigung, Validierung und Persistierung der Daten. ˆ Downloader middlewares: Die Downloader Middleware sitzt zwischen der Engine und dem Downloader und verarbeitet Anfragen, wenn sie von der Engine zum Downloader weitergereicht werden. Hier besteht die Möglichkeit der Anpassung durch Benutzer. ˆ Spider middlewares: Die Spider Middleware sitzt zwischen der Engine und den Spidern und verarbeitet Anfragen sowie Ausgaben (Items). Das Scrapy Framework eignet sich sehr gut für das Crawling und Screen-Scraping von Webseiten, da es einfach in der Anwendung ist, jedoch keine Einschränkungen in Bezug auf die Flexibilität aufweist.

39 26 Der Prototyp Natural Language Toolkit Das Natural Language Toolkit (NLTK) stellt eine Bibliothek zur Erweiterung von Python dar. Es eignet sich hauptsächlich zur prototypischen Entwicklung in den Bereichen der Computerlinguistik und der Künstlichen Intelligenz. Mitgeliefert werden einige Beispieldaten, welche über den in Abbildung 14 dargestellten Dialog nachträglich installiert werden können. Abb. 14: NLTK Programmpakete Die Programmpakete umfassen umfangreiche Funktionalitäten zu den verschiedenen Verfahren des NLP (vgl ), sowie diverse Corpi, Grammatiken und Klassifikatoren Rapid Miner Rapid Miner entstand unter dem Namen Yet Another Learning Environment (YALE) am Lehrstuhl für künstliche Intelligenz an der Universität Dortmund im Jahr Über die Zeit wurde die Software immer beliebter. Seit dem Beginn der Entwicklung wurde die Software mehr als eine halbe Million heruntergeladen. Unter den vielen privaten Anwendern befanden sich auch Mitarbeiter von Unternehmen, welche einen Partner mit Kompetenz im Bereich der künstlichen Intelligenz für ihre Projekte suchten. Mit diesem Hintergrund wurde die Firma Rapid-I gegründet. Auf Grundlage von

40 Der Prototyp 27 XML-Dateien und einer Programmieroberfläche mit dem Vorteil der Grafischen Programmierung anhand von sogenannten Operatoren, werden die Prozessabläufe zur Problemlösung entwickelt. Rapid Miner deckt mit mehr als 500 Operatoren die Bereiche des Data Mining, Web Mining und Text Mining ab. [Rapid-I, 2010] Einen Einblick in die Programmoberfläche des RapidMiner gibt Abbildung 15. Abb. 15: Einblick in RapidMiner 5.3 Umgesetzte Teile des Prototypen Dieses Unterkapitel beschreibt, welche Teile des Prototypen umgesetzt wurden. Dazu wird anhand des Text Mining Prozesses aus Kapitel vorgegangen Aufgabendefinition Die Aufgabendefinition leitet sich aus den Anforderungen an den Prototypen ab. Die Aufgabendefinition lautet somit: ˆ Halbautomatische Extraktion von englischen Kundenmeinungen zum iphone 4 ˆ Vorbereitung der Daten für die Meinungsklassifikation auf Aspektebene ˆ Anwendung des Opinion Mining

41 28 Der Prototyp Die Beschränkung auf englische Kundenmeinungen dient dem Zweck der Vereinfachung, denn die verfügbaren Programmpakete des NLTK sind hauptsächlich auf die englische Sprache ausgelegt Dokumentenselektion Während der Dokumentenselektion erfolgte die Festlegung auf die Produktbewertungsplattform Amazon.com. Mehrere Versuche zur Datenextraktion umfasste dieser Teilschritt. 1. Nutzung der Amazon API: Amazon bietet eine API, die Product Advertising API 29, an, mit welcher der Zugriff auf Amazon E-Commerce Daten möglich ist. Die zugehörigen API-Schnittstellen für die Product-Reviews sind zwar noch vorhanden, liefern jedoch bei Aufruf keine Daten zurück. Der API liegt eine hohe Änderungsrate zugrunde. Nach einer Recherche in der sehr unklar gehaltenen Dokumentation war festzustellen, dass die Review-Daten nur noch mit dem Besitzt einer Amazon Partner-ID erhältlich sind und dann auch nur in Form von einer URL auf das Review. Da damit fast kein Vorteil mehr gegenüber von Web-Crawling und Web-Scraping besteht, wurde der nachfolgende Versuch gestartet. 2. Nutzung von Scrapy: Die Nutzung eines Frameworks für das Crawlen und Scrapen des Webs stellt einen universelleren Ansatz gegenüber den spezifischen APIs dar. In Scrapy wurde die Datenstruktur zur Speicherung (Item) definiert: 1 from scrapy. item import Item, Field 2 class AmazonItem ( Item ): 3 helpful = Field () 4 rating = Field () 5 title = Field () 6 reviewdate = Field () 7 author = Field () 8 producttoreview = Field () 9 review = Field () 29

42 Der Prototyp 29 Im Anschluss erfolgte die Definition eines Parsers, welcher im nachfolgenden Listing ausschnittsweise aufgelistet ist. 1 def parse (self, response ): 2 hxs = HtmlXPathSelector ( response ) 3 items = [] 4 for i in range (1,11,1): 5 item = AmazonItem () 6 item [ helpful ] = hxs.select ( // html // body // table [@id =\ productreviews \ ]// tr // td [1]// div[ + str(i) + ]/ div [1]/ text () ). extract () 7 items. append ( item ) 8 return items Das Web-Crawling ist über die Kommandozeile mit nachfolgendem Befehl startbar und ein Ausgabeformat kann gewählt werden. scrapy crawl amazon -o revitems.xml -t xml Die Datenextraktion durch Scrapy kann nur als teilweise erfolgreich angesehen werden, da die Amazon-Reviews ungenügende HTML-Struktur aufweisen. Die verwendeten, absoluten, XPATH-Angaben führen zu fehlerhaften Extraktionen, da erstes div Tag der Reviews unterschiedliches bedeuten kann. Wurde ein Review als hilfreich bewertet, so befindet sich im ersten DIV-Tag die Anzahl der Personen, die das Review hilfreich fanden. Andernfalls rücken die nachfolgenden Tags eine Stelle vor. Dieses Problem schien nicht ohne Weiteres behebbar, weswegen auf die manuelle Extraktion zurückgegriffen werden musste. 3. Manuelle Extraktion: Zum Schluss wurde auf die händische Extraktion zurückgegriffen. Aufgrund der Tatsache, dass der Prozess der Datenextraktion weit mehr Zeit in Anspruch genommen hatte, als geplant, musste die praktische Umsetzung des Prototypen an dieser Stelle angebrochen werden.

43 30 Fazit 6 Fazit Der Forschungsbereich des Opinion Mining ist gleichermaßen interessant und komplex. Er erfordert ein umfangreiches Wissen in den angrenzenden Disziplinen der Computerlinguistik, des Text Mining und des Data Mining. Das Part-Of-Speech Tagging stellt einen wichtigen Vorverarbeitungsschritt hin zum Opinion Mining dar. Plattformen zur Meinungsäußerung weisen unterschiedliche Strukturen auf, welche es gilt zu verstehen. Das eigentliche Opinion Mining untergliedert sich in die Klassifikation von ganzen Dokumenten in Bezug auf die darin geäußerte Meinung, als auch auf die Klassifikation von Meinungen, welche auf bestimmte Objekte der deren Eigenschaften ausgedrückt werden. Letztere Art der Meinungsklassifikation stellt die schwierigste, aber auch aussichtsreichste Form des Opinion Ming dar. Der Aufwand für eine eigene Implementierung ist nicht unerheblich und darf nicht unterschätzt werden. Zukünftig dürfen von diesem Forschungsgebiet noch viele Verbesserungen der Methodiken erwartet werden, welche den Nutzen für Unternehmen noch weiter steigern.

44 Index Annotation, 4 Assoziationsanalyse Konfidenz, 7 Support, 7 Faktum, 14 Hidden Markov Model, 5 HMM, siehe Hidden Markov Model Korpus Negra, 5 Trainings-, 5 Meinung, 14 Part of Speech, 4 POS, siehe Part of Speech Regel Konklusion, 7 Prämisse, 7 STTS, siehe Stuttgart Tübingen Tagset Stuttgart Tübingen Tagset, 4 Tag, 4 Textannotation, 4 31

45 32 Literatur Literatur [[F9, 1997] (1997). Fremdwörterbuch. Der Duden in 12 Bänden. [Chamoni and Gluchowski, 2006] Chamoni, P. and Gluchowski, P. (2006). Analytische Informationssysteme: Business Intelligence-Technologien und -Anwendungen. Springer-Verlag., Berlin Heidelberg. [Dale et al., 2000] Dale, R., Moisl, H. L., and Somers, H. L. (2000). Handbook of natural language processing. Marcel Dekker, New York. [Ellis, 2011] Ellis, J. (2011). Did you say great!, or oh great!? [Fayyad et al., 1996] Fayyad, U., Piatetsky-Shapiro, G., and Smyth, P. (1996). From data mining to knowledge discovery in databases. AI Magazine, (17): [Hammer, 2010] Hammer, T. (2010). Opinion und Relationship Mining in sozialen Netzwerken: Extraktion von Meinungen und Beziehungen mittels Textmining und sozialer Netzwerkanalyse. VDM Verlag Dr. Müller, Saarbrücken, neue ausg. edition. [Herwig et al., ] Herwig, J., Kittenberger, A., Nentwich, M., and Schmirmund, J. Microblogging und die wissenschaft. das beispiel twitter. steckbrief 4 im rahmen des rojekts interactive science. [Heyer et al., 2006] Heyer, G., Quasthoff, U., and Wittig, T. (2006). Text Mining: Wissensrohstoff Text: Konzepte, Algorithmen, Ergebnisse. W3L-Verl, Herdecke [u.a.]. [Hippner and Rentzmann, 2006] Hippner, H. and Rentzmann, R. (2006). Text mining. Informatik-Spektrum, 29: [Hu and Liu, 2004a] Hu, M. and Liu, B. (2004a). Mining and summarizing customer reviews. In KDD 04: Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining, pages , New York and NY and USA. ACM.

46 Literatur 33 [Hu and Liu, 2004b] Hu, M. and Liu, B. (2004b). Mining opinion features in customer reviews. In Proceedings of the 19th National Conference on Artificial Intelligence (AAAI 04). [Indeed.com, 2012] Indeed.com ( ). Job trends from indeed.com. [Indurkhya and Damerau, 2010] Indurkhya, N. and Damerau, F. J. (2010). Handbook of natural language processing. Chapman & Hall/CRC, Boca Raton and FL. [Inmon et al., 2008] Inmon, W. H., Neushloss, G., and Strauss, D. (2008). DW 2.0: The architecture for the next generation of data warehousing. Kaufmann, Amsterdam [u.a.]. [Liu, 2011] Liu, B. (2011). Web data mining: Exploring hyperlinks, contents, and usage data. Springer e-books. [Rapid-I, 2010] Rapid-I (2010). Rapidminer 5.0: Benutzerhandbuch. [Schiller et al., 1999] Schiller, A., Teufel, S., Stöckert, C., and Thielen, C. (August 1999). Guidlines für das tagging deutscher textcorpa mit stts: Kleines und großes tagset. [Scholze-Stubenrecht, 1999] Scholze-Stubenrecht, W. (1999). Duden. Dudenverlag, Mannheim and and Leipzig and and Wien [etc], 3 edition. [scrapy.org, 2012] scrapy.org ( ). Architecture overview.