Social Media Analytics: Automatische Analyse von Hotelbewertungen

Transkript

1 Social Media Analytics: Automatische Analyse von Hotelbewertungen - Anwendungsbericht bei HRS Hotel Reservation Service - Dr. Kornél Markó, Averbis GmbH Dr. Katrin Tomanek, Averbis GmbH Oliver Juwig, HRS Hotel Reservation Service

2 Ausblick HRS ist bekannter Marktführer für Hotelreservierungen in Deutschland Nach Abschluss einer Hotelübernachtung können die Nutzer Bewertungen (strukturiert oder in Textform) im Portal abgeben Bei der Auswahl von Hotels werden zunehmend diese Meinungen anderer Reisender zu Rate gezogen Ziel ist es, diese Nutzerbewertungen strukturiert für eine einfache Übersicht aufzubereiten Es kommt eine spezielle Software zum Einsatz, um diese Hotelbewertungen in großen Mengen automatisch auszuwerten und einzelne Aussagen hinsichtlich ihrer Polarität (positiv/negativ) zu bewerten.

3 HRS Das Hotelportal Europas führendes Hotelportal für Geschäfts- und Privatreisen 40 Jahre Erfahrung (1972 gegründet) und seit 1995 im Internet Ca. 600 Mitarbeiter weltweit Mehr als Hotels aller Kategorien in 180 Ländern Rund drei Millionen Hotelbewertungen von HRS Gästen Durchschnittlich zehn Millionen Besuche pro Monat Mehr als Unternehmen als Firmenkunden Über Vertriebspartner/Affiliates empfehlen HRS Zahlreiche Innovationspreise und klarer Testsieger in Vergleichstests 3

4 Über Averbis Gründung: 2007, inhabergeführte und eigenfinanzierte GmbH Standort: Freiburg im Breisgau Mitarbeiter: Team aus Domänen- und IT-Experten, Computerlinguisten Fokus: Textanalyse: Erschließung unstrukturierter Informationen - Firmeninterne Daten - Patentanalyse - Wissenschaftliche Publikationen - User Generated Content Branchen derzeit: Gesundheit, Pharma, Automotive, Verlage & Bibliotheken

5 Textanalyse Methoden zur Verarbeitung von elektronisch gespeicherten Freitexten Linguistische Analyse statt Betrachtung von Zeichenketten Morphologische Analyse (Wortebene) Syntaxanalyse (Satzebene) kombiniert mit Methoden maschinellen Lernens Information Retrieval Suchmaschinen Information Extraction Extrahieren von Fakten aus Freitexten, Strukturierung Text Mining Generierung von neuem Wissen durch Analyse großer Dokumentenbestände Verschlagwortung Vergabe von Schüsselwörtern Abgleich mit kontrollierten Vokabularien Textklassifikation Zuweisung von Kategorien

6 Ausgangslage Nutzer des HRS Portals sollen relevante Bewertungen effizient identifizieren können Bewertungstexte sollen bestimmten Themen zugeordnet werden Z.B. Übersicht zur Sauberkeit, gemittelt aus allen Bewertungstexten Ermöglichung des Vergleichs von mehreren Hotels untereinander: Welches Hotel wurde von den meisten Besuchern positiv/negativ bewertet? Welche sind die Kategorien, durch die sich ein Hotel besonders von den anderen abhebt? Nimmt die bewertete Qualität/Kategorie für ein bestimmtes Hotel mit der Zeit zu oder ab?

7 Ausgangslage

8 Ausgangslage

9 Ausgangslage

10 Einordnung Zweistufige Klassifikation der Bewertungen nach Kategorie(n) ( Multilabel -Klassifikation) nach Sentiment / Stimmung (positiv/negativ) Wörter der Klassenbeschreibung entsprechen nicht denen der Bewertung Staub wischen Sauberkeit des Zimmers Modellierung von Assoziationen Maschinelles Lernen

11 Umsetzung Einsatz einer Software zur Textanalyse: Linguistik/Semantik und Umgang mit ungrammatischen Eingaben Frei definierbares, mehrstufiges Kategoriensystem, z.b. Hotelatmosphäre Freundlichkeit Sauberkeit Ermittlung der jeweiligen Polarität positiv negativ Methoden des Maschinellen Lernens

12 Maschinelles Lernen Ein statistisches Modell wird trainiert aus intellektuell vorkategorisierten Daten Trainingsdaten Ca. 100 bis 300 pro Kategorie Gelerntes Modell wird auf bisher unbekannte Daten angewandt Ermittlung einer Konfidenz

13 Maschinelles Lernen Korpus Maschinelles Lernen Kategorien Wort 1 Wort 2 Wort 3 Wort 4 Wort 5 Wort n w1 w2 Kategorie 1 Kategorie 2 Kategorie 3 Kategorie 4 Kategorie 5 Kategorie m > ~ Herausforderung: Großer Merkmalsraum, widersprüchliche Daten, Ausreißer Ziel: Sinnvolle Verkleinerung und Aggregation des Merkmalraums mittels Linguistik und Semantik

14 Maschinelles Lernen Korpus Maschinelles Lernen Kategorien Zimmer offenbar kürzlich renoviert helle Möblierung Kunsstoffoberflächen w1 w2 Kategorie 1 Kategorie 2 Kategorie 3 Kategorie 4 Kategorie 5 Kategorie m Unser Zimmer war offenbar erst kürzlich renoviert worden, helle Möblierung mit Kunststoffoberflächen, wandmontierter moderner Flachbild-TV. Die Matratzen wirken ebenfalls neu, flach und fest. 2 Ablagen für Koffer,

15 Linguistik: Grammatik

16 Linguistik: Wortformen

17 Semantik: Terminologie

18 Semantik: Terminologie

19 Maschinelles Lernen Korpus Maschinelles Lernen Kategorien Zimmer offenbar kürzlich renoviert helle Möblierung Kunsstoffoberflächen zimmer renovier hell moebel kunststoff oberflaech w1 w2 Kategorie 1 Kategorie 2 Kategorie 3 Kategorie 4 Kategorie 5 Kategorie m Unser Zimmer war offenbar erst kürzlich renoviert worden, helle Möblierung mit Kunststoffoberflächen, wandmontierter moderner Flachbild-TV. Die Matratzen wirken ebenfalls neu, flach und fest. 2 Ablagen für Koffer,

20 Kurzinfo SVM Support Vector Machines Merkmale ( Wörter ) werden in einen Vektor überführt Ermittlung der Trennebene Bestimmung der Distanz Multi-Label Erweiterung Berücksichtigung im Training Weitere Lernverfahren werden unterstützt

21 Training

22 Training Freitextsuche Filter Bewertungstext und Kategorien Klassifikation & Training

23 Training

24 Klassifizierung

25 Mehrsprachigkeit

26 Active Learning Trainiere Bewertungen mit den niedrigsten Konfidenzen / Kategorie

27 Zusammenfassung 1 3 2

28 Evaluation 10-fache Kreuzvalidierung auf vorklassifizierten Daten Spezifische Kategorien: hohe Performanz, oft um 90% Precision / 80% Recall Durchschnitt: 88% Precision, 74 %Recall Unspezifische Kategorien: wenige Trainingsbeispiele bei sehr vielfältigen Formulierungen

29 Performanz nach Kategorie

30 Unspezifische Kategorien Kategorie Atmosphäre eigentlich nur eine Schlafburg 1001 Nacht wurde wahr! Kam mir vor wie in einem Zugabteil auch im Hotel wurde von Betrunkenen um gegrölt Claustrophobic corridors and thin walls between rooms

31 Performanz nach Polarität 92 % Korrektheit auf Dokumentenebene Für Lärmempfindliche ist zu bemerken, dass die Zimmer zur Plaza Augusti bei geöffnetem Fenster eine stetige Geräuschkulisse bieten durch ein gemütliches Bistro neben dem Hotel (allerdings auch ein großer Pluspunkt, bis spät in die Nacht gibt es Essen und Getränke, wenn andere schon längst geschlossen haben), Müllentsorge-Fahrzeuge und Menschen, die noch umherlaufen... Die Fenster sind allerdings völlig dicht, eine funktionierende Klimaanlage vorhanden. Polarität der Bewertung durch Nutzer: Negativ System: Kategorie Zimmer/Ausstattung Positiv (Klimaanlage) Kategorie Gastronomie Positiv Kategorie Lautstärke Negativ

32 Aggregation Mittelung über alle Einzelbewertungen (> 1.000) Intuitive und übersichtliche Darstellung für den Nutzer Freundlichkeit Sauberkeit Frühstück Atmosphäre 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Erreichbarkeit Ausstattung Preis WC Betten Badezimmer Lautstärke

33 Vielen Dank! Bei Interesse und weiteren Fragen wenden Sie sich bitte an: Dr. Kornél Markó