Qualitätskriterien für Social-Media-/Web- Monitoring 1

Transkript

1 Qualitätskriterien für Social-Media-/Web- Monitoring 1 - Nutzen optimieren, Enttäuschungen vermeiden - Dr. Heinz van Deelen, Vorstand der Consline AG 2 Abstract. In Foren, Blogs und Social Media veröffentlichte Meinungen sind von unschätzbarem Wert für die Optimierung von Produkten, Services und Marketingmaßnahmen. Für die Erfassung und Analyse eingesetzte Tools und Methoden weisen jedoch erhebliche Qualitätsunterschiede auf. Die Erwartungen an den Nutzen für das Management werden dadurch vielfach enttäuscht. Auf Basis jahrelanger Erfahrungen stellt Dr. van Deelen Qualitätskriterien für managementgerechtes Social-Media/Web- Monitoring in der Praxis vor. 1. Hintergrund: Web-Monitoring als technischorganisatorische Herausforderung Das Internet hat sich in den letzten Jahren zunehmend vom reinen Informationsmedium zu einer universellen, globalen Kommunikationsplattform weiterentwickelt (Web 2.0). Nicht nur Firmen und professionelle Redaktionen veröffentlichen heute Inhalte, vielmehr wird eine Masse von 1 Synonym verwandte Begriffe sind u.a. Weblog-Monitoring, Internet-Monitoring oder Social Media Measurement. Im Folgenden Text wird nur noch von Web- Monitoring gesprochen. 2 Consline AG, Leonrodstr. 68, München; contact@consline.com; Tel:

2 neuen Inhalten von Privatpersonen ins Netz gestellt. Benutzt werden dazu leicht bedienbare Blog-, Foren- und Portalwebsites sowie als Social Media bezeichnete Plattformen wie Facebook, Google+, YouTube und Twitter. Web-Monitoring dient dazu, diese enorm verteilten und unstrukturierten Webinhalte zu erfassen, zu analysieren, die wesentlichen Erkenntnisse zu extrahieren und i.d.r. für Managementzwecke nutzbar zu machen. Dabei umfasst Web-Monitoring grundsätzlich alle Quellen (professionelle und private Autoren), alle Formate (Text, Bilder, Video, Audio) sowie in einer global vernetzten Welt alle Sprachen 3. Angesichts der Datenfülle und Milliarden von Nutzern im Internet macht diese Beschreibung die technisch-organisatorische Herausforderung von Web-Monitoring deutlich. 2. Aufgaben und Ziele von Web-Monitoring Im Internet veröffentlichte Inhalte beeinflussen zunehmend unsere Meinungsbildung und unser Handeln. Verschiedene Marktforschungsstudien belegen, dass im Internet veröffentlichte Meinungen und Empfehlungen unsere Kaufentscheidungen massiv beeinflussen. Vorwiegend Unternehmen, die konsumnahe Produkte und Dienste anbieten (B2C z.b. Automobil-, Handels- oder Energiesektor), haben daher ein Interesse daran, die im Internet veröffentlichten Meinungen über ihr Unternehmen, ihre Produkte und Dienste genau zu kennen. Die Kernaufgaben und Ziele von Web-Monitoring für Unternehmen sind: Erkennen von Stärken und Schwächen auch im Wettbewerbsvergleich Analyse von Ursache-Wirkungsbeziehungen Früherkennung kritischer Ereignisse Messung der Wirkung und Bekanntheit von Unternehmensaktivitäten/-botschaften Dabei bildet Web-Monitoring meistens eine Ergänzung zu anderen 3 Explizit nicht zum Web-Monitoring gehören private Inhalte, die der Nutzer nicht oder nur für einen beschränkten Nutzerkreis veröffentlichen möchte (z.b. Privatseiten bei Facebook oder Google+).

3 Instrumenten wie klassische Marktforschung, Beschwerdemanagement oder Qualitätsstatistiken. 3. Web-Monitoring: Ideal und Realität Ein ideales Web-Monitoring wäre ein Realtimeprozess, der alle relevanten Inhalte identifiziert, in einem über alle Quellen und Inhalte vergleichbaren, neuen Format strukturiert, für Statistik- und Management- Zwecke inhaltlich codiert und ggf. in eine Anwendersprache übersetzt. Ich gehe davon aus, dass nicht einmal die Geheimdienste dieser Welt über eine derartige Technologie verfügen. Google kann es jedenfalls nicht, wie Anwender von Google Alerts bestätigen werden. In der Realität erfolgt Web-Monitoring durch iterative, heuristische Prozesse, die mehr oder weniger durch Software und Menschen gesteuert werden. Unabhängig von der Aufgabenverteilung zwischen Software und Mensch besteht der Web-Monitoring-Prozess prinzipiell aus folgenden Schritten und Bestandteilen, wobei häufig fehlende Schritte und Bestandteile fett markiert sind: 1. Quellensetup/-aktualisierung (und Quellentransparenz - fehlt häufig) 2. Inhaltsselektion (z.b. nach Stichworten oder Themen) 3. Relevanzbewertung* (fehlt häufig) 4. Tonalitätsbewertung* 5. Inhaltscodierung* (fehlt häufig) 6. Analyse/Statistik 7. Zusammenfassung (fehlt häufig) 8. Empfehlungen (optional) Tab. 1: Prinzipielle Prozessschritte und Bestandteile beim Web-Monitoring * einschließlich Zerlegung der Inhalte in einzelne Aussagen 4 (fehlt häufig) 4 S. Erläuterung im folgenden Text.

4 Dabei bilden die Schritte Quellensetup, Inhaltsselektion, Tonalitätsbewertung und Statistik eine typische Basisvorgehensweise, die häufig in sogenannten Web-Monitoring Tools als reine Softwarelösung angeboten werden. Allein mit diesen Basisschritten können jedoch die oben genannten Aufgaben von Web-Monitoring nicht erfüllt werden, da für die Nutzbarkeit der Ergebnisse unverzichtbar die Komponenten Relevanzbewertung, Inhaltscodierung und Zusammenfassung hinzukommen müssen. Da einzelne Nutzerbeiträge (Messages) häufig mehrere Aussagen (Statements) beinhalten, die hinsichtlich Inhalt, Relevanz und Tonalität völlig unterschiedlich sein können, ist eine Zerlegung der Inhalte ebenfalls unverzichtbar für die Nutzbarkeit von Web-Monitoring. Dazu ein erläuterndes Beispiel: Ein Nutzer schreibt in einem Forum folgenden Beitrag (= Message): Ich finde das Design des neuen BMW 3er sehr schön, aber die Preise sind zu hoch. In dieser Message sind zwei Aussagen (= Statements) in unterschiedlichen Kategorien und mit unterschiedlicher Tonalität enthalten: 1. Der neue BMW 3er ist sehr schön (Kategorie Design; Tonalität positiv) und 2. Der Preis für den neuen BMW 3er ist zu hoch (Kategorie Preis; Tonalität negativ). Dieses Beispiel macht deutlich, dass eine Kategorisierung und Tonalitätsbewertung pauschal für den ganzen Beitrag, also ohne Aufteilung in die einzelnen Statements, nicht sinnvoll ist. Zusätzlich ist auch eine nach Statements differenzierte Relevanzbewertung erforderlich, da die Aussagen völlig unterschiedliche Bedeutung bzw. Dringlichkeit für das nutzende Unternehmen haben können.

5 4. Qualitätsmessung beim Web-Monitoring Angesichts der geschilderten technisch-organisatorischen Herausforderung von Web-Monitoring und der Diskrepanz zwischen idealem Monitoring- Prozess und realem Vorgehen stellt sich die Kernfrage nach einer Qualitätsmessung bzw. Qualitätskriterien für Web-Monitoring. Dabei müssen die Qualitätsmaßstäbe auf den Grad der Erfüllung oben genannter Aufgaben und Ziele von Web-Monitoring ausgelegt sein. Dadurch kann es gelingen, die häufig geführte aber wenig fruchtbare Methodendiskussion (Software oder Mensch) auf den Grad bzw. die Qualität der Aufgabenerfüllung zu lenken. Die Grunddimensionen für eine Qualitätsmessung sind der Grad der Beantwortung folgender Fragen durch eine bestimme Web-Monitoring- Vorgehensweise (Abb. 1). Abb. 1: Grunddimensionen des Web-Monitoring Im Folgenden konzentrieren wir uns auf die Qualitätsmessung der größten Herausforderung, der Erfassung und Bewertung des Was 5. Damit ist der eigentliche Inhalt eines von einem Nutzer generierten Beitrags (Message) gemeint. 5 Die Erfassung und Auswertung der Grunddimensionen Wann, Wo und Wer als meist eindimensionale Größe ist demgegenüber vergleichsweise einfach umsetzbar.

6 Für die Messung der Qualität ist die Verteilung der Inhalte (Statements) über die Quellen wichtig. Dabei sind professionell erstellte Beiträge ( News z.b. von Redaktionen oder Firmen) konzentrierter verteilt als von Privatpersonen ins Netz gestellte Beiträge (sog. User generated content UGC, Abb. 2). Aufgrund der größeren Streuung ist also die vollständige Erfassung von UGC deutlich schwieriger als bei News. Abb. 2: Verteilung von Inhalten (Statements) über Quellen im Internet In Abbildung 3 sind als Erweiterung der Inhalte-/Quellenverteilung die wesentlichen Messgrößen für die Quantifizierung von Qualität bei Web- Monitoring dargestellt: Die Mengen der relevanten und nicht-relevanten Statements Richtig erkannte und fehlende (nicht erkannte) relevante Statements Falsch erkannte, also eingeschlossene nicht-relevante Statements Eingeschlossene und nicht-eingeschlossene (fehlende) Quellen

7 Abb. 3: Quantifizierung der Qualitätsmessung beim Web-Monitoring Diese Größen können analog der Quantifizierung in der Statistik als α und β Fehlergrößen in Prozent definiert werden. Da die Prozessschritte von Web- Monitoring zur Aufgabenerfüllung aber über die Quantifizierung von richtig/falsch erfassten Statements hinausgehen müssen, sind mindestens zwei weitere Qualitätsmaßstäbe notwendig (Tab. 2): Zum einen ist für die Auswertbarkeit von Inhalten (Statements) eine Kategorisierung notwendig, deren Richtigkeit maßgeblich die Qualität von Auswertungen beeinflusst. Falsche Kategorisierungen können als γ Fehler in Prozent aller Kategorisierungen quantifiziert werden. Als zusätzlicher Qualitätsmaßstab sind falsche Beurteilungen der Tonalität von Statements als δ Fehler zu quantifizieren.

8 α Fehler β Fehler γ Fehler Prozentsatz nicht erkannter relevanter Statements Prozentsatz eingeschlossener, nicht-relevanter Statements (Spam, Werbung, gespiegelte Inhalte etc.) Prozentsatz von Statements in falscher Kategorie δ Fehler Prozentsatz von Statements mit falscher Tonalität Tab. 2: Qualitätsmaßstäbe beim Web-Monitoring Insgesamt ergeben sich mit den vier angeführten Fehlergrößen sehr aussagekräftige Maßstäbe für die Beurteilung der Qualität von Web- Monitoring-Leistungen. Diese Maßstäbe gelten unabhängig von der Frage der Realisierung des Web-Monitorings als Softwarelösung und/oder menschliche Dienstleistung. Interessenten für Web-Monitoring bekommen mit diesen Qualitätsmaßstäben die Möglichkeit, verschiedene Dienstleistungsangebote hinsichtlich der Eignung für die Erfüllung ihrer Aufgaben und Zielsetzungen zu vergleichen. Damit kann eine für den Kunden unfruchtbare Methodendiskussion vermieden werden und die Entscheidung auf Leistung und Preis konzentriert werden, wobei die hier nicht diskutierte Nutzerfreundlichkeit natürlich nicht vergessen werden darf. 5. Qualität von Web-Monitoring in der Praxis Die Consline AG hat seit Gründung im Jahr 1999 Web-Monitoring- Lösungen entwickelt und betreibt aktuell mit dem Consline Intelligence Management System (CIMS) in der Version 4.0 eine weltweite, flexibel konfigurierbare Multi-Client-Plattform für alle Medien und Sprachen. Das folgende Beispiel aus der Automobilindustrie zeigt in Abbildung 4 einen Nutzerbeitrag mit Mehrfachkategorisierung, Relevanz- und Tonalitätsbewertung sowie Metadaten (Quelle, Datum, Views, URL Link).

9 Abb. 4: Mehrfachkategorisierung, Relevanz- und Tonalitätsbewertung eines Nutzerbeitrags am Beispiel Automobilindustrie im Consline CIMS Auf Basis vollständig erfasster und richtig bewerteter Messages und Statements können dann durch im CIMS integrierte Analyse- und Statistikfunktionen grafische und tabellarische Auswertungen einschließlich Benchmarking durchgeführt werden (Abb. 5). Abb. 5: Integrierte Analyse- und Statistikfunktionen im Consline CIMS Aufgrund von über zehn Jahren Erfahrung aus der Zusammenarbeit mit global agierenden Unternehmen aus Automobilindustrie, Handel und

10 Pharmabranche konnte die Consline AG die Methodik von Web- Monitoring in Richtung Qualitäts- und Präzisionsmonitoring ständig weiterentwickeln. Dadurch ist es gelungen, nach Abschluss der Setup-Phase die in diesem Beitrag vorgestellten Qualitätsmaßstäbe mit folgenden Werten für unsere Kunden zu garantieren (Tab. 3). α Fehler β Fehler γ Fehler Prozentsatz nicht erkannter relevanter Statements Prozentsatz eingeschlossener, nicht relevanter Statements (Spam, Werbung, gespiegelte Inhalte etc.) Prozentsatz von Statements in falscher Kategorie < 8% < 5% < 5% δ Fehler Prozentsatz von Statements mit falscher Tonalität < 3% Tab. 3: Qualitätswerte des Consline Web-Monitoring (CIMS 4.0) Stand 06/2012 Auch in den nächsten Entwicklungsschritten wird die Consline AG neben der Benutzerfreundlichkeit und dem Funktionsumfang die Qualität der angebotenen Web-Monitoring Leistungen noch weiter steigern.