KNIME Enterprise Applications in der Praxis

Transkript

1 KNIME Enterprise Applications in der Praxis 1

2 Agenda 1 Potenziale 2 DynaSocial - Social Media Monitoring & Analytics 3 DynaSocial Text Mining Prozess (KNIME Server) 4 Visualisierung in DynaSocial 5 Realtime -Klassifikation mit KNIME Server 6 Aktuelle Ausbaustufen 2

3 Potenziale 3

4 Potenziale Was bieten Soziale Netzwerke Ihrem Unternehmen:» Nutzung wertvoller, unverfälschter Kundenmeinungen» Chance, aktiv und in Echtzeit auf Konsumenten zu reagieren» Reichweitenoptimierung und gezielte Ansprache» Zugang zu bisher nicht direkt erreichbaren Zielgruppen» Möglichkeit Multiplikatoren zu gewinnen Marktplatzprinzip» Möglichkeit, Tendenzen und Trends frühzeitig zu erkennen schnell darauf zu reagieren und Risiken zu minimieren» Integration der Kunden in Unternehmenskommunikation Social Intelligence wird zum Erfolgsfaktor:» Ganzheitliches Monitoring der Aktivitäten, Identifikation der relevanten Beiträge, Themen und Verfasser, sowie Ableitung von Handlungsempfehlungen im Hinblick auf Ihre Kommunikation, Produkte, Kundenprozesse (bspw. Kündigungsprozess) und Sales 4

5 Projektbeispiel Sixt: Social Earthquake (1) 5

6 Projektbeispiel Telekom: Social Earthquake (2) Facebook Anzahl Nachrichten in März & April 2013 Gerüchteküche: Drosselung von DSL-Anschlüssen? Der Blog Fanboys.fm veröffentlicht Informationen über die kommende Datendrossel. ( ) DSL-Drossel: Die Pressemeldung zur kommende Datendrossel. Löst einen Proteststurm aus. ( ) Negativ Neutral Positiv Mrz. 8. Mrz. 15. Mrz. 22. Mrz. 29. Mrz. 5. Apr. 12. Apr. 19. Apr. 26. Apr. Mit Bekanntgabe der Entscheidung für eine Volumenbegrenzung reagieren viele User mit Protesten. Vorbeben sind deutlich zu erkennen! 6

7 DynaSocial - Social Media Monitoring & Analytics 7

8 DynaSocial Individuell wie der Kunde Integration beliebiger kundenindividueller Kanäle Generisches Big Data Model Flexible Darstellungen (Dashboards & Interaktive Analysen) frei konfigurierbare Filter & Parameter Unternehmensspezifische KPI s Weitreichende analytische Funktionalitäten 8

9 Mit hybrider Architektur zu Social Media Excellence Social Media Analytics Content Extractor Facebook Twitter Social Media Data Provider Advanced Social Media Analytics Text Mining & Network Mining Text Enrichment & Classification Network Insights Social Media Analytics Data Management Social Media Analytics Dashboard Social Service Platforms Generisches Big Data Model kundenindividuelle Quellen Social Engagement s Integrierte Social Inbox über alle Social Touchpoints DynaSocial Configuration Center Data Sources Sentiments & Classifications Reports & Dashboard 9

10 DynaSocial Big Data Model» Generisches offenes multidimensionales Datenmodell, welches beliebig erweitert werden kann Zusätzliche Social Data Sources Data Dictionaries Output aus analytischen Modellen (u.a. Klassifikationen & Netzwerkanalysen)» Integration in vorhandene BI- Umgebungen möglich» Zugriff für analytische Spezial- Applikationen (z.b. Netzwerk-Analysen mit KNIME oder Gephy) und Rückspielen der analytischen Erkenntnisse in das DynaSocial Big Data Model Basis Modell fact.messages dim.product dim.platform dim.author PK IDMessage PK IDProduct PK IDPlatform PK,FK4,FK5,FK8 IDClient PK,FK1 IDClient PK IDAuthor Basis Modell PK,FK1 IDClient dim.language Platform fact.messages dim.product dim.platform FK1 IDPlatform Product dim.author FK2 IDZeit IDBrand PK IDLanguage PK IDMessage PK IDProduct PK IDPlatform Name FK3 PK,FK4,FK5,FK8 IDSentiment IDClient Brand PK,FK1 IDClient Gender PK IDAuthor FK4 IDAuthor IDDivision Language Basis Modell Birthdate PK,FK1 IDClient dim.language Platform fact.messages dim.product dim.platform FK5 IDProduct Division ISOCode FK1 IDPlatform Product Age dim.time dim.author FK6 FK2 IDLanguageIDZeit IDDepartment IDBrand PK IDLanguage PK IDMessage PK IDProduct PK IDPlatform Postcode Name PK IDZeit FK7 FK3 IDMessageType PK,FK4,FK5,FK8 IDSentiment IDClient DepartmentBrand PK,FK1 IDClient IsCustomerGender PK IDAuthor FK9 FK4 IDCompanyIDAuthor IDCategory IDDivision Language Basis Modell IDCustomerBirthdate PK,FK1 IDClient dim.language Platform fact.messages dim.product dim.platform Datum FK5 Message IDProduct Category Division ISOCode FK1 IDPlatform Product RBPClass Age dim.time dim.author FK6 MessageTitle FK2 IDLanguageIDZeit FirstDateOfSale IDDepartment IDBrand PK IDLanguage PK IDMessage PK IDProduct PK IDPlatform CLVClass Postcode Name dim.messagetype FK7 Reactions IDMessageType Status PK IDZeit FK3 PK,FK4,FK5,FK8 IDSentiment IDClient DepartmentBrand PK,FK1 IDClient Longitude IsCustomerGender PK IDAuthor FK9 LikesFK4 IDCompanyIDAuthor AvgStarRating IDCategory IDDivision Language Latitude IDCustomerBirthdate PK,FK1 IDClient PK IDMessageType dim.language Platform Recommendation Message NoOfStarRatings Category Datum FK5 IDProduct Division ISOCode FK1 IDPlatform Product RBPClass Age dim.time FK6 MessageTitle FK2 IDLanguageIDZeit Picture FirstDateOfSale IDDepartment IDBrand PK IDLanguage CLVClass Postcode Name MessageType dim.messagetype Reactions Quatity shipped Status PK IDZeit FK7 FK3 IDMessageType IDSentiment DepartmentBrand dim.client Longitude IsCustomerGender FK9 LikesFK4 IDCompanyIDAuthor Quantity returned AvgStarRating IDCategory IDDivision Language Latitude IDCustomerBirthdate PK IDMessageType Recommendation PK IDClient Quantity shipped NoOfStarRatings (CUM) Datum FK5 Message IDProduct Category Division ISOCode RBPClass Age dim.time FK6 MessageTitle IDLanguage Quantity returned Picture(CUM) FirstDateOfSale IDDepartment CLVClass Postcode MessageType dim.messagetype dim.company FK7 Reactions IDMessageType Client Quantity shipped Quatity (FLASH) shipped Status Department PK IDZeit dim.client Longitude IsCustomer FK9 Quantity returned Quantity (FLASH) returned PK IDCompany Likes IDCompany AvgStarRating IDCategory Latitude IDCustomer PK IDMessageType Recommendation Message PK IDClient IsReviewedFlag Quantity shipped NoOfStarRatings (CUM) Category Datum RBPClass MessageTitle IsReviewedComment Quantity returned Picture(CUM) FirstDateOfSale Company CLVClass MessageType dim.messagetype dim.company Reactions Client IsReviewedTimeStamp Quantity shipped Quatity (FLASH) shipped Status dim.client Longitude Quantity returned Quantity (FLASH) returned PK IDCompany Likes AvgStarRating Latitude PK IDMessageType IsReviewedFlag Quantity shipped (CUM) TextMining / - Recommendation PK IDClient NoOfStarRatings Admin. IsReviewedComment Bereich Quantity returned Picture(CUM) Klassifikationsergebnisse MessageType fact.messagekeywordmapping Company dim.company Client IsReviewedTimeStamp Quantity shipped Quatity (FLASH) shipped dim.client Quantity returned Quantity (FLASH) returned PK,FK2 PKIDKeyword IDCompany dim.keyword IsReviewedFlag TextMining / - PK,FK1 IDMessage PK IDClient Quantity shipped (CUM) Admin. Bereich PK,FK1,FK2,FK3 IDClient PK IDKeyword IsReviewedComment Quantity returned (CUM) Klassifikationsergebnisse fact.messagekeywordmapping Company dim.company PK,FK1 IDClient Client IsReviewedTimeStamp Quantity shipped (FLASH) Quantity returned (FLASH) PK,FK2 PKIDKeyword IDCompany dim.keyword TextMining dim.sentiment IsReviewedFlag / - PK,FK1 IDMessage Keyword Admin. Bereich PK,FK1,FK2,FK3 IDClient IDCategory PK IDKeyword IsReviewedComment Klassifikationsergebnisse PK IDSentiment fact.messagekeywordmapping Company Category PK,FK1 IDClient IsReviewedTimeStamp PK,FK2 IDKeyword Sentiment dim.keyword TextMining dim.sentiment / - PK,FK1 IDMessage Keyword Admin. Bereich PK,FK1,FK2,FK3 IDClient IDCategory PK IDKeyword Klassifikationsergebnisse PK IDSentiment fact.messagekeywordmapping Category PK,FK1 IDClient PK,FK2 IDKeyword Sentiment dim.keyword dim.sentiment PK,FK1 IDMessage Keyword PK,FK1,FK2,FK3 IDClient IDCategory PK IDKeyword PK IDSentiment Category PK,FK1 IDClient Sentiment dim.sentiment Keyword IDCategory PK IDSentiment Category Sentiment 10

11 DynaSocial Management Dashboard Aktivitätsübersicht Verteilung auf Plattformen Stimmung insgesamt Verteilung der Stimmung (Sentiment Ratio) Trend im Vergleich zur Konkurrenz (Share of Voice) Top Keywords Key Influencer Geographische Verteilung Flexible Zeitraumauswahl 11

12 DynaSocial Management Dashboard (Projektbeispiel) 12

13 DynaSocial Transparenz bis auf die Einzel-Message Detailanalysen sind möglich auf Basis von Kanälen für bestimmte Facebook Angebote Twitter Marken unternehmenseigene und externe Produktbewertungsportale, Produkte Datenprovider, Foren, Blogs etc. Konkurrenten 13

14 DynaSocial Text Mining Prozess (KNIME Server) 14

15 DynaSocial Text Mining Prozess Text-Datenquellen Text Anreicherung Subject Matching Sentiment Klassifikation Bereitstellung Informationen Bereitstellung der Datenquellen: Facebook Twitter s Weitere Quellen bzw. Datenprovider wie GNIP, Datasift etc. Für Machine Learning Bereitstellung Trainingsdaten für Klassifikation (u.a. Sentiment) Spracherkennung Deutsch Englisch Weitere Sprachen Sprachabhängiges NLP POS Tagging STTS Tagger Penn Treebank Tagger etc. Text Bereinigung Stop Words Stemming Sonderzeichen Sentiment Amplifier Matching von Sentiment- & Emoticon-Listen Text Tagging mit beliebigen Subjects Produkte Marken/Brands Geschäftsvorfall Service Beschwerde Anfrage etc. Fuzzy Matching über Dictionary Tagger Matching von Subject- Wortlisten Text Vektorisierung Ableitung einer Vielzahl von Texteigenschaften zur Prognose der Sentiment-Klassen Machine Learning Klassifikation mittels Predictive Analytics (u.a. Decision Tree) Retraining Interface Erfassung von Fehlklassifikationen zur permanenten Optimierung der Klassifikationen Text Data Mart Ablage der generierten Informationen im Text Data Mart Bereitstellung Informationen zur Visualisierung in DynaSocial Ausbaustufen -Routing Kampagnenmanagement etc. 15

16 DynaSocial Text Mining Prozess: Datenquellen Text-Datenquellen Text Anreicherung Subject Matching Sentiment Klassifikation Bereitstellung Informationen Zugriff auf beliebige Text-Datenquellen als Basis für den Text Mining Prozess» Facebook» Twitter» s» Weitere Quellen bzw. Datenprovider wie GNIP, Datasift etc. Exemplarischer Beitrag auf der Facebook Fanpage Telekom Entertain 16

17 DynaSocial Text Mining Prozess: Text Anreicherung Text-Datenquellen Text Anreicherung Subject Matching Sentiment Klassifikation Bereitstellung Informationen Original Facebook Eintrag Sentiment Amplifier Ich hasse euren Laden [----]. Oh ja, das tue ich wirklich. Wechselauftrag mit Portierung vom Voranbieter am aufgegeben, für Telefon, Internet und Entertain. Seit kein Internet und Telefon mehr [--]. Dank dem dritten Systemfehler konnte der hart erkämpfte Portierungstermin heute nicht eingehalten werden [--]. Wann erfahre ich das? Heute. Neuer Termin am Über VIER MONATE nach dem Auftrag. Ist das euer Ernst?!? [---] STTS POS Tagger für deutsche Sprache Ich[PPER] hasse[vvfin] euren[adja] Laden[NN].[SYM] Oh[ITJ] ja[adv],[sym] das[pds ART] tue[vvfin] ich[pper] wirklich[adjd].[sym] Wechselauftrag[NN] mit[appr] Portierung[NN] vom[apprart] Voranbieter[NN] am[apprart] 12.2.[CARD] aufgegeben[vvpp],[sym] für[appr] Telefon[NN],[SYM] Internet[NN] und[kon] Entertain[NN].[SYM] Seit[APPR] 2.05.[CARD] kein[adv] Telefon[NN] und[kon] Internet[NN] Entfernung von Stop Words & Sonderzeichen hasse[vvfin] euren[adja] Laden[NN] tue[vvfin] Wechselauftrag[NN] Portierung[NN] Voranbieter[NN] aufgegeben[vvpp] Telefon[NN] Internet[NN] Entertain[NN] kein[adv] Telefon[NN] Internet[NN] 17

18 DynaSocial Text Mining Prozess: Klassifikation Text-Datenquellen Text Anreicherung Subject Matching Sentiment Klassifikation Bereitstellung Informationen Original Facebook Eintrag GESCHÄFTSVORFALL: Portierung Subject Matching (Fuzzy Matching) Ich hasse euren Laden. Oh ja, das tue ich wirklich. Wechselauftrag mit Portierung [GESCHÄFTSVORFALL] vom Voranbieter am aufgegeben, für Telefon, Internet und Entertain [PRODUKT]. Seit kein Internet und Telefon mehr. Dank dem dritten Systemfehler konnte der hart erkämpfte Portierungstermin [GESCHÄFTSVORFALL] heute nicht eingehalten werden. Wann erfahre ich das? Heute. Neuer Termin am Über VIER MONATE nach dem Auftrag. Ist das euer Ernst?!? PRODUKT: Entertain IP TV 18

19 DynaSocial Text Mining Prozess: Text Anreicherung Text-Datenquellen Text Anreicherung Subject Matching Sentiment Klassifikation Bereitstellung Informationen Original Facebook Eintrag Klassifizierung mittels Decision Tree Output aus Text Anreicherung Text Vektorisierung (Transformation) Ableitung klassifikationsrelevanter Prädiktoren, z.b. - Emoticons positiv/negativ - Länge der Message - Fragmente positiv/negativ - Likes - Worte positiv/negativ - Comments - Autorenbezogene Infos - Weitere linguistische Inputs Ergebnisklassifikation 19

20 DynaSocial Text Mining Prozess: Text Anreicherung Text-Datenquellen Text Anreicherung Subject Matching Sentiment Klassifikation Bereitstellung Informationen Zentrale Ablage der Informationen in Text Data Mart Visualisierung in DynaSocial Original Facebook Eintrag + Sentiment Geschäftsvorfall Produktbezug + + Weitere Integrationsvarianten» Social Campaigns mit DynaCampaign» Subject-abhängige -Klassifikation & -Routing 20

21 Visualisierung 21

22 Management Dashboard & Standardreports 22

23 Interaktive Analysen & Drill through» Interactive Realtime Analytics (In Memory Database)» Slice & Dice on the fly» Visuelle Geo-Analysen (Zoom-In/Zoom-Out) 23

24 Einfachste Einbettung der Analysen in MS Excel Detailanalysen» Aggregationen und Drill-Down» Anzeige von Status, verschiedenste Visualisierungen» Filtermöglichkeiten hierarchisch abbild- & kombinierbar 24

25 Realtime -Klassifikation mit KNIME Server 25

26 Develop once, deploy everywhere!» Der KNIME-Server basierte Text Enrichment & Classification Workflow kann neben der Klassifizierung von Social Content auch zur Klassifizierung beliebiger elektronischer Texte (u.a. s) verwendet werden.» Der Text Enrichment & Classification Workflow wird als Webservice bereitgestellt und kann aus anderen Applikationen einfach aufgerufen werden. Benefits» Einheitliche Sentiment- und Klassifikationslogik für alle kundenbezogenen Messages» Automatisierte Generierung von neuen Kontaktchancen aus der Automatisierung von Inbound- -Nachrichten (direktes Kundenmapping über -Adresse möglich)» Automatisiertes Routing der s entsprechend der Sprache, des Identifizierten Produkts, des Geschäftsvorfalls und der Stimmung 26

27 Grobarchitektur am Beispiel MS Exchange Connector.NET Batch 2 Aufruf der.net Prozedur und Übergabe des Contents an KNIME Server via Webservice Call 1 Eingehende KNIME Server 3 Aufruf des KNIME Text Enrichment & Classification Workflows und Rückgabe der Klassifizierung(en) Microsoft Exchange Webservice 4 5 Die Klassifizierung wird an den Exchange Server zurückgeliefert und über Objekt-Kategorien persistent gespeichert. Jegliche Clients, mit welchen der Zugriff auf den Exchange Server erfolgt, erhalten konsistent die identische Klassifizierung Microsoft Outlook Microsoft Outlook Webaccess Weitere - Clients 27

28 Livedemo Realtime - Klassifikation 28

29 Aktuelle Ausbaustufen 29

30 Aktuelle Ausbaustufen Multilinguales NLP» Neben deutsch, englisch und französisch werden zukünftig auch italienisch, spanisch und chinesisch unterstützt. Influencer Detection» Influencer Identifikation nach DYMATRIX-eigenem Algorithmus Social Earthquake Warning System / Social Hype Detection» Früherkennung von Hypes durch Beobachtung der Nachrichtenverbreitung» Abgleich mit Verbreitungsmustern vergangener Hypes/Hot Topics Authenticity Score» Authenticity-Score zur automatischen Erkennung von Fake-Bewertungen (u.a. Produktbewertungen, Hotel-Bewertungen etc.) 30

31 Kontakt DYMATRIX CONSULTING GROUP GmbH Zeppelin Carré Lautenschlagerstraße Stuttgart Ihr Ansprechpartner: Stefan Weingärtner Danke für Ihre Aufmerksamkeit. Für Ihre Fragen stehen wir gerne zur Verfügung! Telefon Telefax Web s.weingaertner@dymatrix.de 31