SAS TEXT ANALYTICS EVENT

Transkript

1 SAS TEXT ANALYTICS EVENT DIENSTAG, 21. APRIL 2015

2 INHALT 1. Einleitung ins Thema Text Analytics Seite 3 2. Überblick "SAS Text Analytics Seite 9 3. Überblick der einzelnen Produkte Seite SAS Contextual Analysis unser neuestes Produkt Seite Kundenbeispiele und Referenzen Seite SAS Social Media Analytics Seite 53

3 WARUM TEXT ANALYTICS

4 1000 x mehr unstrukturierte als strukturierte Daten [Forrester 2015] Verzehnfachung der Datenmenge circa alle fünf Jahre [Gartner]

5 Textquellen Posteingang s Webseiten Soziale Netze Beschwerden Umfragen Artikel Studien Marktanalyse Unternehmensbereiche Vertrieb- und Servicesteuerung Marktforschung Kundenbeziehung Qualitätssicherung Produktentwicklung Aufgabenstellungen Themen und Trends identifizieren Texte klassifizieren und strukturieren Entitäten und Fakten extrahieren Meinungen und Stimmungen quantifizieren

6 SAS ANALYTICS SAS WELTWEITE NR.1 IN ANALYTICS Big Data Predictive Analytics Solutions SAS provides a diversified portfolio that includes a comprehensive feature-rich set of statistical, data mining, forecasting, and optimization tools complemented with a model and data governance platform for analyzing complex structured and unstructured information. - Forrester Wave SAS has been ranked #1 in Advanced Analytics tools for 14 consecutive years - IDC Worldwide Business Intelligence Vendor Shares The Forrester Wave : Big Data Predictive Analytics Solutions, Forrester Research, Inc., The Forrester Wave is copyrighted by Forrester Research, Inc. Forrester and Forrester Wave are trademarks of Forrester Research, Inc. The Forrester Wave is a graphical representation of Forrester's call on a market and is plotted using a detailed spreadsheet with exposed scores, weightings, and comments. Forrester does not endorse any vendor, product, or service depicted in the Forrester Wave. Information is based on best available resources. Opinions reflect judgment at the time and are subject to change.

7 SAS EIN LEADER IN ÜBER 25 ANALYSTEN REPORTS The Forrester Wave Big Data Predictive Analytics Solutions Advanced Data Visualization Platforms Customer Analytics Solutions Gartner Inc. Magic Quadrant Integrated Marketing Management Enterprise Governance, Risk and Compliance Platforms Marketing Resource Management Hurwitz Victory Index Predictive Analytics

8 ÜBERBLICK SAS TEXT ANALYTICS

9 ADVANCED ANALYTICS FORECASTING Leveraging historical time series data to drive better insight into decision-making for the future TEXT ANALYTICS Discover relevant themes and relationships in social media, call notes and for deeper insights and improved business management INFORMATION MANAGEMENT OPTIMIZATION DATA MINING Understand and find relationships in data to make accurate predictions about the future FOUNDATION ANALYTICS Copyright 2015, SAS Institute Inc. All rights reserved. Make appropriate business decisions by understanding dynamics and utilize resources the best way

11 SAS TEXT ANALYTICS DAS FUNDAMENT Text Mining Text Clustering Konzept Verlinkungen Themen Modellierung Textklassifikation autom. Generierung von Klassifizierugsregeln Predictive Modeling High Performance Natural Language Processing Part-of-Speech Tagging Lemmatisierung Tokenisierung Phrasen und Komposita Extraktion von Konzepten und Entitäten Orthographie Synonyme 30+ Sprachen Content Categorization und Sentiment Analysis Information Retrieval Taxonomie Management Statistische Modelle Boolesche and Linguistische Regelwerke autom. Daten-/Dokumentsammlung (Crawling) & Konvertierung Text Mining Computer Linguistic

12 SAS TEXT ANALYTICS DIE INTELLIGENZ IM END-TO-END VERARBEITUNGSPROZESS Datenintegration Text-Analytics-Verarbeitung Datenintegration Anwendungen (BI, Analyse) Konzepte (Namen, Datum, etc.) Themen Entdecken Data Mining Offline-Inhalte Hiermit kündige ich mein Abo , weil ich mit dem Service nicht zufrieden bin. Kategorisieren Fakten Tonalität Online-Inhalte

13 ÜBERBLICK DER EINZELNEN PRODUKTE

15 TEXT MINING WAS IST ES

16 SAS TEXT MINER FÜR DIE STATISTISCHE TEXTANALYSE Grafische Modellierung des Analyseprozesses Textimport aus Filesystem, Web oder Datenbank in vielen Formaten und Sprachen Computerlinguistisches Parsing (Synonyme, Stemming, Part-of-Speech Tagging, etc.) Korrektur von Falschschreibungen Entdecken von Assoziationen und semantischen Themen Enge Data Mining Integration (ein System) Server-client, multi-user, batchfähig

17 SAS TEXT MINER TYPISCHE ANALYSESCHRITTE 1.Text importieren Viele Quellen, Formate und Sprachen 2. Parsen und Explorieren Statistische und linguistische Verfahren, interaktive Analysen 3. Themen entdecken Ähnliche Dokumente gruppieren und durch Schlagworte beschreiben 4. Prädiktive Modellierung von z.b. Kundenverhalten Dieser Kunde hat Interesse.

18 SAS TEXT MINING TYPISCHE ERGEBNISSE Konzepte, z.b. Personen, Orte, Organisationen, und deren Beziehung in großen Textsammlungen erkennen. Themen entdecken und analysieren. Worum geht es? Wie häufig? Texterkenntnisse gemeinsam mit strukturierten Daten analysieren, z.b. Unternehmensratings.

19 TEXT MINING: TEXTE EINLESEN STRUKTURIERTER PROZESSFLUSS VON VORBEREITUNG BIS DATA MINING Überführung in strukturierte Form Dabei Wortstämme, Synonyme, Wortgruppen, Wortklassen, Entitäten, etc. berücksichtigen Dadurch Data Mining auf Dokumenten- Term-Matrix möglich Konzepte aus der semantischen Analyse integrieren

20 TEXT MINING: FILTERN UND ENTDECKEN Termassoziationen auf Basis bedingter Häufigkeiten Interaktive Exploration durch boolesche Operatoren und Grafiken Automatische Rechtschreibkorrektur Filtern auf statistischer oder fachlicher Basis

21 TEXT MINING: THEMEN EXTRAHIEREN Dimensionsreduzierung durch reduzierte Singulärwertzerlegung gefolgt von Rotation durch Faktorenanalyse Dadurch Entdecken neuer Themen + weicher Zuordnung (Projektion) von Dokumenten und Termen Neue Zusammenhänge in die semantische Textanalyse zurückspielen

22 TEXTTHEMEN FÜR PROGNOSE UND DATA MINING GEMEINSAME ANALYSE MIT STRUKTURIERTEN DATEN IN EINER OBERFLÄCHE Beispiele: Textassoziationen strukturieren Neue Trends filtern Sentimentprognose Absatzprognose Kundenhaltbarkeit Service- und Vertriebssteuerung Produktaffinitäten

24 SAS ENTERPRISE CONTENT CATEGORIZATION FÜR COMPUTERLINGUISTISCHE TEXTANALYSE Computerlinguistisches Parsing Editor für kundenspezifische Taxonomien Kategorisierung von Dokumenten auf Basis statistischer Modelle und Regeln Enthält SAS Concept Extraction für das Extrahieren von Entitäten und Fakten durch kontextsensitive linguistische Regeln Interaktives Testen von Modellen Add-Ons: Web Crawling, Suche, etc.

25 ADD-ON SEARCH & INDEXING ERMÖGLICHT STRUKTURIERTE SUCHE BEI DER WELTBANK

26 SAS INFORMATION RETRIEVAL STUDIO END-TO-END ADMINISTRATION VON CRAWLING BIS ZUR INDIZIERUNG. BESTANDTEIL VON WEB CRAWLERS UND SEARCH & INDEXING

28 SAS SENTIMENT ANALYSIS TONALITÄTSANALYSE Echtzeitbewertung von Texten bezüglich ihrer Tonalität (positiv, negativ) Tonalität auf Feature -Ebene, z.b. den Produkteigenschaften oder Dimensionen der Unternehmensreputation Hybrider Ansatz statistischer und linguistischer Modelle mit deutschen Tonalitäts-Wortlisten Rollenbasierte Front-Ends: Studio für den Experten und Workbench für andere Anwender Inkl. Crawlern und Schnittstellen zur Integration typischer Webquellen

29 SAS CONTEXTUAL ANALYSIS UNSER NEUESTES PRODUKT

30 SAS CONTEXTUAL ANALYSIS GIVING STRUCTURE TO UNSTRUCTURED DATA EXPLORATION AND VISUALIZATION POWER OF SAS TEXT ANALYTICS RAPID DISCOVERY OF CONTEXT AND INSIGHTS

31 WHAT IS SAS CONTEXTUAL ANALYSIS? 1. Classify large document collections for better retrieval and reporting. 2. Visualize and discover trends within text data 3. Eliminate lengthy and error-prone manual document reviews 4. Hybrid approach combines machine learning and user refinement 5. Automatically generate linguistic rules, enhanced with machine/ user input 6. Adds unstructured data sources to analytics investigations 7. Useful for social media, MS Office files, PDFs, , surveys, contact centre conversations and more.

32 SAS CONTEXTUAL ANALYSIS CONTEXTUAL ANALYSIS PROCESS Natural Language Processing Discovery Machine Learning Topics, Insights, Relationships, Taxonomies, Scored Documents How does it work? JL H Human Input Unstructured Text Data Context Operations Further Analysis

33 SAS CONTEXTUAL ANALYSIS HYBRID APPROACH TO CLASSIFICATION How does it work? JL Discovery H Automated Topic Discovery Leverage on SAS NLP capabilities to discover key topics without manual reading / pre-existing knowledge of the content. Convert Topics to Category Rules No need to code definitions for categories. SAS rule generation automatically creates Boolean linguistic rules. Context Leverage prebuilt concepts to enhance taxonomy Incorporate subject matter expertise and define custom hierarchies for categorization.

34 SAS CONTEXTUAL ANALYSIS INTEGRATION & ACCESS Discovery H Context How does it work? Easily input data from: Enterprise data sources via SAS/ACCESS MS word, PDF files or other file types Manage multiple projects single, interactive GUI for guided analysis large/ complex text data No programming needed, and no need to switch between different applications or move/copy source data Integrated with SAS Integrated with Visual Analytics Hub Review, explore and publish text results on your ipad or on the web.

35 SAS CONTEXTUAL ANALYSIS AUTOMATIC TERM AND TOPIC DISCOVERY SAS Natural Language Processing Discovery M H Context JL M Automated discovery of terms Term lists, clouds, and term/topic maps Easily visualize relationships and associations between terms Automated discovery of Topics Refine discovered topics by adjusting relevance threshold, splitting, or merging Document-level sentiment understand which topics are depicted with positive, neutral, or negative sentiment

36 SAS CONTEXTUAL ANALYSIS AUTOMATIC TERM AND TOPIC DISCOVERY M Discovery H Context Automated discovery of terms Term lists, clouds, and term/topic maps Easily visualize relationships and associations between terms Automated discovery of Topics Refine discovered topics by adjusting relevance threshold, splitting, or merging Document-level sentiment Understand which topics are depicted with positive, neutral, or negative sentiment

37 SAS CONTEXTUAL ANALYSIS GENERATE & FINE TUNE CATEGORY RULES M Discovery H Context Categorization rule generation Unique SAS rule generation automatically discovers Boolean linguistic rules. Easy-to-understand rule definitions Testing of categorization accuracy and specificity Further customization/ refinement by analyst to achieve desired results

38 SAS CONTEXTUAL ANALYSIS FINE TUNE CATEGORY/ CONCEPT RULES M Discovery H Context Match No Match Powerful Contextual Rules SAS Contextual rules allow users to easily specify matches even in most complex situations. Differentiate different concepts accurately such as Your product vs competitor products, Regular customers vs VIP customers,. We keep deposits in the bank. Mary works in a bank. I visit my friend at the river bank John just arrived the blood bank

39 SAS CONTEXTUAL ANALYSIS DOCUMENT SCORING M Discovery H Context Score external dataset Apply taxonomy onto new dataset to view categorization results Export reusable Contextual Analysis models to SAS code Use DS2 code to incorporate scored results into other applications or analyses.

40 SAS CONTEXTUAL ANALYSIS OPERATIONALIZE TEXT ANALYTICS RESULTS M Discovery H Context Operations Further Analysis M Integrate Contextual Analysis models to operations Categorize s, social media messages, call center logs, and more. Integrate Contextual Analysis models for further analytics Use DS2 code to incorporate scored results into other applications or analyses such as visual analytics, data mining, forecasting, etc.

41 SAS CONTEXTUAL ANALYSIS Why is this important? 1. Easily discover emerging issues in unstructured data without time-consuming manual document reviews. 2. Single, easy-to-use GUI empowers analysts to examine, interrogate and define classification schemes for electronic text. Why consider SAS Contextual Analysis? 3. Gain insights to classify other document or use them in other analysis. Designed for organizations 1. Responsible for classifying documents and generating searchable metadata 2. Looking for automated approach along with the ability to fine-tune the results. 3. Wish to improve search and tagging for information from large text collections.

42 KUNDENBEISPIELE UND REFERENZEN

43 SAS TEXT ANALYTICS ÜBER 50 SAS REFERENCE CASES Hong Kong Efficiency Unit

44 SAS TEXT ANALYTICS EIN PAAR REFERENZEN AUS DEM DEUTSCHSPRACHIGEN RAUM Internal Fraud Detection Bank Predictive Asset Maintenance Industriekonzern Reparaturberichte Automobilkonzern Kündigungsbearbeitung Verlag Juristische Wirtschaftstexte Wirtschaftsauskunft Bürgermeldungen Ministerium Web Shop und Facebook Händler Qualitätskontrolle Pharma Market Research/Intelligence Banken und Versicherungen Social Media Analytics Sämtliche Branchen... vieles mehr

45 SAS Text Analytics GLOBAL LANGUAGE SUPPORT Arabic Chinese Dutch English French German Italian Japanese Korean Polish Portuguese Spanish Swedish Czech Danish Finnish Greek Hebrew Hungarian Indonesian Norwegian Romanian Russian Slovak Thai Turkish Vietnamese

46 Customer Success SAS Text Analytics TRIBUNE COMPANY Business Goals: Optimize content for better online experience Accurately categorize articles Extract entities Identify relationships Challenges: BUSINESS ISSUE High volume of articles Frequently updated Multiple companies and document types RESULTS Entity extraction (people, company, etc.) Fast, accurate categorization for relevant results Scalable, transparent taxonomy development Improved content indexing: Appeals to Google, increased traffic Better leads Increase in advertising value

47 Customer Success SAS Text Analytics HUMANA Business Goals: Quick and reliable classification of calls Flag and take corrective action for a specified category of calls Improve access to information Challenges: BUSINESS ISSUE More than 1 million calls per month Over 18,000 potential call categories to choose from Industry jargon and abbreviations RESULTS Able to integrate both unstructured and structured data Root cause identification; drilling deeper into the call center notes than previously possible Adaptable taxonomy, enabling better organization and interpretation of jargon and abbreviations Report and alert integration Over 10% reduction in calls per claim

48 INSURANCE AFA INSURANCE Swedish insurance provider for workplace injury, death, illness and redundancy BUSINESS ISSUE RESULTS Increase the quality of predictive analyses and the decision data that we submit to clients Reduce administrative costs SAS helps find the connections among the more than 10,000 documents and categorize them into meaningful groups. For example, we discover typical courses of events for individual occupational groups, such as the link between an injury and how the worker may be doing his job. - Kerem Tezic, Statistician, AFA More powerful predictive model models to explain propensity for injury, illness and absence

49 MANUFACTURING AMERICAN HONDA Car Manufacturer BUSINESS ISSUE RESULTS Improve early warning detection in product performance and issues raised by customers SAS is helping us make discoveries so that we can address the core issues before they ever become problems and we can make sure that we are addressing the right causes. We're talking about hundreds of millions of dollars in savings. - Tracy Cermack, Project Manager in the Service Engineering Information Department Graphical identification, drillable alert notifications and any desired report available to different stakeholders

50 HEALTHCARE Lillebælt Hospital Danish hospital BUSINESS ISSUE RESULTS Reduce error in patient records Reduce manual effort of patient record audits If data is wrong, the basis for decision making is also faulty. Therefore, the Clinically Correct Time-True Registration system makes sense beyond our department and hospital. - Sten Larsen, Chief Surgeon Creation of database to improving clinical work in research and diagnosis

51 COMMUNICATIONS MATRIX S.P.A. Telecom Italia-owned web and mobile business services provider BUSINESS ISSUE RESULTS Search online forums and social media activity to find and analyze consumer opinions about brand and products Not only are we using SAS Sentiment Analysis to understand the experience of our customers, but we are even using it to help define new products that we offer. - Alessandro Petrella, Sales Director Delivered new tool for Matrix clients for them to use to evaluate opinions circulating online about their products

52 PUBLIC 1823 HONG KONG EFFICIENCY UNIT 1823 operates round-the-clock, including during Sundays and public holidays. Each year, it answers about 2.65 million calls and 98,000 s, including inquiries, suggestions and complaints BUSINESS ISSUE RESULTS Develop a Compliant Intelligence System that uncovers the trends, patterns and relationships inherent in the complaints "By decoding the 'messages' through statistical and root-cause analyses of complaints data, the government can better understand the voice of the people, and help government departments improve service delivery, make informed decisions and develop smart strategies. This in turn helps boost public satisfaction with the government, and build a quality city. - Efficiency Unit s Assistant Director, W. F. Yuk Hong Kong ICT Awards 2015 Grand Award Best Public Service Application (Transformations)

53 SAS SOCIAL MEDIA ANALYTICS AM BEISPIEL EINES BANKEN MONITORINGS

54 SAS SOCIAL MEDIA ANALYTICS MANAGEMENT ODER EXPERTE, INFORMATIONEN VERDICHTEN ODER DETAILLIEREN? Bankenspezifische Taxonomie für den Bankenmarkt Total, sowie für die Bank "X" und deren Konkurrenten

55 SAS SOCIAL MEDIA ANALYTICS MANAGEMENT ODER EXPERTE, INFORMATIONEN VERDICHTEN ODER DETAILLIEREN? Drill-down in die positiven Dokumente aus Foren

56 SAS SOCIAL MEDIA ANALYTICS INTERAKTIVES DASHBOARD MIT ERGEBNISSEN UND DRILL DOWN BIS ZU DEN TEXTEN UND ORIGINAL POSTS Hier schreibt jemand über den netten Kundendienst

57 SAS SOCIAL MEDIA ANALYTICS ZEITREIHENANALYSE ERMÖGLICHT ENTDECKUNG AKTUELLER TOP-THEMEN

58 SAS SOCIAL MEDIA ANALYTICS FILTER - KATEGORIEN Filterung auf Benutzergenerierte Inhalte

59 SAS SOCIAL MEDIA ANALYTICS ZEITREIHENANALYSE ERMÖGLICHT ENTDECKUNG AKTUELLER TOP-THEMEN 2. Drill-down in die neutralen Tweets 1. Zeitraum durch Klick in Zeitreihe auswählen. Am 28. Okt. steigt es an.

60 SAS SOCIAL MEDIA ANALYTICS DISKUSSION ÜBER DIE SICHERHEIT DES ONLINEBANKINGS Diskussion warum das Passwort nur 5-stellig ist. User Peter Piksa scheint da was ins Rollen gebracht zu haben

61 SAS SOCIAL MEDIA ANALYTICS AUTOREN HUB STELLT DEN AUTOR IN DEN MITTELPUNKT DER ANALYSE WIE EINFLUSSREICH IST PETER PIKSA?

62 SAS SOCIAL MEDIA ANALYTICS AUTOREN HUB STELLT DEN AUTOR IN DEN MITTELPUNKT DER ANALYSE Hier ein Beispiel eines aktiveren aber weniger einflussreichen Autors

63 SAS SOCIAL MEDIA ANALYTICS ZEITREIHENANALYSE ERMÖGLICHT ENTDECKUNG AKTUELLER TOP-THEMEN 2. Drill-down in die negativen Tweets 1. Zeitraum durch Klick in Zeitreihe auswählen. Am 2. Nov. gibt es besonders viele neg. Beiträge

64 SAS SOCIAL MEDIA ANALYTICS BERICHT GENERIEREN PHRASECLOUD ERSTELLEN Mit Hilfe von "Bericht generieren" kann man sich einen schnellen Überblick verschaffen der Topthemen innerhalb der getroffenen Auswahl (hier die neg. Twitterbeiträge am 02. Nov.)

65 SAS SOCIAL MEDIA ANALYTICS DATEN EXPORTIEREN Die Original Posts können in der Listenansicht auch jederzeit exportiert werden (mit vielen zusätzlichen Metainformationen; auch zu Autoren) und beispielsweise mit Excel für Dokumentationszwecke verwendet oder mit einem lokalen SAS Text Miner genauer unter die Lupe genommen werden.

66 SAS SOCIAL MEDIA ANALYTICS ZEITREIHENANALYSE ERMÖGLICHT ENTDECKUNG AKTUELLER TOP-THEMEN In der Zeitreihenübersicht können auch direkt Anmerkungen eingetragen werden (z.b. Erklärungen warum bestimmte Peaks zustande gekommen sind). Dies unterstützt die Kollaboration und Dokumentation ungemein.

67 SAS SOCIAL MEDIA ANALYTICS WETTBEWERBSVERGLEICH

68 SAS SOCIAL MEDIA ANALYTICS BELIEBIGE AUSWAHL DER MARKEN UND TAXONOMIE- THEMEN (HIER KONTEN U. SPAREN UND KUNDENSERVICE) Wie schneiden unsere Produkte oder der Kundenservice im Vergleich zur Konkurrenz ab?

69 SAS SOCIAL MEDIA ANALYTICS DIE PROJEKTSUCHE ERLAUBT SEHR DETAILLIERTE UND SPEZIFISCHE SUCHANFRAGEN INKL. DER MÖGLICHKEIT SICH REPORTS AUTOMATISCH ZUSTELLEN ZU LASSEN Filterung auf "Benutzergenerierte Inhalte" und "Lead"

70 SAS SOCIAL MEDIA ANALYTICS DIE PROJEKTSUCHE ERLAUBT SEHR DETAILLIERTE UND SPEZIFISCHE SUCHANFRAGEN INKL. DER MÖGLICHKEIT SICH REPORTS AUTOMATISCH ZUSTELLEN ZU LASSEN Der "Lead" Filter ist in der Lage Benutzer zu identifizieren, welche unzufrieden sind mit einem Produkt der Konkurrenz, generell auf der Suche sind nach einer neuen bzw. zusätzlichen Dienstleistung oder ganz einfach Rat bei der Auswahl eines Produktes brauchen

71 SAS SOCIAL MEDIA ANALYTICS DIE PROJEKTSUCHE ERLAUBT SEHR DETAILLIERTE UND SPEZIFISCHE SUCHANFRAGEN INKL. DER MÖGLICHKEIT SICH REPORTS AUTOMATISCH ZUSTELLEN ZU LASSEN

72 SAS SOCIAL MEDIA ANALYTICS DIE PROJEKTSUCHE ERLAUBT SEHR DETAILLIERTE UND SPEZIFISCHE SUCHANFRAGEN INKL. DER MÖGLICHKEIT SICH REPORTS AUTOMATISCH ZUSTELLEN ZU LASSEN

73 SAS SOCIAL MEDIA ANALYTICS DIE PROJEKTSUCHE ERLAUBT SEHR DETAILLIERTE UND SPEZIFISCHE SUCHANFRAGEN INKL. DER MÖGLICHKEIT SICH REPORTS AUTOMATISCH ZUSTELLEN ZU LASSEN Auf Knopfdruck kann man von der gerade erstellten Projektsuche (Filterung) einen terminierten Bericht planen. Hier im Beispiel erhält der Empfänger (auch mehrere möglich) täglich eine der gestern neu aufgetauchten Leads.