Big Data und Social Media Analyse. Baden, Arne Weitzel, Senior Solution Architect Samuel Rentsch, CEO Julian Götz, Head of Sales

Transkript

1 Big Data und Social Media Analyse Baden, Arne Weitzel, Senior Solution Architect Samuel Rentsch, CEO Julian Götz, Head of Sales

2 Big Data & Social Media Analyse werden in Zukunft zentrale Business Intelligence Themen sein. Wir haben einen Use Case dafür exemplarisch implementiert. AGENDA Big Data: Sentiment Analyse mit Twitter Live-Demo Die Lösung Zusammenfassung und Ausblick Big Data und Social Media Analyse

3 BIG DATA: SENTIMENT ANALYSE MIT TWITTER

4 Im Use Case simulieren wir das Nokia Produktmangement: Stimmungen in Twitter sollen analysiert und mit den Produkten aus dem eigenen Produktkatalog verknüpft werden. NOKIA PRODUKTE: SENTIMENT ANALYSE IN TWITTER Nokia Produkt Management möchte verstehen, wie die "Social Community" auf Twitter über ihre Produkte denkt. Positive / Negative Stimmungen Topics Influencer Geographische Verteilung Big Data und Social Media Analyse

5 DIE LÖSUNG

6 CPB Information Steward Data Services Json Adapter Die Lösung wurde mit Data Services für den ETL-Prozess und der BI Plattform für das Reporting implementiert. Mit dem Information Steward werden Cleansing Packages für das Cleansing der Produkt- Bezeichner aus den Tweets erstellt. Sybase IQ kommt als analytische Datenbank für das DWH zum Einsatz. ARCHITEKTUR Search Tweets Sybase IQ Alternative: SAP HANA User Info Reverse Geocoding Produktextraktion und Sentiment Analyse Data Cleansing Produkte BI Platform (Explorer, WebI) Produkt- Katalog Analyst Data Steward Big Data und Social Media Analyse

7 Das Text Data Processing Transform nutzt einen Natural Language Processor (NLP) um natürliche Sprache zu analysieren. Entitäten wie z.b. Personen, Produkte etc. können so in ihrem sprachlichen Kontext korrekt identifiziert werden. TEXT DATA PROCESSING: NLP Quelle: SAP AG, SAP AG Big Data und Social Media Analyse

8 Die Extraktion von regelbasierten Fakten (Sentiments) berücksichtigt auch Umgangssprache oder Rechtschreibfehler (Fuzzy Logik). TDP: PRODUKTE UND SENTIMENTS Big Data und Social Media Analyse

9 Data Services wird standardmässig mit einer Vielzahl von extrahierbaren Entitätstypen ausgeliefert. 29 TDP: STANDARD ENTITÄTEN, Z.B. ENGLISCH ADDRESS ADDRESS_APT_NUM ADDRESS_CITY ADDRESS_COUNTRY ADDRESS_STATE ADDRESS_STR ADDRESS_STR_NUM ADDRESS_ZIP CITY CITY_CITY CITY_COUNTRY CITY_PROVINCE CITY_STATE COMMON_ADDRESS COMMON_CITY COMMON_CONTINENT COMMON_COUNTRY COMMON_DISTRICT COMMON_FACILITY COMMON_FACILITY/AIRPORT COMMON_FACILITY/BUILDGROUNDS COMMON_FACILITY/PATH COMMON_FACILITY/PLANT COMMON_FACILITY/SUBAREA COMMON_FEDERATION COMMON_ORGANIZATION COMMON_ORGANIZATION/COMMERCIAL COMMON_ORGANIZATION/EDUCATIONAL COMMON_ORGANIZATION/ENTERTAINMENT COMMON_ORGANIZATION/GOVERNMENT COMMON_ORGANIZATION/MEDIA COMMON_ORGANIZATION/MEDICALSCIENCE COMMON_ORGANIZATION/RELIGIOUS COMMON_ORGANIZATION/SPORTS COMMON_ORGANIZATION/UNSPECIFIED COMMON_PERSON COMMON_PERSON/GROUP COMMON_PERSON/INDIVIDUAL Big Data und Social Media Analyse COMMON_PLACE_OTHER COMMON_PLACE_OTHER/BOUNDARY COMMON_PLACE_OTHER/CELESTIAL COMMON_PLACE_OTHER/LAND COMMON_PLACE_OTHER/WATER COMMON_PLACE_REGION COMMON_PLACE_REGION/DOMESTIC COMMON_PLACE_REGION/INTL COMMON_PRECURSOR COMMON_PRECURSOR/CHEMICAL COMMON_PRECURSOR/NUCLEAR COMMON_SPECIAL COMMON_STATE_PROVINCE COMMON_VEHICLE COMMON_VEHICLE/AIR COMMON_VEHICLE/LAND COMMON_VEHICLE/SUBAREA COMMON_VEHICLE/UNSPECIFIED COMMON_VEHICLE/WATER COMMON_WEAPON COMMON_WEAPON/BIOLOGICAL COMMON_WEAPON/BLUNT COMMON_WEAPON/EXPLODING COMMON_WEAPON/NUCLEAR COMMON_WEAPON/PROJECTILE COMMON_WEAPON/SHARP COMMON_WEAPON/SHOOTING COMMON_WEAPON/UNSPECIFIED CONTINENT COUNTRY CURRENCY DATE DATE_DAY DATE_MONTH DATE_YEAR DAY DISTRICT FACILITY FACILITY/AIRPORT FACILITY/BUILDGROUNDS FACILITY/PATH FACILITY/PLANT FACILITY/SUBAREA FEDERATION GEOCOORD GEOCOORD_LAT GEOCOORD_LONG HOLIDAY MEASURE MGRS MISC_NUMERIC MONTH NOUN_GROUP ORGANIZATION ORGANIZATION/COMMERCIAL ORGANIZATION/EDUCATIONAL ORGANIZATION/ENTERTAINMENT ORGANIZATION/GOVERNMENT ORGANIZATION/MEDIA ORGANIZATION/MEDICALSCIENCE ORGANIZATION/RELIGIOUS ORGANIZATION/SPORTS ORGANIZATION/UNSPECIFIED PEOPLE PERCENT PERSON PERSON_FAM PERSON_GIV PERSON_PRE PERSON_SUFF PHONE PHONEMTF PLACE_OTHER PLACE_OTHER/BOUNDARY PLACE_OTHER/CELESTIAL PLACE_OTHER/LAND PLACE_OTHER/WATER PLACE_REGION PLACE_REGION/DOMESTIC PLACE_REGION/INTL PLACE_REGION/UNSPECIFIED POSITION POSITION_AFF POSITION_POS PRECURSOR PRECURSOR/CHEMICAL PRECURSOR/NUCLEAR PRODUCT PROP_MISC SPECIAL SSN STATE_PROVINCE TICKER TIME TIME_PERIOD URI URI/ URI/INTERNET_ADDRESS URI/IP VEHICLE VEHICLE/AIR VEHICLE/LAND VEHICLE_COLOR VEHICLE_MAKE VEHICLE_MODEL VEHICLE_YEAR VEHICLE/LICENSE VEHICLE/VIN VEHICLE/WATER WEAPON WEAPON/BIOLOGICAL WEAPON/CHEMICAL WEAPON/EXPLODING WEAPON/NUCLEAR WEAPON/PROJECTILE WEAPON/SHOOTING

10 Data Services wird standardmässig mit einer Reihe Regel-Dateien ausgeliefert. TDP: STANDARD REGEL-DATEIEN Voice of Customer Content (English, French German, Spanish) Enterprise Content (English) Public Sector Content (English) Sentiment Request Membership Mangement Changes Product Releases Mergers & Acquisitions Organizational Information Action Events Travel Events Military Units Organizational Information Person s Aliases Information About a Person's Appearance Information About a Person's Attributes Information About a Person's Relationships Spatial References Big Data und Social Media Analyse

11 ZUSAMMENFASSUNG UND AUSBLICK

12 Bei der Social Media Analyse wird «Big Data» verarbeitet. Die Anforderungen können mit dem Einsatz von SAP- und SAP-BO-Technologien abgedeckt werden. ZUSAMMENFASSUNG UND AUSBLICK Lösung basiert auf einem sofort einsatzfähigem Framework Framework kann auf jegliche andere unstrukturierte Datensourcen angewendet werden Andere Entitäten als Produkt / Meinung möglich, z.b.: Firmen Orte, Regionen, Länder, Plätze Organisationen Aufträge, Anfragen Events über 100 Entitäten in der Standard-Auslieferung von Data Services enthalten und individuell erweiterbar! Big Data und Social Media Analyse

13 Wir freuen uns auf angeregte Gespräche mit Ihnen Samuel Rentsch CEO / Partner Arne Weitzel Senior Solution Architekt Julian Götz Head of Sales / Partner Follow us @arneweitzel Blog: