Simulationen und Mathematische Programmierung mit SAS Dr. Mihai Paunescu

Transkript

1 AGENDA Simulationen und Mathematische Programmierung mit SAS Dr. Mihai Paunescu Die SAS Communities - Hilfe in der Not zu jeder Zeit, wenn SAS nicht tut, was man will Kurt Bremser, Data Warehouse Administrator und SAS Communities Super-User, AMOS AUSTRIA Die besten Tipps und Tricks aus meinen liebsten SAS Press Büchern und warum Sie überlegen sollten, selbst ein Buch für SAS zu schreiben DI Rainer Sternecker Höher, schneller, weiter SAS Architekturtrends Cloud Computing, Event Streaming, Machine Learning und mehr Ing. Phillip Manschek BSc.

2 SAS VIYA ÜBERBLICK Copyr i g ht 2016, SAS Ins titut e Inc. All rights res er ve d.

3 SAS VIYA ENTSTEHUNG 2010 Development Timelines SAS High-Performance Architecture SAS In-Memory Analytics Server SAS 3 rd Generation Massively Parallel Architecture

4 SAS VIYA ZIELGRUPPEN Langjährige Organizations Beibehaltung der Erfolgs Vermeidung von Risiken Innovatoren Unterstützung der Kreativität und der Innovation Überleitung der Innovation in operative Prozesse Goal: Create new business and customer engagement models Goal: Establish permanence through repeatable, auditable processes

5 SAS VIYA DIE PLATTFORM Capacity & Consumption Based Private and Public Elastic Analytical Lifecycle Governance Integrated Deploy, Provision, Use Self Service Innovative Languages Enabling APIs and Services

6 SAS 9.4 MULTI-VENDOR ARCHITEKTUR MVS Solaris HP-UX SunOS OS/2 Windows AIX IRIX Tru64 Linux

7 SAS VIYA MULTI-CLOUD ARCHITEKTUR MVS HP-UX Solaris OS/2 SunOS AIX Google Cloud Platform Windows IRIX Tru64 Linux

8 Parallel & Serial, Pub / Sub, Web Services, MQs SAS VIYA PLATTFORM ARCHITEKTUR Source-based Engines In-Stream In-Cloud In-Hadoop In-Database Cloud Analytics Services (CAS) In-Memory Engine UAA UAA UAA Data Source Mgmt Folders etc. Microservices BI GUIs CAS Mgmt Log Analytics GUIs Data Mgmt GUIs Query Gen Env Mgr Model Mgmt Audit Solutions APIs Customer Intelligence Analytics Business Visualization Risk Management! Fraud and Security Intelligence Data Management Platforms Infrastructures

9 SAS VIYA UND SAS 9 & It s an AND strategy Each is designed to solve different use cases Can co-exist on same hardware (physical or virtual) Data, models, and code can be accessed via bridges

10 SAS Event Stream Processing

11 NEUE ART DER INFORMATIONS- VERARBEITUNG Streaming Analytics Streaming Analyse bewegt sich zur Datenquelle. Datenanalyse vor Datenspeicherung. Nur relevante Daten werden behalten. Micro-Batch Batch Micro-seconds Time to decision Verarbeitung von Streaming-Daten bedeutet unmittelbare Antworten und damit schnellere Entscheidungen. Days

12 Deploy ARCHITEKTUR EIN ANALYTISCHES MODELL DREI ANWENDUNGSFÄLLE Daten Storage / Datenbank Big Data Small Data Deploy Alerts / VA Reports / Decision Making IoT Daten Intelligente Filter / Transformation Streaming Anwendung (Business Rule) Realtime Data

13 SAS EVENT STREAM PROCESSING ENGINEERED FOR SPEED, AGILITY & ANALYTICS SAS Event Stream Processing bietet: Millionen Events pro Sekunde Durchsatz. Millisekunden Antwortzeit. Auf Standard Commodity Hardware. SAS Data Quality Continuous in-memory processing OS native application (Windows, Linux) Guaranteed Delivery Lightweight embedding technology Cloud ready (Cloud Foundry with BOSH or Chef) SAS Text Analytics NLP methods K-Means, DBSCAN SAS DataStep and DS2 Dataflow centric modeling Drag & drop visual modeler Visual, XML or C modeling Linear scalability Fastest ESP on the market Clustering / Failover Dynamic model update Open source integration SAS business solutions integration Publish & Subscribe API (Java, C, Python)

14 SAS & HADOOP SAS INVESTMENT IN HADOOP Hadoop eine strategische Plattform für SAS seit dem Release der SAS High- Performance Architecture (HPA) * Aktuell >20 SAS Produkte, Solutions & Technologie, die mit Hadoop interagieren. * SAS unterstützt alle großen Hadoop Distributionen (Cloudera, Hortonworks, MapR ) * SAS ist Gründungsmitglied der Hadoop Open Data Platform and Data Governance Initiatives

15 SAS & HADOOP WIE PASST SAS IN DEN DATA LAKE? Was ist ein Data Lake? Ein Architektur-Pattern im Data Center Nutzt Hadoop für effiziente Speicherung und Verarbeitung von Daten Multi-Purpose, Offene PLATTFORM für Daten (KEINE Datenbank) Alle Daten an einer Stelle Auswertung mit verschiedensten Verfahren Ökosystem, das auch higher level services bereitstellt (SAS, SAP, etc..) SAS Data Management (+Streaming) SAS Accelerators SAS In-Memory Analytics

16 SAS & HADOOP Zwei Perspektiven, die sich ergänzen SAS Anwendungs- Szenarien Hadoop als data platform Hadoop im Kern des analytical life cycle Impala Hive HDFS Zugriff und Management von Daten in Hadoop mit SAS Erweiterung von SAS Analytics nach Hadoop

17 Impala SAS/Access to Impala HADOOP GRUNDLAGEN SAS IM HADOOP ÖKOSYSTEM User Interface SAS Display Manager SAS Enterprise Guide SAS Data Integration SAS Enterprise Miner SAS Visual Analytics Metadata SAS Metadata Data Access Base SAS & SAS/ACCESS to Hadoop In-Memory Data Access SAS User Data Processing Pig Hive SAS Embedded Process Accelerators SAS High-Performance Analytic Procedures SAS LASR Analytic Server Next- Generation SAS User Map Reduce MPI Based File System HDFS

18 SAS CLUB AUF SASCOMMUNITY.ORG