SQL Server Roadshow Mai 2014

Transkript

1 SQL Server 2014 Roadshow Mai 2014

2 Frank Mewes Trainer und Consultant IAD-Informationsverarbeitung und angewandte Datentechnik GmbH

3 Quellenangabe [1] MOC-Kurs 10997A Updating your SQL Server Skills to Microsoft SQL Server 2014 [2] [3] [4] [5] einfuhrung-in-den-abfrage-editor-ha aspx?ctt=5&origin=ha [6] microsofts-geoflow-helps-spreadsheet-jockeys-tell-stories-with-maps/

4 Übersicht Einleitung Themenschwerpunkte In Memory Database Capabilities Verwalten mit Windows PowerShell Dienstkonten und Contained Databases AlwaysOn Hochverfügbarkeit Selfservice Business Intelligence SQL Server-relevante Cloud-Lösungen mit Windows Azure Fazit und Empfehlung

5 Einleitung Upgrade oder neue Version? Zahlreiche bereits vorhandene Features werden weitergeführt, teilweise geringfügig erweitert Tatsächlich neu oder in erheblichem Maße erweitert sind In-Memory Database Capabilities Self Service Business Intelligence Cloud-basierte Dienste, insbesondere Verarbeiten von Big Data mit HDInsight

6 Office Azure OS Der Weg zum SQL Server SQL Server 2008 Überwachung DatenKompression Change Data Capture Data Collector Resource Governor Richtlinienbasierte Verwaltung PowerShell provider Räumliche Daten Filestream Daten Win Srvr 2008 Sys Center 2007 SQL Server 2008 R2 Multi-Server Admin Data-Tier Applications PowerPivot Report Builder 2.0 Master Data Services Prepared Instances SQL Server 2012 AlwaysOn Hochverfügbarkeit Columnstore Indexes Contained databases Benutzerdefinierte Server Rollen Data Quality Services SSAS TabellenModus SSIS Catalog SSRS Power View SSRS Data Alerts SQL Server 2014 In-Memory OLTP Schreibzugriff auf columnstore Buffer Pool Extensions Erweiterte AlwaysOn HV Neue Privilegien auf Serverebene Bereitstellen aufazure VM Power View aus MD Deploy to SQL Azure Win Srvr 2008 R2 Win Srvr 2012 Win Srvr 2012 R2 Sys Center 2012 Sys Center 2012 R2 SQL Database Services (REST) SQL Azure SQL Azure Reporting Data Market SQL Azure = SQL Database SQL Server in VMs Office 2007 Data Mining Add-Ins (Excel) Office 2010 PowerPivot (Excel/SP) MDS Add-in (Excel) Office 2013 Power View(Excel) O365 Power BI Power Query Power Map Quelle: [1]

7 Einleitung Hauptschwerpunkte in der Produktentwicklung(1) Verwaltung mit PowerShell Hochverfügbarkeit mit Always On Business Intelligence Data Warehouse mit CDC, DQS, MDS Self Service Business Intelligence mit Power Pivot Power Query Power View Power Map

8 Einleitung Hauptschwerpunkte in der Produktentwicklung(2) Cloudbasierte Dienste Windows Azure Storage SQL Server-Backups Windows Azure SQL Database DataSync Windows Azure Virtual Machines HDInsight Windows Azure Marketplace

9 Themenschwerpunkte In Memory Database Capabilities Verwalten mit Windows PowerShell Dienstkonten und Contained Databases AlwaysOn Hochverfügbarkeit Selfservice Business Intelligence SQL Server-relevante Cloud-Lösungen mit Windows Azure

10 In-Memory Capabilities Buffer Pool Extension Column Store Index Speicheroptimierte Tabellen

11 In-Memory Capabilities Buffer Pool Extension Verwendet relativ störungsfreie und kostengünstige SSD-Laufwerke Nur bestätigte Seiten werden ausgelagert(commit) Wenn ein SSD-Laufwerk ausfällt, deaktiviert es sich von selbst Verwendet eine Datei, die 4 bis 10 mal größer sein sollte als der vorhandene physische Speicher Buffer cache (RAM) Pages Buffer cache extension (SSD) Clean Pages Data files (Disk) Quelle: [1]

12 In-Memory Capabilities Buffer Pool Extension Vorteile bei Keine Vorteile bei Aktivieren OLTP-Anwendungen mit hohem Anteil an Lesezugriffen Datenbankservern mit bis 32 GB physischem Speicher DataWarehouse Workloads OLTP-Anwendungen mit großem Umfang an Schreibzugriffen Datenbankservern mit mehr als 64 GB physischem Speicher ALTER SERVER CONFIGURATION SET BUFFER POOL EXTENSION ON ( FILENAME= E:\SSDCACHE\MYCACHE.BPE, SIZE=50GB );

13 In-Memory Capabilities Columnstore Index Eingeführt in SQL Server 2012 Mehrspaltenindex, bei dem die Datenseiten die sortieren Werte einer Spalte enthalten Bis zu 7fache Komprimierung möglich (explizite Komprimierung nicht möglich) Performancegewinn( bis zu 10fach ) bei gruppierten Abfragen mit Aggregatfunktionen Insbesondere bei in Data Warehouses bei Stern- oder Schneeflockenschema auf sehr große Faktentabellen ZeilenIndex ProductID OrderDate Cost Datenseite 1000 ProductID OrderDate Cost ProductID SpaltenIndex OrderDate Cost Datenseite 1001 Datenseite 2000 Datenseite 2001 Datenseite 2002 Quelle: [1]

14 In-Memory Capabilities Columnstore Index Einschränkungen Tabellen mit nonclustered Columnstore Index sind für Schreibzugriff gesperrt (bei Datenimport muss der Index gelöscht und neu erstellt werden) Diverse Szenarien schließen Columnstore Index aus Neu in SQL Server 2014 Clustered Columnstore Index Umfasst alle Spalten der Tabelle Ist der einzige Index der Tabelle Schreibzugriff ist möglich CREATE {CLUSTERED NONCLUSTERED} COLUMNSTORE INDEX Indexname ON tabellenname [(spaltenliste bei nonclustered index)]

15 In-Memory Capabilities Speicheroptimierte Tabellen Definiert als C-Strukturen, compiliert in DLLs und geladen in Speicher Wenn dauerhafte Speicherung, dann als Filestream Keine Sperrsemantic bei transactionalen Datenbearbeitungen Indizierung über Hash oder Bereichsindex möglich Abfragen mit TSQL über Interop Dienste Keine Unterstützung von Large Object-Datentypen Keine Unterstützung von IDENTITY und FOREIGN KEY

16 In-Memory Capabilities Speicheroptimierte Tabellen Szenarien Latch-gebundene OLTP Workloads(z.B. OnLine Spiele) Viele konkurrierende Schreibzugriffe auf große Zeilenmengen Schreibzugriffe konzentrieren sich auf bestimmte Speicherseiten der Tabelle(z.B. bei Clustered Index mit aufsteigendem Schlüssel) Schreibkonflikte muss die Anwendung verwalten

17 In-Memory Capabilities Speicheroptimierte Tabellen ALTER DATABASE mydb ADD FILEGROUP memdata CONTAINS MEMORY_OPTIMIZED_DATA; Datei hinzufügen CREATE TABLE tabellenname( ) WITH ( MEMORY_OPTIMIZED=ON, DURABILITY=SCHEMA_AND_DATA)

18 In-Memory Capabilities Speicheroptimierte Tabellen CREATE PROCEDURE prozedurname [parameterliste] WITH NATIVE_COMPILATION, SCHEMA_BINDING, EXECUTE AS OWNER AS BEGIN ATOMIC WITH (TRANSACTION ISOLATION LEVEL=SNAPSHOT; LANGUAGE=`us_english`) END; Native Compilation CREATE PROCEDURE In C übersetzen #define in HRESULT hkp_( Compile to DLL Tab1 Tab2 Tab3 Tab4 Memory-Optimized Tables Query Interop Transact-SQL SELECT t1.col1, t3.col2 FROM Tab1 t1 JOIN Tab2 t2 ON t1.col1 = t2.col1; Disk-Based Tables Quelle: [1]

19 Verwalten mit PowerShell Power Shell: ein zentraler Mechanismus, der es erlaubt, verschiedene Systeme zu managen und zu automatisieren Windows SQL Server Exchange Server Sharepoint Server Script-Sprache, basierend auf.net-frameworks Erlaubt Zugriff auf: Registry Anwendungen Dienste Quelle: [2]

20 Verwalten mit PowerShell Cmdlets verwenden WMI Cmdlets sind objektbasiert, nicht textbasiert Kommunikation über Pipes Einfache Verb-Subjekt-Struktur Verwenden vertrauter Befehle(aus Windows, SQL Server u.a) Navigation ähnlich wie im Dateisystem(auch in Objekthierarchien von Anwendungen) Interaktives Prompt oder Skript-Umgebung Nachladen von Bibliotheken(Modulen) Erweiterbar durch Drittanbieter

21 Verwalten mit PowerShell Power Shell ISE(Integrated Scripting Environment) Editieren vieler Befehlszeilen Selektive Ausführung Kontextbezogene Hilfe Script-Speicherung Quelle: [3]

22 Dienstkonten und Contained Databases Dienstkonten Virtuelles Konto(seit SQL Server 2012) Bei Installation voreingetragen Lokal verwaltet, aber mit Zugriff auf Netzwerkressourcen Hat alle Berechtigungen, die der Dienst lokal benötigt Ab Windows 7 bzw. Windows Server 2008 R2 Verwaltetes Konto Auf der Domäne definiert Einem spezifischen Computer in der Domäne als Dienstkonto zugewiesen Keine Anmeldung als Person möglich

23 Dienstkonten und Contained Databases Contained Databases Speichert ihre Metadaten selbst ( nicht in er master ) Problemlose Migration z.b. in eine Cloud (öffentlich oder privat) Dazu gehören Contained Users Benutzer, die keinem Login auf Instanzebene zugeordnet sind Wichtig für Anbieter, die eine Datenbank in der Cloud bereitstellen wollen

24 Dienstkonten und Contained Databases Contained Databases CREATE DATABASE mycontaineddb CONTAINMENT=PARTIAL; USE mycontaineddb; CREATE USER containedsqluser WITH PASSWORD= Pa$$w0rd ; CREATE USER [windomaene\containedwinuser];

25 AlwaysOn Hochverfügbarkeit AlwaysOnFailoverClusterInstanz Basiert auf WindowsFailoverCluster Gemeinsam genutzter Speicher(SAN) Installation eines SQL Server Failover Cluster Ausfallsicherheit auf Serverebene AlwaysOn Failover Cluster Instance Server-level protection Windows Server Failover Cluster AlwaysOnAvailabilityGroup Basiert ebenfalls auf WindowsFailoverCluster SQL Server sind eigenständige Instanzen Verfügen über ihren eigenen zugewiesenen Speicher Ausfallsicherheit auf Datenbankebene Quelle: [1] Windows Server Failover Cluster AlwaysOn Availability Group Database-level protection

26 AlwaysOn Hochverfügbarkeit AlwaysOn VerfügbarkeitsGruppen Besteht aus Replikaten(SQL Server Instanzen, mind. 2012) Ein primäres Replikat Bis 8 ( SQL Server 2012: 4 ) sekundäre Replikate Lese- und Schreibzugriff auf die Datenbank(en) auf dem primären Replikat Lesezugriff konfigurierbar für die Datenbanken auf den sekundären Replikaten Secondary Replica Voraussetzungen Windows Server Failover Cluster Windows Failover Cluster SQL Server Enterprise Edition (oder Developer Edition oder Eval) Wiederherstellungsmodell: Vollständig Primary Replica Async Secondary Replica Listener Quelle: [1]

27 AlwaysOn Hochverfügbarkeit Verfügbarkeitsmodi Synchrones Commit ähnlich Zwei-Phasen-Commit Primäres Replikat verteilt die Datenänderungsoperationen an die sekundären Erst wenn das letzte Vollzug gemeldet hat, wird Commit ausgegeben Minimaler Datenverlust Verzögerungen möglich Probleme möglich, wenn hohes Datenänderungsaufkommen schlechte Netzwerkperformance große Entfernung zwischen Replikaten Asynchrones Commit jedes Replikat führt Commit selbständig aus Gute Gesamt-Performance Datenverlust bei Failover möglich

28 AlwaysOn Hochverfügbarkeit Ausfallsicherheit Automatisch ohne Datenverlust Primäres und sekundäres Replikat müssen synchronen Commit-Modus konfiguriert haben keine administrativen Aktivitäten erforderlich (bei Ausfall des primären Replikats) Geplant manuell ohne Datenverlust erfordert synchronen Commit-Modus durch Administrator ausgelöst Erzwungen manuell mit möglichen Datenverlust bei asynchronem Commit-Modus möglich durch Administrator ausgelöst auch bei synchronem Commit-Modus möglich

29 AlwaysOn Hochverfügbarkeit Erweiterungen in SQL Server 2014 Anzahl der maximal möglichen sekundären Replikate erhöht sich auf 8 Aktive sekundäre Replikate bleiben verfügbar, wenn die Verbindung zu primären verloren geht Assistent zum Einbinden eines Cloud-basierten Replikats(Windows Azure) inklusive Erstellen einer virtuellen Maschine und eines Listeners in der Cloud Szenarien für aktive sekundäre Replikate Kein Snapshot erforderlich(wie bei Datenbankspiegelung) Berichte und Analysen Backups(allerdings nur Copy Only und Transaktionsprotokoll) Replikation

30 AlwaysOn Hochverfügbarkeit Listener Möglicher Zugangspunkt für Client-Anwendungen Benötigt DNS-Name, IP-Adresse(n) und TCP-Port (Umkonfigurieren der Client-Connections bei Failover entfällt) Leitet Lese-/Schreibzugriffe an das primäre Replikat weiter Nur Lesezugriffe können an sekundäre Replikate weitergeleitet werden Secondary Replica Backup Primary Replica Secondary Replica ApplicationIntent=ReadOnly Quelle: [1]

31 AlwaysOn Hochverfügbarkeit Einstellmöglichkeiten auf dem primären Replikat Allow all Allow read/write Zugriffe können als read intent deklariert werden Die werden an sekundäre Replikate geroutet Einstellmöglichkeiten auf sekundären Replikaten No Connection Only Read Intent Allow any read only nur für Verfügbarkeit muss die Client-Anwendung deklarieren auch nicht deklarierte Lesezugriffe

32 SelfService Business Intelligence Power Pivot (SQL Server 2008) Power Query (SQL Server 2014) Power View (SQL Server 2012) Power Map (SQL Server 2014)

33 SelfService Business Intelligence Power Pivot Bereits seit SQL Server 2008 AddIn in Excel Ermöglicht Kreuztabellendarstellung Zeilenüberschrift- Spaltenüberschrift-Aggregation mit Drilldown Vielzahl von möglichen Quellen (SQL Server, Analysis Server, MS Access, Oracle, DB2, Informix, u.a.) Von Quelldaten wird pro Arbeitsmappe ein Modell gespeichert Aktualisierung manuell Integration in Sharepoint Quelle: [4]

34 SelfService Business Intelligence Power Query Neu in SQL Server 2014 Auch ein AddIn Mögliche Quellen: Datenbanken ( SQL Server, Access, Oracle, DB2, PostgreSQL ) Excel-Arbeitsblätter XML-Dokumente CSV Sharepoint-Listen Active Directory Öffentliche Quellen(Cloud, Web-Sites, Hadoop, u.a.) Die üblichen Abfrageoperationen (werden intern übersetzt in Power Query Ausdrücke) Vorschau wird nach jedem Abfrageschritt generiert Ergebnisse könne in einem Arbeitsblatt angezeigt oder in ein Datenmodell(gespeichert in der Arbeitsmappe) geladen werden Kann als Quelle für Power Pivot dienen Quelle: [5]

35 SelfService Business Intelligence Power View Neu seit SQL Server 2012 Sehr leicht zu bedienender Berichtsgenerator AddIn in Excel Interaktive Berichtserstellung Vielzahl von Visualisierungsmöglichkeiten Ergebnis erscheint sofort Vielfältige Quellen Tabulares Datenmodell(vgl. Power Pivot) Bei Integration von Reporting Services im Sharepoint Server auch dort integrierbar Quelle: [1]

36 SelfService Business Intelligence Power Map Neu in SQL Server 2014 AddIn in Excel Dreidimensionale Visualisierung geographischer Daten Geschäftsdatendiagramm in optischen Bezug zu geographischen Daten setzen Geschäftsdaten kommen aus einer Tabelle im Arbeitsblatt oder einem tabularen Datenmodell Kartenbilder werden von BingMaps bezogen Kann direkt in Excel vorgeführt oder als Video exportiert werden Quelle: [6]

37 SelfService Business Intelligence Power Map Eine Arbeitsmappe kann eine oder mehrere Touren enthalten Eine Tour kann eine oder mehrere Szenen enthalten Eine Szene kann eine oder mehrere Schichten enthalten Jede Schicht zeigt Datenvisualisierung auf einer Karte an Beispiel: Tour: Szenen: Schicht: Schulabbrecher in einem Bundesland Statistiken nach verschiedenen Aspekten (Alter, Klassenstufe, Geschlecht, sozialer Hintergrund, ) Verteilung für eine bestimmte Szene auf Kreise und Städte für eines der letzten 10 Jahre Man wählt eine Szene aus und lässt die Schichten als Animation ablaufen Dauer, Geschwindigkeit, geographische Angaben, Diagrammtyp und eine Vielzahl von Effekten sind konfigurierbar

38 SelfService Business Intelligence Power Business Intelligence für Office 365 Baut auf Self Service Business Intelligence auf Ermöglicht den Aufbau einer Plattform für die Zusammenarbeit verschiedener Nutzer Nutzer haben gemeinsam Zugriff auf Power BI Sites Power BI Q&A Shared Queries Data Management Gateway für Power BI Cloud Dienste The Power BI Windows Store App Daten Abfragen Visualisierungen Sharepoint Online Sites Freigeben von Arbeitsmappen und Power View Visualisierungen Sharepoint Sites Nutzer können Abfragen in natürlicher Sprache formulieren und basierend darauf Power Pivot-Daten visualisieren Erstellen von Power Query-Abfragen Freigeben für andere Office 365 Power BI-Benutzer Freigabe von betriebsinternen Datenquellen App für Windows zum Anzeigen von Berichten auf mobilen Geräten

39 Cloud Lösungen Allgemeines Windows Azure Storage Windows Azure SQL Datenbankserver Windows Azure Virtual Machines Big Data mit Windows Azure HDInsight Windows Azure Market Place

40 Cloud Lösungen Allgemeines Abstraktionskonzept zur Kapselung von computerbasierten Diensten generiert in einem Pool freigegebener Resourcen SaaS PaaS IaaS Öffentliche Hypbrid Cloud Private SaaS für Anwender PaaS für Entwickler Betriebssystem und Schnittstellen IaaS für Organisationen Skala von Infrastrukturen Quelle: [1]

41 Compute Data Services Network App Services Cloud Lösungen Windows Azure Dienste Media Services Active Directory Multi-Factor Authentication Service Bus Notification Hubs Caching BizTalk Services Cloud Services Web Sites Mobile Services Virtual Machines Storage SQL Database SQL Reporting Backup Hyper-V Recovery Manager HDInsight Virtual Network Traffic Manager Quelle: [1] Windows Azure Marketplace

42 Cloud Lösungen Windows Azure Storage Erforderlich zum Anlegen von Tabellen BLOB Datenbank(en) Backup Virtuelle Maschinen(weniger eingeschränkt als SQL Datenbank) Erfordert Windows Azure Storage Account(abonnieren) Kontenname Teil eines URL zum Zugriff (Bsp.: Dem Kontennamen werden zwei 512bit-Schlüssel zur Authentifizierung zugeordnet Redundanz über drei geographisch verteilte Replicas ist zugesichert

43 Cloud Lösungen Datenbank-Backup in Windows Azure Storage Mit Sicherheit offsite und redundant Erfordert die Einrichtung eines Windows Azure Storage Account und eines BLOB Storage Containers Schritte: CREATE CREDENTIAL credentialname WITH IDENTITY= name_des_azure_storage_account SECRET= einer_der_schluessel_zum_storage_account ; BACKUP DATABASE datenbankname TO URL= name_des_azure_storage_account.blob.core.windows.net/backups/dbname.bak WITH CREDENTIAL= credentialname ;

44 Cloud Lösungen Windows Azure SQL Database Man bekommt, was zu einer typischen Datenbank dazugehört (Tabellen, Views, Prozeduren, Benutzer, Privilegien u.a.) Eigenes Betriebssystem und eigene Hardware braucht man nicht (und niemand, der sich darum kümmert) In Windows Azure sind einzurichten(mindestens) ein(e): Azure Abonnement(darüber werden die Aktivitäten abgerechnet) SQL Datenbankserver mit SQL Datenbank DNS-Namen Administratorkonto Firewall-Regeln isoliert untereinander keine Systemdatenbanken SQL Database Server (conceptual) SQL Database Server (conceptual) Quelle: [1] Master database Isolated user databases

45 Cloud Lösungen Windows Azure SQL Database Unterschiede zu hauseigenen Datenbanken Keine Logins Anmeldung erfolgt sofort datenbankbezogen Nur SQL Server-Authentifizierung Firewall-Regeln müssen über ein Management Portal konfiguriert werden (IP-bezogen) Zugriff auf die Firewall des physischen Rechners ist nicht möglich Administratoren können weitgehend nur logisch administrieren(z.b. Benutzer und Berechtigungen) Physische Administration oder Instanzkonfiguration sind so gut wie nicht möglich Datenbankgröße, Prozessornutzung über Abonnement Backup wird vom Provider geleistet

46 Cloud Lösungen Einrichten einer Windows Azure SQL Database Windows Azure Management Portal ( Server ein Administrator-Login(SQL Server-Authentifizierung) Geographische Region Zugriff cloudinterner Dienste zulassen oder nicht (Zulassen mit der Firewall-Regel: ) DNS-Name wird automatisch zugewiesen: Servername.database.window.net Zweite Firewall-Regel für den Zugriff übers Internet (IP-Adressbereich) Edition Web und Business man zahlt nur für den Speicher, den man aktuell verbraucht Geeignet für allmählich wachsende Datenbanken Premium man reserviert Speicher vor und zahlt dafür Geeignet für Datenbanken, die in die Cloud migrieren sollen Datenbank Name, Sortierung

47 Cloud Lösungen Windows Azure SQL Database SQL Datenbank Sicherheit Logins werden vom Administratorlogin erstellt Name: Verfügbare Serverrollen: Firewallregeln für den Internetzugriff Serverebene: Datenbankebene: ein oder mehrere IP-Adressbereiche loginmanager dbmanager zusätzlich zur Serverebene können auf Datenbankebene individuelle Firewallregeln eingerichtet werden (sp_set_database_firewall_rule, sp_delete_database_firewall_rule) Am hauseigenen Proxy muss TCP-Port 1433 ausgehend erlaub sein

48 Cloud Lösungen Windows Azure SQL Datenbanken einrichten und verwalten Tools Windows Azure Management Portal Windows Azure SQL Database Management Portal SQL Server Management Studio Sqlcmd Visual Studio nicht unterstützte Features: Einige andere sind eingeschränkt CLR Dateigruppenverwaltung und Dateizuweisung Verteilte Abfragen und Transaktionen Globale temporäre Tabellen Service Broker Systemtabellen Trace Flags Datenbankspiegelung

49 Cloud Lösungen SQL Data Sync Eine Art Replikation für cloud-basierte Datenbanken untereinander aber auch zwischen cloud-basierten und hauseigenen Datenbanken Komponenten Sync group: teilnehmende Instanzen, Datenbanken, Regeln, Zeitpläne Sync hub: SQL Datenbank mit zentraler Kopie der zu synchronisierenden Daten Referenzdatenbank(en): Datenbank(en), die mit dem Sync hub zu synchronisieren sind, bidirektional oder in eine Richtung Sync Agent: wird benötigt, um hauseigene Datenbanken mit dem Sync hub zu synchronisieren Reference Databases SQL Data Sync Client Service herunterladen, installieren, ausführen Sync Group Quelle: [1]

50 Cloud Lösungen Windows Azure Virtual Machines IaaS statt nur PaaS(Windows Azure SQL Datenbank) Admin hat die Möglichkeit Betriebssystem Anwendung Netzwerk-Konfiguration (bei virtuellen Netzwerken, falls gewünscht) selbst zu administrieren (hat damit natürlich auch mehr Arbeit) Basierend auf Hyper-V-Technologie von Windows Server 2012 und Microsoft System Center 2012 R2

51 Cloud Lösungen Windows Azure Virtual Machines Vorteile: Eingebaute Ausfallsicherheit ( VHD sind in Win Azure BLOB Speicher Replikate ) Einfaches Migrieren oder Duplizieren von hauseigenen VMs in die Cloud Virtuelles Netzwerk, um das eigene Data Center in die Cloud zu erweitern Nutzen von vordefinierten Template Images (Windows Azure Gallery) für typische Serverkonfigurationen oder Erstellen eigener Templates mit sysprep vor dem Erstellen eines eigenen Templates: Windows Azure Management Portal hält eine Liste Community-unterstützter Images bereit

52 Cloud Lösungen Windows Azure Virtual Machines Plattenspeicher Eine virtuelle Maschine beinhaltet immer eine VHD für die Betriebssysteminstallation bei laufendem Betrieb ein Laufwerk D: zur Speicherung temporärer Daten Eigene VHDs werden in Windows Azure BLOB Speicher angelegt erfordern also ein Windows Azure Storage Account müssen mit fester Größe konfiguriert werden können leer angelegt werden oder es können vorhandene hauseigene hochgeladen werden

53 Cloud Lösungen Windows Azure Virtual Machines Windows Azure Service Topology Einfachste mögliche Topologie bei Einsatz einer VM in der Cloud (Einrichten in Region Cloud Service Storage Account definiert nächstmögliche Zugangspunkt und Replikationsbereich konzeptioneller Container für die Window Azure Komponenten, die zusammen einen Cloud-Dienst für einen User ergeben Hier müssen die VM definiert werden URL für Zugriff aus dem hausinternen Netzwerk: Dienstname.cloudapp.net zum Speichern der VHD in BLOB-Containern Region Affinity Group Virtual Network Cloud Service Availability Set Storage Account Quelle: [1]

54 Cloud Lösungen Windows Azure Virtual Machines Firewall- und Endpunkt-Konfiguration Public port Private port Endpoint Endpunkte müssen auf dem Cloud-Service konfiguriert werden, zu dem die VM gehört Private port Standalone Endpunkte Stellen von einem öffentlichen auf einen privaten TCP-Port durch Quelle: [1] SQL Server Standard-Instanz 1433 (privat) SQL Server Benannte Instanz statische Port-Adresse Für einen Cloud-Service kann ein Endpunkt den öffentlichen Port 1433 bereitstellen Windows Azure bietet vordefinierte Endpunkte für Standard-Szenarien an (Bsp.: MSSQL öffentlich: 1433 privat: 1433)

55 Cloud Lösungen Windows Azure Virtual Machines Konnektivität und Authentifizierungs-Szenarien Bei Kommunikation über Endpunkt ist SQL Server Authentifizierung erforderlich Das hauseigene Netzwerk und die VM in der Cloud können auch über VPN verbunden werden. Dann ist Windows-Authentifizierung mit Konten aus der hauseigenen Domäne möglich. Es kann auch im Cloud-Dienst ein virtuelles Netzwerk mit eigenem Domänen-Controler eingerichtet werden. SQL Server Authentication Endpoint Virtual Network Windows Authentication VPN Windows Authentication Quelle: [1] Dann ist Windows-Authentifizierung mit Konten aus der Domäne in der Cloud möglich.

56 Cloud Lösungen Big Data Daten sind zu umfangreich und komplex für die übliche Verarbeitung in relationalen Datenbanken 3 typische Merkmale (3 V s) Volume mehrere 100 TeraByte Variety Mischung aus Formaten und strukturiert und unstrukturiert Velocity kontinuierlicher Strom von neuen Informationen Beispiele WebServer-Protokolle für Hochbetriebs-WebSites Auszüge von Datenströmen aus sozialen Medien für Stimmungsanalysen Sensordaten( Überwachung von Bauwerken, Wetter, Seismik, Windrädern, Anlagen, z. B. Hochöfen u.a.m.)

57 Cloud Lösungen Big Data Hadoop Open Source Lösung zum Verarbeiten von Big Data in verteilten Server-Clustern Verwaltet von Apache Zahlreiche Distributionen von vielfältigen Anbietern Hadoop-Cluster Cluster von Servern speichert Daten in einem verteilten Dateisystem HDFS= Hadoop Distributed File System Ein Namensknoten nimmt Abfragen entgegen und koordiniert die Verarbeitung durch ein oder mehrere Datenknoten

58 Cloud Lösungen Big Data Lorem ipsum sit amet magma sit elit Fusce magma sed sit amet magma Map/Reduce Key Value Key Value Lorem 1 Fusce 1 Map-Phase: Reduce-Phase: jeder beteiligte Knoten verarbeitet eine Teilmenge der angeforderten Daten Erzeugt Schlüssel-Wert-Paare ein Reducer-Knoten aggregiert die Ergebnisse der Map-Phase ipsum 1 sit 1 amet 1 magma 1 sit 1 elit 1 Key magma 1 sed 1 sit 1 amet 1 magma 1 Value Lorem 1 ipsum 1 sit 3 amet 2 magma 3 elit 1 Fusce 1 sed 1

59 Cloud Lösungen Big Data Verwandte Projekte Hive ermöglicht das Erstellen von tabularen Abstraktionen über die HDFS-Daten Löst Map/Reduce-Verarbeitung durch SQL-ähnliche HiveQL-Befehle aus HCatalog abstrahiert Hive-Tabellen von den darunterliegenden HDFS-Speicherorten Pig Verarbeitungsmodul, das Map/Reduce-Anweisungen in einer prozeduralen Sprache (PigLatin) ausdrückt Oozie Framework zum erstellen automatisierter Aufträge, die Map/Reduce-Prozesse koordinieren Mahout selbstlernendes Modul zum Ausführung von Data Mining auf HDFS-Daten Hinweis: Der Bereich unterliegt derzeit fortlaufenden Veränderungen Angaben können schnell veralten

60 Cloud Lösungen Big Data Microsoft Big Data Lösungen Parallel Data Warehouse Windows Azure HDInsight PolyBase SQL Server Edition mit Hardware dazu 2 Racks mit diversen Servern, untereinander geclustered ( Steuerungsknoten, Verwaltungsknoten, Stagingknoten, Backupknoten, Verarbeitungsknoten, Speicherknoten ) Für hauseigenes DataWarehouse Cloudbasierte Distribution von Hadoop HDFS basiert auf Windows Azure BLOB Storage Unterstützt Map/Reduce, Hive, Pig, Oozie, DCatalog Dazu eine.net-framework-basierte Entwicklungsumgebung Unterstützt Kombination aus Parallel Data Warehouse und HDINsight

61 Cloud Lösungen Big Data HDInsight Cluster einrichten Benötigt Windows Azure Storage (hostet HDFS) Windows Azure SQL Database ( optional zum Speichern von Metadaten für Hive und Oozie, wenn nicht ausgewählt, wird eine verborgene zugewiesen) Erforderliche Angaben Cluster Name Cluster Größe HDInsight Version Anzahl der Knoten, Resourcen es gibt etliche Releases von Hadoop entsprechend korrespondierende Versionen von HDInsight Tools können u.u. bestimmte Releases von Hadoop erfordern Windows Azure Storage Account und BLOB-Container Hostet das HDFS-FileSystem (optional) SQL Database zum Speichern der Metadaten Benutzer Credentials für Cluster Verwaltung

62 Cloud Lösungen Big Data Arbeiten mit HDInsight Navigation mit Azure Storage Volume(asv)-URLs oder UNIX(-Like)-Pfaden /logs/file.txt Shell-Anweisungen erinnern an UNIX ls and lsr cp, copytolocal, and copyfromlocal mv, movetolocal, and movefromlocal mkdir rm and rmr cat

63 Cloud Lösungen Big Data Arbeiten mit HDInsight Map/Reduce-Jobs: Windows Azure Power Shell installieren und einrichten Mit PowerShell-Befehlen den Job ausführen Mit PowerShell-Befehlen Job-Resultate abfragen Datenverarbeitung mit PigLatin die Windows-Azure-PowerShell hält Objekte/cmdlets bereit Readings=load /weather/data.txt using pigstorage(, ) as (date, time, temp:long, wind:long); GroupedReadings=group readings by date; AvgWeather=foreach GroupedAvgs generate flatten(group) as date, avgtemp, avgwind; Arbeiten mit Hive-Tabellen mit Zugriff von Excel und PowerQuery über ODBC CREATE TABLE, INSERT, LOAD DATA, SELECT

64 Cloud Lösungen Windows Azure Marketplace Zugriff über: Abonnieren(frei oder kostenpflichtig) und auch Veröffentlichen von statistischen Datenmengen aus verschiedensten Themenbereichen ( Finanzen, Demographie, Gesundheitswesen, Wetter, Sport, Wissenschaft u.v.a.m.) Überprüfung und Rechnungslegung durch Windows Azure Import durch Excel, PowerPivot und Power Query möglich

65 Fazit Doch eine neue Version Komplett neu: Erheblich weiterentwickelt und teilweise konsolidiert Kontinuierlich weiterentwickelt InMemory-Capabilities Cloud Dienste und Nutzungsmöglichkeiten Selbstbedienungs Business Intelligence AlwaysOn Hochverfügbarkeit Verwaltbarkeit mit PowerShell

66 Fazit Sie wollen mehr erfahren? Kurse MOC Updating your Skills to MS SQL Server 2014 MOC MOC MOC Administering MS SQL Server Data Warehouse mit MS SQL Server Developing MS SQL Server Databases MOC Database Solution mit MS SQL Server 2012

67 SQL Server 2014 Roadshow Vielen Dank für Ihre Aufmerksamkeit