Bernd Jungbluth. Microsoft SQL Server Integration Services

Transkript

1

2 Bernd Jungbluth Microsoft SQL Server Integration Services

3

4 Bernd Jungbluth Microsoft SQL Server Integration Services

5 Bernd Jungbluth: Microsoft SQL Server Integration Services Copyright 2011 O Reilly Verlag GmbH & Co. KG Das in diesem Buch enthaltene Programmmaterial ist mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Autor, Übersetzer und der Verlag übernehmen folglich keine Verantwortung und werden keine daraus folgende oder sonstige Haftung übernehmen, die auf irgendeine Art aus der Benutzung dieses Programmmaterials oder Teilen davon entsteht. Die in diesem Buch erwähnten Software- und Hardwarebezeichnungen sind in den meisten Fällen auch eingetragene Marken und unterliegen als solche den gesetzlichen Bestimmungen. Der Verlag richtet sich im Wesentlichen nach den Schreibweisen der Hersteller. Das Werk, einschließlich aller Teile, ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen ISBN , PDF-eBook-ISBN O Reilly Verlag GmbH & Co. KG Balthasarstraße 81, Köln Alle Rechte vorbehalten Korrektorat: Kristin Grauthoff, Lippstadt Fachlektorat: Thomas Irlbeck, München ( Satz: Silja Brands, ActiveDevelop, Lippstadt ( Layout: Gerhard Alfes, mediaservice, Siegen ( Umschlaggestaltung: Hommer Design GmbH, Haar ( Gesamtherstellung: Kösel, Krugzell (

6 Danke

7

8 Inhaltsverzeichnis Vorwort Einleitung Der Aufbau dieses Buchs BI or not BI oder: Für wen ist dieses Buch gedacht? Mein Name ist Ablaufsteuerungselement Die Installation von SSIS Die Begleitdateien Support Teil A SQL Server Integration Services SQL Server Integration Services Sinn und Zweck Import/Export von Daten Datenintegration Workflow-Lösungen Die Architektur Das Paket Die Struktur eines Pakets Die Pakethierarchie Die Komponenten von SSIS Tools und Assistenten Tools zur Paketausführung Tools zur Entwicklung und Verwaltung von Paketen Die Assistenten von SSIS Zusammenfassung Vergangenheit und Gegenwart Vergangenheit von DTS nach SSIS Die Entwicklung von Paketen in DTS und SSIS Die Administration von Paketen in DTS und SSIS DTS in Zeiten von SSIS Gegenwart von SSIS 2005 nach SSIS 2008 R Neues Paketformat Verbesserter Datenfluss Neue Skriptumgebung... 48

9 8 Inhaltsverzeichnis Neue Datentypen Datenprofilerstellungs-Task ADO.NET-Komponenten Datenflusskomponente Suche Datenflusskomponente Cachetransformation Neue Debugmöglichkeiten Integration Services-Verbindungsprojekt-Assistent Verbesserter SQL Server-Import/Export-Assistent Features von SQL Server Zusammenfassung Teil B Die Entwicklungsumgebung Business Intelligence Development Studio Einführung in Business Intelligence Development Studio Die Optionen von Business Intelligence Development Studio Projekte und Projektmappen Ein SSIS-Projekt Integration Services-Verbindungsprojekt-Assistent Integration Services-Projekt Der SSIS-Designer Die Ablaufsteuerung Der Datenfluss Die Ereignishandler Der Paket-Explorer Der Verbindungs-Manager Zusammenfassung Paketvariablen Paketvariablen in SSIS Die Systemvariablen Die Benutzervariablen Paketvariablen verwalten Zusammenfassung Ausdrücke Ausdrücke in SSIS Ausdrücke und dynamische Eigenschaften Ausdrücke im For-Schleifencontainer Ausdrücke in Rangfolgeneinschränkungen Ausdrücke im Datenfluss Ausdrücke und Paketvariablen... 87

10 Inhaltsverzeichnis 9 Syntax und Funktionen Die Funktionen der Ausdrucksprogrammierung Die Operatoren der Ausdrucksprogrammierung Konstanten in der Ausdrucksprogrammierung Zusammenfassung Verbindungs-Manager Die Verbindungs-Manager Primäre Verbindungen OLE DB-Verbindung Flatfile-Verbindung ADO.NET-Verbindung Analysis Services-Verbindung Dateiverbindung Verbindung aus Datenquelle Sekundäre Verbindungen ADO CACHE EXCEL FTP HTTP MSMQ MULTIFILE MULTIFLATFILE ODBC SMOServer SMTP SQLMOBILE WMI Weitere Verbindungs-Manager Zusammenfassung Teil C Die Ablaufsteuerung Ablaufsteuerung Der Ablaufsteuerungs-Designer Die Eigenschaften zur Ablaufsteuerung Das Kontextmenü zur Ablaufsteuerung Die Rangfolgeneinschränkungen Die Ablaufsteuerungselemente Zusammenfassung

11 10 Inhaltsverzeichnis 8 Die Ablaufsteuerungselemente Ein Überblick For-Schleifencontainer Konfiguration Hinweise Foreach-Schleifencontainer Foreach-Datei-Enumerator Foreach-Element-Enumerator Foreach-ADO-Enumerator Enumerator für Foreach-ADO.NET-Schemarowset Foreach-Enumerator für Daten aus Variable Foreach-NodeList-Enumerator Foreach-SMO-Enumerator Sequenzcontainer Konfiguration Hinweise ActiveX-Skripttask Konfiguration Hinweise Analysis Services-Task 'DDL ausführen' Konfiguration Hinweise Analysis Services-Verarbeitungstask Konfiguration Inkrementell verarbeiten Einstellungen ändern Hinweise Data Mining-Abfragetask Konfiguration Hinweise Datenflusstask Datenprofilerstellungs-Task Konfiguration Hinweise FTP-Task Konfiguration Hinweise Masseneinfügungstask Konfiguration Hinweise Skripttask Konfiguration Scripting Hinweise

12 Inhaltsverzeichnis 11 Task 'Anmeldungen übertragen' Konfiguration Hinweise Task 'Aufträge übertragen' Konfiguration Hinweise Task 'Dateisystem' Konfiguration Hinweise Task 'Datenbanken übertragen' Konfiguration Hinweise Task 'DTS 2000-Paket ausführen' Konfiguration Hinweise Task 'Fehlermeldungen übertragen' Konfiguration Hinweise Task 'In 'master' gespeicherte Prozeduren übertragen' Konfiguration Hinweise Task 'Mail senden' Konfiguration Hinweise Task 'Nachrichtenwarteschlange' Konfiguration Hinweise Task 'Paket ausführen' Konfiguration Übergabe von Paketvariablen Hinweise Task 'Prozess ausführen' Konfiguration Hinweise Task 'SQL ausführen' Konfiguration Unterschiede Hinweise Task 'SQL Server-Objekte übertragen' Konfiguration Hinweise

13 12 Inhaltsverzeichnis Task 'Webdienst' Konfiguration Hinweise Task 'WMI-Datenleser' Konfiguration Hinweise Task 'WMI-Ereignisüberwachung' Konfiguration Hinweise XML-Task Konfiguration Validate XSLT XPATH Merge Diff Patch Wartungsplantasks Zusammenfassung Ereignishandler Ereignisse und Ereignishandler Die Ereignisse Reihenfolge der Ereignisse Ereignishandler im Einsatz Sammeln von Fehlermeldungen Sammeln von Fehlermeldungen Eine Alternative Bereinigen von Fehlern Zusammenfassung Teil D Der Datenfluss Datenfluss Der Datenfluss Die Architektur Der Entwicklungsansatz Der Datenfluss-Designer Das Erstellen eines Datenflusses Der Erweiterte Editor Der Datenflusspfad Der Datenflusspfad-Editor Das Dialogfeld Eingabe-/Ausgabe-Auswahl Der Editor zum Wiederherstellen ungültiger Spaltenverweise

14 Inhaltsverzeichnis 13 Die Fehlerausgabe Zusammenfassung Datenflussquellen Definition und Konfiguration ADO NET-Quelle OLE DB-Quelle Excel-Quelle Flatfilequelle Rohdatendatei-Quelle XML-Quelle Zusammenfassung Datenflusstransformationen Definition und Konfiguration Abgeleitete Spalte Konfiguration Hinweise Aggregat Konfiguration Erweiterter Editor Hinweise Ausdrucksextrahierung Konfiguration Hinweise Ausdruckssuche Konfiguration Hinweise Bedingtes Teilen Konfiguration Hinweise Cachetransformation Konfiguration Hinweise Data Mining-Abfrage Konfiguration Hinweise Datenkonvertierung Konfiguration Erweiterter Editor Hinweise

15 14 Inhaltsverzeichnis Fuzzysuche Die Fuzzylogik Konfiguration Erweiterter Editor Hinweise Fuzzygruppierung Konfiguration Hinweise Langsam veränderliche Dimension Konfiguration Erweiterter Editor Hinweise Multicast Konfiguration Hinweise OLE DB-Befehl Konfiguration Hinweise Pivot Konfiguration Hinweise Prozentwert-Stichprobe Konfiguration Hinweise Skriptkomponente Konfiguration Scripting Skriptkomponente als Quelle Skriptkomponente als Transformation Skriptkomponente als Ziel Sortieren Konfiguration Erweiterter Editor Hinweise Spalte exportieren Konfiguration Hinweise Spalte importieren Konfiguration Hinweise Spalte kopieren Suche Konfiguration Erweiterter Editor

16 Inhaltsverzeichnis 15 Überwachung UNION ALL Konfiguration Hinweise UNPIVOT Konfiguration Hinweise Zeichenzuordnung Konfiguration Hinweise Zeilenanzahl Konfiguration Hinweise Zeilenstichprobe Zusammenführen Konfiguration Hinweise Zusammenführungsjoin Konfiguration Hinweise Zusammenfassung Datenflussziele Definition und Konfiguration ADO NET Destination Data Mining-Modelltraining DataReader-Ziel Dimensionsverarbeitung Excel-Ziel Flatfileziel OLE DB-Ziel Partitionsverarbeitung Recordsetziel Rohdatendatei-Ziel SQL Server Compact-Ziel SQL Server-Ziel Zusammenfassung Teil E Entwicklung, Bereitstellung und Betrieb Pakete entwickeln Das Projekt Ein neues Integration Services-Projekt Das Füllen der Caches

17 16 Inhaltsverzeichnis Die Paketausführung im Debug-Modus Der Daten-Viewer Die Konfiguration des Daten-Viewers Die Ausgabe im Daten-Viewer Der Datenfluss der Bestellungen Die Prüfung der Ansprechpartner Die Verarbeitung der Daten zum Bestellkopf Der Datenfluss der Bestellpositionen Das Zusammenführen der Bestelldaten Die Transformation und Prüfung der Bestellpositionen Das Laden der Bestellpositionen Ein Test und das Ergebnis Transaktionen im Paket Transaktionsverarbeitung mit Pakettransaktionen Transaktionsverarbeitung ohne Pakettransaktionen Fehlerbehandlung im Datenfluss Sammeln und Löschen von Bestellnummern Die Fehlerausgabe im Datenfluss Die Haltepunkte Die Paketprotokollierung Die Konfiguration der Paketprotokollierung Die Ausgabe der Protokollereignisse Eine Fehleranalyse Ein Paket im Paket Zusammenfassung Pakete bereitstellen Das Bereitstellen eines SSIS-Projekts SSIS-Projekt bereinigen Pakete schützen Prüfpunkte verwenden Paketkonfigurationen erstellen Bereitstellungsprogramm erstellen Die Installation eines SSIS-Projekts Der SSIS-Paketspeicher Vor der Installation Die Installation mit dem Paketinstallations-Assistenten Nach der Installation Installation ohne Paketinstallations-Assistent Zusammenfassung

18 Inhaltsverzeichnis Pakete betreiben Pakete ausführen Das Paketausführungsprogramm SSIS-Pakete und der SQL Server-Agent Pakete verwalten Pakete überwachen Zusammenfassung Stichwortverzeichnis Über den Autor

19

20 Vorwort In diesem Vorwort: Einleitung 20 Die Installation der SSIS 22 Die Begleitdateien 22 Support 22 19

21 20 Vorwort Einleitung Ein Baukasten besteht aus mehreren verschiedenen Bausteinen. Bausteine, die sich in ihrer Form und Funktion unterscheiden. Durch die vielfältigen Kombinationsmöglichkeiten der Bausteine sind Sie in der Lage, die unterschiedlichsten Bauwerke zu realisieren. Dabei ist es allein Ihrer Phantasie überlassen, was Sie letztendlich mit den Bausteinen bewerkstelligen möchten. Nun sind der Phantasie ja bekanntlich keine Grenzen gesetzt, wohl aber der Funktionalität der einzelnen Bausteine. Ähnlich verhält es sich mit SQL Server Integration Services kurz SSIS. Die Bausteine heißen hier Pakete, Ablaufsteuerung und Ablaufsteuerungselemente, Datenfluss und Datenflusskomponenten um nur einige zu nennen. Deren Funktionalität mag zwar ebenfalls begrenzt sein, die Möglichkeiten aber, die Ihnen SSIS zur Realisierung von Datenintegrationslösungen anbietet, hängen wiederum von Ihrer Phantasie oder vielmehr von den an Sie gestellten Anforderungen ab. Bei den Überlegungen zum Konzept dieses Buchs kam zwangsläufig die Frage auf, wie man der Vielzahl dieser Möglichkeiten gerecht werden kann. Die erste Idee war ein Buch, in dem mit vielen Beispielen die Realisierung unterschiedlicher Anforderungen beschrieben wird. Der Fokus bei diesem Konzept lag primär auf der Entwicklung von SSIS-Projekten, ergänzt mit den Beschreibungen der einzelnen Komponenten von SSIS. Nun ist die Wahrscheinlichkeit jedoch gering, dass Sie in den Beispielen gerade Ihre Anforderungen wiederfinden. Zudem wären bei diesem Konzept die Beschreibungen der einzelnen Komponenten auf die verschiedenen Beispiele verteilt und würden sich dabei in erster Linie auf die Verwendung der Komponente im jeweiligen Beispiel beziehen. Beides ist nicht sonderlich praxistauglich. Gerade das sollte das Buch aber auf jeden Fall sein: praxistauglich. Dieser Ansatz war letztendlich auch ausschlaggebend für das Konzept des nun vor Ihnen liegenden Buchs. Dieses Buch bietet Ihnen eine detaillierte Beschreibung der einzelnen Komponenten von SSIS. Eine Beschreibung der Komponenten mit ihren Eigenschaften und auch mit ihren Eigenheiten; ergänzt mit Praxistipps, Hinweisen auf diverse Fallstricke und Beispielen. Auf diese Weise erfahren Sie nicht nur, welche Komponenten SSIS anbietet und wie Sie diese verwenden; Sie erhalten mit den Beschreibungen auch eine gute Grundlage, anhand derer Sie entscheiden können, ob und wie Sie die jeweiligen Komponenten bei der Realisierung Ihrer Projekte einsetzen. Alleine die Beschreibungen der Komponenten umfassen bereits zwei Drittel des Buchs. Das letzte Drittel besteht aus einem Praxisbeispiel, in dem ein SSIS-Projekt entwickelt, bereitgestellt, sowie ausgeführt und überwacht wird. Insgesamt besteht das Buch thematisch aus fünf Teilen. Der Aufbau dieses Buchs Teil A beschreibt den Sinn und Zweck von SSIS und liefert Ihnen zudem einen Einblick in die Architektur und in die Komponenten von SSIS. Ergänzend hierzu wird die Entwicklung von SSIS über die verschiedenen Versionen hinweg betrachtet von SSIS 2005 über SSIS 2008 bis hin zu SSIS 2008 R2. Teil B stellt Ihnen die Entwicklungsumgebung und einige Basiskomponenten vor. Sie lernen Business Intelligence Development Studio kennen und lesen, wie Sie Variablen, Ausdrücke und die Verbindungs- Manager in Paketen verwenden. Die Ablaufsteuerung von SSIS ist das Thema in Teil C. Hier erfahren Sie Grundlegendes über die Ablaufsteuerung und ihre Konfigurationsmöglichkeiten. Kern von Teil C ist jedoch Kapitel 8, in dem jedes Ablaufsteuerungselement einzeln beschrieben wird. In diesem Kapitel lernen Sie nicht nur die Möglichkeiten der Ablaufsteuerungselemente kennen, sondern auch deren Konfiguration und was Sie dabei beachten müssen. Neben Ablaufsteuerung und Ablaufsteuerungselementen wird in Teil C auch die Bedeutung und Funktion der Ereignishandler beschrieben.

22 Einleitung 21 Der ETL-Prozess ist die Kernaufgabe von SSIS und Inhalt von Teil D. Hier können Sie sich mit dem Datenfluss und seinen Möglichkeiten vertraut machen. Alle Datenflusskomponenten die Datenflussquellen, die Datenflusstransformationen und die Datenflussziele werden einzeln vorgestellt und mit hilfreichen Hinweisen ergänzt. Teil E ist der Praxisteil dieses Buchs. Anhand eines Beispiels wird ein Projekt mit drei Paketen entwickelt. Hier erfahren Sie, wie Sie Pakete entwickeln, Pakete debuggen, Pakete mit anderen Paketen in einem Projekt zusammenfassen und vieles mehr. Neben der Entwicklung des Projekts ist auch dessen Bereitstellung und Betrieb Thema in Teil E. Sie lernen verschiedene Möglichkeiten kennen, mit denen Sie Pakete bereitstellen und ausführen können. Im Zusammenhang mit diesem Projekt werden noch weitere Komponenten von SSIS angesprochen beispielsweise die Paketprotokollierung, die Prüfpunkte und die Paketkonfiguration. BI or not BI oder: Für wen ist dieses Buch gedacht? SSIS gehört zur SQL Server Business Intelligence-Plattform. Eine Einordnung, die fachlich korrekt ist, den Möglichkeiten von SSIS jedoch bei weitem nicht gerecht wird. Denn mit SSIS können ebenso Anforderungen realisiert werden, die nicht im BI-Bereich angesiedelt sind so auch das Praxisbeispiel in diesem Buch. Dort werden per XML übermittelte Bestellungen mit einem SSIS-Paket verarbeitet und in einer Auftragsverwaltung gespeichert. Ein bewusst gewähltes Szenario, das zeigt, dass mit SSIS auch Projekte jenseits von Business Intelligence realisiert werden können. Natürlich kommen in diesem Buch auch die Beispiele zum Thema Business Intelligence nicht zu kurz. Diese sind bei den Beschreibungen der Komponenten zu finden, mit denen Sie gezielt Daten in Analysis Services und Data Mining verarbeiten bzw. auswerten können. Die Frage, für wen dieses Buch gedacht ist, lässt sich aus fachlicher wie auch aus technischer Sicht beantworten. Fachlich gesehen ist dieses Buch für jeden interessant, der Daten importieren, exportieren, aufbereiten, transformieren, konsolidieren und auch integrieren muss ob nun als einfache Datentransfers, Import-/ Export-Routinen, ETL-Lösungen oder als komplexe Datenintegrationslösungen. Technisch gesehen liegt der Fokus dieses Buchs auf den Versionen SSIS 2008 und SSIS 2008 R2. Da aber die Unterschiede zwischen SSIS 2005 und SSIS 2008 überschaubar sind, ist dieses Buch auch dann für Sie interessant, wenn Sie noch SSIS 2005 einsetzen. Auf die jeweiligen Unterschiede zwischen den einzelnen Versionen wird an den entsprechenden Stellen hingewiesen. Mein Name ist Ablaufsteuerungselement Man kommt leider nicht umhin, ein paar Worte zu den in SSIS und den in diesem Buch verwendeten Begriffen zu sagen. In SSIS sind die Übersetzungen für einige Begriffe um es milde auszudrücken nicht besonders hilfreich. Dies betrifft nicht nur altbewährte Begriffe der Programmierung so ist zum Beispiel der Begriff Breakpoints mit Haltepunkten übersetzt, sondern auch neue, für SSIS eingeführte Begriffe wie den Begriff Ablaufsteuerungselement. Ein Ablaufsteuerungselement steht für die Ausführung einer speziellen Aufgabenstellung. In der Originalversion von SSIS heißt ein Ablaufsteuerungselement Task was der eigentlichen Bestimmung durchaus entspricht, heißt Task doch im Deutschen Aufgabe. Die deutsche Übersetzung mit Ablaufsteuerungselement ist etwas gewöhnungsbedürftig. Vielleicht wäre sie nicht ganz so gewöhnungsbedürftig, wenn die Übersetzung auch durchgängig verwendet worden wäre. So aber gibt es Ablaufsteuerungselemente, die in ihrer Bezeichnung den Begriff Task beinhalten, wie Task 'SQL ausführen' und Task 'Mail senden'. Auch in Meldungen ist an vielen Stellen von Tasks und nicht von Ablaufsteuerungselementen die Rede. Dazu kommt, dass SSIS-Entwickler im Allgemeinen eher von Tasks als von Ablaufsteuerungselementen reden. Dennoch bietet Ihnen die deutsche Version nun mal Ablaufsteuerungselemente und

23 22 Vorwort keine Tasks an, so wie auch nicht von Breakpoints, sondern von Haltepunkten die Rede ist und da Sie natürlich die in diesem Buch verwendeten Begriffe auf Ihrem Bildschirm auch wiederfinden sollen, werden im Buch durchgängig die deutschen Begriffe verwendet. Die Installation von SSIS Auf ein eigenes Kapitel zur Installation von SSIS wurde verzichtet. Alleine aus dem Grund, da es hierzu nicht allzu viel zu berichten gibt. SSIS installieren Sie mit dem Setup von SQL Server. Sie müssen lediglich im Installationsschritt Funktionsauswahl den Eintrag Integration Services aktivieren. Mehr gibt es nicht zu tun. Eine Installation von SQL Server ist für den Einsatz von SSIS nicht zwingend erforderlich. Sie können die SSIS auch ohne SQL Server installieren. Hierzu wählen Sie im Installationsschritt Funktionsauswahl nur den Eintrag Integration Services. Möchten Sie zusätzlich die Entwicklungsumgebung installieren, nehmen Sie noch den Eintrag Business Intelligence Development Studio in die Installation auf. Die Begleitdateien Alle in diesem Buch enthaltenen Beispiele basieren auf einer kleinen Auftragsverwaltung eines Großhändlers der Firma Coole Socke. Die Firma Coole Socke verkauft nomen est omen Socken. Das Produktsortiment ist nicht gerade umfangreich, für die Beispiele in diesem Buch jedoch absolut ausreichend. Insgesamt gibt es drei Datenbanken. Eine SQL Server-Datenbank namens ssiswawi, die die Tabellen der Auftragsverwaltung beinhaltet, und eine weitere mit der Bezeichnung ssiskonfigurationen, die für die Bereitstellung des Beispielprojekts benötigt wird. Die dritte Datenbank ist eine Analysis Services-Datenbank namens Datenanalyse Coole Socke, die neben einem Cube auch zwei Data Mining-Strukturen enthält. Ergänzend zu diesen Datenbanken stehen noch einige Dateien mit Beispieldaten zur Verfügung. Mit diesen Dateien und den drei Datenbanken sind Sie in der Lage, die in diesem Buch enthaltenen Beispiele nachzuvollziehen. Die Datenbanken, die Dateien mit den Beispieldaten, das Projekt des Praxisbeispiels sowie alle im Buch erwähnten Beispielpakete, Listings und genannten Links stehen als Download unter berndjungbluth.de zur Verfügung. Support Der Inhalt dieses Buchs wurde gründlich recherchiert und die Beispiele mehr als einmal getestet. Dennoch lässt sich nicht ausschließen, dass sich hier und da ein Fehler eingeschlichen hat. Wenn Sie einen solchen finden, dürfen Sie ihn gerne an die folgende -Adresse senden: Auch Anregungen, Fragen und Kommentare zu diesem Buch sind willkommen. Dies gilt insbesondere für Tipps und Tricks zu den im Buch erwähnten Eigenschaften, die ihre Bedeutung und Auswirkung trotz Recherche und Testen nicht preisgeben wollten, wie auch für erwähnte Hinweise, die durch Service Packs oder Hotfixes in die Rubrik»Es war einmal«verschoben werden können. Korrekturen und Neuigkeiten werden unter veröffentlicht.

24 Teil A SQL Server Integration Services In diesem Teil: Kapitel 1 SQL Server Integration Services 25 Kapitel 2 Vergangenheit und Gegenwart 43 23

25

26 Kapitel 1 SQL Server Integration Services In diesem Kapitel: Sinn und Zweck 26 Die Architektur 32 Das Paket 33 Tools und Assistenten 41 Zusammenfassung 42 25

27 26 Kapitel 1: SQL Server Integration Services Dieses Kapitel beschreibt die Einsatzmöglichkeiten von SQL Server Integration Services sowie deren Architektur und die dabei verwendeten Pakete. Ergänzend werden die enthaltenen Tools und Assistenten von SQL Server Integration Services kurz vorgestellt. Sinn und Zweck SQL Server Integration Services. Vielleicht haben auch Sie sich bei Ihrer ersten Begegnung mit diesem Begriff gefragt, welchen Zweck diese Services erfüllen und warum diese in SQL Server enthalten sind. Zu dieser Frage gibt es verschiedene Antworten: Einerseits wird SQL Server Integration Services kurz SSIS als Werkzeug zum Importieren bzw. Exportieren von Daten gesehen, andererseits als das ETL-Tool von Microsoft oder aber es ist die Rede von einer Plattform zur Erstellung von Datenintegrationslösungen. Keine dieser drei Aussagen ist falsch. Vielmehr beschreiben sie eher das Leistungsspektrum von SSIS. Dabei kann SSIS sowohl als Werkzeug für einfache Import- bzw. Exportvorgänge verwendet werden wie auch zur Realisierung von ETL- Prozessen oder gar komplexen Datenintegrationslösungen. Schaut man in die Produktbeschreibung von Microsoft, ist dort die Rede von einer»plattform zur Erstellung von Datenintegrations- und Datentransformationslösungen«wie auch von einer»plattform zum Erstellen leistungsfähiger Datenintegrations- und Workflowlösungen, einschließlich ETL-Vorgängen«. Geht es also um SSIS, kommen einige Begriffe zusammen: Import/Export von Daten, ETL, Datentransformation, Datenintegration und Workflow. Mit Ausnahme des Begriffs Workflow dreht es sich bei all diesen Begriffen um den Transfer von Daten. Genau das ist die Aufgabe von SSIS: der Transfer von Daten ob nun als einfacher Import/Export, als ETL- Prozess mit Datentransformationen oder als komplexe Datenintegrationslösung. Ergänzt wird ein solcher Datentransfer mit dem Workflow, gibt es doch rund um den Datentransfer einige Aufgaben zur Vorbereitung oder zur Nachbereitung eines solchen zu erledigen. So könnte es zum Beispiel notwendig sein, die Dateien mit den zu transferierenden Daten von einem FTP-Server zu laden und diese nach dem Datentransfer in ein dafür vorgesehenes Verzeichnis zu verschieben. Der Workflow wird in erster Linie als Vor- und Nachbereitung für einen Datentransfer eingesetzt. Es wäre jedoch eine recht stiefmütterliche Verwendung des Workflows, würde dieser nur im Zusammenhang mit einem Datentransfer genutzt werden. Schließlich lässt sich der Workflow auch unabhängig von einem Datentransfer einsetzen, wodurch sich mit SSIS auch Workflow-Lösungen realisieren lassen eine Einsatzmöglichkeit von SSIS, die gerne übersehen wird. Neben dem Transfer von Daten gibt es also mit dem Erstellen von Workflow-Lösungen noch eine zweite Einsatzmöglichkeit für SSIS. Beide Einsatzmöglichkeiten werden nun etwas genauer betrachtet. Import/Export von Daten Der simple Import/Export von Daten aus einer Datenquelle zu einem Datenziel ist die wohl am häufigsten eingesetzte Variante von SSIS. Dies liegt an der einfachen Handhabung des bekanntesten Tools von SSIS: dem Import/Export-Assistenten. Mit diesem Assistenten können schnell und einfach Import- bzw. Export-Routinen erstellt, ausgeführt und für eine spätere Wiederverwendung gespeichert werden. In Kombination mit dem SQL Server-Agent ist es auch möglich, solche gespeicherten Import-/Export-Routinen automatisiert zu bestimmten Zeitpunkten ausführen zu lassen.

28 Sinn und Zweck 27 Der Import/Export-Assistent ist nicht nur als eigenständige Anwendung unter dem Namen Daten importieren und exportieren in der Programmgruppe von SQL Server verfügbar, sondern auch in der Managementkonsole von SQL Server SQL Server Management Studio integriert. Im Kontextmenü jeder Datenbank kann er dort über die Befehle Tasks/Daten importieren oder Tasks/Daten exportieren gestartet werden. Die Integration des Import/Export-Assistenten in die Managementkonsole von SQL Server gibt es bereits seit SQL Server Mit dem Unterschied, dass es sich damals nicht um einen auf SSIS basierenden Assistenten handelte, sondern um den Vorgänger von SSIS Data Transformation Services; kurz DTS. SSIS wurde erst mit SQL Server 2005 eingeführt, wobei der alte, auf DTS basierende Import/Export-Assistent durch einen neuen, auf SSIS basierenden ersetzt wurde. Es liegt in der Natur eines Assistenten, dass dieser in seiner Funktionalität eingeschränkt ist. Und so ist der Import/Export-Assistent darauf begrenzt, Daten eins zu eins von A nach B zu kopieren und diese dabei gegebenenfalls in kompatible Datentypen zu konvertieren. Mit dem Import/Export-Assistenten können Sie zum Beispiel die Daten einer Textdatei in eine SQL Server-Tabelle transferieren oder aber auch die Daten mehrerer Tabellen einer Datenbank in die Tabellen einer anderen Datenbank. Das Zusammenführen von Daten unterschiedlicher Datenquellen in ein Datenziel wird vom Import/Export-Assistenten ebenso wenig unterstützt wie eine Transformation der Daten. Um solche oder auch noch komplexere Anforderungen zu realisieren, benötigen Sie die Entwicklungstools von SSIS. Mit diesen sind Sie nicht nur in der Lage, einfache Datentransfers mit und ohne Datentransformationen zu erstellen, sondern auch komplexe Datenintegrationslösungen. Datenintegration Das Konzept der Datenintegration auch Informationsintegration genannt entstand in Laufe der 1990er- Jahre und beschreibt das Zusammenführen von Daten aus den unterschiedlichsten Quellen in eine einheitliche Struktur. Dabei werden die Daten derart konsolidiert und transformiert, dass als Ergebnis eine neue konsistente Informationsquelle entsteht. Entstanden sind die Anforderungen einer solchen Datenkonsolidierung durch die Notwendigkeit, Informationen aus den Datenbeständen eines Unternehmens schnell und einfach darzustellen und seien diese auf noch so viele Systeme verteilt. Stellen Sie sich ein typisches Unternehmen vor: Die IT ist historisch gewachsen. Im Laufe der Zeit wurden für einzelne Anwendungsgebiete nach und nach Lösungen installiert. Die Warenwirtschaft läuft auf einem Unix-System, das PPS-System auf einer AS/400, die Buchhaltung auf einer Client/Server-Anwendung mit SQL Server als Backend, und es existieren noch einige weitere kleinere Datenbankanwendungen auf den unterschiedlichsten Systemen. All diese Anwendungen beinhalten Daten Unternehmensdaten. Diese in den unterschiedlichsten Systemen verteilten Unternehmensdaten werden an vielen Stellen im Unternehmen benötigt jedoch nicht nur anwendungsspezifisch, sondern auch anwendungsübergreifend. So braucht der Vertrieb Daten über den Kunden, welche in der Buchhaltung verwaltet werden, oder der Einkauf Daten über den Lagerbestand oder aber die Geschäftsführung hätte gerne einen Gesamtüberblick. Zudem können die eigenen Daten durch allgemein verfügbare Informationen, die im Internet bereitstehen, ergänzt werden. Auch von Geschäftspartnern freigegebene Daten sind wertvolle Informationen, die den Gehalt der eigenen Daten steigern. Die Daten bzw. die Informationen sind in ihren jeweiligen Anwendungen bzw. externen Quellen zwar für sich bereits interpretierbar, aber zusammen betrachtet sind sie weitaus aussagekräftiger und somit wertvoller. Sie können dies mit einem Puzzle vergleichen. Jedes einzelne Puzzleteil stellt dabei eine Information aus

29 28 Kapitel 1: SQL Server Integration Services einer Datenquelle dar. Einzeln betrachtet bieten diese Puzzleteile zwar bereits Informationen, wenn Sie aber bestimmte Puzzleteile zusammensetzen, wird der Inhalt bzw. die enthaltene Information dieser Puzzleteile deutlicher. Haben Sie letztendlich alle Puzzleteile zusammengesetzt, ergeben diese ein Gesamtbild. Dies gilt auch für die Informationen, die in einem Unternehmen in Form von Daten verteilt sind. Je mehr Sie diese Daten zu einem großen Ganzen zusammenführen, umso deutlicher wird das Gesamtbild der Information zu dem Unternehmen. Dieses können Sie nun als Ganzes betrachten oder sich auf bestimmte Bereiche oder Teile konzentrieren. Um all diese Informationen aus den verschiedensten Systemen mit den unterschiedlichsten Formaten und Inhalten nun schnell und einfach zur Verfügung zu stellen, sollten diese in einer einheitlichen, leicht auswertbaren Struktur zusammengefasst sein. Es geht dabei um nichts anderes als um die Herstellung eines Ganzen, was im Grunde genommen die Übersetzung des Worts Integration darstellt. Im Bezug auf die im Unternehmen verteilten Daten ist die Lösung für eine solche Zusammenführung eine Datenintegration: das Erstellen einer einheitlichen Struktur, in die in regelmäßigen Abständen aus den verschiedensten Systemen syntaktisch und semantisch aufbereitete Daten importiert werden. Dabei ist es natürlich unabdingbar, dass die Daten der neuen Informationsquelle korrekt und konsistent sind. Wer einmal einen Kundenstamm aus zwei verschiedenen Systemen ohne eindeutige Kundennummern miteinander verbunden hat, der weiß, mit welcher Kreativität Kunden bzw. Namen erfasst werden können und wie schwierig es ist, diese Daten zusammenzuführen. Aus Daten mehrerer Datenquellen einen einheitlichen konsistenten Datenbestand zu erstellen, ist eine echte Herausforderung. Eine Datenintegration kann entweder als materialisierte oder physische Integration erfolgen oder als virtuelle oder logische Integration. Bei der zweiten Variante bleiben die Daten in ihren jeweiligen Datenquellen und werden erst bei der Analyse zusammengefasst, wohingegen die erste Variante die Daten als Kopie in einer separaten Datenstruktur speichert. Die Vor- und Nachteile beider Systeme liegen auf der Hand: Während die zweite Variante immer die aktuellsten Informationen liefert, ist sie im Vergleich zur ersten langsamer. Die erste Variante mag zwar nicht immer die aktuellsten Informationen enthalten, dafür aber können diese weitaus schneller ausgewertet bzw. analysiert werden, da die Daten bereits für diese Zwecke optimiert in einer separaten Datenstruktur vorliegen. Insofern ist es für die erste Variante notwendig, die Informationen in der separaten Datenstruktur in einem regelmäßigen Turnus zu aktualisieren. Dazu verwenden Sie SSIS. Mit SSIS integrieren Sie die Daten aus den unterschiedlichsten Systemen in einer einheitlichen Datenstruktur in einem so genannten Datenlager, im Original Data Warehouse. Data Warehouse Der Begriff Data Warehouse ist heutzutage eng mit dem Begriff Business Intelligence verbunden. Dies ist auch korrekt, denn bereits die erste Definition eines Data Warehouse vom Vater des Data Warehousing, William H. Inmon, zielt in diese Richtung. Er definiert ein Data Warehouse als»eine themenorientierte, integrierte, chronologisierte und persistente Sammlung von Daten, um das Management bei seinen Entscheidungsprozessen zu unterstützen«. 1 Während William H. Inmon ein Data Warehouse noch eher themenorientiert sah, änderte sich mit der Zeit die Anforderung an ein Data Warehouse und dadurch auch die Definition oder besser: die Definitionen, denn eine eindeutige Definition des Begriffs Data Warehouse gibt es nicht. 1 William H. Inmon, Richard D. Hackathorn: Using the Data Warehouse; John Wiley & Sons

30 Sinn und Zweck 29 Ralph Kimball nimmt der Definition von William H. Inmon die Restriktion und sieht in einem Data Warehouse»eine für Abfragen und Reporting speziell strukturierte Kopie transaktionaler Daten«. 2 Dabei begrenzt er ein Data Warehouse nicht mehr auf spezielle Themen, zielt aber auch auf die Analyse der Daten als Hauptfunktion eines Data Warehouse. Thomas Zeh geht noch einen Schritt weiter und definiert ein Data Warehouse als»einen physischen Datenbestand, der eine integrierte Sicht auf die zugrunde liegenden Datenquellen ermöglicht«. 3 Die Funktion eines Data Warehouse ist bei dieser Definition nicht mehr nur auf die Analyse begrenzt. Ein Data Warehouse nur für Analysen zu verwenden, wäre auch eine Verschwendung. Natürlich ist die Analyse der primäre Grund für ein Data Warehouse und die mit SSIS erstellten Datenintegrationslösungen werden wohl auch größtenteils ein Data Warehouse zum Zweck von Analysen füllen. Aber ein Data Warehouse birgt weitaus mehr Potenzial. Immerhin ist hier von einer Möglichkeit die Rede, mit der die Daten aus den unterschiedlichsten Anwendungen an einer Stelle in einer einheitlichen Form zusammengefasst werden können. Ein solches zentrales Datenlager ist nicht nur für Analysezwecke interessant, sondern auch für das Tagesgeschäft. Dazu ein einfaches Beispiel aus der Praxis: Gerade für Unternehmen mit einer historisch gewachsenen IT Sie erinnern sich noch an das Beispiel von eben? kann ein zentrales Datenlager von großem Wert sein. Auch wenn in solchen Unternehmen für die unterschiedlichsten Anforderungen Anwendungen auf verschiedenen Systemen eingesetzt werden, haben diese Anwendungen doch eines gemeinsam: die Stammdaten des Unternehmens. Unabhängig davon, welche Anwendungen für welche Zwecke im Einsatz sind, sie drehen sich in erster Linie um die Stammdaten des Unternehmens: um die Artikel, die Kunden, die Lieferanten, die Mitarbeiter um nur einige zu nennen. Bei einer solchen Struktur sollte sichergestellt sein, dass die Stammdaten nur in den Anwendungen verwaltet werden, die dafür vorgesehen sind, während alle anderen Anwendungen diese lediglich nutzen: Nur mit einer Anwendung werden die Artikel des Unternehmens verwaltet, nur mit einer Anwendung die Mitarbeiter, nur mit einer Anwendung die Kunden und so weiter. Obwohl dies eigentlich logisch klingt, bedeutet es aber noch lange nicht, dass es auch so praktiziert wird. Vielmehr werden in vielen Unternehmen die benötigten Stammdaten in den jeweiligen Anwendungen nochmals verwaltet ob nun bewusst oder einfach nur aus der Unkenntnis heraus, dass es bereits eine Verwaltung dieser Daten gibt. Gerade bei Unternehmen, welche ihre Daten auf unterschiedlichen Systemen Windows, AS/400, Unix usw. verwalten, ist eine derart doppelte Datenpflege nicht selten. Betrachtet man die Daten eines Unternehmens als Ganzes, kann bei einer solchen Praxis nicht unbedingt von einer Datenkonsistenz gesprochen werden. Es gibt nicht wenige Telefonlisten mit Telefonnummern von Mitarbeitern, die längst im Ruhestand sind und das ist ein sehr harmloses Beispiel. Was also liegt näher, als eine zentrale Stelle mit allen für das Tagesgeschäft notwendigen Stammdaten zu schaffen? Diese zentrale Stelle beinhaltet die Stammdaten des Unternehmens, die in den dafür vorgesehenen Anwendungen verwaltet werden, und stellt diese schreibgeschützt allen anderen Anwendungen zur Verfügung. Alle Anwendungen, die in welcher Art und Weise auch immer mit welchen Stammdaten arbeiten müssen, lesen diese aus der zentralen Stelle dem zentralen Datenlager oder, um den englischen Begriff wieder zu verwenden: dem Data Warehouse. Auf diese Art entfällt in den jeweiligen Anwendungen die Erfassung und Pflege von den dort benötigten Stammdaten, was der unternehmensweiten Datenkonsistenz zu Gute kommt. Sie sehen, auch jenseits der Analyse gibt es Anwendungsmöglichkeiten für ein Data Warehouse. 2 3 Ralph Kimball, Margy Ross: The Data Warehouse Toolkit. The Complete Guide To Dimensional Modeling, John Wiley & Sons Thomas Zeh: Data Warehousing als Organisationskonzept des Datenmanagements,