Ergebnisse der BARC-Studie Datenintegration

Transkript

1 Ergebnisse der BARC-Studie Datenintegration Patrick Keller BARC-Studie Data Warehousing und Datenintegration Data-Warehouse- und Datenintegrations- Werkzeuge im direkten Vergleich 1 Jahr Zugriff auf Studie und Aktualisierungen im Web Verfügbar ab Mai 006 Fortlaufende Erweiterung und Aktualisierung Preis: 1.95 Euro Test, Beschreibung und Bewertung folgender Lösungen: IBM Microsoft NCR Oracle SAP DB Data Warehouse Edition SQL Server 005 Teradata Oracle 10g R NetWeaver00s BI Ab Initio Business Objects Group1 IBM IWay Co>Operating System Data Integrator Sagent Solution DataStage ETL Manager SAS Sybase SAS 9 Adaptive Server IQ Informatica Solonde PowerCenter TransformOnDemand 1

2 Agenda 1 Begrüßung, Marktentwicklung Vorstellung, Erwartungen Architektureinordnung und Methoden ETL vs. ELT Ergebnisse der Studie Marktentwicklung 000 bis 00 Datum Übernahme Segment Käufer Segment Kaufpreis von Mai 00 DataFlux Datenqualität SAS DW/BI n.v. Mrz 0 Vality Datenqualität Ascential Datenintegration 9 Mio. US$ Apr 0 MetaGenix Datenqualität Ascential Datenintegration 5 Mio. US$ Jul 0 Acta ETL Business BI-Frontends 6 Mio. US$ Objects Apr 0 Sagent ETL Group1 Datenqualität 17 Mio. US$ Jul 0 Nimble EII Actuate BI-Frontends: 15 Mio. US$* Reporting Aug 0 Mercator EAI Ascential Datenintegration 106 Mio. US$ Sep 0 Striva EAI Informatica BI-Suite 6 Mio US$ Okt 0 Actional EAI iway EAI / ETL n.v. Adapter Dez 0 Data ETL Pervasive DBMS Mio. US$ Junction Dez 0 Human Inference Datenqualität Prime Technology Ventures Venture Capital n.v. n. v.: nicht veröffentlicht, * = geschätzt

3 Marktentwicklung 00 bis heute Datum Übernahme Segment Käufer Segment Kaufpreis von Mrz 0 Avellino Datenqualität Harte Hanks Datenqualität n.v. Jul 0 Evoke Datenqualität CSI BI-Consulting n.v. Aug 0 Group1 Datenint. /DQ Pitney Bowes Dokumentenmgt. 1 Mio. US$ Feb 05 Razza MDM Hyperion Performance Mgt. n.v. Mrz 05 Ascential Datenintegration IBM Middleware, DB 1100 Mio. US$ Mai 05 ISDD EII Sybase Datenbank n.v. Mai 05 Avaki EII Sybase Datenbank n.v. Jul 05 Evoke Data Profiling Similarity Data Cleansing n.v. Systems Sep 05 DWL MDM IBM Middleware, DB n.v. Okt 05 Medience EII Business BI n.v. Objects Jan 06 Similarity Datenqualität Informatica Datenintegration 55 Mio. US$ Systems Feb 06 FirstLogic Datenqualität Business BI 69 Mio. US$ Objects Apr 06 UpStream Datenintegration Hyperion BI n.v. n. v.: nicht veröffentlicht 5 Agenda 1 Begrüßung, Marktentwicklung Vorstellung, Erwartungen Architektureinordnung und Methoden ETL vs. ELT Ergebnisse der Studie 6

4 Referenz-Architektur für Datenintegration und Data Warehousing Portal Dispositive Anwendungen Cockpit Reporting Konsolidierung Analyse Planung Data Mining Dispositive Datenspeicherung & Datenaufbereitung Metadaten Repository Data Warehouse Archiv Datenintegration Metadaten Repository Broker Staging Hub Stammdatenhub Operative Datenspeicherung & Datenverarbeitung OLTP-Systememit Stamm- und Bewegungsdaten 7 Datenintegration: Breites Einsatzspektrum 0% 5% 0% 15% 10% 5% 0% Business Intelligence/Data Warehousing Systemkonsolidierung Datenkonsolidierung / Hubs Migration von Altsystemen Synchronisation zwischen Systemen Business Activity Monitoring Quelle: IDC Data Integration Market Sizing Study, Informatica 00 Basiert auf Interviews mit 150 großen Unternehmen 8

5 Methoden der Datenintegration Extraktion, Transformation, Laden Ziel: Datenintegration Zyklische Integration großer Datenmengen Umfangreiche Transformation ETL-Engines & Repositories ETL EAI EII Enterprise Information Integration Ziel: Föderation von Datenquellen Erstellung von Views (Metadaten) und Abfrage auf Anforderung Strukturierte u. unstrukturierte Daten EII Server für Query-Handling Enterprise Application Integration Ziel: Geschäftsprozessintegration Real-/Near-Time Verbindung operativer & dispositiver Systeme Formattransformation von Nachrichten Messaging-Middleware & Broker 9 EII und Data Warehouse - Ergänzende Technologien Schneller Zugriff auf unterschiedliche Datenquellen (Datenbanken, Flat Files, XML, Web Services, ) Kombination von dispositiven und operativen Systemen Prozessorientierung der dispositivensysteme durch eine Integration von zeitnahen Prozessdaten Steigerung der Flexibiltät bei DWH-Architekturen EII ist eine Ergänzung und keine Alternative für ein Data Warehouse 10 5

6 Agenda 1 Begrüßung, Marktentwicklung Vorstellung, Erwartungen Architektureinordnung und Methoden ETL vs. ELT Ergebnisse der Studie 11 Vergleich ETL und ELT - ETL: Extraktion, Transformation und Laden in die Zieldatenbank - ELT: Extraktion, Laden und Transformation in der Zieldatenbank - ELT-Werkzeuge nutzen Funktionsumfang von SQL, Leistungsfähigkeit der Datenbank und haben keine eigene Transformationsengine ELT-Werkzeuge werden meist von Datenbankanbietern geliefert und bringen neben dem Eintritt von Spezialanbietern die Lizenzpreise aller Anbieter unter Druck 1 6

7 Marktsegementierung Segment Hersteller Produktbezeichnung ELT-Werkzeug ETL-Werkzeug Wahlweise bzw. Verlagerung in Quellsysteme IBM Oracle Sunopsis Ab Initio Cognos Group1 Hummingbird IBM iway Microsoft SAS kursiv: nicht in DWH-Studie enthalten Solonde Business Objects Informatica DB Data Warehouse Edition Oracle Warehouse Builder Data Conductor Co>OperatingSystem Data Integration Sagent Solution ETL Websphere DataStage ETL Manager Integration Services Enterprise Data Integration Server TransformOnDemand Data Integrator PowerCenter 1 Agenda 1 Begrüßung, Marktentwicklung Vorstellung, Erwartungen Architektureinordnung und Methoden ETL vs. ELT Ergebnisse der Studie 1 7

8 Ergebnisse der BARC-Studie Metadatenspeicherung und management besser gelöst als in Studie von 00, aber immer noch meist unterdurchschnittliche Bewertung, bzw. mit OEM- Komponenten von MITI (Meta Integration Technology) Deutliche Vorteile bei Verfügbarkeit an Schnittstellen zu Vorsystemen bei langjährig tätigen Spezialisten (iway, SAS, Informatica, BO, IBM Websphere-Produkte) Komponenten für Datenmodellierung bei IBM, Oracle und Sybase vorhanden 15 Ergebnisse der BARC-Studie Transformationsfunktionen sind bei allen untersuchten Werkzeugen gut bis sehr gut vorhanden Große Unterschiede ergeben sich bei der Behandlung von Datenqualitätsfunktionen: Data Profiling: Feststellung der Datenqualität Vorsprung der Spezialisten ist noch vorhanden, aber Suitenanbieter holen auf, bzw. verstärken sich durch Zukäufe Data Cleansing: Vorrangig für Adressdatenbereingung In Deutschland noch immer viele Spezialisten tätig, aber zunehmend Funktionen und Referenzdaten bei Anbietern von Datenintegrationswerkzeugen vorhanden 16 8

9 Data Profiling Ziel des Data Profiling: Feststellung der Datenqualität in in Vorsystemen Methode: Analyse der Datenfeldinhalte und Abhängigkeiten in in Datenbanken Automatisierungspotential: Geschätzter durchschnittlicher Aufwand zur Begutachtung eines Attributs: 5 Stunden. (DAMA, Giga Group)...a defect that isn't detected upstream (during requirements or design) will cost from 10 to 100 times as much to fix downstream. Steve McConnell, Rapid Development, Microsoft Press, Data Cleansing Haupteinsatzgebiete Adressbereinigung Datenintegration für für Data Data Warehouses und und CRM-Systeme Migration Einige Methoden aus der Adressbehandlung auch universeller einsetzbar Standardisierung // Normierung Plausibilitätsprüfung Dublettenerkennung 18 9

10 Vielen Dank! Patrick Keller Analyst BARC GmbH Wiesenweg 1 D-9708 Würzburg Tel. +9 (0)91/ Fax +9 (0)91/ pkeller@barc.de Internet: 19 BARC-Studien Aktuelle Produktvergleiche aus dem BARC-Labor OLAP und Business Intelligence 7 Multidimensionale Datenbanken 17 Reporting und Analyse-Werkzeuge 11 Frontends f ür SAP BW 5 BI-Tools für Microsoft SQL-Server Betriebswirtschaftliche Anwendungen 8 Planungswerkzeuge 11 Konsolidierungswerkzeuge 0 Balanced-Scorecard Anwendungen 0 Lösungen f ür analytisches CRM Data Management 8 Datenintegrationswerkzeuge 7 Data-Warehouse-Werkzeuge 1 Lösungen f ür Datenqualitätsmanagement Dokumentenmanagement 1 Dokumentenmanagement-Systeme Anzahl verglichener Werkzeuge In der jeweiligen Studie 0 10