Charakteristika von Unternehmensanwendungen

Transkript

1 Charakteristika von Unternehmensanwendungen

2 Wozu werden Unternehmensanwendungen genutzt? Enterprise applications are about the display, manipulation, and storage of large amounts of often complex data and the support and automationof business processes with that data. Martin Fowler Patterns of Enterprise Application Architecture Patterns (2002) 2

3 Die Essenz Große Mengen komplexer Daten, die in der realen Welt existierende Entitäten abbilden Automatisierung von Geschäftsprozessen auf Basis dieser Daten Business Intelligence (BI) und Entscheidungsunterstützung, auf Basis dieser Daten 3

4 Herausforderung: Fassettenreiche Anwendungen Transaktionale Datenerfassung Sources: Machines, Transactional Apps, User Interaction, etc. Echtzeitanalysen auf strukturierten Daten Sources: Reporting, Classical Analytics, planning, simulation CPUs (multi-core + Cache) Main Memory Event Processing, Stream Data Sources: machines, sensors, high volume systems Data Management Textanalyse auf unstrukturierten Daten Sources: web, social, logs, support systems, etc. 4

5 Rückblick Bestellungseingang 1 Sales (Online Shop) Warenversand Verkaufsanalyse 2 Warenlager OLTP DB OLAP BI Tool Rechnungslegung ETL 3 Buchhaltung BW (BusinessWarehouse) 5

6 OLTP vs. OLAP Online Transaction Processing Online Analytical Processing Moderne ERP-System müssen sich aber zunehmend mit Mixed Workloads arrangieren. Beispiele: OLTP: Bestellung anlegen, Rechnung erstellen, Kontenbuchung, Anzeige von Kundendaten oder Bestellungen OLAP: Mahnlauf, Verfügbarkeitsprüfung, Cross-Selling, Operationales Reporting (Auflistung offenen Rechnungen) Aber: Heutige Anwendungen sind entweder für OLTP ODER OLAP Workloads optimiert. 6

7 Nachteile dieser Trennung OLAP-Systeme haben nicht die neuesten Daten OLAP-Systeme halten ein vordefinierte Untermenge aller Daten Kostenintensiver ETL Prozess muss beide System synchronisieren Es besteht große Redundanz der Daten Unterschiedliche Daten Schemata erzeugen höhere Komplexität für Anwendungen, die beide Systeme nutzen 7

8 OLTP Datenzugriffs Mythos Workload Analyse von Unternehmensanwendungen zeigt: OLTP und OLAP Workloads sind NICHT unterschiedlich 8

9 Vision Kombination von OLTP und OLAP Daten durch Nutzung moderner Hardware und Datenbanksysteme um eine Single Source of Truth, für Echtzeitanalysen, vereinfachte Anwendungen und Datenbankstrukturen zu nutzen. Abschaffung von, Extraction, Transformation, und Loading (ETL) Prozesse Vorberechnete Aggregate und ausmaterialisierte Views. 9

10 Vision Bestellungseingang 1 Sales (Online Shop) Warenversand Verkaufsanalyse 2 Warenlager OLTP DB OLAP BI Tool Rechnungslegung 3 Buchhaltung 10

11 Mixed Workload Charakteristika Komplette Zeilenoperationen und Materialisierung weniger Spalten Einfache und komplexe Abfragen Tuple Wiederherrstellung und Aggregationen und Group Bys INSERTS, UPDATES und viele SELECTS Kurze und lange Transaktionen Kleine und große Ergebnisse (Anzahl Zeilen) Vordefinierte und adhoc Abfragen Echtzeitveränderungen Single Source of Truth 11

12 Enterprise Data Characteristics Viele Spalten werden NICHT benutzt (DEFAULT Werte) Viele Spalten haben eine geringe Kardinalität NULL values/default values are dominant Zerstreute Verteilung erlaubt hohe Kompression Standard enterprise software data issparse and wide 12

13 Viele Spalten mit geringer Anzahl von Werten Analyse eines Buchhaltungssystems Distinctvalues in accounting document headers (99 attributes) CPG Logistics Banking High tech Discrete manufacturing 13

14 Many Columns are not Used Even Once 55% aller Spalten werden (im Durchschnitt) nicht benutzt 40% aller Spalten werden durch gar kein Unternehmen benutzt % of Columns 80% 70% 60% 50% 40% 30% 20% 10% 0% 64% 78% 12% 9 % Inventory Management Financial Accounting 24% 13% Number of Distinct Values 14

15 Wide Tables Analysis of width of 144 most used* tables # Tables # Columns * Largest in terms of cardinality

16 Herausforderungen für Unternehmensanwendungen Riesige Codebasis Verarbeitung riesiger Datenmengen Verteilter/paralleler Zugriff Konzeptionelle Dissonanzen Kundenstruktur für Abt. 1 <> Kundenstruktur für Abt. 2 Komplexe Geschäfts(un)logik Veränderungen des Datenschema durch von Innen (e.g., Optimierung) von aussen (Evolution von Entitäten, neue Funktionalität) 16