Big Data Testmanagement

Transkript

1 Enterprise Agile Entwicklungs- und Testprozesse auf Big Data Projekte übertragen Tobias Bürger, Teamleiter Personalization & Big Data ehem. Payback GmbH Jochen Wilms, Innovation Manager BI OPITZ CONSULTING Deutschland GmbH München, 23. Juni 2015 T4P-1 OPITZ CONSULTING GmbH 2015 Seite 1

2 Mission Wir entwickeln gemeinsam mit allen Branchen Lösungen, die dazu führen, dass sich diese Organisationen besser entwickeln als ihr Wettbewerb. Unsere Dienstleistung erfolgt partnerschaftlich und ist auf eine langjährige Zusammenarbeit angelegt. Leistungsangebot Application Lifecycle Management IT-Beratung Business-Lösungen Managed Services Training und Coaching IT-Trends Märkte Branchenübergreifend Über 600 Kunden 29% Industrie / Versorger / Telekommunikation Eckdaten Gründung Mitarbeiter 9 Standorte 29% Handel / Logistik / Dienstleistungen 42% Öffentliche Auftraggeber / Banken und Versicherungen / Vereine und Verbände OPITZ CONSULTING GmbH 2015 Seite 2

3 Adaption von Big Data im Application Lifecylce Management BIGDATA ADAPTION OPITZ CONSULTING bietet ein ganzheitliches Application-Lifecycle-Management ALM zur Sicherung des Wertbeitrags der Anwendungssysteme im gesamten Lebenszyklus. ALM wird aktuell vom CC Big Data & Customer Intelligence um Big Data Best Practices erweitert. BIGDATA ADAPTION - Big Data Strategie - Werkzeug- Portfolio (hadoop & Friend vs. bestehend) - Aufbau CC - Systemarchitkt. - Vorgehensmodell - Demand- Mgmnt. - License Mgmnt. - Entwicklung/ Installation/ Konfiguration/ Implementierung/ Coding - Testmanagement - Projektmgmnt. - Produkt- & Releasemanagement - Monitoring/ Performance OPITZ CONSULTING GmbH 2015 Seite 3

4 Herausforderung für einen produktiven Big Data Einsatz Management Demand Org. Delivery Org. Operations Planung/ Design Implementierung Wartung/ Betrieb Scoping Skills & Anforderungen Einrichtung einer Big Data Landschaft Betrieb des Clusters Daten- & Prozessintegration Sicherheitskonzept Integration Release Management Kapazitätsplanung Teststrategien Produktauswahl OPITZ CONSULTING GmbH 2015 Seite 4

5 Agenda 1. Big Data Systemlandschaft Schritte zur erfolgreichen Big Data Teststrategie 4. Implementierung eigener Testframeworks- und methoden 5. Lessons Learned OPITZ CONSULTING GmbH 2015 Seite 5

6 1 Big Data Systemlandschaft OPITZ CONSULTING GmbH 2015 Seite 6

7 Big Data / DWH Integrationsarchitekturen Active Archive Analytics Lab Preprocessing Stage Parallel Warehouse / Streaming OPITZ CONSULTING GmbH 2015 Seite 7

8 Big Data als Preprocessing Stage OPITZ CONSULTING GmbH 2015 Seite 8

9 Eine Big Data Systemarchitektur Hadoop als Preprocessing Umgebung Anbindung nicht relational, tabellarischen Datenquellen (3 Quellen im PoC) Durchführung Aufwändiger Transformations-, Anreicherungs-, Zuordnungsund Aggregationsoperationen in Hadoop Bidirektionale Kommunikation mit der Bestands-DWH-Architektur Hadoop Cluster Egress via Ingress via ETL Concentrator Edge Node Ingress via DWH... Orchestration via OLTP OPITZ CONSULTING GmbH 2015 Seite 9

10 2 OPITZ CONSULTING GmbH 2015 Seite 10

11 BI testgetrieben & agil Die meisten Herausforderungen in BI Projekten sind organisatorischer und nicht technischer Natur. Agiles Projektvorgehen nimmt einen Teil der Komplexität aus BI- Projekten. Refactor Fail TDD Pass Beschreibung von Strukturen und Abläufen in Form von Tests Continous Integration & Deployment Inkrementelle Entwicklung Product backlog Sprint backlog Sprint Working increment OPITZ CONSULTING GmbH 2015 Seite 11

12 Test Staging Abnahme Tests Ext. Integrations Tests Preprod Umgeb. Integrations Tests System Tests Test Umgebung Komponenten Tests Build Server Unit Tests Lokale Umgebung OPITZ CONSULTING GmbH 2015 Seite 12

13 Testarten & -auslöser Art Unit Int. Sys.Int. UAT Func. Commit Release OR Data structure change Non-func. Sanity Smoke Deploy comp. OR new comp. OR upgrade Deploy comp. OR new comp. Release OR Data structure change Deploy comp. OR new comp. OR upgrade Before end-toend Health Upgrade Upgrade Release Before end-toend Nonfunctional Functional Sanity Smoke Health OPITZ CONSULTING GmbH 2015 Seite 13

14 Die Big Data Herausforderungen Testvorbereitung Hohe Anforderungen (Logik und Aufwand) an Testdatengenerierung Isolierte Tests schwer durchführbar Testausführung Laufzeiten sind deutlich höher Testen auf lokalen Umgebungen nur teilweise möglich Die Infrastruktur ist immer ein potentieller Fehlerfaktor Testentwicklung Nur wenige, recht experimente Testframeworks vorhanden Viele Werkzeuge basierend auf unterschiedlichen Technologien OPITZ CONSULTING GmbH 2015 Seite 14

15 3 Schritte zur erfolgreichen Big Data Teststrategie OPITZ CONSULTING GmbH 2015 Seite 15

16 Frameworkkomplexität im Vorfelde verringern... OPITZ CONSULTING GmbH 2015 Seite 16

17 Testobjekte 3 DB Ingress Tests l Volume tests l Data structure validation l Stress tests (e.g. invalid formats) 1 Data Stream Tests l Volume tests l Completness of data validation l Resilence tests Egress Tests l Resilence tests l Data structure validation 6 Log Ingress Tests l Volume tests l Resilence tests l Data structure validation 2 Infrastructure Tests l Performance tests l Resilence tests l Volume tests (e.g. Terasort) 4 5 Transformation Tests l Unit tests l Business Rule tests l Stress tests (e.g. invalid formats) l Performance tests OPITZ CONSULTING GmbH 2015 Seite 17

18 Testchronologie Hardware Tests l RAID controllers l Disk I/O l Network PoC Tests l Dev l End-to-end l Operations Upgrade Tests l Migration l Portability l Interoperability Hadoop Tests l HDFS benchmark l MapReduce benchmark l Ecosystem health Application Tests l Dev l Approval l Operations Ein Drehbuch für die Ausführung der Testgruppen Welche Testobjekte müssen wann getestet werden? Auslöser, Stopper und Abhängigkeiten für Tests definieren Testabfolgen von bottom up aufziehen, um Störfehler zu reduzieren OPITZ CONSULTING GmbH 2015 Seite 18

19 Testmatrix Gliederung nach 4 Dimensionen Test Typ Test Stage Komponente Anwendungsfall 5 Ausprägungen 6 Ausprägungen 9 Ausprägungen 7 Ausprägungen Beschreibung der Testobjekte für relevante Kombinationen 30 Testobjekte wurden definiert Ein paar Beispiele Type Stage Comp. Use Case Description / Example Non-functional Sys. Int. Flume Ingress Using big files for import and measure required time. Increasing number of import Jobs on various big files. Check if jobs time out or cluster does not response anymore. Track Number of concurrent import jobs. Functional Unit Pig Transform Unit testing pig scripts using appropriate IDE tools (e.g. PigUnit). Testing Pig UDF using JUnit or PyUnit. Smoke Int.+ YARN Infra Committing MapReduce JAR via CLI (e.g. wordcount.jar provided with default hadoop installation). OPITZ CONSULTING GmbH 2015 Seite 19

20 Testpriorisierung Testarten Testobjekte Test Stages Risikobewertung Nutzungsfrequenz Kundenanzahl Prozessierungsart Finanzielle Auswirkung Kundenauswirkung Komplexitätsbewertung Evaluationsaufwand Entwicklungsaufwand Testaufwand Risikotabelle Ermittlung der Low hanging fruits Priorisierung Komplexitäts- Komplexitätstabelle Komplexitäts- Komplexitätstabelle tabelle tabelle Selektieren! OPITZ CONSULTING GmbH 2015 Seite 20

21 4 Implementierung eigener Testframeworks und -methoden OPITZ CONSULTING GmbH 2015 Seite 21

22 Cluster Infrastruktur Validierung Zielsetzung Validierung der Installation Performance-Messung Durchführung vor und nach Hadoop Installation Pre-Installation Tests Cluster Konfiguration Hauptspeicher Benchmark Netzwerk Benchmark Post-Installation Tests Check von Ports & Services Smoke Tests für alle Hadoop Komponenten HDFS und MapReduce Benchmark OPITZ CONSULTING GmbH 2015 Seite 22

23 Testdatengenerierung Besondere Herausforderungen Größere Datenmengen erforderlich Verschiedene Datenformate erforderlich Tests erfordern oftmals das einstreuen von gesteuerten Abweichungen und Fehlerquoten Das Problem mit der Datenmenge Verteilte Datenerstellung notwendig z.b. via Nutzung der Hadoop Infrastruktur selbst / MapReduce Testgeneratoren Beziehungen zwischen Entitäten einzuhalten ist sehr speicher- und suchintensiv Wenige Anbieter von Standardsoftware Parallel Data Generation Framework von Bankmark Setup aus Datengenierungsbibliotheken für Pig oder Spark OPITZ CONSULTING GmbH 2015 Seite 23

24 Pig Unit-Testing mit Zero-Coding Pig ist ein Hadoop Skriptsprache data = LOAD 'input' AS (query:chararray); queries_group = GROUP data BY query; queries_count = FOREACH queries_group GENERATE group AS query, COUNT(data) AS total; queries_ordered = ORDER queries_count BY total DESC, query; queries_limit = LIMIT queries_ordered $n; STORE queries_limit INTO 'output'; Doch wie testet man diese Skripte? Pig basierte Unit Tests sind möglich, erfordern jedoch public void testpigscript() throws Exception { PigTestConf conf = new PigTestConf(testFile); PigTest test = createpigtest(pigfile, conf.getargsasarray()); InputMocker inputmocker = new InputMocker(test); for (String inputkey : conf.getinput().keyset()) inputmocker.mock(inputkey, conf.getinput().get(inputkey));... OPITZ CONSULTING GmbH 2015 Seite 24

25 Pig Unit-Testing mit Zero-Coding <test> <args> <arg name="input">dummy</arg> <arg name="output">dummy</arg> <arg name="environment">src/test/resources/pig/test1</arg> </args> <input> <data name="a"> <elem>{"requesttimestamp":" t11:...</elem> </data> </input> <output> <data name="f"> <elem>( , ,5,,,2,1)</elem> <elem>( , ,5,,,1,1)</elem>... </data> XML </output> </test> pig-tester.jar Surefire Test Reports OPITZ CONSULTING GmbH 2015 Seite 25

26 Big Data Testing mit Continous Integration Projekt Repository.pig.pig.pig.pig Jenkins Ziel ist eine Integration in bestehende CI Architekturen Nexus.xml.xml.xml.xml pig-tester.jar Testsystem Hadoop Logstash, Kibana, Splunk,... OPITZ CONSULTING GmbH 2015 Seite 26

27 5 Lessons Learned OPITZ CONSULTING GmbH 2015 Seite 27

28 Lessons Learned Werkzeugvielfalt minimieren Hadoop = Infrastruktur DevOps wird immer wichtiger Umgebungen für no-coding Implementierung und Testen sind realisierbar Deutlich mehr Testobjekte Testpriorisierung wird wichtiger CI & CD wird durch Werkzeugkomplexität aufwändiger Nicht für alles gibt es bereits fertige Lösungen Viele Integration und unterstützende Werkzeuge entstehen in Eigenentwicklung OPITZ CONSULTING GmbH 2015 Seite 28

29 Fragen und Antworten OPITZ CONSULTING GmbH 2015 Seite 29

30 Kontakt Dr. Tobias Bürger, Teamleiter Personalization & Big Data ehem. PAYBACK GmbH Jochen Wilms, Innovation Manager BI OPITZ CONSULTING GmbH Telefon Mobil OPITZ CONSULTING GmbH 2015 Seite 30

31 Vielen Dank für Ihre Aufmerksamkeit! Besuchen Sie uns am Stand 44! OPITZ CONSULTING GmbH 2015 Seite 31