Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Teil 11 FAME-DBMS

Transkript

1 Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Teil 11 FAME-DBMS Christian Kästner (Universität Marburg) Sven Apel (Universität Passau) Gunter Saake (Universität Magdeburg)

2 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie 11-2 Das FAME-DBMS Projekt Methods and Tools for Construction of Highly Configurable Database Families for Embedded Systems DFG gefördert Kooperation Uni Magdeburg und Uni Dortmund Das Projekt untersucht Hochkonfigurierbare Datenbanklösungen Anwendung von Produktlinientechnologie auf DBMS Anwendungsszenarien Nichtfunktionale Eigenschaften der Varianten

3 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie 11-3 WDH: Maßgeschneiderte Datenhaltung DBMS Produktlinien für eingebettete Systeme Server-DBMS nicht verwendbar Unterschiedliche Hardware Verschiedenste Anforderungen Wiederkehrende Funktionalität Ressourcenbeschränkungen Neuentwicklungen teuer State of the art Programmiersprache C Konfigurierbarkeit durch Präprozessoranweisungen (#ifdef, Makros) Framework/Komponenten durch querschn. Belange i.d.r. ungeeignet

4 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie 11-4 Agenda Berkeley DB (extraktives Vorgehenmodell) FAME-DBMS (proaktives/reaktives Vorgehensm.) Maßgeschneidertes SQL Variabilität im Datenbankschema Vertikale Integration

5 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie 11-5 Funktionalität Transaktionsverwaltung, Recovery, Replikation, Indexe Beispiel: Berkeley DB Eingebettetes DBMS Einsatz: Serversysteme bis eingebettete Systeme Bibliothek eingebettet in Anwendung Kein SQL; Zugriff über API Bsp.: put(db, schlüssel, wert ); Programmcode Programmiersprache C Ca Zeilen

6 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie 11-6 Berkeley DB als Produktlinie Enthält 11 optionale Features (#ifdef, Makros) Indexe, Replikation, Verschlüsselung, etc. Statische Konfigurierung mit Präprozessoranweisungen Binary Size: KB Zusätzlich dynamische Konfigurierung (Funktionsargumente)

7 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie 11-7 Präprozessor in Berkeley DB Verschachtelte Präprozessoranweisungen Sehr lange Methoden (bis zu ca. 500 Zeilen) Konfiguration über Compilerargumente (z.b. HAVE_QUEUE) Probleme Kein separation of concerns Schwer lesbar / verständlich Wartung (z.b. Eleminierung von dead features)

8 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie 11-8 AOP und FOP in eingebetteten Systemen Berkeley DB ist implementiert in C AOP & FOP Werkzeuge basieren auf OOP: AspectC++: AOP Erweiterung für C++ FeatureC++: FOP Erweiterung für C++ Beide basieren auf Codetransformation Daher: Quelltext zuerst von C nach C++ portieren

9 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie 11-9 AOP und FOP in eingebetteten Systemen II C vs. C++ Kein grundsätzlicher Unterschied bzgl. Ressourcenbedarf und Performance C Compiler weit verbreitet (insbes. im embedded Bereich) Objektbasierte Entwicklung mit C aufwendiger als Vererbung mit C++ (Speicherung von Funktionszeigern) C++ Mehraufwand für neue Konzepte (virtuelle Methoden, Exception Handling, RTTI) FeatureC++: Statische Optimierung (Inlining von Verfeinerungen)

10 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Vorgehen Berkeley DB Refactoring von Berkeley DB (extractive approach) Transformation in C++ Code Umwandeln von #ifdef in Klassenverfeinerung Extraktion weiterer Features 35 features, 24 optional 400,000 Varianten möglich Featurediagramm - Ausschnitt

11 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Binary size [kb] Berkeley DB Binäre Größe Vergleichbare Codegröße (C vs. FeatureC++) FeatureC++: Kein Code zur Konfiguration (z.b. Funktionszeiger) Compilerunterschiede C FeatureC++ besser Configuration

12 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie besser Mio. queries / s Berkeley DB Performance Lesender Benchmark (Oracle) 2,5 C FeatureC++ 2 1,5 1 0, Configuration

13 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Berkeley DB Probleme Extrahieren von Features Zerlegung mit Extract Method Refactoring Hook Methoden Feature-Interaktionen Weitere Module (derivatives) Zusätzlicher Aufwand Variable Signatur z.b. DB::put(KEY, VALUE, TXN); Variable Schnittstelle Probleme bei der Verwendung Probleme durch extraktives Vorgehen? Siehe Folie 9-29

14 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Agenda Berkeley DB (extraktives Vorgehenmodell) FAME-DBMS (proaktives/reaktives Vorgehensm.) Maßgeschneidertes SQL Variabilität im Datenbankschema Vertikale Integration

15 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Laborpraktikum Maßgeschneidertes Datenmanagement WS07/08 Entwurf und Entwicklung eines DBMS Prototypen Neuentwicklung von DBMS-Produktlinie BTnode

16 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie BTNode Microcontroller: Atmel ATmega 128L (8 8 MIPS) Memories: Kbyte RAM, 128 Kbyte FLASH ROM, 4 Kbyte EEPROM Bluetooth subsystem: Zeevo ZV4002, supporting AFH/SFH Scatternets with max. 4 Piconets/7 Slaves, BT v1.2 compatible Low-power radio: Chipcon CC1000 operating in ISM band MHz External Interfaces: ISP, UART, SPI, I2C, GPIO, ADC, Timer, 4 LEDs Standard C Programming, TinyOS compatible

17 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Szenarien

18 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie FAME-DBMS Entwicklung als Produktlinie (FeatureC++)

19 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie FAME-DBMS Varianten Hash LFU LRU WIN Nut- OS No- Index Index Debug ging Put Delete Get BinaySize X X X X X X X X 96 KB X X X X X X X 92 KB X X X X X X 80 KB X X X X X X X X 100 KB X X X X X X X 85 KB X X X X X X 62 KB X X X X X X X 88 KB X X X X X X X 76 KB X X X X X X 69 KB X X X X X 62 KB X X X X X X X X 92 KB X X X X X X X 88 KB X X X X X X 80 KB X X X X X X X 69 KB X X X X X X 66 KB X X X X X 57 KB X X X X X X X X 92 KB X X X X X X 84 KB

20 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Robby-DBMS Projekt ähnlich zu FAME-DBMS (gleiche Motivation, neu entwickelt)

21 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Kollaborationen in RobbyDBMS

22 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie RobbyDBMS Varianten

23 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Erweiterungen FAME-DBMS als Testbett für diverse Erweiterungen und Produktlinien-Werkzeuge Erweiterung um Tabellen, Data-Dictionary (aktuell) Experimente zur Anfrageverarbeitung (aktuell) Erweiterung um verschiedene Transaktionsverwaltungen (geplant) Mehr alternative Features (geplant) Fallstudien z.b. zur Messung nicht-funktionaler Eigenschaften (Performance, Größe, )

25 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Maßgeschneiderte SQL-Anfrageverarbeitung SQL mehrfach standardisiert: Erste Standardisierung 1986 durch ANSI SQL2 (SQL-92) viele neue Statements und Erweiterungen SQL3 (SQL:1999) fünf Packages: Framework, Foundation, CLI, PSM, OLB SQL:2003 drei weitere Packete: XML, JRT and MED SQL in eingebetteten Systemen Smartcards (SCQL) Sensornetzwerke: Erweiterungen notwendig Problem: Ressourcenbeschränkungen Idee: Maßgeschneiderte SQL Anfrageverarbeitung

26 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Warum massgeschneidertes SQL Konfiguration einer Datenbank mit vielen Features schwierig Kennt der Benutzer alle Interna? LFU vs. LRU Aber: Benutzer weiss, welche Anfragen er stellen will Konfiguration von SQL Auswahl der passenden Datenbank Auswahl von existierenden DBMS Neuimplementierung Generierung aus DBMS-Produktlinie

27 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Zerlegung von SQL Zwei Beispiele Nach Funktionen Syntaxgetrieben

28 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Von massgeschneidertem SQL zum massgeschneiderten DBMS

29 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Variables SQL - Folgen Variabler SQL Parser Variabler SQL Optimierer Unterschiedliche Operationen (Join, Aggregation, )

30 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Parser Generierung aus Grammatik-Produktlinie

32 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Maßgeschneidertes Datenbankschema Arbeitet jede maßgeschneiderte Anwendung auf der gleichen Datenbank? Variant A Software Produktlinie FAME-DBMS OS BufferMgr Debug Logging Storage Generation Variant B Nut/OS Win Persistent InMemory API B + Tree Unindexed MemAlloc PageRepl. get put delete Static Dyn. LRU LFU Variant C

33 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Variabilität in Datenbankschemata Kluft zwischen maßgeschneiderter Client- Anwendung und konstantem DB-Schema Maßgeschneiderte Anwendung verwendet nur Teilschema Tote Tabellen Integritätsprobleme Erhöhter Wartungsaufwand Alternative Features benötigen alternative Teilschemata Problem: Wartbarkeit von großen Produktlinien mit hoher Flexibilität

34 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Beispiel: Uni-Verwaltungssoftware (Produktlinie) Produktlinie für Universitätssoftware Alternative Features für Speicherung der Literatur Optionale Features für Raumplanung etc.

35 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Bisherige Lösung Ein globales allumfassendes Schema Redundanzen bei Alternativen Erhöhter Wartungsaufwand Tote Tabellen und Spalten Views über Schema SBook und Book / Author teilweise redundant

36 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie FOP Ansatz für Datenmodelle Trennung der Features und deren Teilschemata Schema-Komposition mit FeatureHouse Ähnliche Ansätze mit UML/XMI

37 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Alternativ: Annotativer Ansatz Schema wird mit Features annotiert (wie #ifdef) Sichten auf Varianten

39 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Vertikale Komposition Erstellung des Gesamtsystems als Produktlinie über Produktlinien Produktlinien in Sensorsystem: Betriebssystem (OS) DBMS Anwendungssoftware Passende Konfiguration sehr komplex Vision: Wiederverwendung (Nutzerverwaltung, Pufferv.) Optimierung über Produktlinien hinweg

40 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Vertikale Komposition Konfiguration Vorgabe von Constraints / Anforderungen an darunterliegende Schichten Anpassung der oberen Schichten an Konfiguration darunterliegender Schichten Automatisierung als Ziel Konfiguration der Hardware als Eingabe oder Ergebniss

41 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Zusammenfassung Maßgeschneiderte Datenhaltung mit FOP + AOP Berkeley DB: verkleinert, beschleunigt FAME-DBMS: flexibles, kleines, erweiterbares DBMS FOP scheint prinzipiell geeignet Maßgeschneidertes SQL Variabilität in ER-Diagrammen Mehrere Produktlinien (vertikal) integrieren

42 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Literatur Marko Rosenmüller, Norbert Siegmund, Horst Schirmeier, Julio Sincero, Sven Apel, Thomas Leich, Olaf Spinczyk, and Gunter Saake. FAME- DBMS: Tailor-made Data Management Solutions for Embedded Systems. In Workshop on Software Engineering for Tailor-made Data Management, Marko Rosenmüller, Christian Kästner, Norbert Siegmund, Sagar Sunkle, Sven Apel, Thomas Leich, and Gunter Saake. SQL à la Carte - Toward Tailor-made Data Management. In GI-Fachtagung Datenbanksysteme für Business, Technologie und Web (BTW) Norbert Siegmund, Christian Kästner, Marko Rosenmüller, Florian Heidenreich, Sven Apel, and Gunter Saake. Bridging the Gap Between Variability in Client Application and Database Schema. In GI- Fachtagung Datenbanksysteme für Business, Technologie und Web (BTW)

43 Apel, Kästner, Saake Erweiterte Programmierkonzepte für maßgeschneiderte Datenhaltung Folie Literatur II Marko Rosenmüller, Sven Apel, Thomas Leich, and Gunter Saake. Tailor-Made Data Management for Embedded Systems: A Case Study on Berkeley DB. Data and Knowledge Engineering (DKE), 68(12): , Dec Martin Schäler, Thomas Leich, Norbert Siegmund, Christian Kästner, and Gunter Saake. Generierung maßgeschneiderter Relationenschemata in Softwareproduktlinien mittels Superimposition. In 14. GI- Fachtagung Datenbanksysteme für Business, Technologie und Web, Diverse Diplomarbeiten zu Berkeley DB, Speichernmanager, Transaktionsverwaltung, RobbyDBMS und Werkzeugen