11. Datenablage (Datenbasis, Repositorium) und Austauschformate Ziele und Aufgaben der Datenbasis (Repositoriums) Aufgaben des Repository

Transkript

1 11. Datenablage (Datenbasis, Repositorium) und Austauschformate Prof. Dr. Uwe Aßmann Technische Universität Dresden Institut für Software- und Multimediatechnik Version , ) Ziele 2) Architektur 3) Beispiele für Repositorien 4) Austauschformate 5) Frameworks zur Werkzeugintegration (PCTE) Obligatorische Literatur Netbeans Metadata repository (MDR) D. Bäumer, D. Riehle, W. Silberski, M. Wulf. Role Object. Conf. On Pattern Languages of Programming (PLOP) SEW, Prof. Uwe Aßmann Ziele und Aufgaben der Datenbasis (Repositoriums) Aufgaben des Repository Prof. U. Aßmann, SEW 2 Eine Eine Datenbasis (Datenablage, Repositorium, repository) ist ist die die Ablage aller aller Informationen eines eines Systems, ohne ohne genauer Art Art und und Umfang der der Ablage Ablage festzuschreiben. In In einer einer SEU SEU enthält enthält es es alle alle passiven und und aktiven aktiven Komponenten zur zur Handhabung der der Basisinformationen der der Werkzeuge [12, [12, S. S. 121ff.]. 121ff.]. Komponentenbank CASE- Repository SEW, Prof. Uwe Aßmann 3 Weitere Werkzeuge Retrieval- System Programmiersystem Fenstersystem Ausgabesystem Prof. U. Aßmann, SEW 4

2 Zielstellungen für Repositories Zielstellungen für Repositories (2) Transparente persistente Dokumentspeicherung: Einfache Abbildung aller Datenobjekte eines SE-Modells (Dokument, graph. Parameter) auf persistente Datenstruk-turen im Repository auch bei Änderung der Objekte (Systemausfall) Entkopplung: Physische und logische Datenunabhängigkeit, d.h. Trennung der Programme (Werkzeuge) von physischer bzw. konzeptioneller Repräsentation der Daten Abhängigkeit von Schemata: Datenmodell: Transparent und über mehrere Metamodellebenen für die auszutauschenden Daten zwischen Repository und Werkzeugen leicht handhabbar Externe Schemata: Für Steuerung des Zugriffs, in dem zu unterschiedlichen Rollen verschiedene externe Schemata für ein Dokument defi nierbar sind Schema-Änderungen: Sollen bestehende Daten in der Datenbasis erhalten Schnittstellen: Programmierbare APIs (Anfragesprachen, prozedurale Programmierschnittstellen), möglichst aus Metadaten generiert Administration: Verfügbarkeit allgemeiner Verwaltungsfunktionen und auch für die Erstellung administrativer Ausgaben (Statistiken) Quelle: nach Habermann, H.-J., Leymann, F.: Repository - eine Einführung; Oldenbourg Verlag 1993 und Däberitz, D.: Der Bau von SEU mit NDBMS; Diss. Uni Siegen 1997 Prof. U. Aßmann, SEW 5 Kollaboration von Werkzeugen auf dem Repositorium mit Rollenobjekten Role object pattern von Bäumer et.al. Effektive Arbeitsweise: Verteilung: Zugriff von verschiedenen Orten aus und Bereitstellung einheitlicher Basisfunktionen für die kooperierende Arbeit mehrerer Benutzer(-gruppen) Transaktionen: Dienen der Synchronisation von Metadaten und Objektdaten. Sie können dazu benutzt werden, um temporär inkonsistente Zwischenzustände von Dokumenten zu verwalten Leistungsfähigkeit: Notwendig insbesondere für schnellen, effi zienten Zugriff auf umfangreiche Dokumente Versionen: Verwaltung unterschiedlicher, zu einem Projekt gehörender Entwicklungsstände von Dokumenten Usability: Einfache Bedienung durch einheitliche ergonomische Benutzungsoberfl ächen Entwicklungsqualitäten: Adaptierbarkeit: Einbettung des Repository in gewünschte Entwicklungsrichtung (kommerzielle oder technische Informationssysteme, Standardsoftware) Portabilität: Zukunftssicherheit - Standardkonformität Aufwärtskompatibilität Quelle: nach Habermann, H.-J., Leymann, F.: Repository - eine Einführung; Oldenbourg Verlag 1993 und Däberitz, D.: Der Bau von SEU mit NDBMS; Diss. Uni Siegen Architektur von Datenablagen Prof. U. Aßmann, SEW 6 Werkzeug Werkzeug Werkzeug Werkzeug- Schicht Schreibschicht Schreib rolle - Leseschicht Authentifikationsschicht Lesē rolle Authentifikations - rolle Kollaborationsschichten Verteilungsschicht Verteilungs - rolle Material - Rolle Material - Kern Material Speicher aller komplexen Objekte Prof. U. Aßmann, SEW 7 SEW, Prof. Uwe Aßmann 8

3 Repository - Datenintegrationsstufen Grobarchitektur bei Datenteilung (Metamodellgesteuertes Repositorium) sart Schema Wirkungsweise Black-box- (schwach) Grey-box- (mittel) White-box- (stark) Quelle: [Bal-II, S. 608] CASE tool CASE tool check in CASE tool Repository Daten Daten CASE tool CASE tool Repository Dateien check out Daten Datenschema Repository Werkzeug arbeitet isoliert auf eigenen Datenstrukturen Repositorium stellt Daten bereit (check out) Nach Arbeit Ablage in Repositorium (check in) Werkzeugzugriffe durch Repository-Dienste ersetzt Unterstützung von Datenintegrität und Interoperabilität zwischen Werkzeugen Keine Offenlegung essentieller Bestandteile der Werkzeug-Implementierung Verkapselung in einem Zugriffsmodul Defi nition einheitl. Datenschema für alle Werkzeuge Alle Werkzeuge setzen über Zugriffsdienste auf Einfache Sicherung von Konsistenz, Datenintegrität und Datensicherheit Werkzeuge sind bei Änderung an Datenschema anzupassen Prof. U. Aßmann, SEW Beispiele für Datenablagen Repositorium persistente Objektspeicherung Tool Datenbasis des Projektes INTERFACE Metadatenverwaltungssystem Beispiele für Repositories Bezeichnung Kurzcharakteristik Tool Operationen zur Datenverwaltung und -manipulation Tool-Export-Import Schnittstelle <<generates>> Prof. U. Aßmann, SEW 10 IBM Repository Manager WebSphere Repository Database von IBM SAP R/3-System SAP NetWeaver Master Data Management (MDM) Repository für AD/Cycle, offene Architektur für leichten Anschluss von, teamorientiert Administration- zur Installation, Überwachung und Pfl ege von Datenquellen und Enterprise Applications Eigentlich R/3-Data-Dictionary für Ablage von Metadaten auf Basis tabellarischer Datenstrukturen. DD-Tabellen ursächlich für Speicherung kommerzieller Daten aber auch für R/3-Entwicklungsumgebung Verteilte Stammdatenverwaltung zur Pfl ege, Konsolidierung und Harmonisierung integrierter Informationen über gültige Stammdatenattribute SEW, Prof. Uwe Aßmann 11 PCTE Object Management System innerhalb einer PCTE-Umgebung Quelle: Habermann, H.-J., Leymann, F.: Repository - eine Einführung; Oldenbourg Verlag 1993 Prof. U. Aßmann, SEW 12

4 Beispiele Metamodellgesteuerte Repositorien Bezeichnung Hibernate Netbeans Metadata Repository (MDR) Eclipse EMF Subversion/CVS/git Kurzcharakteristik Object-relational mapper (ORM); Abbildung von Java- Objekten auf Relationen, analog zu ERD-Abbildung, Verwendung von verschiedenen SQL-Datenbanken Metasprache ; Laden von Metamodellen möglich; Generierung von Modell-Zugriffsschnittstellen; reflektiver Zugriff auf Metasprache ; ansonsten wie oben Versionsverwaltungssysteme auf File-Basis; Verwaltung von Versionen aller Files und Verzeichnisse Ein metamodellgesteuertes Repositorium erlaubt es, verschiedene Metamodelle zu laden, auch gleichzeitig Ist zugeschnitten auf eine Metasprache Speicherung von Metadaten möglich (metadata repository), aber auch n (model repository) Vorteile: Generierung von Zugrifsschnittstellen zu den n (starke Typisierung) Verwendung von refektiven Zugrifsschnittstellen zu den n (schwache Typisierung). z.b. Zugrif auf Extent: Zugrif auf alle eines Metamodells oder alle Objekte eines Modells Observation der möglich (durch Einhängen von Observern) Prof. U. Aßmann, SEW 13 Prof. U. Aßmann, SEW 14 Netbeans MDR Netbeans MDR Ein metamodellgesteuertes Repositorium für die Netbeans SEU Metasprache Speicherung von -Metamodellen und -Metadaten möglich (metadata repository), aber auch n (model repository) Vorteile: Generierung von Java-Zugrifsschnittstellen zu den n (starke Typisierung), via JMI (-Java-Mapping) Verwendung von refektiven Zugrifsschnittstellen zu den n (schwache Typisierung). Via Refektion auf -Konzepten (Klassen, Attributen, Assoziationen, Vererbung). Zugrif auf Extent Observation der möglich Transparente Speicherung im Hauptspeicher, Filesystem oder in einer Datenbank Austauschformat XMI (-XML-Mapping) Prof. U. Aßmann, SEW 15 -Metamodell laden M0 Persistenz auf Datei, Datenbank, etc. in verschiedenen Repräsentationen CWM -Java Access Package -Java -Java Database <<generates>> -Java Access Package -Java -Java XML CWM-Java Access Package CWM-Java CWM-Java File Prof. U. Aßmann, SEW 16

5 Eclipse EMF (basierend auf ) Master Data Management (MDM) laden CWM <<generates>> - Metamodell -Java Access Package -Java Access Package CWM-Java Access Package M0 -Java -Java CWM-Java Persistenz auf Datei, Datenbank, etc. in verschiedenen Repräsentationen -Java Database -Java hibernated CWM-Java File Prof. U. Aßmann, SEW 17 SEW, Prof. Uwe Aßmann 18 MDM Bsp.: SAP NetWeaver MDM Verwaltet alle Daten eines Unternehmens in einer Datenablage Föderierte verteilte Datenbank Nicht konsistent gehalten durch Transaktionen Allerdings mit Werkzeugen zur Analyse, Query, Konsistenzprüfung, -erhaltung und -wiederherstellung, Normalisierung Entsteht oft aus Firmenfusionen und muss danach entschlackt werden MDM Data Manager Search and identify identical master data objects Merge identical objects centrally Provide relevant key mapping information Master Data Management (MDM) MDM Server Repository MDM Import Manager Import new objects Match and merge identical or duplicate objects centrally Provide relevant key mapping information SAP NetWeaver XI Converts data into XML format Prof. U. Aßmann, SEW 19 Quelle: URL: Artikel von David, Klaus Legacy system SAP R/3 system Non-SAP system Prof. U. Aßmann, SEW 20

6 11.4 Austauschformate Einsatz in Transformations-Brücken zwischen Repositorien Prof. U. Aßmann, SEW SEW, Prof. Uwe Aßmann Austauschformat konkrete Syntax Transformative TS-Brücken mit konkreter Syntax Als Austauschformat ist von jeher konkrete textuelle Syntax benutzt worden (mittels Technologieraum Grammarware, mit Metasprache EBNF) lesen den Text und wandeln ihn in das interne Format Prettyprinter schreiben das interne Format um auf die konkrete Syntax Eine Technologieraum-Brücke (TS-Brücke, TS bridge) bietet ein Austauschformat in konkreter Syntax (via dem TS Grammarware) eine Generierungstechnik für und Am besten: normative konkrete Syntax EMFText: normative konkrete Syntax for Ecore Xtext: normative konkrete syntax for Ecore and OAW OWL EBNF TS TS OWL TS TS Grammarware TS TS Ecore Prof. U. Aßmann, SEW Prof. U. Aßmann, SEW 24

7 Austauschformat CDIF: CASE Data Interchange Format Textuelle CDIF-Beschreibung eines CDIF ist ein Austauschformat für CASE-Werkzeuge, basierend auf Metasprache auf : ERD Austauschformat einfachen, transparenten Aufbaus zwischen (Modell-) und Repositories hersteller- und methodenunabhängig unterstützt die Kooperation zwischen verschiedenen und Projekten Folgende Standardgruppen existieren: Zur Defi nition der CDIF-Architektur: Data Interchange Format - Überblick Framework for Modelling and Extensibility Zur Defi nition von Transferformaten: Allgemeine Regeln für Syntax und Verschlüsselung OMG IDL Bindings u. a. Semantisches Metamodell: Foundation Subject Area Common Subject Area Data Modeling Subject Area,... Präsentations-Informations-Meta-Modell: Festhalten von Layout-Information Den Entitäten eines Datenfl ußdiagramms () sind folgende Attibute zuzuordnen Spezifi kation von in CDIF, textuelle Notation von ERD (ERD-Text): obj_dfd (dataflowdiagram dfd_title {dfd_element} ) dfd_title dfd_title_name )... dfd_element dfd_bubble dfd_store dfd_term dfd_tb dfd_csc dfd_flow dfd_bubble (process pt process_name inst_num [process_type] (processid string ) process_name (processname string ) process_type (processtype string ) dfd_store (store pt pt store_name inst_num ) store_name (storename string ) Quellen: OMG-Dokument ad/ ; Austauschsyntax CDIF Prof. U. Aßmann, SEW 25 Transformative TS-Brücken via CDIF Prof. U. Aßmann, SEW 26 CDIF definiert eine textuelle Syntax für ERD (ERD-T) normative textuelle Repräsentation (für alle Sprachen auf gleich) TS-Brücken (via CDIF) generieren und Normative konkrete Syntax in der CDIF-Spezifikation festgelegt TS TS CDIF TS TS CDIF TS ERD-Text ERD-Text -Textuelle Repräsentation - Diagramm Textuelle Repräsentationen Prof. U. Aßmann, SEW 27 Prof. U. Aßmann, SEW 28

8 Austauschformat XMI XML Metadata Interchange Format Transformative TS-Bridges via XML Ziel: anbieterneutrales ofenes Austauschformat für Metadaten/ in verteilten Umgebungen Metasprache generisches Stream -Format lose gekoppelte Architektur, einfach für Anbieter zur Verarbeitung in aktuellen Produkten überwindet Lücken zwischen inkompatiblen, Repositories und Anwendungen Stand: OMG-Standard für XML Metadata Interchange (XMI) zwischen Repositories, und Anwendungen Version 2.1 (formal/ ) Allerdings: Wegen des Indeterminismus des spannenden Baumes keine volle Kompatibilität möglich XML is a normalized concrete syntax Because of trees, a linearized normalized concrete syntax is possible Good for exchange! TS OWL TS XML TS OWL OWL XSD Textuelle Repräsentationen von von in in XML Prof. U. Aßmann, SEW 29 Prof. U. Aßmann, SEW 30 XMI: Transformative TS-Brücke XMI: Transformative TS-Brücke für Im allgemeinen Sinne ist XMI eine Brücke zwischen und anderen TS via XSD/XML Meist wird allerdings das nur für ausgeprägt. Dann ist XMI eine -Brücke TS XMI TS XML TS TS XMI TS XML TS XSD XSD LL LL LL Textuelle Repräsentationen von von L L in in XML Textuelle Repräsentationen von von in in XML Prof. U. Aßmann, SEW 31 Prof. U. Aßmann, SEW 32

9 Zusammenhang XMI - Transformationsbrücke zwischen ADO und OWL XMI liegt ein Metamodell der zugrunde, das zweimal, in und XSD, spezifiziert wird Zwischen beiden Metamodellen wird ein Sprachabbildung (language mapping) angegeben Aus diesem werden und generiert TS Type Attribute Association TS XML Type XSD Attribute Association Textuelle Repräsentationen von von L L in in XML XML Prof. U. Aßmann, SEW 33 Problem: normativer spannender Baum für Graphmodelle bzw. sind graphbasiert, XML baumbasiert XML muss bestimmte Links in Namensreferenzen aufösen Dazu wird über oder -Modell ein Spannender Baum gelegt (z.b. entlang der Aggregation) Alle Links, die nicht im spannenden Baum vorkommen, werden mit Namensreferenzen dargestellt, und nicht im XML Baum Da der spannende Baum nicht deterministisch ist, entstehen Inkompatibilitäten TS TS XML TwoUse (U Koblenz) ist eine Transformationsbrücke zwischen TS ADO (BOC Wien) und TrOWL (OWL, Uni Aberdeen) Austauschsyntax: OWL 0. create integrated model model 8. display result on model E.g. mark invalid objects Integrated Modelling based on MOST Integrated Language ADO Modelling World, BPMN, DSL Modelling world ADOxx as an integrated modelling toolkit ADOxx + 1. IsModelValid (model, query) 7. return model result Declarative Constraints Expressed in OWL ADOxx TwoUse 6. process result back As model result TwoUse Bridge 2. Transform intgr. model model into OWL only ontology and transform query into SparQL 3. IsOntologyValid (onto, query) 5. return ontology result WS TrOWL as semantic reasoner TrOWL Ontology Reasoning World 4. Perform Reasoning on Ontology onto Prof. U. Aßmann, SEW 34 Erinnerung: Classes and Properties in Definieren einer Klasse als Typ und Festlegung der weiteren Elemente zur klassenbasierten Modellierung Type Attribute Type Attribute Association Association Prof. U. Aßmann, SEW 35 Quelle: 2.0 Infrastructure Specification; OMG Adopted Specification ptc/ Prof. U. Aßmann, SEW 36

10 Beispiel einer XMI-Objektinstanz: Kodierung einer -Klasse example <?xml version = 2.0"?> <!DOCTYPE XMI SYSTEM "uml.dtd"> <XMI xmi.version= 2.0"> C1 <XMI.Header> <XMI.Metamodel name= href=.xml /> #A1 <XMI.Model name= example href= example.xml /> </XMI.Header> <XMI.Content> <Core.Basic.NamedElement.name>example</Core.Basic.NamedElement.name> <Core.Basic.Class> <Core.Basic.NamedElement.name>C1</Core.Basic.NamedElement.name> <Core.Basic.feature> Typen <Core.Basic.Property> <Core.Basic.NamedElement.name>A1</Core.Basic.NamedElement.name> <Core.Sasic.NamedElement.visibility xmi.value= protected"/> </Core.Basic.Property> [<Core.Basic.Operation>... </Core.Basic.Operation>] </Core.Basic.feature> </Core.Basic.Class> (ähnliches Beispiel siehe : </XMI.Content> </XMI> Prof. U. Aßmann, SEW 37 Datenaustausch mit XMI für CIM im Kontext von Model-Driven Architecture (MDA) Adaption von XMI-basierten n mit XSLT Auf XML-Basis PML-DTD PML-Modell als XMI-Datei XMI-Export CASE-Tool 1 PML-- Abbildung als XSLT-Skript XSLT- Prozessor -DTD wird beschrieben durch validiert durch validiert durch wird beschrieben durch -Modell als XMI-Datei XMI-Schnittstelle CASE-Tool 2 Quelle: Großmann, A.: XMI für prozedurale Programmstrukturen und Transformation in ; Diplomarbeit an der Fakultät Informatik der TU Dresden, 2000 Prof. U. Aßmann, SEW Frameworks zur Werkzeugintegration (PCTE) -Metamodell CWM Metamodell CIM XMI-Dateien CIM Computation independent model PIM PSM PSM XMI- Dateien Spezifi sches relationales Datenbankmodell doi= &rep=rep1&type=pdf J2EE/EJB Profi le CORBA/IDL Profi le EJB Code IDL Code Quelle: Andresen, A.: Komponentenbasierte Softwareentwicklung mit MDA; und XML; Hanser Verlag 2003, S. 251 Prof. U. Aßmann, SEW 39 SEW, Prof. Uwe Aßmann 40

11 Portable Common Tool Environment (PCTE+, HPCTE) Technische Merkmale von PCTE Schnittstellenstandard der der ECMA ECMA -- unterstützt systemunabhängigen Zugriff Zugriff auf auf Werkzeuge und und Repository Distribution and Process Communication PCTE User Interface mit Access Control Functions Tool Tool Tool PCTE Object Management System (OMS) metamodellbasiert Host Computer Operating System PCTE stellt eine Menge hochintegrierter Basisdienste bereit, die eine vielseitige Grundlage für verteilte Software-Entwicklungsumgebungen (SEU) bilden, die auch oft SEU-Frameworks oder Repositories genannt werden. Hauptmerkmale sind: verteiltes DBMS basierend auf dem ERM mit Erweiterungen, wie zusammengesetzte Objekte, Versionen, Mehrfachvererbung, dynamisch kreierte Sichten, eingebettete Transaktionen usw. ein exklusives Ausführungssystem, welches Prozeßhierarchien, Vererbung von offenen Files, Prozeßkommunikation über Pipes und Nachrichtenwarteschlangen gestattet. Werkzeuge können als Shell-Skript geschrieben und in mehreren Fenstern unterstützt werden. verteilte Dienste, d.h. Objektbasis und Prozesse sind transparent verteilt, Replikation von Objekten sowie Schema-Management sind ebenfalls dezentralisiert. erweiterbare Sicherheitsmerkmale, wie Vertraulichkeit, geschützte Zugriffssteuerung für individuelle Objekte, Revisionsfähigkeit. PCTE ist selbstreferenzierend, das bedeutet, Typen, Prozesse, Teile der Objektbasis, Nutzer und Nutzergruppen werden einheitlich repräsentiert als Objekte. Quelle: ECMA - Portable Common Tool Environment (PCTE), Abstract Specifi cation; ECMA-149, 2nd Edition, Juni 1993 PCTE-OMS-Modell (Object Management System) Prof. U. Aßmann, SEW 41 Quelle: PCTE-OMS Metasprache (Erweiterung von ERD) Prof. U. Aßmann, SEW 42 Das OMS stellt Datentyp- und Datenspeichermöglichkeiten sowie Concurrency- Control-Mechanismen zur Verfügung, defi niert statische Informationen, die in der object base (Repositorium aller persistenten Daten) gehalten werden, überwacht Gesamtheit der an verteilten Host verfügbaren Objekte (auch replizierte) liefert Konzepte für die Softwareentwicklung, wie beispielsweise die (Typ-)Vererbung der objektorientierten. Das OMS ist metamodell-gesteuert. Es enthält Typdefi nitionen, die in Schema Defi nition Sets (SDS, Metamodelle) beschrieben werden: Objekte: Basisentitäten, auf denen Operationen der Werkzeuge ausgeführt werden. Instanzen können Dokumente, Textfi les, Quell- oder Objekt- code, Task aber auch Geräte und Nutzer sein. Links (Assoziationen): gerichtete Beziehungen zwischen (Ursprungs-) und (Ziel-)Objekt (bidirektional) Attribute: beschreiben Objekte und Links näher. Sie enthalten einen bestimmten Wertetyp und können sowohl Schlüssel- als auch normales Attribut sein. Quelle: Prof. U. Aßmann, SEW 43 object_type_ in_sds sds_object link_type_ in_sds attribut_type_ in-sds ().is_in_sds ().is_in_sds i ().is_in_sds i category i c stability c boolean.parent_type c.of_type.of_type cardinality.of_type string integer type_reference type_reference data r object_type link_type i r attribut_type i.key_attribut_of ().is_attribute_of.in_attribut_set r r.subtype Link-Typ Kategorien: c composition bei Anlegen eines neuen Objekts in Referenz zum existierenden. r reference zwischen Ursprungs- und Zielobjekt i implicit kann z.b. reverse link für einen angelegten Link sein s system implicit, automatisch vom System (PCTE-OMS) gesetzt. i c.in_sds type_refence.defi nition Prof. U. Aßmann, SEW 44

12 PCTE-Objekt-Strukturen Emeraude PCTE Framework PCTE DDL Metamodell (): Beispiel-Modell (): authorization User Document device soft-created_by writes_in author_of title subtype of execut. fi les tool object directory pipe fi le _address soft Mailbox managed by specifi c primitives document user_guide documented_by Software documents Prof. U. Aßmann, SEW 45 Environment Framework Specifi - cation Design Coding Command Documentation Language (Text+Graphik) Interpreter Management Test HORIZONTAL TOOLS Public Tool Interface (PTI) Presentation Services Data Service Platform VERTICAL TOOLS Data Management Control Services Validation Confi guration and Version Managm. Prof. U. Aßmann, SEW 46