Migration einer großen Modellierungsumgebung von UML/XML nach GMF/ Xtext

Transkript

1 Migration einer großen Modellierungsumgebung von UML/XML nach GMF/ Xtext

2 Moritz Eysholdt Software Architekt und Consultant bei itemis Committer in den Eclipse Projekten Xtext, Xpand und EMF Compare Sprecher auf diversen internationalen Konferenzen Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

3 Spezialisiert auf Model Driven Software Development Gegründet in Angestellte Niederlassungen in Deutschland, Schweiz, Frankreich und Kanada Strategic Member der Eclipse Foundation Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

4 Johannes Rupprecht Chefarchitekt der VSA Gruppe IT Projektleiter des größten VSA Software Projekts Architekt und einer der Entwickler des VSA Frameworks marvin Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

5 Group VSA: Verrechnungsstelle der Süddeutschen Apotheken Gegründet deutsche Apotheker als Eigentümer Angestellte Drei Geschäftsbereiche VSA Abrechnung: Abrechnung für Apotheken azh: Abrechnung und IT für deutsche sonstige Leistungserbringer awinta: Apotheken Verwaltungs Systeme Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

6 Software Entwicklung bei VSA 150 Entwickler in verschiedenen Projekten in verschiedenen Standorten Interne Systeme, wie die beiden Abrechnungssysteme Online Systeme für die Abrechnungskunden Apotheken Verwaltungs Systeme für den Endanwender Entwicklung meistens in Java, aber auch in C#, C++, C, Objective-C Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

7 Softwareentwicklung vor der Einführung Eclipse-basierter Modellierung

8 Die VSA verwendet ein Framework namens marvin. Warum?

9 Die Entwicklung des Frameworks startete 2000

10 #/)/%6,-'20! Kaum Web- JK3L%6,-'20! Nur EJB 1.3, Frameworks, nur Struts #/)/%6,-'20!%! *4/+0'(! JK3L%6,-'20% *4/+0'(! kein Spring marvin!"#$%%!&'()'(!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!"#$%&'()'(!*++,-./0-12! 3145,'!612.'+0! 71(891:!"2;-2'! Noch kein Eclipse Modeling, kein MDA L-.'2<-2;!&'()-.'! ='<<15(.'<'()-.'! ")'20<'()-.'! &'<<-12! &'()-.'! 71(891:%OD+,P! 71(891:!&0'+<! 612N;5(/0-12<<'()-.'! L1.8-2;! &'()-.'! Kein JPA, kein *.0-)-0-'<! Hibernate $5<-2'<<!FGH'.0<!I!$5<-2'<<!&'()-.'<! C<'(!*4D-2-<0(/0-12! &'.5(-0E! L-.'2.'! =',/0-12/,!M$! Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

11 Neuimplementierung aller Systems Die VSA plante 2000 und 2002 mit der Neuimplementierung aller wichtigen Systeme der VSA Gruppe basierend auf Java zu beginnen. Daher großer Bedarf für unterstützende Frameworks. Codegenerierung schien der richtige Weg Basiert auf XML-Dateien Später um UML-Modellierung ergänzt MagicDraw als UML-Werkzeug, eigene Plugins zur XML- Generierung Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

12 Systeme basiert auf marvin

13 /00%#4,% 76485% 9&:% $685)5;6,;% 6,;);)65% <:9% $685)5;6,;% =)6>5% >+8AB+>5% /01200% 3*45565% &&20% #45A5% &'(%#)**)+,% -+.%!"#$% /000%CD-% E)4F84#5%

14 45/& 63#2)273!7& 3!7)7)32& 85& 63#2)273!7& 9)3:2& ';<& :$#=>$:2& '-.-//& 0*12232& 5';& (12=2& '&()**)$!& +$,&!"#$%& %)1A#1(2&

15 Das Projekt neue marvin Modellierung

16 Warum neu?

17 Probleme mit der UML- Modellierung Ein UML-Modul öffnen dauerte bis zu einer Stunde Ein großes UML-Diagramm zu öffnen dauerte bis zu 10 min Schlechte Turnaround- Zeiten: (UML Diagram bearbeiten, XML generieren, Java generieren und via ANT kompilieren) Zu viel Zeit für Kaffee... Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

18 Probleme mit der UML-Modellierung Modellierung war nicht intuitiv, da UML teilweise zweckentfremdet wurde, um etwas auszudrücken, was in UML eigentlich nicht darstellbar ist Modellierung war umständlich, da semantische Werkzeugunterstützung fehlte (z.b. Content Assist) Das Modell war teilweise komplexer als die XML- Dateien Workflow-Diagramme wurden zu groß, wurden unübersichtlich. Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

19 Probleme mit der UML-Modellierung Modellelemente wurden String-basiert mit dem Namen referenziert, nicht via echter Referenz. Keine Validierung und Codevervollständigung im Editor Branchen war nicht möglich, es konnte nur auf einem Branch gearbeitet werden. Es konnte nicht der gesamte Sprachumfang der XML- Sprachen in UML abgedeckt werden. Aus XML-Modellen können keine UML-Modelle erstellt werden. Keine Navigation zwischen Modellen und Code. Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

20 Projektinitialisierung Ziel: Usability und Performance der Modellierungsumgebung massiv zu verbessern. Vier Bewerber auf die Ausschreibung, drei gleiche Vorschläge: Xtext und GMF mit Eclipse Der Kompetenzvorteil bei Xtext verhalf itemis zum Sieg Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

21 Projektbeginn Festpreisvertrag: Entwickler der VSA sind an der Entwicklung beteiligt um Wissen bzgl. der neuen Technologien aufzubauen. Spezifikation: Dokument und Legacy Code Zwei Entwickler von itemis sowie zwei Vollzeit- und zwei Teilzeit-Entwickler der VSA. Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

22 Warum Eclipse Modeling? Großes Ökosystem an Modellierungswerkzeugen und -Frameworks wie in keiner anderen Platform: EMF Xtext GMF Kombinierbarkeit textueller und grafischer Modellierung Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

23 Designentscheidungen Textuelle Modellierung für alle Sprachen mit Xtext Grafische Modellierung für ausgewählte Aspekte bestimmter Sprachen mit GMF um einen besseren Überblick zu erlauben (kein UML!) Integration des bestehenden marvin Generators als Eclipse Builder Werkzeug für eine 100% automatische Migration existierender Projekte, inklusive Diagram-Layout von MagicDraw. Möglichkeit, Projekte einzeln zu Migrieren. Migrierte und noch nicht migrierte Projekte müssen kombinierbar sein, da nicht alle Projekte auf einmal migriert werden können. Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

24 Zwei Sprachfamilien, fünf Sprachen

25 XML + UML datadict.xsd <?xml version="1.0" encoding="iso "?> <datadictionary xmlns=" <domain> <databasemapping tablename="vdomain"> <column name="id"> <IdType/>... </column> </databasemapping> <generator> <classes> <?xml version="1.0" encoding="iso "?> <datadictionary xmlns=" <view> <databasemapping viewname="v_vattribute_join_view"/> <generator> <classes>... workflowdef.xsd <?xml version="1.0" encoding="iso "?> <workflow xmlns=" <javadoc>comment</javadoc> <synchworkflow ismasterworkflow="true" isstartableasdetailworkflow="true"> <targetguis> <gui name="java"/> </targetguis> <objectmodel> <rootobject class="vsa.marvin.mod.schulung.workflow.impl.customermanagementroot" name="customermanagement"> <javadoc>rootobject of the workflow</javadoc> <value attributepath="searchfor" name="searchfor"/> </rootobject> </objectmodel> <globalmasks> <globalactivities> <activity name="searchcustomer2"> <javadoc></javadoc> <synchtransition nextstep="current_step"/> </activity>

26 <?xml version="1.0" encoding="iso "?> <datadictionary xmlns=" <domain> <databasemapping tablename="vdomain"> <column name="id"> <IdType/> </column> <column allownulls="false" name="vdomainattr"> <DecimalType precision="10" scale="0"/> </column> </databasemapping> <generator> <classes> <superclass name="vsa.marvin.persist.defaultpersistentobject"/> <domainif internalname="gen.vsa.marvin.mod.persist.examples.reference.views.joins.core.vdomainimplif" name="gen.vsa.marvin.mod.persist.examples.reference.views.joins.vdomainif" baseonly="true" generatebase="true" generatepublic="true"/> <domainimpl name="gen.vsa.marvin.mod.persist.examples.reference.views.joins.core.vdomainimpl" baseonly="true" generatebase="true"/> </classes> <attributes> <defineattributes> <attribute name="vdomainattr" type="int"> <javadoc></javadoc> <columnref columnname="vdomainattr"/> </attribute> </defineattributes> </attributes> <createmethods/> <findmethods/> </generator> </domain> </datadictionary>

27 XML-noise entfernen: </...>?xml version="1.0" encoding="iso "? datadictionary xmlns="http: datadict " domain databasemapping tablename="vdomain" column name="id" IdType column column allownulls="false" name="vdomainattr" DecimalType precision="10" scale="0" column databasemapping generator classes superclass name="vsa.marvin.persist.defaultpersistentobject" domainif internalname="gen.vsa.marvin.mod.persist.examples.reference.views.joins.core.vdomainimplif" name="gen.vsa.marvin.mod.persist.examples.reference.views.joins.vdomainif" baseonly="true" generatebase="true" generatepublic="true" domainimpl name="gen.vsa.marvin.mod.persist.examples.reference.views.joins.core.vdomainimpl" baseonly="true" generatebase="true" classes attributes defineattributes attribute name="vdomainattr" type="int" javadoc javadoc columnref columnname="vdomainattr" attribute defineattributes attributes createmethods findmethods generator domain datadictionary

28 datadictionary Metadaten entfernen domain databasemapping tablename="vdomain" column name="id" IdType column column allownulls="false" name="vdomainattr" DecimalType precision="10" scale="0" column databasemapping generator classes superclass name="vsa.marvin.persist.defaultpersistentobject" domainif internalname="gen.vsa.marvin.mod.persist.examples.reference.views.joins.core.vdomainimplif" name="gen.vsa.marvin.mod.persist.examples.reference.views.joins.vdomainif" baseonly="true" generatebase="true" generatepublic="true" domainimpl name="gen.vsa.marvin.mod.persist.examples.reference.views.joins.core.vdomainimpl" baseonly="true" generatebase="true" classes attributes defineattributes attribute name="vdomainattr" type="int" javadoc javadoc columnref columnname="vdomainattr" attribute defineattributes attributes createmethods findmethods generator domain datadictionary

29 datadictionary Default- und abgeleitete Werte entfernen domain databasemapping tablename="vdomain" column name="vdomainattr" DecimalType precision="10" scale="0" column databasemapping generator classes superclass name="vsa.marvin.persist.defaultpersistentobject" classes attributes defineattributes attribute name="vdomainattr" type="int" javadoc javadoc columnref columnname="vdomainattr" attribute defineattributes attributes createmethods findmethods generator domain datadictionary

30 datadictionary Spalten und Attribute zusammenfassen domain databasemapping tablename="vdomain" databasemapping generator classes superclass name="vsa.marvin.persist.defaultpersistentobject" classes attributes defineattributes attribute name="vdomainattr" type="int" javadoc javadoc attribute defineattributes attributes createmethods findmethods generator domain datadictionary

31 Mehr Noise entfernen domain databasemapping "VDOMAIN" superclass name="vsa.marvin.persist.defaultpersistentobject" attribute "vdomainattr" type="int"

32 Angenehme Syntax entwerfen domain-language-v2.0 package vsa.marvin.mod.persist.examples.reference.views.joins; import vsa.marvin.persist.defaultpersistentobject; domain VDomain { database { table VDOMAIN; } } classes { superclass javaclass DefaultPersistentObject; } attributes { private int vdomainattr; } methods { }

33 Werkzeugunterstützung für diese Sprache - gebaut in einer Minute

34 (siehe video XtextDemo-Host-before.mp4)

35

36 (siehe video XtextDemo-Host-after.mp4)

37 (siehe video XtextDemo-Runtime.mp4)

38 datadict.xsd Domain.xtext View.xtext workflowdef.xsd Workflow.xtext ObjectModel.xtext Mask.xtext

39 Modelle sind Quellcode! Dies ist gut, da die Handhabung von Quellcode etabliert ist: Vergleichen, Mergen Versionskontrolle Anwendungsübergreifendes Copy n paste Artifakte via oder Web senden Des weiteren integriert es sich nahtlos mit.. Existierendem Quellcode Existierender Buildinfrastruktur Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

40 Architektur Strukturdefinition: Ecore abgeleitet aus XML Schema Xtend M2M Strukturdefinition: Ecore abgeleitet aus Xtext Grammatiken <XML/> Model EMF Model Xtext Model Laden/Speichern: EMF s XMLResource Xtend M2M Laden/Speichern: XtextResource (extends EMF s ResourceImpl) Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

41 XML Modelle migrieren Xtend M2M XMLResource.load() XtextResource.save() <XML/> Model Xtext Model Xtend M2M Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

42 Legacy Codegenerator integrieren Xtend M2M CodeGen <XML/> Model Xtext Model XMLResource. save() Xtend M2M XtextResource.load() { Java } Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

43 Generischer Integrationstest Dies Testet: XMLResource.load() (Roundtrip) XML2Xtext Xtend M2M Serialization Grammar XtextResource.save() Compare <XML/> Model Xtext Model Scoping XMLResource.save() Xtend M2M Xtext2XML XtextResource.load() Lexing/Parsing ValueConversion Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

44 old approach GMF-Integration (Wie Diagramme gespeichert werden) XMI via EMF s XMIResource XMI via EMF s XMIResource <?xml version="1.0" encoding="utf-8"?> <xmi:xmi xmi:version="2.0" xmlns:xmi=" xmlns:xsi=" xmlns:ecore=" xmlns:notation=" xmlns:wf=" <notation:diagram xmi:id="_wri84hsqed-ycpmlqi1fhq" type="workflow" measurementunit="pixel"> <children xmi:type="notation:node" xmi:id="_wt_z8hsqed-ycpmlqi1fhq" type="2004"> <children xmi:type="notation:decorationnode" xmi:id="_wubcehsqed-ycpmlqi1fhq" type="5005"/> <styles xmi:type="notation:descriptionstyle" xmi:id="_wt_z8xsqed-ycpmlqi1fhq"/> <styles xmi:type="notation:fontstyle" xmi:id="_wt_z8nsqed-ycpmlqi1fhq" fontname="lucida Grande" fontheight="10"/> <styles xmi:type="notation:linestyle" xmi:id="_wt_z83sqed-ycpmlqi1fhq"/> <element xmi:type="wf:nonguistep" href="customermanagement.wf#vsa_/steps:deletecustomer"/> <layoutconstraint xmi:type="notation:bounds" xmi:id="_wt_z9hsqed-ycpmlqi1fhq" x="702" y="153"/> </children>... <?xml version="1.0" encoding="utf-8"?> <xmi:xmi xmi:version="2.0" xmlns:xmi=" xmlns:xsi=" xmlns:ecore=" xmlns:notation=" xmlns:wf=" <notation:diagram xmi:id="_wri84hsqed-ycpmlqi1fhq" type="workflow" measurementunit="pixel"> <children xmi:type="notation:node" xmi:id="_wt_z8hsqed-ycpmlqi1fhq" type="2004"> <children xmi:type="notation:decorationnode" xmi:id="_wubcehsqed-ycpmlqi1fhq" type="5005"/> <styles xmi:type="notation:descriptionstyle" xmi:id="_wt_z8xsqed-ycpmlqi1fhq"/> <styles xmi:type="notation:fontstyle" xmi:id="_wt_z8nsqed-ycpmlqi1fhq" fontname="lucida Grande" fontheight="10"/> <styles xmi:type="notation:linestyle" xmi:id="_wt_z83sqed-ycpmlqi1fhq"/> <element xmi:type="wf:nonguistep" href="customermanagement.wf#vsa_/steps:deletecustomer"/> <layoutconstraint xmi:type="notation:bounds" xmi:id="_wt_z9hsqed-ycpmlqi1fhq" x="702" y="153"/> </children>... Semantic Model (das eigentliche Modell) Notation Model (Layout, Formatierung, etc.) Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

45 GMF-Integration (Wie Diagramme gespeichert werden) Text via XtextResource XMI via EMF s XMIResource workflow-language-v2.0 package vsa.marvin.mod.schulung.^workflow; /* This workflow creates/removes/updates customer records */ workflow CustomerManagement ismasterworkflow canbedetailworkflow { firststep OverviewStep; references { objectmodelref CustomerManagement; externaldefinitionsref Externals as infoheader; compworkflowref customersales workflow CustomerSales; } workflowpart foopart { globalactivities { activity ShowCustomerCount -> ShowCustomerCountMessage; } <?xml version="1.0" encoding="utf-8"?> <xmi:xmi xmi:version="2.0" xmlns:xmi=" xmlns:xsi=" xmlns:ecore=" xmlns:notation=" xmlns:wf=" <notation:diagram xmi:id="_wri84hsqed-ycpmlqi1fhq" type="workflow" measurementunit="pixel"> <children xmi:type="notation:node" xmi:id="_wt_z8hsqed-ycpmlqi1fhq" type="2004"> <children xmi:type="notation:decorationnode" xmi:id="_wubcehsqed-ycpmlqi1fhq" type="5005"/> <styles xmi:type="notation:descriptionstyle" xmi:id="_wt_z8xsqed-ycpmlqi1fhq"/> <styles xmi:type="notation:fontstyle" xmi:id="_wt_z8nsqed-ycpmlqi1fhq" fontname="lucida Grande" fontheight="10"/> <styles xmi:type="notation:linestyle" xmi:id="_wt_z83sqed-ycpmlqi1fhq"/> <element xmi:type="wf:nonguistep" href="customermanagement.wf#vsa_/steps:deletecustomer"/> <layoutconstraint xmi:type="notation:bounds" xmi:id="_wt_z9hsqed-ycpmlqi1fhq" x="702" y="153"/> </children>... Notation Model (Layout, Formatierung, etc.) guistep ShowSalesInclude { javamask vsa.marvin.mod.schulung.^workflow.showsalesincludemask; activity NextMonth -> ShowSalesInclude; Semantic Model (das eigentliche Modell) Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

46 GMF-Integration: Konsequenzen Der grafische Editor muss nicht das gesamte Modell bearbeiten können Günstiger Grafische Syntax muss nur an den Stellen verwendet werden, wo es der textuellen tatsächlich überlegen ist. Wenn die XMI-Datei verloren geht, geht nur Formatierung und Layout verloren, nicht aber das eigentliche Modell. Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

47 Showtime!

48 Inkrementeller Build

49 (siehe video MarvinDemo-Incremental-Build.mp4)

50 Codevervollständigung, Cross-Referenzen, Navigation

51 (siehe video MarvinDemo-Contentassist-Navigation.mp4)

52 Validierung, Formatierung, Outline,

53 (siehe video MarvinDemo-Validation.mp4)

54 (siehe video MarvinDemo-Formatting.mp4)

55 (siehe video MarvinDemo-Outline.mp4)

56 Find References Open Model Elements Dialog

57 (siehe video MarvinDemo-FindRef-OpenModel.mp4)

58 Domain Diagramm: Eine Perspektive auf Entitäten

59 (siehe video MarvinDemo-DomainDiagram.mp4)

60 Workflow Diagramm: Eingebettete Diagramme

61 (siehe video MarvinDemo-WorkflowDiagram.mp4 )

62 Was haben wir gelernt?

63 Migration Eine zu 100% automatisierte Migration war notwendig Ca. 75 CVS Module waren zu migrieren Früh im Projekt ein automatisches Migrationswerkzeug implementiert: Alle CVS-Module auschecken und bauen Modelle migrieren Ergebnis durch Vergleiche von Artifakten validieren Loggen aller Fehler und relevanter Unterschiede Alle Probleme in der Migration wurden vor dem Rollout gefunden! Aber: Suche nach Fehlern war deutlich zeitintensiver als erwartet Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

64 Training der Anwender Auch für sehr erfahrene Anwender ist es sehr hilfreich, in die völlig neue Art zu Modellieren und die neuen Werkzeuge eingewiesen zu werden. Ein Schulungsprojekt mit Tutorials wurde erstellt, um die wichtigsten Features zu vermitteln Alle Entwickler der VSA (sogar die Rumänischen) nahmen an einem 4-6-Stunden-Training teil Ergebnis: Sehr wenig Probleme in der Handhabung, wenig Supportaufwand für die VSA-Werkzeugentwickler Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

65 Verteiltes Projekt Verteilt über vier Orte Gemeinsame Infrastruktur von Anfang an Subversion Bug tracking system (Trac) Wiki Wöchentliche Telefonkonferenzen für Statusupdates, Planung und um Probleme zu diskutieren Später: Kommunikationsregeln um das Arbeiten effizient zu halten Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

66 Komplexität minimieren Stabile Versionen der Frameworks verwenden GMF nur wo notwendig verwenden Existierende Modelle nur wenn notwendig migrieren, da man in der Gestaltung der Sprache nicht frei ist und die Migration ausführlich getestet werden muss. Arbeite testgetrieben und mit Continuous Integration (Aufwändig mit Eclipse Plugins) Moritz Eysholdt, itemis - Johannes Rupprecht, VSA

67 Fragen? Diskussion