Analyse und Bewertung der Modellgüte in Hybrid Wikis

Transkript

1 Abschlussvortrag Bachelorarbeit Analyse und Bewertung der Modellgüte in Hybrid Wikis Betreuer: Christian Neubert 1

2 Mapping Hybrid Wiki zu UML 2

3 Überblick Ziele meiner Arbeit: 1. Welche Faktoren haben Einfluss auf Modellqualität und welche Metriken können verwendet werden um diese zu messen? 2. Wie kann man in einem Experiment die Modellqualität von Hybrid Wikis und UML vergleichen? 3. Was gibt es für Verbesserungspotentiale der Strukturierungsmöglichkeiten in Hybrid Wikis? 4. Hat der strukturierte Teil der Wiki- Daten ähnlich gute Strukturen wie die UML Modelle? 3

4 Metriken zur quantitativen Qualitätsmessung von UML Klassendiagrammen QS(complexity) NC NAssoc NA NGen QS(validity) WC WAssoc WA WTypeA WMulA WMulAssoc Pragmatic Quality QS(completeness) MC MAssoc MA MMulAssoc Semantic Quality Model quality Other Quality Factors Percieved Semantic Quality Perceived completeness Completeness asked on a five-point Likert scale Perceived Validity Correctness asked on a five-point Likert scale Other Metrics [Kr02] [GP01] 4

5 Experiment Setting (1) Gruppe A Hybrid Wikis Hybrid Wikis Gruppe A UML UML Gruppe B UML Aufgabe UML Gruppe B Hybrid Wikis Aufgabe Hybrid Wikis 5

6 Experiment Setting (2) Gruppe A Fragebogen Bewertung Bestes UML/HW Modell Gruppe B Fragebogen Semantic Quality Percieved Semantic Quality Pragmatic Quality 6

7 Ergebnis für die Overall-Complexity Metrik 25% - 75% Min-Max Median Hybrid Wiki Modelle sind etwas weniger komplex als die UML Modelle 7

8 Verbesserungspotenziale der Modellierungsfähigkeit von Hybrid Wikis (1) 8

9 Verbesserungspotenziale der Modellierungsfähigkeit von Hybrid Wikis (2) mehreren Type Tags für eine Wikiseite: 9

10 Verbesserungspotenziale der Modellierungsfähigkeit von Hybrid Wikis (3) Assoziationen: 10

11 Verbesserungspotenziale der Modellierungsfähigkeit von Hybrid Wikis (4) Bildung abstrakter Klassen: 11

12 Ergebnis für die Overall-Completeness Metrik Die Hybrid Wiki Modelle sind etwas vollständiger als die UML Modelle 12

13 Ergebnis für die Overall-Validity Metrik Die Hybrid Wiki Modelle sind valider als die UML Modelle (sig. 95%) 13

14 Bewertung der Modellierungsgüte Klassendiagramme können aus Hybrid Wikis ohne Aufwand und mit hoher Qualität generiert werden Validität der Struktur ist höher als die der UML Modelle Vollständigkeit und Komplexität der Hybrid Wiki Modelle ist nicht schlechter als die der UML Modelle Informationsstruktur in Hybrid Wikis hat hohe Qualität Konzepte sind einfach und schnell zu erlernen (nur 12 min. Trainingsvideo) Die Teilnehmer haben gerne mit Hybrid Wikis gearbeitet 14

15 Diskussion Verständnisfragen Diskussion 15

16 Bibliography [Kr02] [GP01] Krogstie, J.: A semiotic approach to quality in requirements specifications. Marcela Genero, Mario Piattini: Empirical validation of measures for class diagram structural complexity through controlled experiments. 16

17 Exerimental Design Randomization Balancing Paired Comparison One factor with two treatments 17

18 Experiment Unabhängige Variable: Technik mit der UML Modell erstellt wird (UMLet vs. Hybrid Wikis) Abhängige Variablen: Metriken für UML Klassendiagramme 11 Studenten modellieren mit beiden Tools Dauer: 4:30 Std 2 Gruppen: Reihenfolge der Tools variiert je Gruppe Training Videos Aufgabe aus Projektmanagement Fragebögen 18

19 Further Research Model-Export-Algorithmus korrigieren Fehler in Tricia beheben und eventuell Strukturierungskonzepte hinzufügen Experiment mit Teilnehmern die keine Modellierungsvorkenntnisse haben wiederholen Hybrid Wikis in Firmenumfeld testen Collaborative Aspekte mit in Auswertung einbeziehen Vergleich mit anderen Tools 19

20 Limitations of the Experiment Nur eine Hypothese konnte wiederlegt werden Percieved Sementic Quality konnte nicht richtig gemessen werden Pragmatische Qualität muss genauer gemessen werden Testpersonen sind Studenten Testpersonen haben Erfahrung mit Modellieren Collaborativer Aspekt nicht mit einbezogen Testpersonen haben eine Einführung in Hybrid Wiki Konzepte bekommen 20

21 Validity Threats Uncontrolled Factors Conclusion Validity Heterogeneity of the subjects Significance level of 0.05 Internal Validity Different learning effects Payment / bonus effect Construct Validity Outcomes reflect construct under inspection Mono operation bias External Validity Knowledge differences Students Controlled Factors Conclusion Validity Violate assumptions of statistical tests Reliability of measurements Reliability of treatments implementation Internal Validity All single group threats Construct Validity Treatment reflects the causal construct Outcomes reflect construct under inspection External Validity Time constraints 21

22 Musterlösung (1) 22

23 Musterlösung (2) 23

24 Musterlösung (3) 24

25 Gewichtung der Modellierungskonstrukte in unserem Experiment 25