Situation bei Mercedes-Benz

Transkript

1 GI-Fachgruppentreffen RE 2012 Klassifizierte Anforderungen zur Verbesserung von Reviews: Erste Erfahrungsberichte bei Anforderungsdokumenten von Mercedes Benz Daniel Ott

2 Outline Requirements Engineering bei Mercedes Benz Momentane Entwicklung Probleme in der Qualitätssicherung Die Themenkarte Genereller Ansatz Nachweis von Vorteilen Das erste Experiment Background Datensätze Phasen Ergebnisse und Lessons learned Das zweite Experiment Aufbau/Phasen Werkzeug ReCaRe Zusammenfassung 2 GI Fachgruppentreffen RE 2012

3 Situation bei Mercedes-Benz Anforderungsmenge Zeit 3 GI Fachgruppentreffen RE 2012

4 Motivation Komponentenlastenhefte (KLH) Anforderungsmenge 290 Anf Anf Jahre zuvor Zeit Problem der inhaltlichen Qualitätssicherung [1] Vollständigkeit 51 % Korrektheit 15 % Konsistenz 9 % meist nur vom Autor erkennbar Heute Automatische Identifikation kaum möglich Manuelle Inspektionen (Reviews) stoßen an ihre Grenzen 16 Wörter / Anforderung 60 Seiten Seiten Mitgeltende Unterlagen (MGU) 30 MGU 300 MGU 10 Seiten 200 Seiten KLH MGU 2000 O O. [1] D. Ott, Defects in Natural Language Requirement Specification at Mercedes-Benz: An Investigation using a Combination of Legacy Data and Expert Opinion, International Requirements Engineering Conference GI Fachgruppentreffen RE 2012

5 Mein Lösungsansatz: Themenkarte LH Mitgeltende Unterlagen (MGU) Anforderungen Beschränkungen/ Anforderungen Themen -sammlung Thema 1 Thema 2 Thema 3 5 GI Fachgruppentreffen RE 2012

6 Nutzennachweis eines Neuen Ansatzes? Evaluation in der Industrie Zu teuer Zu viele Risiken Sammlung von externen Indikatoren Das Problem: Der Normalfall: Universitäres Umfeld Zu großer Unterschied zwischen industriellem und universitärem Umfeld 6

7 Erstes Experiment Hintergrund Forschungsfrage und genereller Ansatz Unterstützt die Themenkarte dabei inhaltliche Fehler (z.b. Konsistenzfehler) effizienter zu finden? 7 GI Fachgruppentreffen RE 2012 Keine Werkzeugunterstützung für Themenfilterung und Visualisierung Zeitvergleich mit und ohne Themenkarte nicht sinnvoll Was für Arten von Fehlern werden anhand eines Qualitätsmodells mit und ohne Themenkarte gefunden Allgemeine Hintergrund-Informationen Kooperation zwischen Mercedes-Benz und der Universität Ulm Teilnehmer: 8 Studenten 7 Qualifikation: Master Studenten in Informatik Zeitraum: 3 Monate Freiwillige Teilnahme, Studenten müssen an einem praktischen Kurs teilnehmen Wöchentliche 2 Stunden Meetings und zusätzliche Review Meetings an speziellen Tagen 7 GI Fachgruppentreffen RE 2012

8 Erstes Experiment - Datensätze Informationen Datensätze Ein Komponentenlastenheft (KLH) und drei mitgeltende Unterlagen (MGU) Fiktive Daten von realen Mercedes-Benz Spezifikationen abgeleitet Entfernen von Inhalten wegen Geheimhaltung oder ohne inhaltlichen Zusammenhang zum KLH KLH im Fokus der Review-Aktivitäten 100 Fehler in jedes Lastenheft induziert, nach Fehlerverteilungsanalyse [1] Spezifikation PWE DCU IC Komponente 746 Objekte 1223 Objekte 752 Objekte MGU Objekte 519 Objekte 513 Objekte MGU Objekte 83 Objekte 123 Objekte MGU 3 89 Objekte 89 Objekte 89 Objekte Gesamt 1124 Objekte 1914 Objekte 1477 Objekte [1] D. Ott, Defects in Natural Language Requirement Specification at Mercedes-Benz: An Investigation using a Combination of Legacy Data and Expert Opinion, International Requirements Engineering Conference GI Fachgruppentreffen RE 2012

9 Erstes Experiment - Phasen Team 1 Team 2 Team 3 Team 4 Phase 1 Normaler Review IC DCU PWE IC Phase 2 Themenerstellung und -zuweisung PWE IC DCU Phase 3 Review mit Themenkarte DCU PWE IC DCU 9 GI Fachgruppentreffen RE 2012

10 Erstes Experiment - Ergebnisse Objekte Themen Über 95 % der Objekte wurden zu Themen klassifiziert Themenzuweisungen Ergebnisse Klassifikationsphase [2] Inhalt Bereich Gefundene Fehler NR Gefundene Fehler RTK Konsistenzfehler NR Konsistenzfehler RTK Vollständigkeitsfehler NR Vollständigkeitsfehler RTK Gesamtzeit (in h) NR Gesamtzeit (in h) RTK Induzierte Fehler NR Induzierte Fehler RTK NR RTK Ergebnisse Reviewphase [2] = Normaler Review = Review mit Themenkarte [2] D. Ott and A. Raschke, Review Improvement by Requirements Classification at Mercedes-Benz: Limits of EmpiricalStudies in Educational Environments, International Workshop on Empirical Requirements Engineering, GI Fachgruppentreffen RE 2012

11 Diskussion Begründung für Ergebnisse Die großen Datensätze führten zu Informationsverlust bei den Teilnehmern Ungenügende Werkzeugunterstützung Ergebnisse der dritten Phase abhängig von Phase 2 Kein Beweis, dass Verbesserungen abhängig von Studentenleistung oder Ansatz sind Das Problem: Die variable Zeit Zusammenfassung 11 GI Fachgruppentreffen RE 2012 Viele Gründe um die Aussagekraft der Ergebnisse zu bezweifeln Kein statistisch signifikantes Fehler-Auftreten, welches den Vorteil von NR oder RTK zeigt. Die Forschungsfrage Unterstützt die Themenkarte dabei inhaltliche Fehler (z.b. Konsistenzfehler) effizienter zu finden? ist nicht beantwortet. 11 GI Fachgruppentreffen RE 2012

12 Zweites Experiment Unterschiede & Aufbau ESE-Praktikum 2012/13 Gemeinsamkeiten: Vergleich Review mit und ohne Themenkarte Gleiche Datensätze Teilnehmer: 10 Studenten Unterschiede: ReCaRe (Review with Categorized Requirements) Framework für Review- Aktivitäten mit Themenkarte Festgelegte Review-Zeiten Themenidentifikation und Klassifikation mit Cohen s Kappa von zwei Experten Folgeaktivitäten Studenten als konkurrierende Zulieferer 12 GI Fachgruppentreffen RE 2012

13 13 GI Fachgruppentreffen RE 2012

14 14 GI Fachgruppentreffen RE 2012

15 Zusammenfassung 1 2 Anforderungsmenge Zeit Jahre zuvor Heute 1. Die vorgestellten Studien zeigen die Limitationen solcher Experimente für heutige große natürlich sprachliche Lastenhefte 3 2. Dieses Problem wird in der Zukunft mit der Größe der Lastenhefte wachsen 3. Diese ersten Studien werden trotzdem benötigt um spätere Pilot-Studien in produktivem Umfeld zu rechtfertigen 15 GI Fachgruppentreffen RE 2012

16 Fragen?