REConf Metriken - Eine Hilfe bei der Einführung von Requirements Management? Stefan Fichtinger Senior Consultant

Transkript

1 REConf 2005 Metriken - Eine Hilfe bei der Einführung von Requirements Management? Stefan Fichtinger Senior Consultant HOOD GmbH Truderinger Straße München Tel: stefan.fichtinger@hood-group.com

2 Gliederung Was sind Metriken? Ziele bei der Einführung von Metriken Definition von Metriken Typische Ziele in RM&E Projekten Beispiele von Metriken im RM&E Bereich Chancen und Risiken von Metriken Fazit

3 Was sind Metriken? Eine Softwarequalitätsmetrik ist eine Funktion, die eine Software- Einheit in einen Zahlenwert abbildet. Dieser berechnete Wert ist interpretierbar als der Erfüllungsgrad einer Qualitätseigenschaft der Software-Einheit. [IEEE Standard 1061 ] Eine Softwaremetrik ist jede Art von Messung, die sich auf ein Softwaresystem, einen Prozess oder die dazugehörige Dokumentation bezieht. [Ian Sommerville] Eine Metrik misst die Qualität von Arbeitsergebnissen. Dies wird durch Definition von Messkriterien und Messverfahren erreicht, mittels derer der Erfüllungsgrad von vordefinierten Zielen bestimmt werden kann. [Fichtinger]

4 Bedeutung von Metriken To measure is to know [J.C.Maxwell] You can t control what you can t measure [Tom de Marco]

5 Metriken Grundlage für Verbesserungen Deming Zirkel

6 Definition von Metriken Metriken helfen den Erfüllungsgrad eines Zieles zu beurteilen Welche Ziele sind vorgegeben? Prozessziele Qualitätsziele Wie kann ich den Fortschritt auf dem Weg zu Ziel messen? Welche Rückschlüsse von den Messergebnissen können gezogen werden?

7 Definition von Metriken Kriterien bei der Definition von Metriken Unterstützte Ziele der Metrik Kunden der Metrik Intervall der Messung Verwendete Messwerte Einheit der Messung Datenquelle (Erfassungsaufwand /Verlässlichkeit) Ergebnisinterpretation Stärken / Schwächen der Metrik Voraussetzung zur Messung Darstellungsform der Metrik

8 Typische Ziele in RM&E Projekten Einführung und Etablierung von RM&E Methoden in Pilotprojekten Schaffung von Basis Know-How im RM&E Bereich bei Mitarbeitern Verbesserung der Güte eines RM&E Prozesses Verbesserung der Lastenheft bzw. Pflichtenheftqualität Bestehen eines Assessments nach CMMI Level 3 im Bezug auf RM&E Kriterien

9 Beispiel von möglichen Metriken im RM&E Bereich Einführung und Etablierung von RM&E Methoden in Pilotprojekten & Schaffung von Basis Know-How im RM&E Bereich bei Mitarbeitern Stufe des HCM (HOOD Capability Model) In einzelnen Pilotprojekten Zufriedenheit der Trainingsteilnehmer am Methoden und RM-Tool Training Anzahl ausgebildeter Mitarbeiter in RM&E Methoden und RM-Tool

10 Anzahl ausgebildeter Mitarbeiter in RM&E Methoden und RM-Tool Unterstütztes Ziel der Metrik Einführung und Etablierung von RM&E Methoden in Pilotprojekten Schaffung von Basis Know-How im RM&E Bereich bei Mitarbeitern Kunden der Metrik RM&E Steuerkreis Projektleiter Intervall Alle 4 Wochen Verwendete Messwerte Anzahl der Personen, die bis zum Messzeitpunkt an den RM&E Trainings (Methodentraining bzw. DOORS Einführung) teilgenommen haben. Zeitpunkt der Trainingsteilnahme bei jeder Person Anzahl der Personen, die insgesamt bis Ende 2005 an Trainings teilgenommen haben sollen.

11 Anzahl ausgebildeter Mitarbeiter in RM&E Methoden und RM-Tool Einheit der Messwerte Personenanzahl die an RM&E Trainings teilnehmen / teilgenommen haben versus wie viele Personen sollten laut Planung teilnehmen Datenquelle Planungsdaten von verantwortlichen Abteilungen Teilnehmerlisten an jeweiligen Trainings Ergebnisinterpretation Trainings sind die Grundlage damit die definierten RM&E Methoden korrekt umgesetzt werden. Je früher im Projektverlauf die Teilnehmer an den RM&E Trainings teilnehmen, desto früher sind sie in der Lage nach der definierten RM&E Methode zu arbeiten. Je weniger Personen über den Projektverlauf ausgebildet werden, desto höher ist das Risiko: Individueller Coachingbedarf der Mitarbeiter steigt -> Consultants werden durch individuelle Supportaufgaben ausgelastet Qualität der Lastenhefte verbessert sich nicht

12 Anzahl ausgebildeter Mitarbeiter in RM&E Methoden und RM-Tool Stärken der Metrik Objektive Messung der Teilnehmeranzahl an RM&E Trainings über die Zeit möglich Schwächen der Metrik Die Teilnahme an Trainings lässt keine Aussage über die Fähigkeit der zur Umsetzung der RM&E Methoden in den Arbeitsgruppen zu Voraussetzung zur Messung Planzahlen über auszubildende Mitarbeiter werden von verantwortlichen Abteilungen zur Verfügung gestellt Teilnehmerlisten werden gepflegt

13 Anzahl ausgebildeter Mitarbeiter in RM&E Methoden und RM-Tool Darstellungsform (Daten in den Grafiken sind Beispiele und entsprechen nicht der aktuellen Planung) Ausbildungsstand RM&E Themen Gesamtprojekt Ausgebildete Mitarbeiter Geplant Gesamtprojekt Ausgebildete Mitarbeiter Ist Stand Ausbildungsstand RM-Tool Training Anzahl Mitarbeiter Ausgebildete Mitarbeiter Planung Ausgebildete Mitarbeiter Ist Stand

14 Reale Ergebnisse der Metrik Teilnehmeranzahl (kumuliert) am RM&E Methodik-Training Anzahl Teilnehmer Okt 04 Nov 04 Dez 04 Jan 05 Feb 05 Mrz 05 Apr 05 Datum Planung ( Anz. Mitarbeiter in Training "Methodik") Anzahl Teilnehmer an Methodik Training

15 Zufriedenheit der Trainingsteilnehmer am Methoden und RM-Tool Training Unterstütztes Ziel der Metrik Einführung und Etablierung von RM&E Methoden in Pilotprojekten Schaffung von Basis Know-How im RM&E Bereich bei Mitarbeitern Kunden der Metrik RM&E Steuerkreis Projektleiter Intervall Alle 4 Wochen Verwendete Messwerte Einzelbewertung von Trainingsinhalte Trainings insgesamt Dozent/in Unterlagen Übungen

16 Zufriedenheit der Trainingsteilnehmer am Methoden und RM-Tool Training Einheit der Messwerte Bewertungsskala ( 1 sehr zufrieden 6 sehr unzufrieden) Datenquelle Feedbacklisten der jeweiligen Training Ergebnisinterpretation Zufriedenheit mit einem besuchten Trainings ist die Basis für die Akzeptanz der erlernten Methoden

17 Zufriedenheit der Trainingsteilnehmer am Methoden und RM-Tool Training Stärken der Metrik Einfache Messung möglich Rückschlüsse auf Qualität des Trainings möglich Hinweise zur kontinuierlichen Verbesserung der Trainings möglich Schwächen der Metrik Ein gute Bewertung des Trainings lasst nicht unmittelbar darauf schliessen, ob die Teilnehmer die Methoden auch umsetzen werden. Voraussetzung zur Messung Repräsentative Menge von Trainingsteilnehmern /Trainings

18 Ergebnisse der Metrik beim Kunden

19 Stufe des HCM (HOOD Capability Model) in einzelnen Pilotprojekten Unterstütztes Ziel der Metrik: Einführung und Etablierung von RM&E Stufe I in Pilotprojekten Beurteilung der Umsetzung von RM&E Methoden in Pilotprojekten Kunden der Metrik RM&E Steuerkreis Projektleiter Intervall Halbjährig, zum ersten mal Ende 2004

20 Stufe des HCM (HOOD Capability Model) in einzelnen Pilotprojekten Verwendete Messwerte HCM Level nach dem HOOD Capability Model Folgende Level des HCM sind möglich: HCM 3.0 HCM 2.1, HCM 2.2, HCM 2.3 HCM 1.1, HCM 1.2, HCM 1.3, HCM 1.4 HCM 0 Die Messwerte werden dadurch ermittelt, dass bei Analyse/ Review der Arbeitsergebnisse eines Pilotprojektes definierte Kriterien für die Level erfüllt bzw. nicht erfüllt werden Das Erreichen eines höheren Levels setzt die vollständige Erfüllung der Kriterien der untergeordneten Level voraus. Die Messwerte werden über den zeitlichen Verlauf gemessen. Es wird eine Sollplanung für das Erreichen eines HCM Levels erstellt und mit dem Ergebniswert eines Reviews verglichen

21 Stufe des HCM (HOOD Capability Model) in einzelnen Pilotprojekten Einheit der Messwerte HCM Level Datenquelle Reviewprotokolle der RM&E Experten (Schlüsselpersonen) Ergebnisinterpretation Ein HCM Level gibt den Reifegrad des gemessen Objekts in Bezug auf den Einsatz der RE/RM Methoden an, die zum Einsatz kommen Bei Erreichen eines Levels werden sämtliche Kriterien der vorangegangenen Level erfüllt. Je höher der Level desto höher ist der Reifegrad Ein hoher HCM Level ist allerdings nicht alleine ausreichend für gutes Anforderungsmanagement

22 Stufe des HCM (HOOD Capability Model) in einzelnen Pilotprojekten Stärken der Metrik Schaffung Vergleichbarkeit von Projekten in der Anwendung von Methoden des Anforderungsmanagement. Schrittweise Einführung von RM&E wird möglich, durch Priorisierung bei der Umsetzung von Methoden Schwächen der Metrik Aufwand zur Ermittlung des HCM Levels vergleichsweise hoch, da ein Review notwendig ist. Messung basiert zu einem Grossteil auf subjektive Messung durch Review Messung nur stichprobenartig möglich Messung kann nicht automatisch durchgeführt werden Voraussetzung zur Messung Reviews werden eingeplant, durchgeführt und dokumentiert

23 Automatisierbare Metriken versus Metriken durch Reviews Automatisierbare Metriken Vorteile: Messaufwand geringer Kürzere Intervalle möglich Schnelle Hinweise auf Fehlentwicklungen Mehr Messungen -> Zuverlässigere Aussagen möglich Nachteile Messung von Qualität schwierig Gefahr von Missinterpretationen Metriken durch Reviews Vorteile: Fundierte Aussagen über Messobjekt möglich (Qualität) Vermeidung von Missinterpretationen der Messergebnisse Prüfung der Metrik selbst möglich Nachteile: Hohe Kosten/ Aufwand Lange Messintervalle Tendenz zu subjektiven Messungen In der Regel nur Stichprobenmessung möglich

24 Metrik: Bearbeitung von Change Requests Unterstütztes Ziel der Metrik: Stärkere Berücksichtigung der Produktanforderungen des Vertriebs und Services aus den Vertriebsregionen Kunden der Metrik Produktmanagement Vertriebsleitung Regionen Vorstand Intervall Monatlich 2 mal Verwendete Messwerte Anzahl der vom Produktmanagement nicht qualifizierten/beantworteten Change Requests aus Vertriebsregionen

25 Metrik: Bearbeitung von Change Requests Einheit der Messwerte Anzahl von Change Request mit entsprechendem Status Datenquelle Statuseintragungen in RM Tool Verlässlichkeit der Daten : hoch (automatisierte Auswertung) Erfassungsaufwand: gering Ergebnisinterpretation Eine Verringerung der offenen Change Request weist darauf hin, dass mehr Change Requests beantwortet und qualifiziert werden, als dass neue Change Requests hinzukommen. Die Anzahl der eingehenden Requests über den Zeitraum gibt Hinweise inwieweit die Vertriebsregionen motiviert sind, an der Verbesserung der Produkte mitzuarbeiten.

26 Metrik: Bearbeitung von Change Requests Stärken der Metrik Guter Überblick über die tatsächliche Umsetzung des Prozesses zur Change Request Bearbeitung Automatische Ermittlung der Daten anhand von Auswertungen im RM Tool Schwächen der Metrik Keine Aussagen über die Qualität der Change Request Analyse Hoher Aufwand zur Erstellung der Metrik Voraussetzung zur Messung Eintragung der Change Requests ins RM-Tool Qualifizierung der Change Requests im RM-Tool Prozessschulung von Produktmanagement im Einsatz des RM- Tools

27 Metrik: Bearbeitung von Change Requests

28 Metrik: Bearbeitung von Change Requests

29 Metriken messen Qualität von Arbeitsergebnissen Management beeinflußt Mitarbeiter Prozesse Methoden Werkzeuge Metrik misst Qualitätsaspekte Arbeitsergebnisse

30 Chancen/Risiken beim Einsatz von Metriken Metriken schaffen Transparenz Ermöglichen von fundierte Managemententscheidungen Transparenz verunsichert Mitarbeiter Schneller Proof-of-concept bei Änderungen Metriken verändern Verhaltensweisen Veränderungsprozesse werden schneller umgesetzt Wettbewerbsgedanke verstärkt sich Zielorientierte Arbeitsweise Verhaltensweisen werden stark auf definierte Metriken angepasst Ausnutzung von Lücken in der Metrik

31 Fazit Metriken sind notwendig, um Fortschritte zur Erreichung von RM&E Zielen erkennen zu können In der Regel sind mehrere Metriken nötig, um den Zielerreichungsgrad eines Zieles messen zu können. Jede Metrik hat Stärken, aber auch Schwächen, die bei der Interpretation von Messergebnissen berücksichtigt werden müssen. Metriken, beeinflussen die Verhaltenweisen von Management und Mitarbeitern. Hierin liegen Chancen, um Veränderungsprozesse umzusetzen, aber auch Risiken.