REConf 2005 Metriken - Eine Hilfe bei der Einführung von Requirements Management? Stefan Fichtinger Senior Consultant HOOD GmbH Truderinger Straße 302 81825 München Tel: +49 89 4512 530 stefan.fichtinger@hood-group.com
Gliederung Was sind Metriken? Ziele bei der Einführung von Metriken Definition von Metriken Typische Ziele in RM&E Projekten Beispiele von Metriken im RM&E Bereich Chancen und Risiken von Metriken Fazit
Was sind Metriken? Eine Softwarequalitätsmetrik ist eine Funktion, die eine Software- Einheit in einen Zahlenwert abbildet. Dieser berechnete Wert ist interpretierbar als der Erfüllungsgrad einer Qualitätseigenschaft der Software-Einheit. [IEEE Standard 1061 ] Eine Softwaremetrik ist jede Art von Messung, die sich auf ein Softwaresystem, einen Prozess oder die dazugehörige Dokumentation bezieht. [Ian Sommerville] Eine Metrik misst die Qualität von Arbeitsergebnissen. Dies wird durch Definition von Messkriterien und Messverfahren erreicht, mittels derer der Erfüllungsgrad von vordefinierten Zielen bestimmt werden kann. [Fichtinger]
Bedeutung von Metriken To measure is to know [J.C.Maxwell] You can t control what you can t measure [Tom de Marco]
Metriken Grundlage für Verbesserungen Deming Zirkel
Definition von Metriken Metriken helfen den Erfüllungsgrad eines Zieles zu beurteilen Welche Ziele sind vorgegeben? Prozessziele Qualitätsziele Wie kann ich den Fortschritt auf dem Weg zu Ziel messen? Welche Rückschlüsse von den Messergebnissen können gezogen werden?
Definition von Metriken Kriterien bei der Definition von Metriken Unterstützte Ziele der Metrik Kunden der Metrik Intervall der Messung Verwendete Messwerte Einheit der Messung Datenquelle (Erfassungsaufwand /Verlässlichkeit) Ergebnisinterpretation Stärken / Schwächen der Metrik Voraussetzung zur Messung Darstellungsform der Metrik
Typische Ziele in RM&E Projekten Einführung und Etablierung von RM&E Methoden in Pilotprojekten Schaffung von Basis Know-How im RM&E Bereich bei Mitarbeitern Verbesserung der Güte eines RM&E Prozesses Verbesserung der Lastenheft bzw. Pflichtenheftqualität Bestehen eines Assessments nach CMMI Level 3 im Bezug auf RM&E Kriterien
Beispiel von möglichen Metriken im RM&E Bereich Einführung und Etablierung von RM&E Methoden in Pilotprojekten & Schaffung von Basis Know-How im RM&E Bereich bei Mitarbeitern Stufe des HCM (HOOD Capability Model) In einzelnen Pilotprojekten Zufriedenheit der Trainingsteilnehmer am Methoden und RM-Tool Training Anzahl ausgebildeter Mitarbeiter in RM&E Methoden und RM-Tool
Anzahl ausgebildeter Mitarbeiter in RM&E Methoden und RM-Tool Unterstütztes Ziel der Metrik Einführung und Etablierung von RM&E Methoden in Pilotprojekten Schaffung von Basis Know-How im RM&E Bereich bei Mitarbeitern Kunden der Metrik RM&E Steuerkreis Projektleiter Intervall Alle 4 Wochen Verwendete Messwerte Anzahl der Personen, die bis zum Messzeitpunkt an den RM&E Trainings (Methodentraining bzw. DOORS Einführung) teilgenommen haben. Zeitpunkt der Trainingsteilnahme bei jeder Person Anzahl der Personen, die insgesamt bis Ende 2005 an Trainings teilgenommen haben sollen.
Anzahl ausgebildeter Mitarbeiter in RM&E Methoden und RM-Tool Einheit der Messwerte Personenanzahl die an RM&E Trainings teilnehmen / teilgenommen haben versus wie viele Personen sollten laut Planung teilnehmen Datenquelle Planungsdaten von verantwortlichen Abteilungen Teilnehmerlisten an jeweiligen Trainings Ergebnisinterpretation Trainings sind die Grundlage damit die definierten RM&E Methoden korrekt umgesetzt werden. Je früher im Projektverlauf die Teilnehmer an den RM&E Trainings teilnehmen, desto früher sind sie in der Lage nach der definierten RM&E Methode zu arbeiten. Je weniger Personen über den Projektverlauf ausgebildet werden, desto höher ist das Risiko: Individueller Coachingbedarf der Mitarbeiter steigt -> Consultants werden durch individuelle Supportaufgaben ausgelastet Qualität der Lastenhefte verbessert sich nicht
Anzahl ausgebildeter Mitarbeiter in RM&E Methoden und RM-Tool Stärken der Metrik Objektive Messung der Teilnehmeranzahl an RM&E Trainings über die Zeit möglich Schwächen der Metrik Die Teilnahme an Trainings lässt keine Aussage über die Fähigkeit der zur Umsetzung der RM&E Methoden in den Arbeitsgruppen zu Voraussetzung zur Messung Planzahlen über auszubildende Mitarbeiter werden von verantwortlichen Abteilungen zur Verfügung gestellt Teilnehmerlisten werden gepflegt
Anzahl ausgebildeter Mitarbeiter in RM&E Methoden und RM-Tool Darstellungsform (Daten in den Grafiken sind Beispiele und entsprechen nicht der aktuellen Planung) Ausbildungsstand RM&E Themen 7 6 5 4 3 2 1 0 Gesamtprojekt Ausgebildete Mitarbeiter Geplant Gesamtprojekt Ausgebildete Mitarbeiter Ist Stand 7 6 5 4 3 2 1 0 Ausbildungsstand RM-Tool Training 01.08.2004 15.08.2004 29.08.2004 12.09.2004 26.09.2004 10.10.2004 24.10.2004 07.11.2004 21.11.2004 05.12.2004 19.12.2004 02.01.2005 Anzahl Mitarbeiter 01.08.2004 15.08.2004 29.08.2004 12.09.2004 26.09.2004 10.10.2004 24.10.2004 07.11.2004 21.11.2004 05.12.2004 19.12.2004 02.01.2005 Ausgebildete Mitarbeiter Planung Ausgebildete Mitarbeiter Ist Stand
Reale Ergebnisse der Metrik Teilnehmeranzahl (kumuliert) am RM&E Methodik-Training 120 100 80 Anzahl Teilnehmer 60 40 20 0 Okt 04 Nov 04 Dez 04 Jan 05 Feb 05 Mrz 05 Apr 05 Datum Planung ( Anz. Mitarbeiter in Training "Methodik") Anzahl Teilnehmer an Methodik Training
Zufriedenheit der Trainingsteilnehmer am Methoden und RM-Tool Training Unterstütztes Ziel der Metrik Einführung und Etablierung von RM&E Methoden in Pilotprojekten Schaffung von Basis Know-How im RM&E Bereich bei Mitarbeitern Kunden der Metrik RM&E Steuerkreis Projektleiter Intervall Alle 4 Wochen Verwendete Messwerte Einzelbewertung von Trainingsinhalte Trainings insgesamt Dozent/in Unterlagen Übungen
Zufriedenheit der Trainingsteilnehmer am Methoden und RM-Tool Training Einheit der Messwerte Bewertungsskala ( 1 sehr zufrieden 6 sehr unzufrieden) Datenquelle Feedbacklisten der jeweiligen Training Ergebnisinterpretation Zufriedenheit mit einem besuchten Trainings ist die Basis für die Akzeptanz der erlernten Methoden
Zufriedenheit der Trainingsteilnehmer am Methoden und RM-Tool Training Stärken der Metrik Einfache Messung möglich Rückschlüsse auf Qualität des Trainings möglich Hinweise zur kontinuierlichen Verbesserung der Trainings möglich Schwächen der Metrik Ein gute Bewertung des Trainings lasst nicht unmittelbar darauf schliessen, ob die Teilnehmer die Methoden auch umsetzen werden. Voraussetzung zur Messung Repräsentative Menge von Trainingsteilnehmern /Trainings
Ergebnisse der Metrik beim Kunden
Stufe des HCM (HOOD Capability Model) in einzelnen Pilotprojekten Unterstütztes Ziel der Metrik: Einführung und Etablierung von RM&E Stufe I in Pilotprojekten Beurteilung der Umsetzung von RM&E Methoden in Pilotprojekten Kunden der Metrik RM&E Steuerkreis Projektleiter Intervall Halbjährig, zum ersten mal Ende 2004
Stufe des HCM (HOOD Capability Model) in einzelnen Pilotprojekten Verwendete Messwerte HCM Level nach dem HOOD Capability Model Folgende Level des HCM sind möglich: HCM 3.0 HCM 2.1, HCM 2.2, HCM 2.3 HCM 1.1, HCM 1.2, HCM 1.3, HCM 1.4 HCM 0 Die Messwerte werden dadurch ermittelt, dass bei Analyse/ Review der Arbeitsergebnisse eines Pilotprojektes definierte Kriterien für die Level erfüllt bzw. nicht erfüllt werden Das Erreichen eines höheren Levels setzt die vollständige Erfüllung der Kriterien der untergeordneten Level voraus. Die Messwerte werden über den zeitlichen Verlauf gemessen. Es wird eine Sollplanung für das Erreichen eines HCM Levels erstellt und mit dem Ergebniswert eines Reviews verglichen
Stufe des HCM (HOOD Capability Model) in einzelnen Pilotprojekten Einheit der Messwerte HCM Level Datenquelle Reviewprotokolle der RM&E Experten (Schlüsselpersonen) Ergebnisinterpretation Ein HCM Level gibt den Reifegrad des gemessen Objekts in Bezug auf den Einsatz der RE/RM Methoden an, die zum Einsatz kommen Bei Erreichen eines Levels werden sämtliche Kriterien der vorangegangenen Level erfüllt. Je höher der Level desto höher ist der Reifegrad Ein hoher HCM Level ist allerdings nicht alleine ausreichend für gutes Anforderungsmanagement
Stufe des HCM (HOOD Capability Model) in einzelnen Pilotprojekten Stärken der Metrik Schaffung Vergleichbarkeit von Projekten in der Anwendung von Methoden des Anforderungsmanagement. Schrittweise Einführung von RM&E wird möglich, durch Priorisierung bei der Umsetzung von Methoden Schwächen der Metrik Aufwand zur Ermittlung des HCM Levels vergleichsweise hoch, da ein Review notwendig ist. Messung basiert zu einem Grossteil auf subjektive Messung durch Review Messung nur stichprobenartig möglich Messung kann nicht automatisch durchgeführt werden Voraussetzung zur Messung Reviews werden eingeplant, durchgeführt und dokumentiert
Automatisierbare Metriken versus Metriken durch Reviews Automatisierbare Metriken Vorteile: Messaufwand geringer Kürzere Intervalle möglich Schnelle Hinweise auf Fehlentwicklungen Mehr Messungen -> Zuverlässigere Aussagen möglich Nachteile Messung von Qualität schwierig Gefahr von Missinterpretationen Metriken durch Reviews Vorteile: Fundierte Aussagen über Messobjekt möglich (Qualität) Vermeidung von Missinterpretationen der Messergebnisse Prüfung der Metrik selbst möglich Nachteile: Hohe Kosten/ Aufwand Lange Messintervalle Tendenz zu subjektiven Messungen In der Regel nur Stichprobenmessung möglich
Metrik: Bearbeitung von Change Requests Unterstütztes Ziel der Metrik: Stärkere Berücksichtigung der Produktanforderungen des Vertriebs und Services aus den Vertriebsregionen Kunden der Metrik Produktmanagement Vertriebsleitung Regionen Vorstand Intervall Monatlich 2 mal Verwendete Messwerte Anzahl der vom Produktmanagement nicht qualifizierten/beantworteten Change Requests aus Vertriebsregionen
Metrik: Bearbeitung von Change Requests Einheit der Messwerte Anzahl von Change Request mit entsprechendem Status Datenquelle Statuseintragungen in RM Tool Verlässlichkeit der Daten : hoch (automatisierte Auswertung) Erfassungsaufwand: gering Ergebnisinterpretation Eine Verringerung der offenen Change Request weist darauf hin, dass mehr Change Requests beantwortet und qualifiziert werden, als dass neue Change Requests hinzukommen. Die Anzahl der eingehenden Requests über den Zeitraum gibt Hinweise inwieweit die Vertriebsregionen motiviert sind, an der Verbesserung der Produkte mitzuarbeiten.
Metrik: Bearbeitung von Change Requests Stärken der Metrik Guter Überblick über die tatsächliche Umsetzung des Prozesses zur Change Request Bearbeitung Automatische Ermittlung der Daten anhand von Auswertungen im RM Tool Schwächen der Metrik Keine Aussagen über die Qualität der Change Request Analyse Hoher Aufwand zur Erstellung der Metrik Voraussetzung zur Messung Eintragung der Change Requests ins RM-Tool Qualifizierung der Change Requests im RM-Tool Prozessschulung von Produktmanagement im Einsatz des RM- Tools
Metrik: Bearbeitung von Change Requests
Metrik: Bearbeitung von Change Requests
Metriken messen Qualität von Arbeitsergebnissen Management beeinflußt Mitarbeiter Prozesse Methoden Werkzeuge Metrik misst Qualitätsaspekte Arbeitsergebnisse
Chancen/Risiken beim Einsatz von Metriken Metriken schaffen Transparenz Ermöglichen von fundierte Managemententscheidungen Transparenz verunsichert Mitarbeiter Schneller Proof-of-concept bei Änderungen Metriken verändern Verhaltensweisen Veränderungsprozesse werden schneller umgesetzt Wettbewerbsgedanke verstärkt sich Zielorientierte Arbeitsweise Verhaltensweisen werden stark auf definierte Metriken angepasst Ausnutzung von Lücken in der Metrik
Fazit Metriken sind notwendig, um Fortschritte zur Erreichung von RM&E Zielen erkennen zu können In der Regel sind mehrere Metriken nötig, um den Zielerreichungsgrad eines Zieles messen zu können. Jede Metrik hat Stärken, aber auch Schwächen, die bei der Interpretation von Messergebnissen berücksichtigt werden müssen. Metriken, beeinflussen die Verhaltenweisen von Management und Mitarbeitern. Hierin liegen Chancen, um Veränderungsprozesse umzusetzen, aber auch Risiken.