Messen im Software- Engineering und metrikbasierte Qualitätsanalyse

Transkript

1 Messen im Software- Engineering und metrikbasierte Qualitätsanalyse Autoren: Marcel Bennicke (BTU) Heinrich Rust (BTU) Report: ViSEK/024/D Version 1.2 ( ) Klassifikation: public

2

3 Abstract Das Streben nach Qualität bei der Herstellung von Software ist eine der grundsätzlichen Ziele des Software-Engineering. Der Begriff Qualität kann dabei aus verschiedenen Perspektiven betrachtet werden. Während für den Endanwender die Erfüllung von funktionalen Anforderungen im Vordergrund stehen (externe Qualität), reduziert sich für den Software-Entwickler das Verständnis von Qualität oft auf die Frage, wie gut ein Software-System wartbar oder verstehbar ist (interne Qualität). Letztlich bewirkt eine hohe interne Qualität auch eine bessere Erfüllung der Benutzeranforderungen, so dass in der Beobachtung der internen Softwareproduktqualität ein frühzeitig verfügbares Instrument liegt, um einer möglicherweise ungenügenden externen Qualität entgegenzuwirken. Dieses Dokument diskutiert Grundlagen, Methoden und Verfahren zur Messung von qualitätsrelevanten Merkmalen von Software-Produkten. Im ersten Teil werden die Grundlagen der Messtheorie behandelt sowie zahlreiche Beispiele für Software-Produktmetriken aufgeführt. Im zweiten Teil wird die Anwendung von Metriken in der Qualitätsanalyse diskutiert. Erfahrungen der Forschungsgruppe Software- Systemtechnik der BTU fließen in die Diskussion ein. Den Abschluss bildet eine Betrachtung zur Auswahl von Werkzeugen zur Durchführung von Qualitätsanalysen. Schlagworte: interne Qualität, Metriken, Messtheorie, Messwerkzeuge, Qualitätssicherung Copyright ViSEK 2002 iii

4 Inhaltsverzeichnis 1 Messtheorie Einleitung Messen Warum? Was? Wann? Zweck Theorie des Messens Modelle als Grundlage von Messungen Empirische und formale Relationensysteme Skalen Sinnvolle Analysen Gewünschte Eigenschaften von Maßen Gültigkeit Zuverlässigkeit Objektivität Sensitivität Robustheit Zielgerichtetheit Praktische Aspekte Prozess zur Definition eines Maßes Validierung Interne Validierung Externe Validierung Die Rolle von Konstruktionsprinzipien bei der Validierung Prozess zur Anwendung von Maßen Klassifikation von Maßen Interne und externe Merkmale Direkte und abgeleitete Maße Objektive und subjektive Maße Punktuelle Maße und Trendmaße Prozess-, Ressourcen- und Produktmaße 37 2 Modelle, Merkmale und Maße für Software-Produkte Weitere Klassifizierung interner Produktmerkmale Granularitätsebenen Wesentliche interne Produktmerkmale Der Begriff Komplexität Arten von Komplexität Ist Komplexität ein internes Produktmerkmal? Produktmodelle Herkömmliche Produktmodelle Objektorientiertes Produktmodell Eine Auswahl von Software-Produktmetriken Überblick Veröffentlichungen Ansätze zur Messung von Größe Metriksuite nach Chidamber und Kemerer [CK94] MOOD Metriken nach Abreu [Ab95] Beispiele für Maße aus [LoKi94] Fan-In, Fan-Out, Informationsfluss nach Henry, Kafura [HeKa81] Klassenkohäsion nach Lee et al [LLWW95] Software Science nach Halstead [Hal77] Zyklomatische Komplexität nach McCabe [Mc76] Kohäsion nach Bieman und Ott [BiOt93] 64 4

5 Maße für Daten 65 3 Metrikbasierte Qualitätsanalyse Software-Qualität Gesetz zunehmender Entropie und Kausalkette von Qualitätsbegriffen Abgrenzung Ziele Interne Quellcodequalität und ihre Operationalisierung Konsequenzen aus der Definition des Qualitätsbegriffs für die Software- Qualitätssicherung FCM-Methode, das Qualitätsmodell und ISO/IEC GQM-Methode Interne Quellcodequalität als Teilbereich der Software-Produktqualität Einflussfaktoren auf Qualitätsmodelle Hauptprobleme metrikbasierter Operationalisierung und die Problematik daraus erwachsender Fehler Metrikbasierte Operationalisierung von Quellcode-Verständlichkeit durch interne Quellcodeeigenschaften Kalibrierung des Qualitätsmodells Probleme der Validierung von Operationalisierungen der Quellcode-Verständlichkeit und Konsequenzen für den Einsatz interner Quellcodemetriken im Prozess der Qualitätssicherung Prozess der Qualitätsanalyse Einführung Rollen Überblick Aktivitäten Die JWAM-Fallstudie Einführung Vorgehensweise Begründung der Vorgehensweise Konkretes Vorgehen und Ergebnisse Erfahrungen Praktische Aspekte der Prozessdurchführung Geheimhaltung Akzeptanzprobleme Werkzeuge für die Software-Produktanalyse Dimensionen der Software-Produktanalyse Werkzeugspezifische Dimensionen Tipps für die Werkzeugauswahl Literatur 106 5

6 1 Messtheorie 1.1 Einleitung Messen Warum? Was? Wann? Software dringt immer mehr in fast alle Belange des Lebens vor und wird somit ein immer stärkerer Faktor wenn es um die Sicherheit von Mensch und Umwelt aber auch Kapital geht. Das ökonomische Prinzip [Wöhe] drückt aus, was es heißt, wirtschaftlich zu arbeiten und besitzt zwei Formulierungen: 1. Minimalprinzip: Ein vorgegebenes Ziel ist mit dem minimalen Ressourceneinsatz zu erreichen. 2. Maximalprinzip: Mit einem vorgegebenen Ressourceneinsatz ist ein maximales Ergebnis zu erzielen. Wann ist aber ist ein Ressourceneinsatz geringer als ein anderer und ein Resultat größer als ein anderes? Offensichtlich wird eine Methode benötigt, die feststellt, ob ein Objekt bestimmte Merkmale besitzt.. Es stellt sich die Frage, wie der Grad der Merkmalsausprägung gemessen werden soll. Eine ähnliche Fragestellung ergibt sich aus dem wirtschaftlichen Umfeld, in welchem die Erstellung und der Betrieb von Software erfolgen. Beide Prozesse werden mit limitierten Ressourcen und innerhalb eines festgelegten Zeitrahmens durchgeführt. Die Erstellung eines Softwareprodukts geschieht nicht über Nacht. Investoren wollen über den Fortschritt eines Projekts informiert werden, um über ihr zukünftiges Engagement zu entscheiden. Für den wirtschaftlichen Erfolg eines Projekts ist es daher unumgänglich, dass schon zu Beginn eines Projekts Umfang, Kosten und benötigte Zeit zur Realisierung abgeschätzt werden und geeignete Methoden existieren, mit denen die aktuelle Position im Projektverlauf bezüglich Zeit und Kosten festgestellt werden kann sowie Methoden existieren, mit denen während der Produkterstellung geprüft werden kann, ob das geforderte inhaltliche Ziel erreicht wird. Offensichtlich ist es notwendig, Produkte, Prozesse und Ressourcen im Hinblick auf bestimmte Kriterien zu quantifizieren. Da dies in der Gesamtheit schwer möglich ist schließlich kann jede Entität (das Wort gelte hier als Oberbegriff für alle zu vermessenden Dinge, synonym zu Untersuchungsgegenstand) aus verschiedenen Perspektiven betrachtet werden wird zwischen verschiedenen Merkmalen unterschieden. Ein Merkmal ist eine bestimmte, charakteristische Eigenschaft, durch die eine Entität von anderen unterschieden ist. Eine Messung ist die systematische Zuweisung von Zahlen oder Symbolen zu Entitäten mit dem Ziel, Eigenschaften dieser Entitäten zu charakterisieren. Ein Maß ist die Festlegung über die Durchführung einer Messung mit dem Ziel ein Merkmal einer Entität auf bestimmte Weise zu quantifizieren. Die Menge der untersuchten Merkmale ergibt sich aus dem Ziel der Untersuchung. Bei einer Messung wird jeweils nur ein spezifisches Merkmal betrachtet und dessen Ausprägung festgestellt. 6

7 Zwischen den Begriffen Merkmal und Maß wird wie folgt differenziert: Ein Merkmal ist inhärent mit einem Untersuchungsgegenstand verknüpft. Die Unterscheidung verschiedener Merkmale ist das Resultat der Notwendigkeit, Dinge aus verschiedenen Perspektiven mit verschiedenen Motivationen zu betrachten. Beispielsweise wird das Merkmal Modularität einer Software mit der Motivation betrachtet, die Wiederverwendbarkeit ihrer Bestandteile zu bewerten. Hingegen schließt der Begriff des Maßes die Operationalisierung, das heißt, die Art und Weise der Feststellung der Merkmalsausprägung mit ein. Es kann viele verschiedene Maße für ein und dasselbe Merkmal geben Zweck Aufgaben Messungen sind für drei aufeinander aufbauende Aufgabengebiete relevant [DeM95]: 1. Verstehen. Eine Messung hilft zu verstehen, was während der Entwicklung eines Produkts passiert, indem sie Merkmale explizit herausstellt und quantifiziert. Sollen durch gute Modularität die Wiederverwendbarkeit von Systemteilen begünstigt und langfristig die Kosten gesenkt werden, ist es notwendig zu verstehen, was eine gute Modularität ausmacht. Anhand vergangener Projekte lässt sich die Wiederverwendbarkeit prüfen. Wie sehen leicht verwendbare Klassen aus? Welche Teile einer Klasse mussten geändert werden, um sie in eine neue Umgebung zu integrieren und führten daher gegebenenfalls zu schlechter Wiederverwendbarkeit? Wie umfangreich waren die Änderungen? 2. Steuern. Mit Hilfe von Messungen lassen sich Projekte steuern. Ausgehend von vergangenen Projekten lässt sich ein Erfahrungsschatz aufbauen, der angewandte Konstruktionsprinzipien mit den erreichen Ergebnissen in Beziehung setzt. Dieses Wissen lässt sich nutzen, um in zukünftigen Projekten Anpassungen bei Vorgehensweisen und Produkten vorzunehmen, damit die gewünschten Ziele erreicht werden. Beispielsweise lässt sich der Grad der Vernetztheit einer Klasse beobachten, um zu einer Aussage bezüglich ihrer späteren Wiederverwendbarkeit zu gelangen. 3. Verbessern. Die aufgrund von Erfahrungen extrahierten Zusammenhänge zwischen Vorgehensweisen und erreichten Zielen verfestigen sich umso mehr zu allgemein akzeptierten Prinzipen, je öfter sie durch erfolgreiche Projekte bestätigt werden. Bei nachfolgenden Projekten wird die Anwendung dieser Prinzipien von vorn herein geplant, Zeit und Ressourcen werden gern bereitgestellt. Ein solches Prinzip zur Förderung der Wiederverwendbarkeit von Klassen ist etwa, dass eine Klasse genau ein Konzept realisieren sollte. Bei diesen Perspektiven muss man sich jedoch stets der Grenzen von Messprogrammen bewusst sein. Die Tragweite von Messwerten wird deutlich, wenn man sich vor Augen führt, dass sie die Grundlage von Entscheidungen bilden. Jedoch sollte die Aussagekraft von Metriken durch Entscheidungsträger nicht überbewertet werden. Entscheidungen, die aufgrund von Messwerten gefällt werden, müssen immer auch die Zuverlässigkeit der vorliegenden Daten berücksichtigen. Wie präzise sind die aus Messwerten und Erfahrungen gewonnenen Vorhersagen? Lässt sich der zu erwartende Fehler quantifizieren? Stimmen die Aussagen der Messwerte mit den intuitiven Erwartungen überein? Letztlich dürfen sich Entscheidungsträger nicht darauf verlassen, durch Messprogramme leicht zu handhabende, sofort verfügbare Lösungen für klassische Probleme der Software-Technik zu erhalten Anwendungsgebiete In zahlreichen Anwendungsgebieten spielen Software-Metriken eine wichtige Rolle. Die folgende Liste von Anwendungsgebieten ist im Wesentlichen [FePf97] (Kapitel 1.3) entnommen. Sie soll die praktische Nützlichkeit des Ansatzes untermauern. 7

8 Entscheidungsunterstützung o Die Entscheidungsunterstützung ist die wirtschaftliche Grundmotivation des Einsatzes von Metriken. Einzelne Entscheidungsbereiche werden nachfolgend explizit herausgehoben. Sorgfältig angewandte Messmethoden liefern solide Kennzahlen, welche bei der Entscheidungsfindung innerhalb des Projektmanagements behilflich sind. Kosten und Aufwandsschätzung o Die Entstehung von Software in einem wirtschaftlich arbeitenden Umfeld macht es notwendig, schon zu frühen Phasen der Produktentwicklung Aussagen über den zu erwartenden Aufwand und die damit verbundenen Kosten zu machen. Für diesen Zweck wurden verschiedene Schätzungsmodelle vorgeschlagen (z.b. COCOMO [Boe81], Function-Point-Methode [Alb79]). Produktivitätsmessungen und modelle o Wirtschaftlicher Druck macht es notwendig, die Produktivität des Personals einzuschätzen und zu überwachen. Die beiden Einflussfaktoren Umfang des Ressourceneinsatzes und erreichtes Ziel müssen geeignet quantifiziert werden. Datensammlung o Die Qualität einer Messung beziehungsweise Vorhersage ist wesentlich von einer sorgsamen Datenerfassung abhängig. Maße müssen eindeutig definiert werden, Datenbestände organisiert und gepflegt werden. Weiterhin genügt es nicht, Mengen von Daten zu sammeln, sondern es kommt auch auf eine zielgerichtete geeignete Auswertung an. Qualitätsmodelle und maße o Produktivität und Qualität müssen stets im Zusammenhang betratet werden. Dies macht es ebenso erforderlich, das eher subjektive Empfingen von Qualität messbar zu machen. Zuverlässigkeitsmodelle o Zuverlässigkeit ist ein wesentlicher Qualitätsfaktor. Ihre Wichtigkeit hat zur Herausbildung von eigenen Modellierungs- und Messmethoden geführt. Leistungsbewertung und modelle o Leistung ist ein weiteres Qualitätsmerkmal, für das sich ebenso eine eigene Disziplin entwickelt hat. Struktur- und Komplexitätsmetriken o Qualität, Zuverlässigkeit und Leistung sind Merkmale eines Produkts. Der Programmcode kann als kleinste Einheit zur Beschreibung eines Softwareprodukts begriffen werden. Gelingt es, qualitativ hochwertigen, zuverlässigen und effizienten Code zu produzieren, wirkt sich dies auf das Endprodukt aus. Deshalb ist es wichtig herauszufinden, welche Teile des Codes wenig zuverlässig oder schwer zu testen sind oder hohen Wartungsaufwand erfordern. Es besteht die berechtigte Hoffnung, durch Vermessen von Strukturmerkmalen des Codes auf Qualitätsmerkmale des Endprodukts schließen zu können. Bewertung von Methoden und Produkten o Immer wieder kommen neue Verfahren und Produkte auf, welche eine Produktivitäts- oder Qualitätssteigerung eigener Produkte versprechen. Um diese objektiv bewerten und vergleichen zu können, bedarf es geeigneter Messmethoden. 1.2 Theorie des Messens 8

9 Messen erfolgt oftmals ohne dass man darüber nachdenkt, welche wissenschaftlichen Prinzipien angewandt werden. Es ist notwendig, sich Gedanken darüber zu machen, welche Annahmen über die gemessenen Merkmale zutreffen. Die Theorie behandelt folgende Fragen: Wie viel muss über ein Merkmal bekannt sein, bevor es messbar ist? Was ist ein Maß? Was misst ein Maß? Wie kann man sich sicher sein, das beabsichtigte Merkmal gemessen zu haben? In wie fern eignen sich Messergebnisse für weitere Analysen und lassen sich die Ergebnisse sinnvoll in die Realität übertragen? In Abbildung 1-1 ist der Messprozess insgesamt dargestellt. Ausgangspunkt der Untersuchungen ist eine praktische Fragestellung, welche die Quantifizierung von Größen erfordert. Die Wahrnehmungsbarriere (auch Intelligenzbarriere) ist Ausdruck dafür, dass eine unmittelbare Quantifizierung ohne den Umweg der Formalisierung durch Menschen aufgrund begrenzter Wahrnehmungskapazitäten nur schwer möglich ist. Innerhalb dieses komplexen Prozesses existieren drei Teilprozesse, deren Aktivitäten teilweise aufeinander aufbauen, sich teilweise aber auch überschneiden: Prozess zur Definition von Maßen: Dieser Prozess beinhaltet die Klärung der Frage, welche Merkmale eines Untersuchungsgegenstandes quantifiziert werden sollen und wie dies erfolgt. Ergebnis dieser Tätigkeit sind ein oder mehrere Maße. Prozess zur Validierung von Maßen: Dem Aufstellen von Maßen zur Erfassung von Daten folgt die Prüfung, ob die ermittelten Daten tatsächlich die intendierten Eigenschaften charakterisieren und inwiefern sie zur Beantwortung der Ausgangsfrage beitragen. Es ist Aufgabe dieses Prozesses, Vertrauen in die aus den Messwerten abgeleiteten Schlussfolgerungen zu gewinnen bzw. überhaupt gültige Schlussfolgerungen zu identifizieren. Prozess zur Anwendung von Maßen: Nachdem genügend Vertrauen in die mit Maßen verbundenen Aussagen aufgebaut wurde, können Maße in den praktischen Einsatz zur Prüfung, Steuerung und Verbesserung der charakterisierten Gegenstände einfließen. Hilfestellung zur Interpretation der Ergebnisse leisten visuelle Modelle. 9

10 Abbildung 1-1: Der Messprozess Die nachfolgend erläuterten Punkte werden anhand eines durchgehend verwendeten Beispiels illustriert. Im Text wird dieses als das Standardbeispiel bezeichnet. Ein übergeordnetes Ziel in einer softwareentwickelnden Organisation sei, mit Hilfe von Wiederverwendung eigens entwickelter Quellcodebestandteile langfristig die Entwicklungskosten zu senken. Es wird eine objektorientierte Programmiersprache verwendet und Wiederverwendung bezieht sich auf einzelne Klassen beziehungsweise inhaltlich zusammengehörige Klassenpakete. Die Wiederverwendbarkeit ist Ausdruck der internen Produktqualität. Ein Experte der Organisation, der seit vielen Jahren in der Software-Entwicklung tätig ist, rät: Systeme müssen eine gute Modularität aufweisen. Man hat zunächst nur eine diffuse Vorstellung davon, was gute Modularität bedeuten soll, kennt aber das Ziel: einzelne Klassen oder Pakete sollen leicht aus einem bestehenden System herausgelöst werden können und ohne aufwändige Anpassungen in einem neuen System integrierbar sein. Infolge des geringeren Neuentwicklungsaufwands sollen die Kosten gesenkt werden Modelle als Grundlage von Messungen Grundvoraussetzung jedes Messens ist eine Vorstellung über das, was vermessen werden soll. Aufgrund begrenzter menschlicher Wahrnehmungskapazitäten lässt sich stets nur ein kleiner Ausschnitt der realen Welt aus einem bestimmten Blickwinkel betrachten. Die Formulierung dieser Sichtweise ist Aufgabe eines Modells. Im Kontext des Messens treten verschiedene Arten von Modellen für verschiedene Verwendungszwecke auf. Ganz allgemein ist ein Modell eine Abstraktion, die von überflüssigen Details Abstand nimmt und einen Gegenstand aus einer bestimmten Perspektive präsentiert. Die Definition eines Maßes legt im Allgemeinen ein bestimmtes Modell des Untersuchungsgegenstandes zu Grunde. Das Modell bildet den Definitionsbereich einer der durch ein Maß festgelegten Abbildung. Die Modellbildung erfolgt in der Praxis häufig implizit und ohne die notwendige Sorgfalt. Während beim allgemein üblichen Messen die Modelle häufig klar sind, ist dies bei Software nur selten der Fall. Es gibt zu selten eine allgemeingültige Vorstellung über die Bedeutung eines Begriffes. Allein der Begriff Größe eines Programms kann auf vielfältige Weise verstanden werden: im Sinne von Länge oder Komplexität oder Funktionsumfang. Ein Modell legt genau fest, welche Merkmale eines Gegenstandes wie betrachtet werden. 10

11 Jedes für Messungen verwendete Modell muss folgende Eigenschaften erfüllen: Eindeutigkeit: Jedes betrachtete und nicht betrachtete Merkmal muss erläutert werden und es muss festgelegt werden, welche Rolle es in der Abstraktion einnimmt. Für das Beispiel der Beurteilung der Modularität muss beispielsweise geklärt werden, was Module sind und wie diese vernetzt werden. Ist eine einzelne Klasse ein Modul oder eine Menge von Klassen? Sind Schnittstellenbeschreibungen auch Klassen? Werden innere Klassen separat gehandhabt? Wann sind zwei Module vernetzt? Gibt es verschiedene Ausmaße von Vernetztheit? Vollständigkeit: Alle möglichen Ausprägungen eines relevanten Merkmals müssen bedacht werden. Welche Kriterien sind Ausdruck der Vernetztheit von zwei Modulen? Welche Konstrukte einer Programmiersprache kennzeichnen eine Klasse? Werden etwa in Java auch anonyme Klassen betrachtet? Konsistenz: Das Vorkommen eines Merkmals muss für verschiedene Entitäten konsistent behandelt werden. Die Festlegung zur Abgrenzung von Modulen muss konsistent erfolgen. Eindeutigkeit und Vollständigkeit sollten Konsistenz zur Folge haben. Verständlichkeit: Da die Modellbildung der erste Schritt zur Maßdefinition ist, muss das Modell leicht verständlich sein. Dazu ist ein Kompromiss zwischen exakten aber mit zu vielen Details belasteten formalen Definitionen und informalen Beschreibungen zu finden. Die Modellbildung ist die Vorbedingung für jede Messung. Die vorgenommene Abstraktion konzentriert sich auf wenige bestimmte Merkmale der realen Entität. Durch das Maß geprägte Aussagen können dann nur noch aufgrund des Modells erfolgen. Die Qualität der Rückübertragung von Ergebnissen der formalen Welt in die Realität hängt von der Qualität des Modells ab. Falls beispielsweise ein Größenmodell inkonsistent gebildet wurde, lässt sich allein aus der Messung nicht mit Sicherheit schließen, dass ein Gegenstand größer als ein anderer ist. Um die obigen Forderungen optimal zu erfüllen, wird in [LeRuSi00] ein schrittweises Vorgehen vorgeschlagen: 1. Umgangssprachliche Definition. Das Modell wird umgangssprachlich aber dennoch mit möglichst präzisen Formulierungen beschrieben. Dieses Modell betrachtet Klassen und Beziehungen zwischen diesen, welche aufgrund des Quellcodes in C++ identifiziert werden können. Jede Quellcode-Einheit, die mit class <Bezeichner> beginnt, ist eine Klasse. Der Typ (abstrakt, konkret) wird vernachlässigt. Verschachtelte Klassen werden als separate Klassen angesehen. In jeder Klasse werden alle Attribute berücksichtigt. Der Typ und die Bindung (Klassenattribute oder Objektattribute) werden vernachlässigt; geerbte Attribute ebenso. Jedes Array, jede Struktur, jedes Objekt und jeder Zeiger wird als ein Attribut gezählt. Zwei Klassen A und B sind miteinander vernetzt, wenn ein Attribut von A den Typ B oder B* besitzt. 2. Grafische Repräsentation. Als weitere Hilfestellung wird versucht, die Abstraktion grafisch darzustellen. Die durch eine Grafik vermittelte Information ist oftmals leichter zu fassen als etwa Text. Es geht in dem Schritt lediglich um zusätzliche Erläuterung des Sachverhalts, nicht darum, neue Informationen hinzuzufügen. 11

12 3. Beispielabstraktion. Das Modell wird anhand einiger nicht-trivialer Beispiele ausprobiert. Für die Beispiele werden die im Modell genannten Merkmale herausgehoben und geeignet repräsentiert, andere dagegen vernachlässigt. Dieser einfache Prozess stellt sicher, dass sich der Modellierer eingehend mit dem zu vermessenden Gegenstand beschäftigt. Schritt eins ist die initiale Zielbestimmung. Schritt zwei stellt das gleiche Ziel auf andere Weise dar. Die visuelle Darstellung ist für viele Menschen leichter zu begreifen. Dadurch werden Zusammenhänge vertieft. Schritt drei ist die initiale oberflächliche Validierung des Modells. Triviale Fehler und Auslassungen werden so bereits früh ausgeschlossen Empirische und formale Relationensysteme Die Sichtweise der Messtheorie versucht, die menschliche Intuition über die Welt zu formalisieren. Menschen neigen dazu, Dinge durch Vergleiche zu verstehen. Das Konzept der Größe eines Gegenstandes wird durch visuellen Vergleich verschiedener Exemplare erlernt. Die Beziehung größer als ist in diesem Sinne eine empirische Relation über dem Merkmal Größe. Welche Paare von Gegenständen in Relation stehen, wird durch einen allgemeinen Konsens bestimmt. Jedoch gibt es ebenso häufig untereinander abweichende Meinungen. Ein Konsens über eine empirische Relation zumindest im Kontext einer konkreten Anwendung ist notwendige Voraussetzung für jegliche Formalisierung. Durch ein Maß wird dieser Konsens explizit gemacht. Bestimmten Merkmalsausprägungen werden konkrete Messwerte zugeordnet. Dabei gelten die gleichen Relationen unter den Messwerten wie unter den empirisch bestimmten Merkmalsausprägungen. Unter dem Begriff Relationensystem werden nun alle solche Beziehungen zwischen Merkmalen oder Messwerten zusammengefasst. Die Begriffsbildung ist der Versuch, die Vielfältigkeit von verschiedenen Messproblemen zu klassifizieren. Verschiedene Klassen von Relationensystemen werden unterschieden und führten zur Definition von Skalentypen (siehe 1.2.3). Es gibt verschiedenste Arten von Relationen, die Teil eines Relationensystems sein können, beispielsweise: Partielle Ordnungen legen fest, wie Objekte in einer Reihenfolge angeordnet werden müssen. Nicht notwendigerweise alle Objekte können miteinander verglichen werden, aber für ausgewählte Paare legt das Relationensystem deren Reihenfolge fest. Äquivalenzrelationen erlauben die Gleichheit zweier Entitäten bezüglich einer Merkmalsausprägung festzustellen. Relation zur Identifizierung spezieller Objekte, zum Beispiel von Nullelementen. Bei der Messung der Kopplung besitzen zwei nicht miteinander vernetzte Klassen die Kopplung Null. Die Unterscheidung in empirische und formale Relationensysteme geht auf die jeweilige Art und Weise der Definition der Relationen zurück. In einem empirischen Relationensystem 12

13 sind die Beziehungen durch einen allgemeinen Meinungskonsens zwischen Menschen bestimmt. In einem formalen Relationensystem sind Relationen hingegen durch konkrete Eigenschaften der verwendeten Symbolik festgelegt (beispielsweise Relation > zwischen natürlichen Zahlen). Die Vorstellung von zwischen den untersuchten Objekten herrschenden Relationen wird auch zur Definition des zentralen Begriffes Maß verwendet: Formal ist ein Maß eine relationenerhaltende Abbildung von einem empirischen Relationensystem (ERS) in ein formales Relationensystem (FRS), welche zur Ermittlung der Ausprägung eines Merkmals einer Entität verwendet wird. Eine Messung ist der Prozess der Anwendung eines Maßes auf einen Gegenstand. Der Messwert ist das Ergebnis der Messung. Man muss zur formalen Definition des Maßes hinzufügen, dass für praktische Nutzbarkeit auch beschrieben werden muss, wie am konkreten Messgegenstand die beabsichtigten Daten erhoben werden können. Ein anderer Begriff für Maß könnte daher auch Messvorschrift sein. Ein Maß stellt die Brücke zwischen einer empirischen, teils unexakten Welt und einer formalisierten, exakten Welt dar. Zentrale Forderung an ein Maß ist die Repräsentationsbedingung: Repräsentationsbedingung: Die Abbildung durch ein Maß muss empirische Relationen erhalten. Das heißt, wenn zwei Gegenstände in der realen Welt in einer Relation stehen, müssen auch die durch ihre Maße zugewiesenen Messwerte in einer analogen Relation stehen. Anmerkung: Begriff Metrik Die Messtheorie ist keine originäre Informatik-Disziplin, sondern findet vor allem auch in den Sozialwissenschaften Anwendung. Für die Informatik hat sich jedoch der Begriff Metrik anstelle des zutreffenderen Begriff Maß eingebürgert. In der Mathematik wird unter einer Metrik die Eigenschaft eines metrischen Raumes verstanden, durch welche die Entfernung zwischen zwei Punkten definiert wird [Lig02]. Durch eine Maßbestimmung werden den Punkten Koordinaten zugeordnet. Die Messung von Eigenschaften von Software-Produkten oder -Prozessen ist in diesem Sinn als Maßbestimmung zu verstehen, jedoch mit dem Unterschied, dass nicht nur Entfernungen charakterisiert werden. Fachlich korrekter ist daher der Begriff Maß. Beide Begriffe Metrik und Maß werden dennoch meist synonym gebraucht. Ein besonderes Problem der Anwendung von Messmethoden auf Software ist, dass die herrschenden empirischen Relationen oft nicht klar sind. Im Alltag führt die fast tägliche und unbewusste Anwendung von Messungen zu einem sehr hohen Grad an Vertrautheit mit den charakterisierten Eigenschaften. Die Bedeutung der Länge einer Wegstrecke ist unmittelbar klar. Dies ist nicht so beispielsweise beim Vergleich der Komplexität von Programmen. Allein der Begriff Komplexität kann, wie die Literatur belegt, sehr verschieden interpretiert werden (siehe auch Abschnitt 2.2). Jedoch auch die konkrete Beurteilung, ob ein Programm hinsichtlich nur einer solchen Interpretation komplexer als ein anderes sei, ist stark vom jeweiligen Betrachter abhängig. Es ist in vielen Fällen daher schwer, Maße anzugeben, welche von allen Software-Ingenieuren als eine geeignete Charakterisierung eines Merkmals angesehen werden Skalen Durch Messungen an einem Untersuchungsgegenstand wird eine Merkmalsausprägung quantifiziert. Dies erfolgt auf Grundlage einer bestimmten Skala. Zum Zwecke der Auswer- 13

14 tung lassen sich anschließend formale Operationen auf die Menge der Messwerte anwenden. Jedoch nicht jede formal korrekte Operation hat eine entsprechend sinnvolle Interpretation in der realen Welt. In der Messtheorie unterscheidet man daher eine Hierarchie von Skalentypen. Jeder Typ drückt verschieden detaillierte Aussagen über das untersuchte Merkmal aus. Auf unterem Niveau ist es lediglich möglich, einzelne Merkmalsausprägungen zu unterscheiden (ohne Benennung des Grades des Unterschieds oder einer Reihenfolge). Auf höherem Niveau lässt sich dagegen der Grad der Ausprägung exakter ausdrücken. Je detaillierter eine Skala ist, umso umfangreicher werden die anwendbaren Analysemöglichkeiten (siehe ). In der Praxis ist man daher stets bemüht, Maße mit einem hohen Skalenniveau zu identifizieren. Für jeden Skalentyp gibt es im Allgemeinen viele Skalen, welche die Repräsentationsbedingung erfüllen. Diese heißen akzeptable Skalen. Verschiedene akzeptable Skalen eines Typs lassen sich bedeutungserhaltend ineinander überführen. Formal wird der Skalentyp durch die Menge der entsprechend zulässigen Transformationen definiert ([Zu98], S.131). Es gibt keinen zwingenden Grund, weshalb eine Skala eines bestimmten Typs gegenüber einer anderen des gleichen Typs präferiert werden sollte. Nachfolgende Tabelle gibt einen Überblick über die Skalentypen. Bezeichnung Relevanz zulässige Transformationen Nominalskala Unterscheidung der Entitäten bijektive Abbildung Ordinalskala Anordnung der Entitäten jede streng monotone Funktion Intervallskala Verhältnis von Intervallen g(x)=a*x + b Verhältnisskala Verhältnis von Messwerten g(x)=a*x Absolutskala Messwerte g(x)=x Nominalniveau - Das ERS besteht nur aus verschiedenen Mengen von Objekten. Es gibt keine Ordnung unter den einzelnen Objektmengen. Entitäten können aufgrund ihrer Merkmalsausprägungen voneinander unterschieden werden. - Jede eindeutige symbolische Repräsentation der einzelnen Klassen ist ein akzeptables Maß. Die Symbole haben keine Bedeutung bezüglich der Größe einer Klasse o.ä. - Beispiel: Zugehörigkeit einer Klasse zu einem Paket Ordinalniveau - Das ERS definiert Klassen, die in Bezug auf ein Merkmal geordnet sind. Entitäten können in einer Reihenfolge angeordnet werden. - Jede Abbildung, welche die Ordnung erhält, ist ein akzeptables Maß. Es gibt keinen Abstand zwischen den Klassen. - Beispiel: Klassifizierung von Fehlermeldungen nach: informativ, behebbar, fatal Intervallniveau - Definiert eine Ordnung wie beim Ordinalniveau, zusätzlich trägt der Abstand zwischen zwei Klassen jedoch Bedeutung. - Verhältnisse zwischen Abständen können ausgewertet werden, jedoch nicht die Größe von Objekten - Beispiel: Messung der Temperatur in Grad Celsius Verhältnisniveau (Rationalniveau) - Definiert eine Ordnung und einen Abstandsbegriff wie Intervallniveau. Messwerte können zueinander in Relation gesetzt werden. Es existiert ein Nullelement, das die Abwesenheit einer Eigenschaft anzeigt. - Beispiel: Länge eines Programms in Anzahl von Programmzeilen. Die Länge ist ebenso in Anzahl von Anweisungen, Anzahl von Zeichen, Anzahl von Funktionen etc. messbar. Zwischen diesen Skalen existieren verhältniserhaltende Transformationen. 14

15 Absolutniveau - Alle Eigenschaften des Verhältnisniveaus, aber selbst verhältniserhaltende Transformationen sind nicht mehr zulässig. Die Messwerte selbst sind absolut maßgeblich. Eine Skala stellt die einzige Möglichkeit zur Messung eines Merkmals dar. - Beispiel: Anzahl von Fehlern, die beim Testen gefunden wurden Aus diesem Spektrum von Möglichkeiten sind aus praktischer Sicht fast ausschließlich Ordinalskalen, Rationalskalen und gegebenenfalls Absolutskalen relevant. Nominalskalen sind aufgrund zu geringer Aussagekraft wenig interessant. Praktische Messprobleme liegen sehr oft im Bereich der Optimierung, bei der eine Menge von Entitäten hinsichtlich eines Kriteriums geordnet werden müssen. Eine Ordinalskala ist in diesem Sinne oft der kleinst mögliche Nenner, über den ein allgemeiner Konsens gefunden werden kann. Das empirische Relationensystem, das heißt die intuitive Vorstellung über die Relationen zwischen den Gegenständen, lässt oftmals keine genauere Quantifizierung als die Anordnung in einer Reihenfolge zu. Nicht einmal der Abstand zwischen je zwei Entitäten kann beziffert werden. Ein Beispiel dafür ist etwa der Begriff der Komplexität. Es ist durchaus sinnvoll darüber zu reden, dass ein Programm komplexer sei als ein anderes. Exakt auszudrücken, wie viel komplexer, fällt andererseits sehr schwer oder scheint unmöglich. Falls dies für ein praktisches Problem aber dennoch gelingt, ergibt sich meist sofort eine Rationalskala mit einem Nullelement, die Intervallskala wird übersprungen. Absolutskalen sind das Resultat von ebenso häufig vorkommenden Zählmaßen. Eine weiterführende Diskussion des Themas Skalen findet man beispielsweise in [Zu98] Niveaubestimmung bei direkten Maßen Die Bestimmung des korrekten Skalentyps hat weitreichenden Einfluss auf den gesamten Messprozess. Zunächst ist die Identifikation des herrschenden Skalenniveaus Vorbedingung für die messtheoretisch gerechtfertigte Definition eines Maßes überhaupt. Der Skalentyp ist weiterhin ausschlaggebend für die auf Messwerten durchführbaren Analysen. Zur Bestimmung des Skalentyps müssen die Eigenschaften des in Frage stehenden empirischen Relationensystems beziehungsweise die Eigenschaften des untersuchten Merkmals mit den Eigenschaften der verschiedenen Skalentypen verglichen werden. Aufgrund der Tatsache, dass die empirischen Relationen mitunter durch die Meinungen von Menschen bestimmt sind, ist das oft keine diskussionsfrei durchführbare Tätigkeit. Bei Untersuchung der Eigenschaft Länge einer Strecke ist sicherlich sofort ein Konsens möglich, weil es ein offensichtliches, real begreifbares Konzept von Länge gibt. Bei der Messung der Länge eines Programms existieren bereits verschiedenen Auffassungen, was als Länge angesehen werden sollte. [FePf97] liefert dazu ein Beispiel: Ein plausibles Verständnis von Programmlänge ist die Länge einer Beschreibung des Programms. Bereits bei dieser Fokussierung sind mehrere Auffassungen möglich: Anzahl von Quelltextzeilen oder Anzahl von Klassen in einem objektorientierten System? Es lässt sich weiter argumentieren, dass die Länge der Beschreibung kein unmittelbares Merkmal des Softwareprodukts ist, sondern lediglich eine Folge der im Produkt realisierten Funktionen ist. Ein besseres Maß für die Länge seien deshalb Function Points. Die Diskussion verdeutlicht, dass die herrschenden empirischen Relationen oftmals nicht klar sind und daher die Festlegung auf einen bestimmten Skalentyp oftmals anfechtbar ist. Zur Hilfestellung bei der Bestimmung des Skalentyps kann folgender Katalog von Forderungen an das Untersuchungsmerkmal herangezogen werden: Nominalskala: - Das Merkmal besitzt voneinander unterscheidbare Ausprägungen. - Die Ausprägungen lassen sich hinsichtlich des Untersuchungsziels in keine Reihenfolge bringen oder sonst wie miteinander vergleichen. 15

16 Ordinalskala: - Die Merkmalsausprägungen können hinsichtlich des Untersuchungsziels in eine präferierte Reihenfolge gebracht werden. - Aussagen bzgl. des Abstands zwischen den Ausprägungen können nicht sinnvoll interpretiert werden. - Die Unterschiedlichkeit von Ausprägungen selbst kann nicht beziffert werden. Intervallskala: - Zwischen je zwei Merkmalsausprägungen macht es Sinn, über deren Abstand zu sprechen - Abstände sind miteinander vergleichbar - Es existiert kein Nullpunkt, Aussagen über das Verhältnis von Ausprägungen sind daher nicht sinnvoll. Rationalskala: - Es macht Sinn, über Vielfache von Merkmalsausprägungen zu sprechen. - Es ist möglich, das Nichtvorhandensein einer Ausprägung zu interpretieren. - Der genaue Wert der Merkmalsausprägung bei einem Untersuchungsgegenstand ist irrelevant solange das Verhältnis zu Merkmalsausprägungen bei anderen Gegenständen gewahrt bleibt. Absolutskala: - Der genaue Wert einer Merksmalsausprägung ist von Interesse. - Eine verhältniserhaltende Skalierung der Merkmalsausprägungen bei allen Untersuchungsgegenständen würde die mit dem Messwert verbundene Aussage verändern. Der Nachweis, dass genau ein bestimmtes Niveau vorliegt, ist nur schwer möglich, nicht zuletzt deswegen, weil die empirischen Relationen nicht klar sind oder keine genaue Quantifizierung zulassen. Würde man den exakten Nachweis fordern, würde dies in der Mehrzahl der Fälle dazu führen, dass man sich auf Ordinal- oder Nominalniveau begeben müsste und die entsprechende Armut an Analysemöglichkeiten in Kauf nimmt. Oftmals ist es auch so, dass das Niveau eines Maßes zwischen Ordinal- und Intervallniveau vermutet wird. Sich in solchen Zweifelsfällen auf die Ordinalskala zu beschränken, würde wertvolle Informationen verwerfen. Sofern genügend Indizien für die Zugrundelegung eines möglichst hohen Niveaus vorliegen, wird die Anwendung entsprechender statistischen Techniken in der Praxis als gerechtfertigt angesehen. Die Interpretation der Ergebnisse muss dies aber letztlich berücksichtigen Niveaubestimmung bei indirekten Maßen Bisher wurde unterstellt, dass ein Maß in direkter Weise ein Merkmal eines Untersuchungsgegenstandes charakterisiert. Diese werden auch als direkte Maße bezeichnet. Ein indirektes Maß hingegen ist eines, dessen Messwerte auf dem Papier entstehen, indem Messwerte anderer (direkter und indirekter) Maße miteinander verknüpft werden. Ein indirektes Maß M setzt sich aus mehreren Teilmaßen M1, M2,..., Mn zusammen. Das Maß M wird durch Anwendung einer Funktion f auf die Teilmaße berechnet: M=f(M1,M2,...,Mn). In diesem Zusammenhang gilt es zwei Punkte zu beachten: Welche Operationen zur Verknüpfung der Messwerte verwendet werden dürfen, hängt von den Skalenniveaus der beteiligten Teilmaße M1 bis Mn ab. Das Skalenniveau des Gesamtmaßes M kann nicht höher sein als das niedrigste Niveau eines seiner Teilmaße 16

17 1.2.4 Sinnvolle Analysen Der Einfachheit halber werden Messwerte oftmals mit reellen Zahlen ausgedrückt, unabhängig vom zu Grunde liegenden Skalenniveau. Auf diesen Zahlen die gängigen arithmetischen Operationen auszuwenden, ist verlockend aber nur begrenzt gerechtfertigt. Die Bezeichnung einer Ordinalskala mit Zahlen führt schnell zu der Annahme, die Differenzen zwischen einzelnen Skalenwerten seien bedeutsam. Solche Analysen, die in der formalen Welt ausgeführt werden, sind sinnlos in dem Sinne, dass sie keine Rechtfertigung durch das zu Grunde liegende empirische Relationensystem besitzen. Der Versuch, solche Ergebnisse in der realen Welt zu interpretieren, scheitert. Beispiel: In einer Anwendung werden für verschiedene Laufzeitfehler willkürlich Fehlercodes vergeben. Das Merkmal auftretende Fehler bei Ausführung von Transaktion A besitzt Nominalniveau. Aufbauend auf den Fehlercodes mag man annehmen, der Fehler mit dem Code 10 ist schwerwiegender als der mit dem Code 1 (Ordinalniveau). Doch das war nicht das Kriterium für die Vergabe der Zahlenwerte. Ebenso falsch wäre die Annahme, der Fehler mit dem Code 10 ist doppelt so schwerwiegend wie der Fehler mit dem Code 5 (Unterstellung von Verhältnisniveau). Der Sinngehalt einer Aussage ist verschieden vom Wahrheitsgehalt. Der Sinn einer Aussage hängt davon ab, ob sich die Aussage sich auf Relationen bezieht, die empirisch tatsächlich gelten. Der Wahrheitsgehalt einer Aussage bezieht sich hingegen auf bestimmte Merkmalsausprägungen, setzt jedoch voraus, dass die Aussage sinnvoll ist. Die Aussage ein Paar von Klassen ist doppelt so stark gekoppelt wie ein anderes Paar ist nicht sinnvoll, weil die intuitive Vorstellung vom Begriff Kopplung schlicht nicht so präzise ist, als dass man über einen doppelten Kopplungsgrad sprechen könnte. Das empirische Relationensystem rechtfertigt lediglich eine Ordinalskala, wohingegen die genaue Präzisierung des Kopplungsgrades sich auf eine nicht existente Verhältnisskala beziehen würde. Dass obige Aussage nicht sinnvoll ist, offenbart auch folgender Test: Zur Klassifizierung der Kopplung werden zwei Maße mit verschiedenen Ordinalskalen angesetzt: Kopplungsgrad Maß M Maß M nicht gekoppelt 0 0 lose gekoppelt 1 3 eng gekoppelt 2 10 Unter dem Maß M habe das Klassenpaar A,B den Messwert M(A,B)=1 und das Paar B,C den Wert M(B,C)=2. Obige Aussage ist unter dem Maß M also wahr, weil 2 doppelt so groß ist wie 1. Das ebenso berechtigte Maß M führt hingegen zu den Messwerten 3 und 10 und die Aussage ist nicht mehr wahr. Den Wahrheitsgehalt einer Aussage mit verschiedenen Skalen eines Typs zu prüfen, birgt eine praktikable Methode, die Bedeutsamkeit einer Aussage zu testen und führt zur Definition des Begriffs sinnvoll : Eine Aussage bezüglich einer Messung ist sinnvoll, falls ihr Wahrheitswert unabhängig von zulässigen Transformationen zwischen Skalen des gleichen Skalentyps ist. Im obigen Beispiel besitzt die Aussage unter verschiedenen akzeptablen Skalen verschiedene Wahrheitswerte. Sie ist daher nicht sinnvoll. Der Begriff sinnvoll darf in der Praxis nicht mit nützlich, praktisch oder erfüllbar verwechselt werden. Weiterhin müssen Maße so definiert sein, dass sie überhaupt sinnvolle Aussagen zulassen. Anderenfalls sind sie praktisch nicht verwendbar. Bedeutsamkeitsbedingung: Jedes Maß muss sinnvolle Aussagen zulassen. 17

18 Statistische Operationen Häufig angewandte statistische Analysen beruhen auf arithmetischen Operationen. Da abhängig vom zu Grunde liegenden Niveau nur einige arithmetische Operationen inhaltlich interpretierbar und damit zulässig sind, kann auch nicht jede statistische Analyse ausgeführt werden. Beispielsweise macht es auf einer Ordninalskala keinen Sinn, einen Mittelwert zu berechnen, da der Abstand einzelner Werte keine Information trägt. Nachfolgende Tabelle gibt einen Überblick über die Skalentypen, deren Relationensystem und einige jeweils zulässige Operationen. Niveau Relationen Beispiele geeigneter statistischer Operationen nominal Gleichheit Modus Frequenz ordinal Intervall Verhältnis Gleichheit total geordnet Gleichheit total geordnet Verhältnisse der Intervalle Verhältnis von zwei Skalenwerten Median Perzentil arithmetisches Mittel Standardabweichung geometrisches Mittel Geeignete statistische Tests nicht-parametrische Tests parametrische Tests 1.3 Gewünschte Eigenschaften von Maßen Bei der Diskussion gewünschter Eigenschaften von Maßen existiert kein eindeutiger Konsens. Jedoch fallen immer wieder einige Begriffe, teilweise mit unterschiedlicher Bedeutung oder Fokussierung. Es existieren auch Standards (z.b. IEEE 1061) welche allgemeingültige Aussagen bezüglich der Eigenschaften von Maßen machen. Hier wird eine Auswahl aus den wichtigsten Anforderungen präsentiert Gültigkeit Die Gültigkeit eines Maßes ist erste Voraussetzung für seinen praktischen Einsatz und bedeutet, dass ein Maß zuverlässige Informationen für ein praktisch relevantes Problem liefert. Dieses Kriterium wird durch den Validierungsprozess abgesichert Zuverlässigkeit Die Zuverlässigkeit gibt an, ob ein Maß konsistente Resultate liefert. Gemäß [He96] gibt es zwei Aspekte, welche die Zuverlässigkeit betreffen: Stabilität: Ein Maß soll bei Anwendung auf den gleichen Untersuchungsgegenstand unter gleichen Bedingungen das gleiche Ergebnis liefern. Reproduzierbarkeit: Beeinflussen verschiedene Exemplare eines Untersuchungsgegenstandes oder verschiedene Randbedingungen das Maß? Objektivität Es ist wichtig zu verstehen, dass fast jede Messung einen subjektiven Anteil enthält. Das Ergebnis hängt teilweise von der Umgebung ab, in der eine Messung ausgeführt wird (z.b. ausführende Person, Messgerät). Dieser subjektive Anteil muss möglichst gering gehalten werden, um Messungen, die von verschiedenen Personen zu verschiedenen Zeitpunkten an verschiedenen Instanzen eines Untersuchungsgegenstandes ausgeführt wurden, miteinander vergleichen zu können. Nichtsdestotrotz haben auch Messungen mit hohem subjektivem Anteil ihre Berechtigung. In vielen Fällen lassen sich kaum exakte Maße definieren. Stattdessen tritt die Urteilskraft von 18

19 Experten an die Stelle von exakten Vorschriften. Beispielsweise lässt sich die Verständlichkeit einer Anforderungsdefinition (die natürlichsprachlich vorliegt) nur auf einer Ordinalskala einordnen (1 = sehr gut...5= unverständlich ). Werden jedoch die Meinungen einer genügend großen Anzahl von Personen eingeholt und die Verteilung der Angaben tendiert in eine bestimmte Richtung, kann dies ein guter Anhaltspunkt für weitergehende Untersuchungen sein. Genauere Messmethoden können gezielt dort eingesetzt werden Sensitivität Eine Metrik muss in der Lage sein, eine signifikante Unterscheidung zwischen Entitäten zu treffen. Beispielsweise solche Softwareprodukte mit einer merklich höheren Qualität müssen deutlich höhere Messwerte erzielen als Produkte mit einer geringen Qualität. Der Wertebereich der Messwerte sollte das Spektrum an möglichen Ausprägungen eines Merkmals möglichst gut abdecken. Anderenfalls droht die Gefahr, dass sich signifikante Unterschiede bei der Ausprägung eines Merkmals nicht genügend in der Unterschiedlichkeit der Messwerte niederschlagen. Dies kann in den Augen eines menschlichen Betrachters die Signifikanz einzelner Resultate verfälschen Robustheit Ein Maß sollte teilweise unvollständige Informationen tolerieren, sofern dies für den Zweck der Messung beabsichtigt ist. Der Messwert eines unvollständigen Produkts sollte möglichst gering vom Messwert des fertig gestellten Produkts abweichen. Eine der Hauptanwendungen für Maße besteht aus der Vorhersage der Ausprägung eines Merkmals des Endprodukts aufgrund von Messungen am halbfertigen Produkt. Die Messwerte werden zumeist während des Entstehungsprozesses eines Produkts vermessen und sind daher unvollständig und teilweise vom Endprodukt abweichend. Ein Maß sollte sich unter Beachtung des Untersuchungsziels auf solche Merkmale konzentrieren, die über einen langen Zeitraum stabil bleiben Zielgerichtetheit Jede Messung muss zielgerichtet sein auf die Daten, welche für die jeweilige Zielgruppe relevant sind. Ein Messprogramm wird nicht im freien Raum durchgeführt, sondern aufgrund einer meist wirtschaftlich motivierten Forderung nach einem Kontroll- und Bewertungsinstrument. Diese Forderung formuliert ein konkret zu erreichendes Ziel, aus welchem sich durch einen schrittweisen Verfeinerungsprozess (siehe etwa GQM, FCM) eine Reihe von Maßen ergeben. Erst aufgrund dieser kausal mit dem Ziel zusammenhängenden Menge von Maßen sollten Messwerte erhoben werden. Es wäre falsch, zunächst ziellos beliebige Daten zu ermitteln, um daraus gegebenenfalls Schlüsse über das Ziel ableiten zu können Praktische Aspekte Werden Arbeitsschritte durch eine messbasierte Steuerung begleitet, fällt immer ein gewisser zusätzlicher Aufwand an. Die Daten müssen daher unter vertretbarem Aufwand erhoben werden können, anderenfalls findet aus praktischen Gründen keine Messung statt. Das Maß muss verständlich sein, anderenfalls wird es nicht genutzt. Die Schlussfolgerungen, die sich aus den Ergebnissen einer Messung ableiten, müssen zeitlich nah zum Vermessungszeitpunkt zur Verfügung stehen, um nützlich zu sein. 1.4 Prozess zur Definition eines Maßes 19

20 Abbildung 1-2: Prozess zur Definition von Maßen Aufbauend auf der erfolgten Diskussion über das messtheoretisch konforme Vermessen lässt sich nun ein Prozess angeben, der alle Schritte ausgehend von der Problemstellung, der Identifikation von Merkmalen, der Modellbildung bis hin zur formalen Erfassung von Merkmalsausprägungen enthält. Im einzelnen sind dies: Zielbestimmung: Die Definition von Maßen beginnt mit der Festlegung des Untersuchungsziels und daraus abgeleitet einer Identifikation von relevanten Merkmalen des Untersuchungsgegenstandes. Dies dient der systematischen Eingrenzung des untersuchten Realitätsausschnitts. Hilfestellung bei der Beschreibung des Untersuchungsziels gibt beispielsweise die GQM- Methode [BaWe84] mit ihrem GQM-Template. Das Template gibt fünf Dimensionen zur Beschreibung eines Untersuchungsziels vor und hat folgende Form: Analysiere das zum Zwecke von im Hinblick auf aus der Perspektive von Im Kontext von <Objekt> <Zweck> <Fokus> <Betrachter/Perspektive> <Kontext/Randbedingungen> Objekt: Was ist der Untersuchungsgegenstand? Übliche Gegenstände sind Prozesse, Produkte, Ressourcen, Theorien, Modelle. Zweck: Welchem Zweck dient die Untersuchung? Übliche Motivationen (in Reihenfolge zunehmenden Anspruchs) sind Charakterisierung, Bewertung, Verbesserung, Kontrolle, Vorhersage. Fokus: Welches Merkmal des Objekts soll untersucht werden? Übliche Merkmale sind Kosten, Größe, Zuverlässigkeit, Qualität, Wartbarkeit usw. Perspektive: Wer ist der erwartete Nutzer der Untersuchungsergebnisse? Dies beeinflusst die Wertung der Messwerte als auch deren Darstellungsform. Mögliche Perspektiven sind die des Entwicklers, des Managers und die des Kunden. Kontext: Unter welchen Randbedingungen findet die Untersuchung statt? Dies hat Einfluss auf die externe Validität der Ergebnisse. An eine solche Bestimmung des Untersuchungsziels schließt sich die Operationalisierung des als Fokus formulierten Ziels an. Operationalisierung bedeutet, es werden anhand des Untersuchungsgegenstandes konkret messbare Merkmale identifiziert, welche einen Einfluss 20

21 auf den Fokus haben. Dies erfolgt üblicherweise in einem schrittweisen Verfeinerungsprozess an dessen Ende ein Baum von untereinander abhängigen Zielen und Teilzielen steht. Die FCM-Methode [McRW77] gibt Anleitung zur Durchführung des Verfeinerungsprozesses. Ist der Fokus beispielsweise die "Wartbarkeit von Software bewerten" könnte ein Zwischenziel die Nutzung von Kapselung sein. Ein konkretes Merkmal ist die Anzahl von öffentlichen Attributen einer Klasse eines objektorientierten Systems. Die Wartbarkeit ist gut, wenn diese Anzahl möglichst gering ist. Abschnitt 3.4 erläutert beispielhaft die Zielbestimmung bei der Untersuchung der internen Softwareproduktqualität. Modellbildung: Es wird ein Modell des Untersuchungsgegenstandes gebildet, das ausschließlich die relevanten Merkmale beinhaltet. Dies hilft, die Untersuchung zu fokussieren und ist Grundlage für eine ggf. automatische Erfassung von Messdaten. Die Forderungen an Maße bezüglich Vollständigkeit, Eindeutigkeit, Verständlichkeit und Konsistenz müssen erfüllt sein. Diese Aktivität beinhaltet selbst einen dreistufigen Prozess zur Modellbildung, wie er unter geschildert ist. Skalentypbestimmung: Auf dem nun vorliegenden Modell können hinsichtlich jedes zu untersuchenden Merkmals empirische Relationen identifiziert werden. Dabei ist bereits zu diesem Zeitpunkt zu prüfen, ob die auf dem Modell ermittelten Relationen in der Realität interpretierbar sind. Dies dient der Bestimmung eines Skalentyps für jedes Merkmal. Sollte kein Konsens bezüglich eines bestimmten Skalentyps gefunden werden können, ist es gegebenenfalls notwendig, das Skalenniveau abzusenken. Die Bestimmung des Skalentyps erfolgt wie in den Abschnitten bzw erläutert. Definition des Maßes: Nachdem nun die Eigenschaften empirischer Relationen geklärt sind und ein Skalentyp bestimmt wurde, lässt sich ein Maß formulieren. Dazu werden eine konkrete Skala sowie Vorschriften über die genaue Erhebung von Daten anhand des Modells festgelegt. Die konkrete Form eines Maßes ist weitgehend abhängig vom verwendeten Produktmodell sowie dem identifizierten Skalentyp. Das Produktmodell definiert die Eigenschaften, welche überhaupt messbar sind. Der Skalentyp legt eine Darstellungsform der Messwerte fest. Im folgenden werden Beispiele für konkrete Maße genannt. Nominalskala Die Messwerte werden abhängig vom Anwendungskontext unterschiedlich benannt. Beispiel: Messung der Elemente einer Beschreibung von Software. Produktmodell: Quelltext Skala: Klassen, Pakete, Methoden, Variable, Operatoren, Kommentare Erfassung: Bestimmung der Typen von Bezeichnern Ordinalskala Der Anwendungskontext definiert eine Reihenfolge bezüglich des Ausprägungsgrades des Merkmals. Die Messwerte werden ist verschiedene Klassen eingeordnet Beispiel: Messung der Verstehbarkeit von Quelltext Produktmodell: Quelltext 21