Stand des Qualitätsmanagements in der Softwareentwicklung

Stand des Qualitätsmanagements in der Softwareentwicklung Ergebnisse einer empirischen Untersuchung bei Softwareunternehmen in Deutschland, deren Qualitätsmanagementsystem nach ISO 9001 zertifiziert wurde Dirk Stelzer, Werner Mellis, Frank Taube Erschienen in: Wilhelm Hummeltenberg (Hrsg.): Information Management for Business and Competitive Intelligence and Excellence. Proceedings der Frühjahrstagung Wirtschaftsinformatik 98. Wiesbaden 1998, S. 313-326 Kurzfassung In einer 1997 durchgeführten schriftlichen Befragung wurde der Stand des Qualitätsmanagements und der kontinuierlichen Verbesserung in den Softwareunternehmen in Deutschland untersucht, die ihr Qualitätsmanagementsystem nach ISO 9001 hatten zertifizieren lassen. Aus den 119 in die Stichprobe einbezogenen Unternehmen wurden 90 gültige Fragebögen zurückgesandt. Mehr als 80 % der Befragungsteilnehmer halten die QM-Systeme für erfolgreich. Allerdings haben die durch das Qualitätsmanagement erzielten Vorteile nur in wenigen Unternehmen zu einer verbesserten Einhaltung von Zeit- und Kostenplänen oder zu nennenswerten Umsatzerhöhungen geführt. 1 Einleitung 2 1.1 Problemstellung 2 1.2 Zielsetzung 2 1.3 Vorgehensweise 3 2 Beschreibung der teilnehmenden Unternehmen 4 2.1 Größe der QM-Systeme 4 2.2 Alter der QM-Systeme 4 2.3 Befragungsteilnehmer 5 3 Erfolg der QM-Systeme 6 3.1 Erfolg der QM-Systeme, dargestellt anhand eines einfachen Indikators 6 3.2 Positive Effekte des Qualitätsmanagements 7 3.3 Negative Effekte des Qualitätsmanagements 8 3.4 Messungen im Rahmen der QM-Systeme 9 3.5 Stand der kontinuierlichen Verbesserung 10 3.6 Beispiele für Verbesserungen 11 4 Diskussion der Ergebnisse 13 5 Literatur 16

- 2-1 Einleitung 1.1 Problemstellung Die ISO 9000-Normenfamilie [DIN, EN, ISO /ISO 9000-1: 1994/] wurde 1987 erstmalig veröffentlicht. Seit August 1994 ist die korrekte Bezeichnung DIN EN ISO 9000 ff. Zur Vereinfachung werden im folgenden die kürzeren Bezeichnungen ISO 9000" und ISO 9000- Familie" verwendet. 1991 erhielt das erste reine Softwareunternehmen in Deutschland ein ISO 9001-Zertifikat für das Qualitätsmanagementsystem (QM-System). Die Zahl der zertifizierten QM-Systeme in deutschen Softwareunternehmen stieg von 22 im Sommer 1994 [Bellin /Softwarequalitätsmanagement/ 43], über ca. 250 zum Jahresende 1995 [Ungermann u. a. /Qualitätsmanagement/ 7] auf mehr als 460 Ende 1996 [Stelzer, Taube /Verbesserung/]. Der Erfolgsbeitrag der ISO 9000-Normenfamilie wird kontrovers diskutiert [Beirne, Panteli, Ramsay /Process management/; Coster /Case Against ISO 9000/; Ould /CMM and ISO 9001/; Seddon /Case Against ISO 9000/; Stelzer, Mellis, Herzwurm /Critical Look/]. Über den Nutzen der Softwareprozeßverbesserung auf der Basis des Capability Maturity Model [Paulk u. a. /CMM Guidelines/] liegen bereits umfangreiche empirische Studien vor [Goldenson, Herbsleb /Appraisal/; Hayes, Zubrow /Data/; Herbsleb u. a. /Benefits/]. Vergleichbare Untersuchungen über den Nutzen des Qualitätsmanagements nach ISO 9000 für Softwareunternehmen gab es bisher nicht. Fundierte Aussagen über den Beitrag des Qualitätsmanagements zur Erhöhung von Produktqualität, Produktivität und Wettbewerbsfähigkeit von Softwareunternehmen waren deshalb nur schwer zu treffen. 1.2 Zielsetzung Stelzer und Taube [Stelzer, Taube /Verbesserung/] haben 1997 eine empirische Untersuchung unter den Softwareunternehmen in Deutschland durchgeführt, deren QM-System nach ISO 9001 zertifiziert worden war. Auf der Grundlage der Ergebnisse dieser Untersuchung soll im folgenden der Beitrag der ISO 9000 zur Erhöhung von Produktqualität, Produktivität und Wettbewerbsfähigkeit der Softwareunternehmen diskutiert werden. Im einzelnen werden folgende Fragen erörtert: x Wie beurteilen die Befragten den Erfolg der QM-Systeme?

- 3 - x Welche positiven und negativen Effekte des Qualitätsmanagements haben die Befragten wahrgenommen? x Wie ist der Stand der kontinuierlichen Verbesserung in den Softwareunternehmen zu beurteilen? x Welche Schlußfolgerungen lassen sich daraus für den Beitrag der ISO 9000 zur Erhöhung von Produktqualität, Produktivität und Wettbewerbsfähigkeit der Softwareunternehmen ziehen? 1.3 Vorgehensweise Die Untersuchung wurde im Frühjahr 1997 durchgeführt. Mit Hilfe der Zertifizierungslisten der bei der Trägergemeinschaft für Akkreditierung GmbH akkreditierten Zertifizierer wurden insgesamt 462 Softwareunternehmen mit Sitz in Deutschland identifiziert, deren QM-Systeme bis zum 31.12.1996 zertifiziert worden waren. Aus dieser Grundgesamtheit wurden in einer Stichprobenziehung 119 Unternehmen nach einem Zufallsprinzip ausgewählt. Die Qualitätsmanagement-Beauftragten in diesen Unternehmen erhielten nach einer telefonischen Anfrage einen standardisierten Fragebogen. Der siebenseitige Fragebogen umfaßt 21 Fragen, die in der Regel in mehrere Teilfragen bzw. Aussagen gegliedert sind. Der Fragebogen ist wiedergegeben in [Stelzer, Taube /Verbesserung/]. Neben Angaben zum Unternehmen und zum Aufgabenbereich des Befragten wurden die Teilnehmer gebeten, zu insgesamt fast 100 Aussagen Stellung zu nehmen. Der Fragebogen ist so angelegt, daß die einzelnen Aussagen auf einer fünfwertigen Ordinalskala von völlige über teils/teils bis völlige bewertet werden müssen (siehe Tabelle 1). völlige teils/ teils völlige keine Angabe ˆ ˆ ˆ ˆ ˆ ˆ +2 +1 0-1 -2 Tab. 1: Im Fragebogen verwendete Antwortskala Es wurden nur Markierungen der mit +2 oder +1 gekennzeichneten Antwortkästchen als zu der jeweiligen Aussage gewertet. Ebenso wurden nur Markierungen der mit -1 und -2 gekennzeichneten Antwortkästchen als der jeweiligen Aussage gewertet. Markierungen des mit 0 gekennzeichneten Antwortkästchens wurden weder als noch

- 4 - als gewertet. (Die numerischen Kennzeichnungen der Antwortkästchen waren für die Befragungsteilnehmer nicht sichtbar.) 90 gültige Fragebögen wurden zurückgeschickt. Dies entspricht einer Rücklaufquote von 75,6 %. In den Abschnitten 2 und 3 dieses Beitrags werden ausgewählte Ergebnisse der Untersuchung dargestellt. In Abschnitt 4 werden die Ergebnisse diskutiert. 2 Beschreibung der teilnehmenden Unternehmen 2.1 Größe der QM-Systeme In den befragten Unternehmen waren zwischen 6 und 400.000 Mitarbeiter beschäftigt. Die Antworten der Befragungsteilnehmer beziehen sich in der Regel auf den Geltungsbereich des QM- Systems, in dem die Befragten arbeiten. Dieser Geltungsbereich umfaßt nicht in allen Fällen das gesamte Unternehmen. Die Anzahl der Beschäftigten im Geltungsbereich des jeweiligen QM- Systems variiert bei den antwortenden Unternehmen von 1 bis 3.000 Mitarbeitern. Tabelle 2 gibt eine Übersicht über die Anzahl der Mitarbeiter im Geltungsbereich der QM-Systeme in den Unternehmen, die an der Befragung teilgenommen haben. Größe des Geltungsbereichs der QM-Systeme klein mittel groß Beschäftigtenanzahl 1-10 11-25 26-100 101-500 über 500 keine Angabe Anteil (Anzahl) Unternehmen, die in diese Größenklasse fallen 7,8% (7) 14,4% (13) 32,2% (29) 30,0% (27) 10,0% (9) 5,6% (5) Tab. 2: Anzahl der Beschäftigten im Geltungsbereich der QM-Systeme 2.2 Alter der QM-Systeme 16,7 % der befragten Softwareunternehmen sind zum Befragungszeitpunkt (31.03.1997) seit mehr als drei Jahren im Besitz eines zertifizierten QM-Systems. In rund der Hälfte der Unternehmen (47,8 %) wurde das QM-System vor mehr als zwei Jahren zertifiziert. Auf die Gruppe der QM- Systeme, die vor mehr als einem Jahr zertifiziert wurden, entfallen 84,4 %. Nur 15,6 % der befragten Unternehmen hatten ihr QM-System vor weniger als einem Jahr zertifizieren lassen. Berücksichtigt man, daß die meisten Unternehmen für den Aufbau des QM-Systems bis zur

- 5 - Zertifizierung in der Regel ein bis zwei Jahre benötigen [Bellin, Stelzer, Mellis /ISO 9000/ 351; Griese /ISO 9000/ 583], so kann man feststellen, daß mehr als 80 % der befragten Softwareunternehmen seit mehreren Jahren Erfahrung mit ihrem QM-System gesammelt haben. Tabelle 3 gibt eine Übersicht über das Alter der QM-Systeme. pro Kategorie kumuliert Alter der QM- Anteil Anzahl Anteil Anzahl Systeme in Jahren in % in % älter als 4 Jahre 7,8% 7 7,8% 7 3-4 Jahre 8,9% 8 16,7% 15 2-3 Jahre 31,1% 28 47,8% 43 1-2 Jahre 36,7% 33 84,4% 76 bis 1 Jahr 15,6% 14 100,0% 90 Tab. 3: Alter der QM-Systeme 2.3 Befragungsteilnehmer Die Befragung richtete sich an die Qualitätsbeauftragten der Unternehmen bzw. an Mitglieder der Unternehmensleitungen. Da jedoch nicht ausgeschlossen werden konnte, daß auch andere Personen (z. B. Softwareentwickler ohne Führungsaufgaben) den Fragebogen beantworten würden, wurde in einer offenen Frage der Funktions- bzw. Aufgabenbereich des Antwortenden erfragt. Die Antworten lassen sich in vier Kategorien aufteilen: Qualitätsmanagement, Geschäftsführung, Abteilungsleitung und Projektleitung/Softwareentwicklung. In 57,7 % der Fälle wurde der Fragebogen von einem Qualitätsbeauftragten beantwortet. Die Bezeichnungen variieren zwar (z. B. Leiter Qualitätsmanagement, Manager Quality Assurance, Unit Quality Manager, Fachbereichsleiter Quality Engineering u. a.), lassen sich aber eindeutig der Funktion des Qualitätsbeauftragten zuordnen. Addiert man die 16,7 % der Geschäftsführung angehörigen Antwortenden hinzu, so wurde der Fragebogen zu knapp Dreiviertel (74,4 %) von der gewünschten Zielgruppe beantwortet (siehe Tabelle 4).

- 6 - Anteil in % Anzahl Qualitätsmanagement 57,7% 52 Geschäftsführung 16,7% 15 Abteilungsleitung 16,7% 15 Projektleitung und SW-Entwicklung 8,9% 8 Tab. 4: Funktion bzw. Aufgabenbereich der Befragten Insgesamt rechnen sich 47,8 % der Personen, die den Fragebogen beantwortet haben, selber dem obersten Management ihres Unternehmens zu. Der Anteil der Personen, die sich nicht dem obersten Management zurechnen, liegt nur unwesentlich höher bei 51,1 % (siehe Tabelle 5). ja nein keine Angabe Befragter rechnet sich dem obersten Management zu 47,8% (43) 51,1% (46) 1,1% (1) Tab. 5: Hierarchische Position der Befragten 3 Erfolg der QM-Systeme Die in den folgenden Abschnitten dargestellten Ergebnisse wurden daraufhin untersucht, ob sich die Antworten der Befragungsteilnehmer je nach Größe des Unternehmens sowie nach Größe des Geltungsbereichs und Alter des QM-Systems voneinander unterscheiden. Es konnten jedoch keine signifikanten Unterschiede zwischen den Antworten aus kleinen und großen Unternehmen bzw. aus kleinen und großen QM-Systemen sowie zwischen jüngeren und älteren QM-Systemen festgestellt werden. 3.1 Erfolg der QM-Systeme, dargestellt anhand eines einfachen Indikators Der Erfolg von QM-Systemen kann unterschiedlich bewertet werden [Bruhn /Wirtschaftlichkeit/; SAQ /Wirtschaftlichkeit/]. Wir haben uns entschieden, zunächst einen einfachen Indikator für den Erfolg der QM-Systeme zu verwenden, nämlich, ob sich die Befragten mit ihrem Wissen über Kosten und Nutzen des Qualitätsmanagements zum Befragungszeitpunkt wieder für die Einführung eines ISO 9000-konformen QM-Systems entscheiden würden. 87,8 % der Befragten gaben an, daß sie wieder ein QM-System auf der Grundlage der ISO 9000 einführen würden. Annähernd ebenso viele (82,2 %) würden ihr QM-System wieder zertifizieren lassen. Die detaillierten Befragungsergebnisse sind in Tabelle 6 dargestellt. [Die Aussagen in dieser

- 7 - und in den folgenden Tabellen sind - zum Teil leicht gekürzt - aus dem Fragebogen übernommen worden. Die Prozentzahlen in der 2. Spalte der Tabelle () geben die Summe über die Prozentzahlen der in der Tabelle mit +2 und +1 gekennzeichneten Spalten wieder. Die Prozentzahlen in der 3. Spalte der Tabelle () geben die Summe über die Prozentzahlen der in der Tabelle mit -2 und -1 gekennzeichneten Spalten wieder.] Wenn wir mit unserem heutigen Wissen über Kosten und Nutzen des Qualitätsmanagements noch einmal entscheiden könnten, würden wir... Bewertungsskala 2 1 0-1 -2 keine Antwort... wieder ein ISO 9000-konformes QM-System aufbauen. 87,8% 5,6% 65,6% 22,2% 6,7% 5,6% -- --... unser QM-System wieder zertifizieren lassen. 82,2% 5,6% 57,8% 24,4% 12,2% 5,6% -- -- Tab. 6: Erfolg der QM-Systeme und der ISO 9001 Zertifizierung Fraglich ist, aufgrund welcher Kosten-Nutzen-Überlegungen die Teilnehmer zu ihren positiven Einschätzungen gelangen. 3.2 Positive Effekte des Qualitätsmanagements Positive Effekte, die durch das QM-System erzielt wurden (siehe Tabelle 7), erkennen die Befragungsteilnehmer vor allem in der Steigerung der Prozeßtransparenz (92,2 % ) sowie der Erhöhung von Produktqualität (67,8 %) und Kundenzufriedenheit (58,9 %). Eine Verbesserung der Produktivität (46,7 %) und der Motivation der Mitarbeiter (46,7 %) konnten weniger als die Hälfte der Befragten feststellen. 44,4 % der Befragungsteilnehmer sind der Ansicht, die Einführung des QM-Systems habe dazu geführt, daß Zeitpläne öfter eingehalten werden können. 28,9 % geben an, daß Budgetvorgaben häufiger eingehalten werden. Die Zufriedenheit der Mitarbeiter hat sich in weniger als einem Drittel der Unternehmen (27,8 %) verbessert. Eine Steigerung der Nachfrage nach den Softwareprodukten wird nur von wenigen der befragten Unternehmen (11,1 %) mit der Einführung des QM-Systems in Verbindung gebracht. 47,8 % der Befragten lehnen diesen Zusammenhang explizit ab.

- 8 - Durch die Einführung des QM-Systems... Bewertungsskala 2 1 0-1 -2 keine Antwort... stieg die Prozeßtransparenz. 92,2% 2,2% 56,7% 35,6% 3,3% 1,1% 1,1% 2,2%... stieg die Qualität der Produkte. 67,8% 6,7% 18,9% 48,9% 23,3% 6,7% -- 2,2%... erhöhte sich die Kundenzufriedenheit. 58,9% 7,8% 10,0% 48,9% 27,8% 4,4% 3,3% 5,6%... erhöhte sich die Produktivität der Mitarbeiter. 46,7% 15,6% 6,7% 40,0% 32,2% 11,1% 4,4% 5,6%... stieg die Motivation der Mitarbeiter zur kontinuierlichen Verbesserung. 46,7% 10,0% 5,6% 41,1% 38,9% 8,9% 1,1% 4,4%... konnten Zeitpläne öfter eingehalten werden. 44,4% 12,2% 4,4% 40,0% 35,6% 6,7% 5,6% 7,8%... konnten Budgetvorgaben öfter eingehalten werden. 28,9% 20,0% 3,3% 25,6% 36,7% 14,4% 5,6% 14,4%... erhöhte sich die Zufriedenheit der Mitarbeiter. 27,8% 18,9% 3,3% 24,4% 46,7% 15,6% 3,3% 6,7%... stieg die Nachfrage nach Produkten. 11,1% 47,8% -- 11,1% 24,4% 22,2% 25,6% 16,7% Tab. 7: Positive Effekte der Einführung der QM-Systeme 3.3 Negative Effekte des Qualitätsmanagements Die in der Untersuchung überprüften negativen Effekte (siehe Tabelle 8) traten nach Angaben der Befragungsteilnehmer nur in den wenigsten Unternehmen auf. Nur 4,4 % der Befragten sind der Meinung, daß durch den Aufbau des QM-Systems andere wichtige Vorhaben verzögert wurden. Genau so wenige Befragungsteilnehmer (4,4 %) sind der Ansicht, daß die Kosten der Einführung des Qualitätsmanagements den Nutzen bei weitem überstiegen haben. Nur 5,6 % sind der Meinung, daß außer dem Zertifikat kein wesentlicher Nutzen des QM-Systems entstanden sei. Die Aussage, daß anfänglich erzielte Verbesserungen mittlerweile wieder abgeflacht seien, lehnt zwar die Mehrheit der Unternehmen ab (53,3 % ), aber dieser Aussage stimmen immerhin 21,1 % der Befragten zu.

- 9 - Durch die Einführung des QM-Systems... Bewertungsskala 2 1 0-1 -2 keine Antwort... wurden zwar anfängliche Verbesserungen erzielt, die jedoch wieder abgeflacht sind. 21,1% 53,3% 4,4% 16,7% 22,2% 25,6% 27,8% 3,3%... entstand kein Nutzen außer Zertifikat. 5,6% 76,7% 1,1% 4,4% 15,6% 25,6% 51,1% 2,2%... überstiegen die Kosten den Nutzen bei weitem. 4,4% 70,0% 1,1% 3,3% 18,9% 30,0% 40,0% 6,7%... wurden wichtige Vorhaben verzögert. 4,4% 88,9% -- 4,4% 3,3% 15,6% 73,3% 3,3% Tab. 8: Negative Effekte der Einführung der QM-Systeme 3.4 Messungen im Rahmen der QM-Systeme Fraglich ist, inwiefern die von den Befragten genannten positiven und negativen Effekte der Einführung der QM-Systeme durch konkrete Zahlen, Daten und Fakten untermauert werden können. In dem Fragebogen wurden die Teilnehmer gebeten, Aussagen zu Messungen (im Sprachgebrauch der ISO 9000: statistische Methoden ) im Rahmen ihres QM-Systems zu machen (siehe Tabelle 9). 54,5 % der Befragten geben an, statistische Methoden zur Qualitätsmessung seien in dem QM- System dokumentiert. 48,9 % geben an, die dokumentierten Methoden werden konsequent zur kontinuierlichen Verbesserung angewendet. Daraus kann geschlossen werden, daß in ca. der Hälfte aller befragten Unternehmen im Rahmen des QM-Systems Messungen nicht oder nur sporadisch durchgeführt werden. Aber auch die Befragungsteilnehmer, die angeben, Messungen durchzuführen, haben die von ihnen wahrgenommenen Verbesserungen im Fragebogen nur in den seltensten Fällen quantifiziert.

- 10 - Aussagen Bewertungsskala 2 1 0-1 -2 keine Antwort Statistische Methoden zur Qualitätsmessung sind in unserem QM-System dokumentiert. 54,5% 26,7% 27,8% 26,7% 16,7% 20,0% 6,7% 2,2% Wir wenden diese zur kontinuierlichen Verbesserung konsequent an. 48,9% 31,1% 15,6% 33,3% 15,6% 21,1% 10,0% 4,4% Tab. 9: Messungen im Rahmen der QM-Systeme 3.5 Stand der kontinuierlichen Verbesserung Mehr als die Hälfte der Befragten (54,4 %) geben an, mit dem Verlauf und Erfolg ihrer kontinuierlichen Verbesserungsaktivitäten in den wichtigsten Geschäftsbereichen zufrieden zu sein. Zwar geben nur 6,7 % der Befragungsteilnehmer ausdrücklich an, mit Verlauf und Erfolg der Verbesserungsaktivitäten in den wichtigsten Geschäftsbereichen unzufrieden zu sein. Zieht man aber die hohe Zahl von Befragungsteilnehmern mit in Betracht, die diese Aussage mit teils/teils beantwortet haben, kann aus den Ergebnissen geschlossen werden, daß fast in der Hälfte aller teilnehmenden Unternehmen in den wichtigsten Geschäftsbereichen kontinuierliche Verbesserung nicht zur vollen Zufriedenheit der Befragten abläuft. Außerdem gibt es in vielen Unternehmen einige Geschäftsbereiche, in denen kontinuierliche Verbesserung nicht wie erwünscht durchgeführt wurde bzw. nicht den erhofften Erfolg erzielte. 40,0 % der Befragten geben an, daß sie mit Verlauf und Erfolg ihrer kontinuierlichen Verbesserungsaktivitäten in einigen Geschäftsbereichen unzufrieden sind (siehe Tabelle 10). Bewertungsskala Wir sind mit Verlauf und Erfolg unserer kontinuierlichen Verbesserungsaktivitäten... 2 1 0-1 -2 keine Antwort... in den wichtigsten Geschäftsbereichen zufrieden. 54,4% 6,7% 12,2% 42,2% 32,2% 6,7% -- 6,7%... in einigen Geschäftsbereichen unzufrieden. 40,0% 21,2% 10,0% 30,0% 28,9% 15,6% 5,6% 10,0% Tab. 10: Verlauf und Erfolg kontinuierlicher Verbesserung Um einen genaueren Einblick in die Bemühungen um kontinuierliche Verbesserung zu bekommen, haben wir die Teilnehmer gebeten, zu verschiedenen Aussagen Stellung zu nehmen (siehe Tabelle 11).

- 11 - Aussagen Bewertungsskala 2 1 0-1 -2 keine Antwort Unsere Geschäftsprozesse unterliegen einem systematischen Verbesserungsprozeß. Verbesserungen... sind in erster Linie Ergebnis einzelner sporadischer Veränderungen... Die Verbesserungen führen i.d.r. zu erhöhtem Kundennutzen. 61,1% 10,0% 36,7% 24,4% 27,8% 10,0% -- 1,1% 27,8% 60,0% 6,7% 21,1% 12,2% 42,2% 17,8% -- 61,1% 4,4% 18,9% 42,2% 30,0% 4,4% -- 4,4% Tab. 11: QM-System und kontinuierliche Verbesserung 61,1 % der Befragten geben an, die Geschäftsprozesse des Unternehmens unterlägen einem systematischen Verbesserungsprozeß. Dementsprechend lehnen 60 % der Befragten die Aussage ab, daß Verbesserungen in erster Linie Ergebnis einzelner sporadischer Veränderungen und nicht Ergebnis kontinuierlicher Bemühungen seien. Fraglich ist, zu welchen positiven Effekten die Bemühungen um kontinuierliche Verbesserung in den befragten Softwareunternehmen geführt haben. Lediglich 61,1 % der Befragungsteilnehmer sind davon überzeugt, daß die Verbesserungen in der Regel zu einem erhöhten Kundennutzen führen. 3.6 Beispiele für Verbesserungen Auf die Frage, ob in den letzten 12 Monaten mindestens eine erfolgreiche Verbesserung durchgeführt worden sei, antworten 92,2 % der Befragten mit ja, 2,2 % mit nein und 5,6 % mit weiß nicht. In einer (offenen) Frage wurden die Teilnehmer gebeten, ein Beispiel für erfolgreiche Verbesserungen zu nennen, die innerhalb der letzten 12 Monate durchgeführt worden waren. 79 der 90 Befragungsteilnehmer (87,8 %) nannten insgesamt mehr als 100 Beispiele (Mehrfachnennungen waren zulässig). Wir haben die Beispiele in verschiedenen Kategorien zusammengefaßt. In den folgenden Absätzen werden die Kategorien mit den meisten Nennungen kurz beschrieben. x Verbesserung des Projektmanagements (14 Nennungen) Die meisten Beispiele beziehen sich auf die Verbesserung der Planung, Steuerung und Kontrolle von Softwareentwicklungsprojekten. Die Beispiele umfassen die Neueinführung des Projektmanagements für die Softwareentwicklung, die Einführung einschlägiger Software, die

- 12 - Abstimmung von Projektcontrolling und Qualitätsmanagement sowie die Systematisierung der Risikoanalyse im Rahmen der Projektplanung. x Software-Qualitätssicherung (13 Nennungen) Annähernd ebenso viele Beispiele betreffen das Prüfen und Testen von Software bzw. von Produkten der frühen Phasen der Softwareentwicklung. Die Beispiele betreffen Definition und Vereinheitlichung von Qualitätssicherungsplänen und Testkonzepten, die gemeinsame Durchführung von Reviews der Fachanforderungen mit Kunden sowie die Verbesserung von Integrationstests. x Reorganisation der Aufbau- und Ablauforganisation (11 Nennungen) 11 Beispiele betreffen die Reorganisation von Strukturen und Abläufen im Unternehmen. In einem Unternehmen wurde eine auf 3 Geschäftsfelder ausgerichtete Profit-Center-Organisation eingeführt. In verschiedenen anderen Fällen wurden Schwachstellen in einzelnen betrieblichen Funktionen identifiziert und beseitigt. x Verbesserung der Dokumentation (10 Nennungen) 10 Beispiele beziehen sich auf die Verbesserung der Dokumentation von Produkten oder Prozessen. Die Beispiele reichen von der Einführung von Formatvorlagen für die Dokumentation von Softwareprodukten, über die Verbesserung des prozeßbegleitenden Dokumentationsflusses bis hin zur Umstellung der Qualitätsmanagement-Dokumentation von Papier auf IT-gestützte Systeme. x Toolentwicklung bzw. -einsatz (9 Nennungen) In 9 Fällen wurden Beispiele für die Neueinführung oder Verbesserung von Werkzeugen genannt. Diese unterstützen die Dokumentation und Bearbeitung von Fehlern und Änderungsanfragen, das Konfigurations- und Change Management sowie die Kommunikation der Mitarbeiter des Unternehmens. x Hotline und Fehlermanagement (8 Nennungen) In 8 Unternehmen wurde die Gestaltung der Hotline sowie die damit zusammenhängende Bearbeitung der Fehlermeldungen verbessert. Beispiele sind die Klassifizierung der gemeldeten Fehler, die Definition von Reaktionszeiten, innerhalb derer die gemeldeten Probleme behoben werden sollen, sowie die klarere Abgrenzung der Aufgaben und Verantwortungsbereiche der Mitarbeiter an der Hotline.

- 13 - Weitere Nennungen betreffen z. B. die Verbesserung der Kostenrechnung oder des Schulungsangebots für die Mitarbeiter des Unternehmens. Die Beispiele betreffen in erster Linie Verbesserungen der internen Leistungserstellung. Aber nur aus zwei der von den Befragungsteilnehmern genannten Beispielen geht hervor, daß die Verbesserungen zu nennenswerten Kostensenkungen geführt haben. Abgesehen von den Nennungen zur Gestaltung der Hotline betreffen nur wenige Beispiele Verbesserungen, die von den Kunden unmittelbar wahrgenommen werden können. Aus keinem dieser Beispiele geht hervor, ob die Verbesserungen zu Umsatzerhöhungen geführt haben. 4 Diskussion der Ergebnisse Die Rücklaufquote war mit 75,6 % - besonders angesichts des Umfangs des Fragebogens - erstaunlich hoch. Dies ist sicher auch darauf zurückzuführen, daß vor dem Versand der Fragebögen in jedem der in der Stichprobe enthaltenen Unternehmen telefonisch ein Ansprechpartner ermittelt und um Teilnahme gebeten wurde. Die hohe Rücklaufquote deutet aber auch darauf hin, daß das Interesse am Qualitätsmanagement und an kontinuierlicher Verbesserung in den Softwareunternehmen unverändert hoch ist. Offensichtlich beurteilt die überwiegende Mehrheit der Befragten das Kosten-Nutzen-Verhältnis des Aufbaus eines QM-Systems auf der Basis der ISO 9000 positiv. Immerhin geben 87,8 % der Befragten an, daß sie sich mit ihrem heutigen Wissen über Kosten und Nutzen des Qualitätsmanagements wieder für die Einführung eines ISO 9000-konformen QM-Systems entscheiden würden. Hierbei ist allerdings zu berücksichtigen, daß sich mehr als die Hälfte der Antwortenden selbst dem Qualitätsmanagement zurechnen und deswegen mit entsprechenden Aussagen den Erfolg der eigenen Arbeit bewerten. Es erstaunt nicht, daß solche Bewertungen in der Regel positiv ausfallen. Man würde den Angaben ein höheres Gewicht beimessen können, wenn die pauschalen Einschätzungen über den Erfolg der QM-Systeme mit konkreten Angaben zu Kosten und Nutzen untermauert würden. Nur 4 der 90 Befragungsteilnehmer (4,4 %) sind der Meinung, daß die Kosten den Nutzen der Einführung des QM-Systems deutlich überstiegen haben. Wir haben in unserer Untersuchung nicht nach konkreten Angaben zu den Kosten des Qualitätsmanagements gefragt. Aus einer früheren Untersuchung [Stelzer, Mellis, Herzwurm /Software Process Improvement/] ist jedoch bekannt, daß die Kosten der Einführung eines QM-Systems in deutschen Softwareunternehmen mindestens DM 300.000 betragen. Daß die Kosten - vor allem für QM-Systeme mit großem Geltungsbereich -

- 14 - in der Regel deutlich über diesem Betrag liegen dürften, kann man sich mit folgenden Überlegungen deutlich machen. In den ein bis zwei Jahren, in denen sich die meisten Unternehmen auf die Zertifizierung vorbereiten [Stelzer, Mellis, Herzwurm /Software Process Improvement/], ist in der Regel mindestens ein Mitarbeiter während nahezu seiner gesamten Arbeitszeit mit dem Aufbau des QM-Systems beschäftigt. Ein großer Teil der Mitarbeiter wird in die Beschreibung und Analyse der betrieblichen Aktivitäten einbezogen und muß nach Fertigstellung des QM-Systems geschult werden. Hinzu kommen die Kosten für die Pflege und Weiterentwicklung des Qualitätsmanagements. Es müssen erhebliche positive Auswirkungen auftreten, um diese Kosten zumindest auszugleichen. Der am häufigsten genannte positive Effekt (92,2 %) ist die gesteigerte Prozeßtransparenz. Das deutet darauf hin, daß die Ablauforganisation in vielen Softwareunternehmen vor der Einführung des QM-Systems intransparent war. Qualitätsmanagement auf der Basis der ISO 9000 setzt die Identifikation, Dokumentation und Verbesserung der Software(entwicklungs)prozesse voraus. Insofern erstaunt die gesteigerte Prozeßtransparenz nicht. Allerdings ist eine verbesserte Transparenz der Prozesse kein Selbstzweck. Sie muß zu anderen positiven Auswirkungen führen. In diesem Zusammenhang fällt auf, daß trotz verbesserter Prozeßtransparenz die Einhaltung von Zeitplänen (44,4 %) und von Budgetvorgaben (28,9 %) nur in wenigen Unternehmen verbessert werden konnte. Eine noch größere Diskrepanz ergibt sich, wenn man die Antworten zu Produktqualität, Kundenzufriedenheit und Produktnachfrage miteinander vergleicht. 67,8 % der Befragten geben an, durch die Einführung des QM-Systems habe sich eine höhere Qualität der Produkte ergeben. 58,9 % der Antwortenden berichten über gestiegene Kundenzufriedenheit. Allerdings hat die Einführung des QM-Systems nur in 11,1 % der Unternehmen zu einer erhöhten Produktnachfrage geführt. Mit folgenden Überlegungen sollen die oben angedeuteten Diskrepanzen erörtert werden. 1. Nur in weniger als der Hälfte der teilnehmenden Unternehmen werden Messungen im Rahmen des QM-Systems durchgeführt. Offensichtlich beruhen die Einschätzungen vieler Befragungsteilnehmer zu Prozeßtransparenz, Produktqualität und Kundenzufriedenheit eher auf subjektiven Empfindungen und weniger auf Zahlen, Daten und Fakten. Möglicherweise überschätzen die Befragten die positiven Auswirkungen der Einführung von QM-Systemen. 2. Möglicherweise konnten Prozeßtransparenz, Produktqualität und Kundenzufriedenheit tatsächlich in vielen Unternehmen mit Hilfe des QM-Systems gesteigert werden. Wenn aber (a) transparentere Prozesse nicht zu einer verbesserten Einhaltung von Zeitplänen und

- 15 - Budgetvorgaben und (b) verbesserte Produktqualität und Kundenzufriedenheit nicht zu einer höheren Nachfrage führen, müssen sich die Verantwortlichen fragen lassen, ob sie für den wirtschaftlichen Erfolg ihres Unternehmens relevante Qualitätsmerkmale verbessert haben. (Denkbar wäre auch, daß die verbesserte Produktqualität und Kundenzufriedenheit höhere Preise ermöglicht hat, dafür gibt es aber keine Hinweise.) Zwar gibt etwa die Hälfte der Befragungsteilnehmer an, Messungen seien im QM-System dokumentiert und würden konsequent angewendet. Die Tatsache, daß nur die wenigsten Befragten die von ihnen wahrgenommenen Verbesserungen quantifizieren, läßt aber darauf schließen, daß Messungen nur in Ausnahmefällen sinnvoll durchgeführt werden. Dies ist möglicherweise darauf zurückzuführen, daß die ISO 9001 seit der Revision von 1994 [DIN, EN, ISO /ISO 9001: 1994/] Messungen nicht mehr zwingend fordert. Es deutet aber auch darauf hin, daß die von der ISO 9004-1 [DIN, EN, ISO /ISO 9004-1: 1994/] empfohlenen finanziellen Überlegungen zu QM- Systemen ( Es ist wichtig, daß die Wirksamkeit eines QM-Systems in finanziellen Größen gemessen wird [DIN, EN, ISO /ISO 9004-1: 1994/ Abschnitt 6]) von den meisten Softwareunternehmen offenbar nicht angestellt werden. Diese Vermutung deckt sich mit den Ergebnissen früherer Untersuchungen [Bellin, Stelzer /Ergebnisse/; Stelzer, Mellis, Herzwurm /Software Process Improvement/], in denen festgestellt wurde, daß nur einige der deutschen Softwareunternehmen mit zertifiziertem QM-System Kosten und Nutzen des Qualitätsmanagements quantifizieren. Die Vermutung der nur schwach ausgeprägten Messungen deckt sich auch mit den Ergebnissen einer von Goodhew durchgeführten Untersuchung zu Stärken und Schwächen europäischer Softwareunternehmen [Goodhew /SPI World Trends/]. In dieser Studie wurde festgestellt, daß die unzureichende Durchführung von Messungen eine besondere Schwachstelle deutscher Softwareunternehmen ist. Kontinuierliche Verbesserung ist laut ISO 9000-1 ein wesentliches Element des Qualitätsmanagements [DIN, EN, ISO /ISO 9000-1: 1994/ Abschnitt 0]. Das Ausmaß, in dem kontinuierliche Verbesserung praktiziert wird, könnte als Indiz für die Akzeptanz des Qualitätsmanagements verstanden werden. Intensive kontinuierliche Verbesserung würde darauf hindeuten, daß die Verantwortlichen der Meinung sind, mit dem Qualitätsmanagement auf dem richtigen Weg zu sein. Weniger stark ausgeprägte kontinuierliche Verbesserung könnte darauf hindeuten, daß die Verantwortlichen Zweifel an der Bedeutung des Qualitätsmanagements haben. Zwar geben 54,4 % der Befragten an, mit Verlauf und Erfolg der kontinuierlichen Verbesserung in den wichtigsten Geschäftsbereichen zufrieden zu sein. Daraus kann aber auch geschlossen werden, daß fast die Hälfte der Befragten damit nicht zufrieden ist.

- 16 - Rund 60 % der Befragten sind der Meinung, daß die durchgeführten Änderungen zu einem erhöhten Nutzen für die Kunden führen. Das bedeutet aber im Umkehrschluß, daß ca. 40 % der Befragten nicht davon überzeugt sind, daß die durchgeführten Änderungen den Kunden nutzen. Dies ist bemerkenswert, da Steigerung des Kundennutzens im allgemeinen als ein wesentliches Ziel des Qualitätsmanagements verstanden wird. Möglicherweise neigt das Qualitätsmanagement in vielen Softwareunternehmen dazu, Mängel der internen Leistungserstellung zu bekämpfen, ohne dabei konsequent die Steigerung des Kundennutzens zu verfolgen. Sollte diese Vermutung richtig sein, so könnte dies z. B. erklären, warum das Qualitätsmanagement nur in wenigen Unternehmen zu einer Steigerung der Nachfrage nach den angebotenen Produkten und Dienstleistungen geführt hat. Welche Schlußfolgerungen lassen sich aus den Ergebnissen für den Beitrag der ISO 9000 zur Erhöhung von Produktqualität, Produktivität und Wettbewerbsfähigkeit der Softwareunternehmen ziehen? Die Mehrheit der Befragten beurteilt das Kosten-Nutzen-Verhältnis des Qualitätsmanagements positiv. Sie führen verschiedene Verbesserungen der internen Leistungserstellung, z. B. in den Bereichen Projektmanagement, Software-Qualitätssicherung oder in der Aufbau- und Ablauforganisation, auf die Einführung eines ISO 9000-konformen QM-Systems zurück. Inwiefern sich diese Verbesserungen auf Produktqualität, Produktivität und Wettbewerbsfähigkeit der Softwareunternehmen auswirkt, bleibt unklar, da nur die wenigsten Befragungsteilnehmer die Auswirkungen quantifizieren können. 5 Literatur Beirne, Panteli, Ramsay /Process management/ Martin Beirne, Androniki Panteli, Harvie Ramsay: Going soft on quality?: Process management in the Scottish software industry. In: Software Quality Journal. Nr. 3, 1997, S. 195-209 Bellin, Stelzer /Ergebnisse/ Georg Bellin, Dirk Stelzer: Softwarequalitätsmanagement gemäß ISO 9000. Ergebnisse einer empirischen Untersuchung zertifizierter Qualitätsmanagementsysteme. Studien zur Systementwicklung des Lehrstuhls für Wirtschaftsinformatik der Universität zu Köln. Band 7. Köln 1995 Bellin, Stelzer, Mellis /ISO 9000/ Georg Bellin, Dirk Stelzer, Werner Mellis: ISO 9000: Ein Qualitätsstandard ohne Auswirkung

- 17 - auf die Softwareentwicklung? In: Heinrich C. Mayr (Hrsg.): Beherrschung von Informationssystemen. Tagungsband der Informatik '96. Wien - München 1996, S. 347-366 Bruhn /Wirtschaftlichkeit/ Manfred Bruhn: Wirtschaftlichkeit des Qualitätsmanagements. Qualitätscontrolling für Dienstleistungen. Berlin u.a. 1998 Coster /Case Against ISO 9000/ Andy Coster: The Case Against ISO 9000: A Response. In: Software Process Newsletter. Nr. 11, Winter 1998, S. 2 DIN, EN, ISO /ISO 9000-1: 1994/ DIN, EN, ISO (Hrsg.): Normen zum Qualitätsmanagement und zur Qualitätssicherung / QM- Darlegung. Teil 1: Leitfaden zur Auswahl und Anwendung. DIN EN ISO 9000-1: 1994-08. Berlin 1994 DIN, EN, ISO /ISO 9001: 1994/ DIN, EN, ISO (Hrsg.): Qualitätsmanagementsysteme. Modell zur Qualitätssicherung / QM- Darlegung in Design / Entwicklung, Produktion, Montage und Wartung. DIN EN ISO 9001: 1994-08. Berlin 1994 DIN, EN, ISO /ISO 9004-1: 1994/ DIN, EN, ISO (Hrsg.): Qualitätsmanagement und Elemente eines Qualitätsmanagementsystems. Teil 1: Leitfaden. DIN EN ISO 9004-1: 1994-08. Berlin 1994 Goldenson, Herbsleb /Appraisal/ Dennis Goldenson, James D. Herbsleb: After the Appraisal: A Systematic Survey of Process Improvement, its Benefits, and Factors that Influence Success. Technical report CMU/SEI-95- TR-009. Pittsburgh 1995 Goodhew /SPI World Trends/ Peter Goodhew: SPI World Trends/European Best Practice. In: o. Hrsg.: The first annual European Software Engineering Process Group Conference 1996. Amsterdam 24-27th June 1996. Amsterdam 1996, S. C306 1-6 Griese /ISO 9000/ Joachim Griese: Der Beitrag von ISO 9000 zur Software-Qualitätssicherung. In: Wirtschaftsinformatik. Nr. 6, 1993, S. 575-585

- 18 - Hayes, Zubrow /Data/ Will Hayes, Dave Zubrow: Moving on up: Data and Experience doing CMM-Based Process Improvement. Technical Report. CMU/SEI-95-TR-008. ESC-TR-95-008. Pittsburgh, PA 1995 Herbsleb u. a. /Benefits/ James Herbsleb, Anita Carleton, James Rozum, Jane Siegel, David Zubrow: Benefits of CMM-Based Software Process Improvement: Initial Results. Technical Report. CMU/SEI-94- TR-13. ESC-TR-94-013. Pittsburgh 1994 Ould /CMM and ISO 9001/ Martyn A. Ould: CMM and ISO 9001. In: Software Process - Improvement and Practice. Nr. 4, Dezember 1996, S. 281-289 Paulk u. a. /CMM Guidelines/ Mark C. Paulk, Charles V. Weber, Bill Curtis, Mary Beth Chrissis: The Capability Maturity Model: Guidelines for Improving the Software Process. Reading, Mass. u. a. 1995 SAQ /Wirtschaftlichkeit/ SAQ - Schweizerische Arbeitsgemeinschaft für Qualitätsförderung (Hrsg.): Wirtschaftlichkeit der Software-Qualitätssicherung. Zürich 1989 Seddon /Case Against ISO 9000/ John Seddon: The Case Against ISO 9000. In: Software Process Newsletter. Nr. 11, Winter 1998, S. 1-2 Stelzer, Mellis, Herzwurm /Critical Look/ Dirk Stelzer, Werner Mellis, Georg Herzwurm: A Critical Look at ISO 9000 for Software Quality Management. In: Software Quality Journal. Nr. 2, 1997, S. 65-79 Stelzer, Mellis, Herzwurm /Software Process Improvement/ Dirk Stelzer, Werner Mellis, Georg Herzwurm: Software Process Improvement via ISO 9000? Results of Two Surveys Among European Software Houses. In: Software Process - Improvement and Practice. Nr. 3, 1996, S. 197-210 Stelzer, Taube /Verbesserung/ Dirk Stelzer, Frank Taube: Stand der kontinuierlichen Verbesserung in der Softwareentwicklung. Ergebnisse einer empirischen Untersuchung bei Softwareunternehmen in Deutschland, deren Qualitätsmanagementsystem nach ISO 9001 zertifiziert wurde. Studien

- 19 - zur Systementwicklung des Lehrstuhls für Wirtschaftsinformatik der Universität zu Köln. Band 13. Köln 1998 Ungermann u. a. /Qualitätsmanagement/ C. Ungermann, F.-J. Tesch, B. Stolpe, M. Weissert: Qualitätsmanagement bei der Software- Erstellung. Leitfaden für die Umsetzung der DIN EN ISO 9000 ff. Düsseldorf 1996