Prof. Dr. Rüdiger Zarnekow Technische Universität Berlin Fakultät für Wirtschaft und Management Fachgebiet Informations- und Kommunikationsmanagement Ergebnisbericht zur Evaluation des Modells zur Systematisierung und Erhebung der IT- Qualität in der Berliner Verwaltung Berlin, den 30. Mai 2011 1. Einleitung In diesem Bericht fasse ich die Ergebnisse der Evaluation des Modells zur Systematisie- rung und Erhebung der IT- Qualität in der Berliner Verwaltung zusammen. Die Evalua- tion wurde von mir im Zeitraum Januar bis April 2011 durchgeführt und basiert auf den mir zur Verfügung gestellten Dokumenten und Unterlagen der Arbeitsgruppe IT- Quali- tät, sowie den im Rahmen des ersten Probedurchlaufs gewonnenen Erkenntnissen. Gemäß Auftrag habe ich das Modell aus inhaltlicher und methodischer Sicht evaluiert, mit anderen Modellen (insbesondere ITIL) abgeglichen und mit mir bekannten, ähnlich gelagerten Projekten der Privatwirtschaft verglichen. Zunächst erfolgt eine zusammenfassende Beurteilung der wesentlichen Evaluationser- gebnisse. Im Anschluss daran gehe ich auf die einzelnen Elemente des Modells, insbe- sondere die Vorgehensmethodik, die gewählten Dimensionen und die verwendeten Indi- katoren, vertieft ein. 2. Zusammenfassende Beurteilung Das in der AG IT- Qualität entwickelte Modell adressiert ein für die Berliner Verwaltung wichtiges Themengebiet. Meine Beobachtungen und Erfahrungen aus anderen Wirt- 1
schaftszweigen und Projekten zeigen, dass eine organisationsübergreifende Bewertung der IT- Qualität auf Basis eines einheitlichen und abgestimmten Verfahrens zukünftig auch in der öffentlichen Verwaltung stark an Bedeutung gewinnen wird. Ich halte das Modell und die gewählte Vorgehensmethodik für sehr gut geeignet, um belastbare Erkenntnisse zur Qualität des IT- Infrastruktur- Service in der Ber- liner Verwaltung zu gewinnen. Die verwendeten Modelldimensionen und Indikatoren decken die zentralen Teilberei- che der IT- Service- Qualität ab und entsprechen weitgehend den in anderen Referenz- modellen, wie z.b. der IT Infrastructure Library (ITIL), vorgeschlagenen Kennzahlen zur Qualitätsbewertung. Das Vorgehen zur Gewichtung der Dimensionen und zur Ermittlung der Qualitätsausprägungen der einzelnen Indikatoren ist aus wissenschaftlicher Sicht methodisch korrekt und zielführend. Es ist vergleichbar mit mir bekannten, in der Privatwirtschaft eingesetzten Verfahren zur Qualitätsermittlung und zum Benchmar- king. Die mit Hilfe des Modells ermittelte IT- Qualitäts- Kennzahl ist aussagekräftig und erlaubt einen Vergleich von Behörden in der Berliner Verwaltung. Dies gilt auch für den Vergleich von Behörden unterschiedlicher Größe, da die Aussagekraft der Kennzahl unabhängig von der Größe der betrachteten Organisationseinheit ist. Einschränkend ist anzumerken, dass eine reine IT- Qualitätskennzahl für sich betrachtet grundsätzlich keine direkten Rückschlüsse auf die Höhe der IT- Kosten einer Behörde zulässt. Hierzu müsste das Modell um eine Leistungsdimension ergänzt werden, inner- halb derer einerseits der inhaltliche und funktionale Leistungsumfang des IT- Infrastruk- tur- Service einer Behörde sowie andererseits die erbrachten Leistungsmengen ermittelt werden. Das in der AG IT- Qualität entwickelte Modell zur Ermittlung einer IT- Leistungs- Kennzahl stellt einen ersten Schritt in diese Richtung dar, es sollte jedoch weiter ausge- baut und mit den bereits existierenden Planungswerkzeugen verzahnt werden. Eine derartige Weiterentwicklung halte ich für sinnvoll und empfehlenswert. Das Modell und die Vorgehensmethodik ist geeignet, um im Sinne einer Best Practice den Erfahrungsaustausch zwischen den Berliner Behörden zu fördern und Lerneffekte zu generieren. Mittel- und langfristig kann das Modell als Grundlage für einen über die Berliner Verwaltung hinausgehenden Vergleich mit anderen Städten und Regionen genutzt werden (Benchmarking). 2
Meine Vorschläge und Empfehlungen zur Verbesserung und Weiterentwicklung des Modells sind in den folgenden Abschnitten enthalten. Zusammenfassend empfehle ich, die jährliche Erfassung der IT- Qualität auf Basis des vorgeschlagenen Modells in jedem Fall einzuführen und zu verstetigen. Der dadurch erzielte Nutzen übersteigt meines Erachtens deutlich den erforderlichen Aufwand. 3. Vorgehensmethodik Wie bereits im vorigen Abschnitt erwähnt, ist das gewählte Vorgehen zur Ermittlung der IT- Qualitäts- Kennzahl aus wissenschaftlicher und methodischer Sicht korrekt. Das Ver- fahren zur Gewichtung der Dimensionen ist sinnvoll. Auf eine Gewichtung der einzelnen Indikatoren kann verzichtet werden, da hierdurch die Komplexität deutlich erhöht wird und letztendlich eine Scheingenauigkeit entsteht. Die Anzahl der Dimensionen und Indi- katoren ist so gewählt, dass der Detaillierungsgrad einerseits ausreichend für ein aus- sagekräftiges Ergebnis ist und andererseits der Erhebungsaufwand nicht zu hoch wird. Das gewählte Vorgehen, die Behörde mit der höchsten IT- Qualitätskennzahl ihr Ergebnis in der Arbeitsgruppe vorstellen und verteidigen zu lassen, sollte unbedingt beibehalten werden. Bereits im Rahmen des Probedurchlaufs hat sich gezeigt, dass dieses Vorgehen einen sehr positiven Effekt hat und den Erfahrungsaustausch zwischen den Behörden fördert. Der Probelauf hat darüber hinaus gezeigt, dass einzelne Indikatoren von den Behörden zum Teil unterschiedlich interpretiert wurden. Um diesen Effekt zu vermeiden und die Aussagekraft der Ergebnisse zu erhöhen, empfehle ich, zukünftig vor Beginn der Erhe- bungsphase einen gemeinsamen Vorbereitungsworkshop mit allen an der Erhebung beteiligten Personen/Behörden durchzuführen, in dem die einzelnen Dimensionen, Indi- katoren und Ausprägungen vorgestellt und offene Fragen diskutiert werden können. Eine Reihe von Indikatoren werden aktuell durch eine Selbsteinschätzung der jeweiligen IT- Organisationen bewertet. Dies kann methodisch betrachtet zu Verzerrungen führen, da bei Selbsteinschätzungen stets die Gefahr der subjektiven Bewertung besteht. Grund- sätzlich wäre es daher sinnvoll, die Fachbereiche und Nutzer stärker in den Prozess einzubinden. Die tatsächliche Qualität kann bei einer Reihe der verwendeten Indikato- ren letztendlich nur durch die Nutzer des IT- Infrastruktur- Service beurteilt werden. Dies gilt insbesondere für die Indikatoren in der Dimension Service. Eine stärkere 3
Einbindung der Nutzer kann beispielsweise durch eine engere Verzahnung mit dem Projekt Kundenmonitoring erfolgen. 4. Dimensionen und Indikatoren Die vier gewählten Dimensionen Service, Störungen und Probleme, Sicherheit und Umwelt decken die relevanten Bereiche zur Qualitätsermittlung von IT- Services ab. Die Dimension Umwelt fällt mit aktuell nur 3 Indikatoren vom Umfang her gegenüber den anderen Dimension etwas ab. Auf Grund der zunehmenden Bedeutung der Umwelt- dimension (Schlagwort Green IT ) sollte diese jedoch beibehalten werden. Durch eine entsprechende Gewichtung der Dimension können Unterschiede jederzeit ausgeglichen werden. Die Dimension Service könnte zwecks besserem Verständnis in Anlehnung an die in ITIL verwendete Terminologie als Service Support bezeichnet werden. In den bisherigen Dimensionen nicht berücksichtigt sind Fragen der IT- Beschaffung. Auf Grund der zunehmenden Bedeutung des IT- Sourcing, auch in der öffentlichen Verwal- tung, spielen Lieferanten eine wichtige Rolle für die IT- Qualität. Es sollte daher mittel- fristig überlegt werden, Indikatoren zur Beurteilung der Lieferantenqualität in das Modell zu integrieren. Eine weitere sinnvolle Ergänzung des Modells liegt meines Erachtens in der Integration einer Dimension Planung. Die bisherigen Dimensionen und Indikatoren sind stark auf die operative Leistungserbringung ausgerichtet. Planungsprozesse, wie zum Beispiel die Kapazitätsplanung, Verfügbarkeitsplanung, Notfallplanung, Service Level Management, Finanzplanung etc., haben ebenfalls starke Auswirkungen auf die IT- Qualität. So kann eine mangelhafte Kapazitätsplanung beispielsweise zu Kapazitätsengpässen und daraus resultierenden Qualitätseinbussen führen. Schlecht geplante Service Level führen zu Unzufriedenheit der Nutzer und somit zu einer geringeren Qualitätswahrnehmung. Die im jetzigen Modell enthaltenen planungsorientierten Indikatoren, ergänzt um weitere Planungsindikatoren, könnten in einer neuen Dimension Planung zusammengefasst werden. Für die konkrete Ausgestaltung bilden die in ITIL enthaltenen Planungspro- zesse eine gute Grundlage. Auf der Ebene der Indikatoren empfehle ich generell, die Messung durch Eigenschätzung so wenig wie möglich zu verwenden (siehe oben) und Indikatoren mit einer reinen Ja/Nein Ausprägung stärker zu differenzieren oder zu modifizieren. Wenn immer mög- lich, sollte eine systemgestützte Erfassung, zum Beispiel auf Basis eines Ticket- Systems oder weiterer im Einsatz befindlicher Überwachungs- und Monitoring- Werkzeuge, vor- 4
genommen werden, da auf diese Weise eine weitgehend objektive Beurteilung der Indi- katorenausprägung erfolgen kann. Die Detailbeurteilung der einzelnen Indikatoren habe ich im Januar 2011 in einer sepa- raten Excel- Tabelle vorgenommen. Die Vorschläge wurden zum Teil bereits aufgegriffen und im Probedurchlauf umgesetzt. Aus ITIL und weiteren mir bekannten Kennzahlen- systemen ergeben sich folgende zusätzliche Indikatoren, die potenziell für die Erhebung der IT- Service- Qualität relevant sind: Offene Aufträge (keine Störungen) Termingerechte Erledigung von Aufträgen Known- Errors / Workarounds (Problem Management) Mean Time Between Service Interruption Kapazitätsengpässe Auslastungsgrad Infrastruktur (Hardware, Netz) Power Usage Effectiveness (zentrale Infrastruktur) Termingerechte Changes Offene Change Requests Termingerechte Releases Configuration Management Database Verfügbarkeitsgrad zentrale Infrastrukturservices (Email, Web, Speicher etc.) Lieferantenmanagement Altersstruktur Infrastruktur (wird in IT- Bestands- und Planungsübersicht jährlich erfasst) Die Eignung dieser zusätzlichen Indikatoren, sowie mögliche Ausprägungen und Erfas- sungsmethoden, sind im Einzelfall durch die Arbeitsgruppe zu prüfen. Prof. Dr. Rüdiger Zarnekow 5