Mystery Shopping als Bewertungsmethode der Dienstleistungsqualität von Bibliotheken

Transkript

1 Mystery Shopping als Bewertungsmethode der Dienstleistungsqualität von Bibliotheken Robert Barth, Karin Garbely, Marita Kieser Der Rahmen der Untersuchung Die Hochschule für Technik und Wirtschaft in Chur ist die einzige Ausbildungsstätte für zukünftige Archivare, Bibliothekarinnen und Dokumentalistinnen auf Fachhochschulebene in der deutschsprachigen Schweiz. Sie hat darüber hinaus die Aufgabe, angewandte Forschung zu betreiben und Dienstleistungen zu erbringen. Letzteres vor allem in Form von Beratungsaufträgen bei öffentlichen und wissenschaftlichen Bibliotheken, Archiven und Dokumentationsstellen. Natürlich hätte sie auch die Pflicht, der Fachgemeinschaft Weiterbildung zu bieten, was in der bisherigen gut zehnjährigen Geschichte der Fachhochschule nur bedingt erfolgen konnte. Immerhin schaffen die Diplomarbeiten die Möglichkeit, Forschungsergebnisse Interessierten aus der Praxis zu Verfügung zu stellen. Bewusst werden deshalb auch Themen ausgewählt, die den Transfer von internationalen Trends in die Praxis ermöglichen sollen. Die folgende Präsentation erfüllt diese letzte Aufgabe. Sie ist das Ergebnis einer Abschlussarbeit zweier Studierender, Karin Garbely und Marita Kieser. Vorausgegangen war ihnen eine nicht veröffentlichte mehr theoretisch orientierte Arbeit von Andrea Hofer (Hofer, 2006). In Rahmen dieser Präsentation geht es primär um die Erläuterung und Beurteilung der Methode und weniger um die erzielten Resultate bei den Bibliotheken. Aus verständlichen Gründen sind die Ergebnisse auch anonymisiert. 1

2 Begriffserklärung Mystery Shopping bildet eine Möglichkeit, die Empfindungen eines (fiktiven) Kunden in Hinblick auf seine Erfahrungen mit einem Dienstleistungsprozess bzw. seine subjektive Wahrnehmung von Dienstleistungsqualität auf möglichst objektiver Ebene durch den Einsatz von Mystery Shoppern zu eruieren. (Lingenfelder / Schmidt / Wieseke, 2006, S. 194, zit. in: Bruhn / Stauss, 2006, S ) Dabei spielen Testkunden real simulierte Kundensituationen durch und prüfen bestimmte Kriterien anhand eines standardisierten Erhebungsinstrumentes. Andere Bezeichnungen für diese Methode sind Silent Shopping, Mystery Check, Test Shopping, Testkauf etc. Die Ergebnisse werden durch unterschiedliche Methoden gesammelt: Mystery observation Mystery visits Mystery telephone calls Mystery mail or fax Mystery website visits (Hofer, 2006, S. 7) In der vorliegenden Untersuchung wurden mit Ausnahme des Fax und der Webseiten alle Varianten verwendet. Eingesetzt wird Mystery Shopping vor allem in Branchen mit hoher Beratungsleistung, wie beispielsweise im Einzelhandel, in Versicherungen, Banken, Fluggesellschaften und einem weiteren Publikum am besten bekannt - in der Gastronomie. Mystery Shopping wurde bereits in den USA, England, Holland und Deutschland, primär in öffentlichen Bibliotheken, erfolgreich durchgeführt. Vereinzelt wurde kritisiert, dass Mystery Shopping eine Bespitzelungsmethode sei. Aus seriöser Sicht betrachtet, ist dies jedoch nicht der Fall. Denn mit Mystery Shopping sollen nicht Schuldige gesucht, sondern Verbesserungspotentiale aufgezeigt werden. Zum Schutz der Mitarbeitenden hat die European Society for Opinion and Marketing Research die so genannten ESOMAR-Richtlinien verabschiedet, die unter anderem die Privatsphäre und den Datenschutz der Mitarbeitenden regeln. 2

3 Die Methode kann verwendet werden zur Überprüfung eines einzelnen Dienstleisters namentlich zum Abgleich mit dessen selbst definierten Qualitätsstandards oder zum Vergleich verschiedener Institutionen, wie dies im vorliegenden Beispiel der Fall war. Der folgende Test fand im Sommer 2008 bei den sechs Deutschschweizer Hochschulbibliotheken statt: - Universitätsbibliothek Basel - Universitätsbibliothek Bern - Zentral- und Hochschulbibliothek Luzern - Universitätsbibliothek St. Gallen - Zentralbibliothek Zürich - ETH-Bibliothek Zürich Mit Ausnahme der UB St. Gallen und der ETH-Bibliothek haben diese Sammlungen je auch den Auftrag einer wissenschaftlichen Stadt- und Kantonsbibliothek. Berücksichtigt wurden nur die zentralen Häuser dieser Bibliotheken und keine Institutsbibliotheken oder Filialen. Bei der Vorbereitung der Studie interessierten uns namentlich die folgenden Fragen: (Ich schicke diese voraus, um Sie während der Darlegung der Ergebnisse und der Methode zum Vornherein zu sensibilisieren.) 1. Kann Mystery Shopping in wissenschaftlichen Bibliotheken erfolgreich angewendet werden? 2. Sind Bibliotheksdienstleistungen, die einen Anteil an weichen Elementen, wie Freundlichkeit enthalten, mit Mystery Shopping objektiv bewertbar? 3. Ist Mystery Shopping eine geeignete Methode für einen Bibliotheksvergleich? 4. Reichen vier Besuche aus, um repräsentative Ergebnisse zu erhalten? 5. Wer muss die Beurteilung durchführen, damit man zu objektiven Resultaten kommt: Laien, Berufsleute aus der Bibliotheksszene oder Profis von Befragungsinstituten? 3

4 In diesem Rahmen nur ganz kurz einige Hinweise zur Abgrenzung von anderen Methoden der Qualitätsmessung. Die Benutzerbefragung gibt den subjektiven Eindruck von Kunden wieder, es liegt kein einheitlicher Qualitätsmassstab zugrunde. Betriebsvergleiche wie der Bibliotheksindex (BIX) beruhen auf dem innerbetrieblichen Berichtswesen und primär auf quantitativen Werten wenngleich sie auch zu qualitativen Ergebnissen kommen (z.b. Erneuerungsquote). (Hofer, 2006, 14). Das LibQual-Verfahren, das auf dem ServQual-Model aufbaut, beurteilt nach den Kriterien Materielles, Zuverlässigkeit, Entgegenkommen, Souveränität und Einfühlung. Es hat also ausgeprägt qualitative Komponenten. Im Unterschied zum Mystery Shopping geht es aber aus von spontanen, unterschiedlichen Erwartungshaltung von Nutzern, deren Umsetzung bei der beurteilten Bibliothek sie auf einer 7-stufigen Skala abbilden können. Vorgehen Der Ablauf von Mystery Shopping wird in folgende Phasen unterteilt: Abb. 1: Projektablauf Mystery Shopping (Böhm / Fischl / Rennhak, 2005, S. 5) 4

5 Methodisches Vorgehen Das methodische Vorgehen beschreibt, wie Mystery Shopping in sechs ausgewählten wissenschaftlichen Bibliotheken konkret umgesetzt wurde und wie es auch bei einer anderen Gelegenheit wieder angewendet werden könnte. Bei der Durchführung wurde der obige Projektablauf als Grundlage genommen. Problemdefinition Untersuchungsziel Ausgangspunkt für die hier vorgestellte Mystery Shopping-Durchführung war nicht ein Auftrag einer bestimmten Bibliothek, um deren Dienstleistungsqualität zu bewerten und Verbesserungsvorschläge abzugeben. Vielmehr handelte es sich um ein Forschungsprojekt mit dem Ziel, die Dienstleistungsqualität mehrerer wissenschaftlichen Bibliotheken aus Benutzersicht, also neutral von aussen, zu beurteilen und miteinander zu vergleichen. Im Sinn einer Qualitätsforschung sollte somit eine Bestandesaufnahme gemacht werden. Folgende Aspekte wurden genauer untersucht: Auf welchem Niveau bewegt sich die allgemeine Dienstleistungsqualität in wissenschaftlichen Bibliotheken der Deutschschweiz? Gibt es Unterschiede zwischen der Dienstleistungsqualität der bewerteten Bibliotheken? Welche Bibliothek schneidet am besten ab, welche am schlechtesten? Gibt es Qualitätsunterschiede zwischen den getesteten Dienstleistungen? Welche Dienstleistung schneidet am besten ab, welche am schlechtesten? Festlegung der untersuchten Dienstleistungen Das Dienstleistungsangebot einer wissenschaftlichen Bibliothek leitet sich aus dem Leistungsauftrag ab und weist verschiedene Kundenkontaktpunkte auf, die ausschlaggebend sind für die Qualität der Dienstleistung, da sie die Berührungspunkte zwischen der Bibliothek und den Benutzern sind. Die folgenden sieben Kundenkontaktsituationen wurden bewertet: - Information / Beratung, - Buchbeschaffung (Magazin und Freihandbestand), - Ausleihe und Rückgabe, 5

6 - Telefonische Anfrage, - -Anfrage, - Dokumentlieferdienst und - Infrastruktur Erstellung der Erhebungsinstrumente Für die Datenerhebung mussten zuerst ein Beurteilungsbogen (mit Beurteilungskriterien) und ein Drehbuch erstellt werden. Dies wird nun am Beispiel der Dienstleistung Information / Beratung demonstriert. Um den Beurteilungsbogen zu erstellen, mit dem eine Dienstleistung objektiv untersucht werden kann, müssen die Dienstleistungen zuerst operationalisiert, d. h. in ihre Bestandteile zerlegt werden. Dies geschieht am einfachsten mit Blueprints, welche den Dienstleistungsprozess darstellen und die Interaktionen zwischen dem Benutzer und der Bibliothek aufzeigen (Hofer, 2006, S.35). Abb. 2: Blueprint Dienstleistung Information / Beratung Gleichzeitig werden Kriterien festgelegt, welche beobachtbar und somit bewertbar sind. Wichtig ist, dass alle Kriterien beschrieben und von den Testpersonen eindeutig verstanden werden, damit alle dasselbe bewerten (Matzler / Kittinger-Rosanelli, 2000, S. 234). Im vorliegenden Fall waren die beiden Verfasserinnen selber die Testpersonen. Berteilungsbogen 6

7 Diese Kriterien werden nun in Form eines Beurteilungsbogens zusammengestellt. Abb. 3: Beurteilungsbogen Dienstleistung Information / Beratung (Ausschnitt) Ergänzt werden sie durch die Spalte für die Beurteilung, in welcher die Testpersonen bewerten müssen, ob ein Kriterium erfüllt ist oder nicht. Daneben gibt es aber auch subjektive Kriterien wie bspw. die Wartezeit, die unterschiedlich empfunden werden können. Damit auch diese objektiv beurteilt werden können, müssen sie in Stufen unterteilt werden, wie bspw. Keine Wartezeit, bis fünf Minuten oder länger als fünf Minuten. Ebenfalls im Beurteilungsbogen zu finden sind die Soll-Punkte, welche gleichzeitig einer Gewichtung entsprechen. Da es für Bibliotheken im deutschsprachigen Raum diesbezüglich (noch) keine allgemeingültigen Richtlinien oder Standards gibt, wurden die Erwartungen aus verschiedenen Quellen zusammengetragen oder selber definiert. In der Ist-Spalte werden nach jedem Testbesuch die effektiv erreichten Punkte eingetragen, um die Erwartungen den gelieferten Dienstleistungen gegenüberzustellen. Drehbuch Im Drehbuch wird das Vorgehen für alle Dienstleistungssituationen möglichst realitätsnah beschrieben, damit sich die Testpersonen auf die Situationen und ihre Rolle einstellen können (Schmidt, 2007, S. 93) und jede Durchführung nach demselben Schema abläuft. Die Testpersonen definieren ausserdem die Fragen, welche die Bewertung der Dienstleistung ermöglichen sollten. Die Anforderungen 7

8 sollen auf unterschiedlichem Anspruchsniveau stehen und der bibliothekarischen Realität entsprechen. Die erwarteten Antworten werden ebenfalls notiert. Auswahl und Schulung der Mystery Shopper und Pretest Bei der vorliegenden Mystery Shopping-Untersuchung wurden Bibliothekare als Testpersonen eingesetzt, was Vor- und Nachteil hat (dazu Näheres unten). Eine Schulung der Testpersonen ist in jedem Fall wichtig, um mit den Erhebungsinstrumenten umgehen zu können und um in den beobachteten Kundenkontaktsituationen nicht aufzufallen. Dafür werden am besten Pretests durchgeführt. Datenerhebung und erfassung Die Datenerhebung fand innerhalb von 2 Wochen statt, damit die Bibliotheken zu unterschiedlichen Tageszeiten bei verschiedenen Mitarbeitern mehrmals bewertet werden konnten. Mit Hilfe der Erhebungsinstrumente wie dem Beurteilungsbogen und dem Drehbuch wurden so alle sieben Dienstleistungen viermal beurteilt. Die Bewertungen wurden später elektronisch erfasst. Auswertung der Ergebnisse Die elektronisch gespeicherten Daten wurden graphisch dargestellt und ausgewertet Zusammenfassend werden im Folgenden zwei Ranglisten präsentiert, diejenige der Bibliotheken und diejenige der Dienstleistungen, mit welchen die konkreten Fragestellungen des Untersuchungsziels beantwortet werden können. Auf welchem Niveau bewegt sich die allgemeine Dienstleistungsqualität in wissenschaftlichen Bibliotheken der Schweiz? Gibt es Unterschiede zwischen der Dienstleistungsqualität der bewerteten Bibliotheken? Welche Bibliothek schneidet am besten ab, welche am schlechtesten? 8

9 ø 81, Bibliothek F Bibliothek D Bibliothek E Bibliothek A Bibliothek C Bibliothek B % über dem Durchschnitt unter dem Durchschnitt Abb. 4: Ranking Bibliotheken Die Grafik der Gesamtergebnisse zeigt recht deutliche Unterschiede. Bei den obersten zwei Bibliotheken wurden mehrere Dienstleistungen als sehr gut und nur wenige als genügend eingestuft, bei der untersten Bibliothek hingegen wurde keine Dienstleistung als sehr gut und mehrere nur als genügend bewertet. Grundsätzlich kann aber gesagt werden, dass die Qualität des Dienstleistungsangebotes in den getesteten wissenschaftlichen Bibliotheken im Durchschnitt gut bis annähernd sehr gut ist. Die folgende Tabelle gibt Auskunft zur Frage: Gibt es Qualitätsunterschiede zwischen den getesteten Dienstleistungen? Welche Dienstleistung schneidet am besten ab, welche am schlechtesten? 9

10 ø 81, Anfrage Information / Beratung Dokumentlieferdienst Telefonische Anfrage 81.2 Buch beschaffen Infrastruktur und Gesamteindruck Ausleihe und Rückgabe % genügend gut sehr gut Abb. 5: Ranking Dienstleistungen Etwas überraschend erhielt die eher neue Dienstleistung -Anfrage in allen Bibliotheken ein Gut bis Sehr gut. Die Bibliotheken beantworteten die Fragen meist vollständig und in kurzer Zeit. Auch der Bereich Information / Beratung lag nahe beim sehr guten Bereich (= 90%). Die Fragen wurden überwiegend kompetent und vollständig beantwortet. Auffallend sind die eher schlechten Werte bei der Ausleihe und Rückgabe. Methodenbeurteilung Ziel der Untersuchung war nicht nur die Gewinnung konkreter Vergleichswerte, sondern auch die Beurteilung der Methode. Wir kommen deshalb auf die fünf eingangs gestellten Fragen zurück: 1. Kann Mystery Shopping in wissenschaftlichen Bibliotheken erfolgreich angewendet werden? Grundsätzlich lässt sich bestätigen, dass Mystery Shopping bei korrekter Durchführung auch in wissenschaftlichen Bibliotheken erfolgreich angewendet werden kann. 10

11 Betrachtet man die einzelnen Bibliotheksdienstleistungen genauer, zeigt sich jedoch, dass sich eine Bewertung nicht bei jeder Dienstleistung im selben Masse lohnt. Dies wird anhand folgender Abbildung ersichtlich, auf der die vier durchgeführten Mystery Shopping-Einsätze jeder Dienstleistung in derselben Bibliothek miteinander verglichen werden. Information / Beratung Buchbeschaffung Ausleihe und Rückgabe Telefonische Anfrage Anfrage Dokumentlieferdienst Infrastruktur % 1. Einsatz 2. Einsatz 3. Einsatz 4. Einsatz Abb. 6: Vergleich der vier Mystery Shopping-Einsätze der Bibliothek C Die Graphik zeigt auf, dass die Dienstleistungen Buchbeschaffung und Dokumentlieferdienst bei allen 4 Tests in der ausgewählten Bibliothek C identische Resultate aufweist. Es handelt sich dabei um standardisierte und routinierte Abläufe, die nicht unbedingt mit einer beobachtenden Methode beurteilt werden müssen. Bei den Dienstleistungen Information/Beratung, Ausleihe und Rückgabe, Telefonische Anfrage und -Anfrage handelt es sich vorwiegend um direkten Kundenkontakt. Jeder Kundenkontakt wird jedoch von verschiedenen Faktoren wie z.b. der Erfahrung des Mitarbeiters oder dem Schwierigkeitsgrad der Frage beeinflusst, was Auswirkungen auf die Qualität hat. Deshalb wurden bei diesen Dienstleistungen klar abweichende Resultate innerhalb derselben Bibliothek erzielt. So kann gesagt werden, dass Mystery Shopping vor allem für Dienstleistungen mit direktem Kundenkontakt geeignet ist. 11

12 2. Sind Bibliotheksdienstleistungen, die doch einen Anteil an weichen Elementen, wie Freundlichkeit enthalten, mit Mystery Shopping objektiv bewertbar? Die Objektivität ist gewährleistet, indem die Dienstleistungen operationalisiert und in einzelne Kriterien unterteilt werden, die nur mit Ja, Nein, Vorhanden und Nicht vorhanden beurteilt werden können und indem subjektiv empfundene Kriterien in Stufen unterteilt werden. So wird dem individuellen Interpretationsspielraum der Mystery Shopper entgegengewirkt. Einfach ist natürlich die Kontrolle von Bereitstellungsfristen, Abholbenachrichtigungen, oder Reaktionszeit auf Anfragen per schon gar dann, wenn sie von der Bibliothek selber im Angebot definiert wurden. Schwieriger ist etwa die Beurteilung von Freundlichkeit. Doch auch dafür gibt es Kriterien, z.b. die Namensnennung am Telefon, der Blickkontakt bei persönlicher Beratung, die verbale oder nonverbale Begrüssung und Verabschiedung. Einige wenige Beurteilungspunkte würden wir im Nachhinein weglassen, weil sie tatsächlich visuell nur schwer zu objektivieren sind, etwa die Einschätzung der Platzverhältnisse oder der Beleuchtung. 3. Ist Mystery Shopping eine geeignete Methode für einen Bibliotheksvergleich? Primär eignet sich die Technik zur Überprüfung der eigenen Servicestandards einer bestimmten Bibliothek. Bei einem Vergleich über mehrere Institutionen hinweg, wie wir das getan haben, werden unter Umständen Massstäbe gesetzt, die strenger sind als die internen Vorgaben. 4. Reichen vier Besuche aus, um repräsentative Ergebnisse zu erhalten? Wie die folgende Graphik zeigt, weist das Total der vier einzelnen Beurteilungen innerhalb jeder Bibliothek recht unterschiedliche Resultate auf. Dennoch können mit nur vier Durchführungen wenigstens Tendenzen aufgezeigt werden. Um repräsentative Ergebnisse und ein konkreteres Bild zu erhalten, müssen mehr als vier Einsätze durchgeführt werden. Auch wäre wünschenswert, dass mehr als zwei Personen die gleiche Dienstleistung testen. Dagegen kann man einwenden, dass für den Kunden jeder Eindruck zählt. Oder wie es eine Verantwortliche einer Schweizer Hochschulbibliothek einmal sinngemäss ausgedrückt hat: Für uns zählt 12

13 jeder Eindruck, den wir vermitteln; hinter jeder Anfrage kann eine Testperson stehen. Bibliothek A Bibliothek B Bibliothek C Bibliothek D Bibliothek E Bibliothek F % 1. Einsatz 2. Einsatz 3. Einsatz 4. Einsatz Abb. 7: Vergleich der vier Gesamttotale pro Bibliothek 5. Wer muss die Beurteilung durchführen, damit man zu objektiven Resultaten kommt: Laien, Berufsleute aus der Bibliotheksszene oder Profis von Befragungsinstituten? Wir konnten dazu in der Literatur keine eindeutige Antwort finden. Während Firmen wie McDonald durchaus auch Konsumenten einsetzen, sind wir der Meinung, dass komplexere Dienstleistungen durch Fachleute besser beurteilt werden können. Professionelle Mystery Shopper sind zwar geübte Testpersonen, kennen aber das Bibliotheksumfeld nicht, Bibliothekare hingegen sind fachliche Experten und kennen den Kontext, müssen allerdings als Mystery Shopper geschult werden. Nachgetragen sei noch ein Punkt, der in dieser Studie nicht zu befriedigen vermag: Wir fokussierten stark auf eher konventionelle Dienstleistungen die bei allen Bibliotheken vergleichbar vorhanden sind. Es fehlen Beurteilungen etwa der Benutzerschulungen, des Angebots an E-Büchern, E-Zeitschriften oder Digitalisierungen eigener Bestände. 13

14 Abschliessend kann man festhalten, dass Mystery Shopping eine erfolgreiche Beurteilungsmethode ist, sofern - das Ziel klar definiert ist. - für die Planung und Durchführung genügend Zeit einberechnet wird. - die Anzahl der Einsätze auf die Ziele abgestimmt sind. - Mystery Shopper gut vorbereitet und instruiert sind. Die Gesamtstudie wurde bis zu dieser Präsentation noch nicht veröffentlicht, erscheint aber demnächst als Nummer 31 der Churer Schriften zur Informationswissenschaft Wir werden gleichzeitig die evaluierten Bibliotheken informieren und ihnen die anonymisierten Ergebnisse zur Verfügung stellen. Ausgewählte Literatur Becker, Tom, Was für ein Service!. Entwicklung und Sicherung der Auskunftsqualität von Bibliotheken. B.I.T.online Innovativ, hrsg. von Rolf Fuhlrott, Ute Krauss-Leichert und Christoph-Hubert Schütte, Band 13. Wiesbaden: Dinges & Frick GmbH. Esomar (2005): ESOMAR World Research Codes & Guidelines. Mystery Shopping Studies (URL). Zugriff am unter pdf. Hofer, Andrea (2006): Mystery Shopping. Eine Dienstleistungsbeurteilung auch für Bibliotheken. Diplomarbeit im Studiengang Information Science an der HTW Chur. Chur. LibQual: Lingenfelder, Michael / Schmidt, Karsten / Wieseke, Jan (2006): Mitarbeiter- Performance im Servicekontakt Modellierung und Messung mittels Mystery 14

15 Shopping im Tourismus. In: Bruhn, Manfred / Stauss, Bernd (Hrsg.), Dienstleistungscontrolling. Forum Dienstleistungsmanagement (S ). Wiesbaden: Gabler. Matzler, Kurt / Kittinger-Rosanelli, Christine (2000): Mystery Shopping als Instrument zur Messung der wahrgenommenen Dienstleistungsqualität von Banken. Jahrbuch der Absatz- und Verbrauchsforschung, Jg. 46, Heft 3, S Mühlenkamp, Holger / Simonji, Magdalena (2004): Zur Ermittlung der Qualität von Bibliotheksdienstleistungen. Konzept und Ergebnisse einer 2003 durchgeführten Benutzerumfrage. B.I.T.online Innovativ, hrsg. von Rolf Fuhlrott, Ute Krauss- Leichert und Christoph-Hubert Schütte, Band 8. Wiesbaden: Dinges & Frick GmbH. Schmidt, Karsten (2007): Mystery Shopping. Leistungsfähigkeit eines Instrumentes zur Messung der Dienstleistungsqualität. Wiesbaden: Deutscher Universitäts-Verlag. Schnyder, Philipp (2005): Mystery Shopping als Marktforschungsmethodik im Einzelhandel. Bachelor-Arbeit am Institut für Marketing und Handel der Universität St. Gallen. St. Gallen. 15