Userorientierte Bewertung medizinischer Web-Sites

Transkript

1 1 / 44 Rainer Schalnus, Peter Pinger Bonn - Frankfurt am Main Userorientierte Bewertung medizinischer Web-Sites

2 2 / 44 Agenda Individuelle sevaluation medizinischer Web-Sites? systematische individuelle & Optimierung übergreifende Maßnahmen zur Service-Optimierung Nutzer- / Patientenorientiert von webbasierten Gesundheitsinformationen Gesundheitsportale / Ranking Checkliste für Gesundheits-Web Sites Definition quantitativer Meßgrößen für die Ergebnisqualität individuelle & Optimierung individuelle Optimierung bei Relaunch / smanagement

3 3 / 44 s-evaluation ssystem: Messung der Ergebnisqualität Kennzahlen, Meßgrößen Kriterien definieren quantitativ Nutzer- / Patienten-orientiert Content Service Usability & Accessibility Berücksichtigung bekannter Kriterien, z.b. HON, DISCERN AMA, URAC AFGIS

4 4 / 44 > Ergebnisqualität Ergebnisqualität Beschaffenheit Anforderungen ist das Maß der Übereinstimmung von Anforderungen und Beschaffenheit eines Produktes bzw. 0 % 100 % einer (Dienst-) leistung.

5 5 / 44 ssysteme Welches s-system? Vergleichbarkeit () Standards (ISO, EN) Leitlinien? individuell entwickelte Checklisten Präzision von QM Systemen (individuelle ) Zeit

6 6 / 44 Prozessdefinition / Prozessanalyse Identifikation srelevanter Prozesse & Kennzahlen Prozess Verantwortung Prozess-Definition Ressourcen Dokumente (sforderung, snachweis) Kennzahl Standard - Quantitative Prozessanalyse Messgrösse

7 7 / 44 Anforderungen an skriterien eindeutige Definition in einem Kriterienkatalog überschneidungsfreie Einordnung in Kategorien bilden die Korrektheit und den Umfang des Inhaltes ab bilden grundsätzliche Userbedürfnisse ab bilden zielgruppenorientierte Userbedürfnisse ab bilden Anbieterbedürfnisse ab bilden die o.g. Eigenschaften flächendeckend ab skalierte Bewertung der Einzelkriterien Gewichtung der Kriterien nach Bedeutung heuristische Evaluation rechnerbasierte Evaluation möglich

8 8 / 44 Was müssen die Kriterien ermöglichen? Vergleichbarkeit unterschiedlicher Informationsangebote innerhalb einer Anbieterklasse Vergleichbarkeit unterschiedlicher Informationsangebote innerhalb einer Eigenschaftenklasse Gewichtete quantitative Bewertung des Informationsangebotes intra- und interindividuell (Bewerter) reproduzierbare Bewertung individuelle eines Informationsangebotes / Ranking unterschiedlicher Informationsangebote

9 9 / 44 Bekannte (alternative) Ansätze HON, DISCERN, OMNI, URAC, AMA ISO (9000, 13407, 9241 Serie)

10 10 / 44 Entwicklung einer Kriteriencheckliste HON, DICERN, OMNI, AMA, URAC ISO (9000, 13407, 9241 Serie) Multimedia QM Web Style Guides, W3C,... Usability-Lab eigene Erhebungen Ist - Soll

11 11 / 44 Kriterienkatalog 97 Kriterien 97 Kriterien Bewertung der Kriterien Bewertung der Kriterien -1 = Minimalanforderungen nicht erfüllt 0 = Service nicht vorhanden 1 = Minimalanforderung erfüllt 2 = Minimalanforderung + Eigenschaft 1 erfüllt 3 = Minimalanforderung + Eigenschaften 1 & 2 4 = Maximalanforderungen erfüllt Gewichtung der Kriterien Gewichtung der Kriterien unterschiedliche Gewichtung der Kriterien je nach Zielgruppe durch Multiplikation mit Faktoren

12 12 / 44 Zuordnung der Kriterien Informationsqualität Schwerpunkte Content Beratungsqualität Seriosität 55 Kriterien Aktualität Web Site Service Sprachen Online Services fachspezifische Services 24 Kriterien Suchfunktionen Performance Usability & Accessibility Interface Design Linking Site-/ Page-/ Grafik- Design 18 Kriterien Interaktivität

13 13 / 44 Zuordnung der Kriterien für Content Informationsqualität Schwerpunkte Content Beratungsqualität Seriosität Kriterien Aktualität Web Site Service Sprachen Online Services fachspezifische Services 24 Kriterien Suchfunktionen Performance Usability & Accessibility Interface Design Linking 18 Kriterien Site-/ Page-/ Grafik- Design Interaktivität

14 14 / 44 Zuordnung der Kriterien für Content Informationsqualität Schwerpunkte Content Beratungsqualität Seriosität Kriterien Beispiele Beispiele Aktualität Web Site Service Sprachen Online Services fachspezifische Services 24 Kriterien Suchfunktionen Performance Usability & Accessibility Interface Design Linking 18 Kriterien Site-/ Page-/ Grafik- Design Interaktivität

15 15 / 44 Zuordnung der Kriterien für Content Web Site Informationstiefe Informationsbreite Content Didaktik Therapieverfahren Autorenkompetenz Online-Beratung Service im Forum, Komplementarität Usability & Autorenidentität Accessibili ty Updating (Aktualität) Informationsqualität Schwerpunkte Beratungsqualität Seriosität Aktualität Sprachen Online Services fachspezifische Services Online-Beratung im Forum, Beantwortungszeit Online-Beratung im Forum, Suchfunktionen Beantwortungszeit Online-Beratung im Forum, Beraterkompetenz Online-Beratung im Forum, Performance Beraterkompetenz Interface Design Linking Site-/ Page-/ Grafik- Design Interaktivität 55 Kriterien Beispiele Beispiele 24 Kriterien

16 16 / 44 Zuordnung der Kriterien für Usabiblity Informationsqualität Schwerpunkte Content Beratungsqualität 55 Kriterien Seriosität Aktualität Web Site Service Sprachen Online Services fachspezifische Services 24 Kriterien Suchfunktionen Performance Usability & Accessibility Interface Design Linking Kriterien Site-/ Page-/ Grafik- Design Interaktivität

17 17 / 44 Zuordnung der Kriterien für Usabiblity Informationsqualität Schwerpunkte Content Beratungsqualität 55 Kriterien Seriosität Aktualität Web Site Service Sprachen Online Services fachspezifische Services 24 Kriterien Suchfunktionen Performance Usability & Accessibility Interface Design Linking Site-/ Page-/ Grafik- Design Beispiele Interaktivität

18 18 / 44 Zuordnung der Kriterien für Usabiblity Web Site Informationsqualität Plattformübergreifende Funktionalität (Performance) Schwerpunkte Plattformübergreifende Funktionalität (Performance) Suche/Suchfunktion (Interface Design) Content Beratungsqualität Navigation (Interface Design) Seriosität Linking (Linking) Aktualität Sprachen Homepagetyp (Site-, Page- & Grafik-Design) Online Services Homepagetyp (Site-, Page- & Grafik-Design) Site-Design Service (Site-, Page- & Grafik-Design) fachspezifische Services Page-Design (Site-, Page- & Grafik-Design) Page-Design (Site-, Page- Suchfunktionen & Grafik-Design) Grafik-Design (Site-, Page- & Grafik-Design) Grafik-Design (Site-, Page- Performance & Grafik-Design) Interface Design behindertengerechte Usability & Codierung // Gestaltung // Typo Linking Feed Accessibility back durch User // Zielgruppe Site-/ Page-/ Grafik- Design Interaktivität mit User // Zielgruppe Interaktivität 55 Kriterien 24 Kriterien Beispiele

19 19 / 44 Kategorie - Gewichtung Usability & Accessibility 36% 55% Content 9% Service

20 20 / 44 Studie: 19 Gesundheitsportale (3/2001) Gesamtbewertung und Bewertung der Einzelkategorien in % Prozent % der Gesamtbewertung % des Content Prozent Prozent % der Usability & Accessibility Prozent % der Services

21 21 / 44 / Ranking Gesundheitsinformationen im Web Studie: 19 deutschsprachige Gesundheitsportale Kliniken Pharma / Medizintechnik / Krankenversicherer quantitative Mesgrösssen für Ergebnisqualität Content (55 Kriterien) Service (24 Kriterien) Usability & Accessibility (18 Kriterien) webbasierte Datenbank Kategorie-spezifisches Ranking / Passwort

22 22 / 44 / Ranking

23 Individuelle & Optimierung - ssiegel 23 / 44 Individuelle gezielte Stärken-Schwächen Optimierung bei Relaunch Grundlage für Entwicklung von Kriterien für Gütesiegel o.ä. AMIDI e.v. 3-stufiges Bewertungssystem in Erprobung

24 24 / 44 Individuelle Ist-, Beispiel Soll-Wert = 100 % Content > Informationsqualität Usability & Accessibility > Interface Design

25 25 / 44 Individuelle Ist-, Beispiel Individualanalyse: Content, Service, Usability & Accessibility Usability & Accessibility 52 Service 46 Content in %

26 26 / 44 Individuelle Ist-, Beispiel Individualanalyse: Content, Service, Usability & Accessibility Usability & Accessibility 52 Service 46 Content in %

27 27 / 44 Individuelle Ist- > Content Informationsqualität Schwerpunkte Content Beratungsqualität Seriosität Aktualität Kriterien Web Site Service Sprachen Online Services fachspezifische Services Suchfunktionen Kriterien Performance Usability & Accessibility Interface Design Linking Kriterien Site-/ Page-/ Grafik- Design Interaktivität

28 28 / 44 Individualanlyse > Content Soll-Wert 100 % Aktualität 100 Seriosität 92 Beratungsqualität 60 Schwerpunktthemen 70 Informationsqualität in %

29 29 / 44 Individualanlyse > Content Soll-Wert = 100 % Aktualität 100 Seriosität 92 Beratungsqualität 60 Schwerpunktthemen 70 Informationsqualität in %

30 30 / 44 Individualanlyse > Content > Info. Soll-Wert = 100 % Wirkung/Wechselwkg. Von Medikamenten 100 Erläuterungen zu Operationen Erläuterungen zu diagnost. Eingriffen Therapieverfahren, Beraterkompetenz 100 Thearpieverfahren, inhaltliche, EBM 100 Diagnosehilfe, Beraterkompetenz 0 Diagnosehilfe, inhaltliche 0 Werbung 100 Didaktik 100 Informationsbreite 50 Informationstiefe in %

31 31 / 44 Individualanlyse > Usability & Accessibility Informationsqualität Schwerpunkte Content Beratungsqualität Seriosität Aktualität Kriterien Web Site Service Sprachen Online Services fachspezifische Services Suchfunktionen Kriterien Performance Usability & Accessibility Interface Design Linking Kriterien Site-/ Page-/ Grafik- Design Interaktivität

32 32 / 44 Individualanlyse > Usability & Accessibility Soll-Wert = 100 % Usability & Accessibility 52 Service 46 Content in %

33 33 / 44 Individualanlyse > Usability & Accessibility Soll-Wert = 100 % Usability & Accessibility 52 Service 46 Content in %

34 34 / 44 Individualanlyse > Usability & Accessibility Soll-Wert = 100 % Interaktivität 12 Site-/Page- & Graphik-Design 71 Linking 75 Interface Design 5 Performance in %

35 35 / 44 Individualanlyse > Usability & Accessibility Soll-Wert = 100 % Interaktivität 12 Site-/Page- & Graphik-Design 71 Linking 75 Interface Design 5 Performance in %

36 Individualanlyse > Usability & Accessibility > Interface Design Soll-Wert = 100 % 36 / 44 Navigation 19 Suchfunktion über Site -25 direkter Informationszugriff (nicht über Suchfunktion) -25 Übersichtlichkeit der Startseite in %

37 37 / 44 Mindestanforderungen Anbieter ausgewiesen / Impressum Ziele ausgewiesen ausgewiesene Themen mit Informationen belegt Inhalte in der Regel verständlich Feedbackmöglichkeit für den User Legal Disclaimer o.ä. Inhalte komplementär Quellen für Inhalte angegeben und seriös Autorenidentität eindeutig Sponsoring & Werbung als solche erkennbar Update auf Startseite Wenn News, dann aktuell (nicht älter als 1 Woche) Hinweis auf Datensicherheit (Transparenz) Backtracking möglich kein Frame in Frame

38 38 / 44 Diskussion: Informationsangebote Keine Autorennennung keine Deklaration der Ziele inhaltliche Tiefe oft gering Verstösse gegen TDDG verdeckte Werbung Datenbanken für User nicht erkennbar unvollständig spezielle Inhalte oft schlecht aufzufinden Suchfunktionen nicht nutzerfreundlich Angebote nicht behindertengerecht

39 39 / 44 Diskussion: Methodik Die Methode erlaubt sowohl die Individualanalyse als auch ein Ranking der Informationsangebote in gewissen Grenzen reproduzierbare Ergebnisse Evaluation der medizinischen Inhalte sehr aufwendig Vergleichbarkeit nur für identische Kriteriengruppen oder Anbieterklassen weitere Nutzerbefragungen / Usability Lab erforderlich Methodik übertragbar (webbasierte Informationen, Call Centers, Messung der Ergebnisqualität im Gesundheitwesen)

40 40 / 44 Zusammenfassung Evaluation der medizinischer Web-Sites Ergebnisqualität Nutzer- / Patienten-orientiert skalierte Kriterien Checkliste: bekannten Kriterien,... von webbasierten Gesundheitsinformationen Gesundheitsportale (Patientenbelange, Beratung) Modifizierung der Checkliste für Gesundheits-Web Sites Definition quantitativer Meßgrößen für die Ergebnisqualität Optimierung & ssiegel individuelle Optimierung bei Relaunch smanagement