Usability Evaluation am Beispiel der Bildungsplattform

Transkript

1 Zweite Bachelorarbeit Usability Evaluation am Beispiel der Bildungsplattform Ausgeführt zum Zweck der Erlangung des akademischen Grades Bachelor of Science Unter der Betreuung von Dipl.-Ing. Dr. Peter Judmaier Ausgeführt von Bernhard Grießler MT St. Pölten, am 13. August 2012

2 Ehrenwörtliche Erklärung Ich versichere, dass ich diese Bachelorarbeit selbständig verfasst, andere als die angegebenen Quellen und Hilfsmittel nicht benutzt und mich sonst keiner unerlaubten Hilfe bedient habe. ich dieses Bachelorarbeitsthema bisher weder im Inland noch im Ausland einem Begutachter/einer Begutachterin zur Beurteilung oder in irgendeiner Form als Prüfungsarbeit vorgelegt habe. diese Arbeit mit der vom Begutachter/von der Begutachterin beurteilten Arbeit übereinstimmt. Ich räume hiermit der Fachhochschule St. Pölten das ausschließliche und räumlich unbeschränkte Werknutzungsrecht für alle Nutzungsarten an dieser Bachelorarbeit ein, und behalte das Recht, als Urheber dieses Werkes genannt zu werden. Datum Unterschrift Bernhard Grießler, MT

3 Kurzfassung Die Gebrauchstauglichkeit von Software erlangte in den letzten Jahren und Jahrzehnten immer mehr an Bedeutung. Viele Methoden, die Usability von (Web-)Anwendungen zu testen konnten sich etablieren, doch jede hat ihre Stärken und ihre Schwächen. Diese Arbeit untersucht anhand des Beispiels der Bildungsplattform willwerden.at die Möglichkeit, eine größere Anzahl an Testpersonen mit einem möglichst geringem Aufwand zu testen. Selbstverständlich soll dabei auch der größtmögliche Nutzen bzw. aussagekräftige Daten gewönnen werden. Erreicht wird dies durch die Kombination verschiedener Testmethoden mit Hilfe eines eigens programmierten Tools, das es ermöglicht, verhältnismäßig aussagekräftige Tests mit ganzen Schulklassen gleichzeitig durchführen zu können. Dazu werden erst bestehende Testmethoden analysiert und in ihre Bestandteile zerlegt. Danach wird versucht, die besten Eigenschaften der einzelnen Testmethoden miteinaner zu kombinieren. Den Abschluss der Arbeit bildet eine Analyse der gewonnen Daten und eine Evaluierung des Test Settings, gefolgt von einer kurzen Zusammenfassung und Empfehlungen für die erneute Benutzung des Settings. Bernhard Grießler, MT

4 Inhaltsverzeichnis Ehrenwörtliche Erklärung... 2 Kurzfassung... 3 Einleitung Grundlagen der Usability Methoden der Usability Evaluation Prototyping Design-Guidelines Aufgabenbasierter Test On-Site-Befragungen Expertenbasierte Evaluation Heuristische Evaluation Cognitive Walkthrough Konzept/Design Tests Online Usability Tests (Taskbasierte Onlinebefragungen) Gruppen-Tests Moderierter Gruppentest Kategorisierung von Problemen !!! Schwerwiegendes Problem !! Großes Problem ! Kleines Problem Zielgruppe Situation bei der Bildungsplattform Zielgruppe und mögliche Testpersonen Technische Möglichkeiten... 5 Bernhard Grießler, MT

5 2.3. Ziele des Tests Evaluierung des Designs Evaluierung der Suchmaske Evaluierung des Interessens-Checks Evaluierung des Interaction Designs an sich Schwierigkeiten Sehr junge Zielgruppe Sehr breit gefächerte Website -> äußerst verschiedene Zielgruppe Nur eine Woche Zeit für Evaluierung und Auswertung Welche herkömmlichen Test-Varianten können zur Anwendung kommen? Wie können möglichst viele verschiedene Personen möglichst aussagekräftig getestet werden? Einführungsphase Erster Eindruck Durchführung der Aufgaben Abschließende Umfrage Allgemeines Vorbereitung des Tests Entwicklung eines Test Szenarios Persona Aufgaben Interessens-Check Drei Entitäten Verwenden der Suchfunktion Entwicklung eines Evaluation Tools mit PHP/JavaScript/MySQL Loggen der Klicks Bernhard Grießler, MT

6 Setzen von Timestamps bei Seitenwechsel Test-ID in Session Umfrageformulare Eindruck vor dem Test Eindruck nach dem Test Controller Interface zur Zuordnung von Tests zu Gruppen/Tasks Erstellen einer PowerPoint Präsentation Abklärung der PC-Situation vor Ort Durchführung der Tests Testsetting Vorstellung und Einleitung Erstes Feedback Durchführung Abschließende Fragen mit Feedback Auswertung der Tests Testergebnisse Datenverarbeitung Erstellung eines Auswertungstools Analyse der Daten Ergebnisse der freien Befragung Ergebnisse vor dem Test Ergebnisse nach dem Test Ergebnisse des Fragebogens Finden von Schwachpunkten Erkennen der Probleme und Ausarbeiten von Lösungen Bernhard Grießler, MT

7 Erstellen eines Reports Testanalyse Wo waren Probleme? Wo gibt es Verbesserungspotential? Welche Testmethoden könnten noch weitere Erkenntnisse bringen? Fazit Testdurchführung Testauswertungen Empfehlungen... 5 Bildreferenzen... 6 Quellenverzeichnis... 6 Internetreferenzen... 6 Bernhard Grießler, MT

8 Einleitung Der Begriff Usability wird von vielen Menschen, allen voran ProgrammiererInnen, nicht gern gehört. Tatsächlich ist allerdings der Trend hin zu einfach nutzbaren Anwendungen, sowohl bei Hardware, als auch bei Software deutlich spürbar. Der Versuch, den KonsumentInnen vorzugeben, was sie zu wollen haben, anstatt sich mit ihnen auseinander zu setzen, wurde auch lange Zeit von der Industrie bei der Erzeugung von Gebrauchsgütern gemacht., um ihre Wünsche und Anliegen herauszu- Eben dieser wurde auch lange Zeit in der Softwareentwicklung gemacht. Eine Idee für eine Anwendung führte oft zu einer Umsetzung durch ProgrammiererInnen, aus der Sicht der ProgrammiererInnen, ohne sich wirklich mit der eigentlichen Zielgruppe zu beschäftigen. Diese absolut nicht kundenorientierte Vorgehensweise stellte sich in beiden Bereichen letztlich als Fehler heraus. Diese Vorgehensweise uferte so weit aus, dass BenutzerInnen aufgrund wirrer Fehlermeldungen und unintuitiver Interfaces einen regelrechten Hass auf Computer entwickelten. Zahlen der Krankenkassen Deutschlands bestätigen, dass die Zahl der psychischen Störungen bei Bildschirmarbeitern zunimmt, in den Niederlanden wird nik, Brau, 2011, S.17f.) Einer der wichtigsten Punkte für den Erfolg oder Misserfolg einer (Web)Anwendung ist also ohne Zweifel, schon während der Entwicklung speziell auf die Zielgruppe der Anwendung Rücksicht zu nehmen, und durch ständiges Einholen von Feedback, das Endprodukt sukzessive zu verbessern. Jakob Nielsen beschäftigte sich als einer der ersten intensiv mit dem Thema Gebrauchstauglichkeit, vor allem im Internet. Webseiten stellten schon am Beginn des World Wide Web eine Besonderheit in der Softwareetnwicklung dar, da hier verschiedenste Zielgruppen, völlig ohne Vorwissen und der Möglichkeit, ein Manual zur Verfügung zu stellen, dazu gebracht werden sollen, sich auf einer bestimmten Website aufzuhalten, und ihre gewünschten Informationen dort zu suchen. Erschwerend kommt heutzutage hinzu, dass das Internet zunehmend zu einem Gebrauchsgegenstand wird, und seine anfängliche Magie verloren geht. Es gibt Unmengen an Angeboten im Web, ist eine Seite also nicht intuitiv und übersichtlich genug Bernhard Grießler, MT

9 aufgebaut, steht rasch ein anderes, und zumindest irgendwo auf der Welt auch garantiert ein besseres Interface zur Verfügung. Das führt dazu, dass die Besuchsdauer auf Websites im internationalen Durchschnitt weit unter einer Sekunde liegt (vgl. Nielsen, Loranger, 2006, S. 28). Ziel und Zweck von Usability ist es also auch, den BenutzerInnen auf den ersten Blick so viel Information zur Verfügung zu stellen, wie sie benötigen, keinesfalls aber unnötig viel davon. Nachdem die Wichtigkeit von Usability erkannt wurde, entwickelte sich eine große Anzahl an Methoden zur Evaluation der Gebrauchstauglichkeit, sowohl von Hardware als auch Software. Das Thema dieser Bachelorarbeit ist unter anderem die Auseinandersetzung mit gängigen Methoden der Usability Evaluation, und die Suche nach Möglichkeiten, wie im Speziellen im Fall der Bildungsplattform eine Usability Evaluation sinnvoll und möglichst breit gefächert durchgeführt werden kann, soll in diesem Fall doch eine nahezu unüberschaubare Zielgruppe möglichst gut bedient werden. Das Ziel war es, eine Usability und Design Evaluation mit den zum Zeitpunkt der Durchführung vorhandenen Daten durchzuführen, bei der sowohl verschiedene Altersklassen von Jugendlichen (12 bis 19 Jahre), als auch unterschiedlichste Bildungsstandards berücksichtigt werden können. Im Normalfall werden solche Evaluierungen - abhängig von der gewählten Testform - mit Einzelpersonen durchgeführt, in diesem Fall scheint das allerdings nicht zielführend, weshalb die Möglichkeiten untersucht werden, die Eigenheiten und Vorteile der einzelnen Testmethoden zu einem groß angelegten Gruppentest zu verbinden. Daraus ergibt sich die Forschungsfrage: Wie lässt sich eine Usability Evaluation mit einer Zielgruppe von Jahren mit möglichst wenigen Testabläufen möglichst breit und effektiv durchführen? Welche Ablaufmöglichkeiten sind bekannt, und inwieweit können sie in diesem speziellen Fall verwendet werden? Zur Durchführung dieser Arbeit war zu Beginn eine umfassende Literaturrecherche erforderlich. Einerseits in der Bibliothek der Fachhochschule St. Pölten, aber vor allem in Bezug auf Tests für größere Gruppen auch online. Schließlich wurden die gewonnen Erkenntnisse analysiert und versucht, die interessantesten Aspekte der einzelnen Testmethoden in ein sehr aussagekräftiges Gesamtpaket zu verpacken. Schließlich wurden die Tests mit mehreren Schulklassen durchgeführt und die Ergebnisse, wie auch das Testsetting an sich überprüft und ausgewertet. Im ersten Kapitel werden die theoretischen Grundlagen in Bezug auf Usability Engi- Bernhard Grießler, MT

10 neering in einer komprimierten Form aufgearbeitet. Das zweite Kapitel beschäftigt sich mit der Analyse der konkreten Situation bei der Bildungsplattform. Im dritten Kapitel wird die Erstellung des Settings erklärt, während das vierte sich schließlich mit der Durchführung der Tests beschäftigt. Das fünfte Kapitel zeigt die Ergebnisse der Auswertung der Tests und analysiert abschließend noch einmal das Setting an sich. Im Angesprochen werden mit dieser Arbeit vor allem WebdesignerInnen mit Interesse für Usability Tests. Von einem Grundwissen in beiden Gebieten wird ausgegangen. Bernhard Grießler, MT

11 1. Grundlagen der Usability Die Bezeichnung Usability kommt in den letzten Jahren zunehmend in unserem Sprachgebrauch vor. Doch was ist Usability eigentlich? Mit der DIN EN ISO 9241 wurde 1997 eine internationale Norm geschaffen, die Usabi- nutzer in einem bestimmten Nutzungskontext verwendet werden kann, um bestimmte 20) Nutzungskontext bedeutet, dass beispielsweise für einen Fahrkartenautomaten, der eine weitaus unterschiedlichere Zielgruppe hat, als ein PC, vollkommen andere Grundlagen für das Design des Interfaces bestehen. Kann man beispielsweise bei PC-NutzerInnen davon ausgehen, dass die QWERTZ-Tastatur bekannt ist, muss im Falle eines Fahrkartenautomaten eine Anordnung der Tasten in alphabetischer Reihenfolge erfolgen, da nicht davon ausgegangen werden kann, dass alle Zielgruppen mit der recht eigenwilligen Anordnung der Tasten auf üblichen Tastaturen vertraut sind. zungsschnittstelle, der sowohl Software- als auch Hardwarebestandteile eines interaktiven Systems, die für den Benutzer zur Erreichung bestimmter Ziele nötige Informationen und Steuerelemente zur Verfügung stellen, als auch die User Experience die nicht nur die tatsächliche Nutzung eines Produktes berücksichtigt, sondern auch die Erwartungshaltung und der nachträgliche Eindruck, der im Gedächtnis des Benutzers/ der Benutzerin hängen bleibt. (vgl. Sarodnik, Brau, 2011, S. 21f) Usablity Engineering bezeichnet den Überbegriff für den methodischen Weg zur Erzeugung der Eigenschaft Usability (vgl. Sarodnik, Brau, 2011, S. 23). Es beginnt schon in der Konzeptionsphase eines Projektes und legt im Idealfall schon im Voraus fest, welche Ziele mit dem Projekt erreicht werden sollen, welche Zielgruppe angesprochen werden soll, und welche Anforderungen diese hat. (vgl. Sarodnik, Brau, 2011, S. 95f.) Eines der zentralen Elemente des Usability Engineerings ist die Usablity Evaluation, eine systematische und möglichst objektive Bewertung eines geplanten, laufenden oder abgeschlossenen Projekts. (vgl. Sarodnik, Brau, 2011, S. 23) Bernhard Grießler, MT

12 1.1. Methoden der Usability Evaluation In den letzten Jahren und Jahrzehnten haben sich diverse Möglichkeiten entwickelt, die Gebrauchstauglichkeit von Alltagsgegenständen und auch Software zu testen. Da es hier wichtig ist, nicht irgendwelche Resultate zu bekommen, sondern sich genau zu überlegen, was man mit der Evaluierung eines Produkts erreichen will, entwickelte sich rasch eine sehr spezielle, wissenschaftliche Branche. Im Speziellen bei der gehend der Vergangenheit an. Vielmehr werden viele später erfolgreiche Produkte im Zuge des User Centered Design Process immer wieder evaluiert und verbessert. Der Usability Lifecycle bezeichnet ein Ablaufmuster für die Entwicklung erfolreicher Anwendungen, und hat sowohl im Planungs- als auch im Entwicklungsprozess ausgedehnte Evaluierungsphasen, bei denen auch nach Verbesserungen immer wieder das Feedback von NutzerInnen eingeholt wird. Das ist vor allem deshalb wichtig, weil eine aufgrund eines Problems durchgeführte Änderung zwar ein Problem beheben kann, dabei aber viele neue schaffen. Zur Evaluierung wurden im Laufe der Jahre viele sehr aussagekräftige Methoden entwickelt, die alle ihre Vor- und Nachteile haben. Man unterscheidet dabei grob zwei Gruppen. Während die analytische Usability Evaluation von Experten durchgeführt wird, die anhand von Richtlinien versuchen, sich in die späteren NutzerInnen hineinzuversetzen, arbeitet die empirische Gruppe direkt mit der Zielgruppe, und gewinnt ihre Informationen durch Befragung und Beobachtung dieser. Doch auch empirisch gewonnene Daten müssen interpretiert werden, wobei in vielen Fällen auch analytische Methoden hilfreich sein können. Ziel dieser Interpretation ist es, die Wichtigkeit der aufgetretenen Usability-Probleme zu bestimmen, und auf welche Weise diese am besten behoben werden können. Auch in den frühen Projektphasen, bevor es noch Prototypen gibt, können mit Hilfe analytischer Evaluierung bereits Verbesserungen am System vorgenommen werden, noch bevor es zu kostspieligen empirischen Tests kommt. (vgl. Sarodnik, Brau, 2011, S. 119) Empirische Methoden sind vor allem Usability Tests und Fragebogenverfahren, die bekanntesten analytischen Methoden sind beispielsweise die heuristische Evaluation und der Cognitive Walkthrough. (vgl. Kapitel ) Bernhard Grießler, MT

13 Prototyping Meist ist die Anwendung von Tests oder Methoden davon abhängig, bereits ein gewisses Maß an realisierten Inhalten zu haben. Man unterscheidet hierbei zwischen horizontalen und vertikalen Prototypen. Bei horiziontalen Prototypen ist zwar die ganze Bandbreite der Funktionen, sie sind aber noch nicht detailliert ausgearbeitet. Sie können beispielsweise dabei helfen, ein Design zu evaluieren, noch bevor die Logik dahinter implementiert wird. Vertikale Prototypen hingegen konzentrieren sich auf einen speziellen Teilbereich, in dem die Funktionen bereits eingebaut sind. Abbildung 1 - Vergleich zwischen Horizontalem und vertikalem Prototypen (Quelle: Oldenbourg Wissenschaftsverlag GmbH, 2012) Für die Evaluation können beispielhafte Wege durch den Prototypen in Form von Anwendungsszenarien beschrieben werden, so dass die Funktionalitäten in ihrer Breite oder Tiefe nur soweit abgebildet werden müssen, wie das entsprechende Szenario es erfordert (Sarodnik, Brau, 2011, S. 121) Design-Guidelines Ihren Ursprung hatte die Usability Evaluation in der Herausgabe von Design-Guidelines, also Richtlinien zur Gestaltung von Schnittstellen interaktiver Systeme. Grundsätzlich handelt es sich dabei um eine Liste von Prinzipien, die bei ihrer konsequenten Beachtung zu nutzbaren Systemen führen sollen. Beispiele für solche Guidelines sind beispielsweise die Festlegung der Skarlierbarkeit von Schrift, die Anforderung von verschiedener Menüebenen. (vgl. Sarodnik, Brau, 2011, S. 122) Bei einer Evaluation mit Hilfe von Guidelines gibt es 3 Phasen: 1.) Revision der Guidelines Um sich auf die Evaluation vorzubereiten, müssen sich die späteren EvaluatorInnen detailliert mit den Richtlinien auseinandersetzen und ihre Bedeutung Bernhard Grießler, MT

14 verstehen. Detailfragen bezüglich der Inhalte und Unklarheiten können hier besprochen werden. Die Evaluatoren bekommen das System mit Inhalten und Funktionen zu sehen und erhalten Anweisungen für die Nutzung. 3.) Anwendung der Guidelines Da Evaluatoren oft dazu neigen, unstrukturiert zu arbeiten, und zwischendurch auch anhand ihres eigenen Wissens zu evaluieren, ohne sich auf die Guidelines Teil1: Es wird hauptsächlich explorativ vorgegangen, als Unterstützung dienen den Experten die Guidelines, ähnlich den Heuristiken der heuristischen Evaluation. Durch lautes Denken werden diese Überlegungen transparent und können ausgewertet werden Teil 2: Im Anschluss an den explorativen walkthrough werden die Guidelines denen Probleme werden den Guidelines zugeordnet und dokumentiert. (vgl. Sarodnik, Brau, 2011, S. 126) Aufgabenbasierter Test Der Aufgabenbasierte Test ist eine der klassischen Testmethoden des User Centered Design Process. Bei einem aufgabenbasierten Test wird in der Regel eine bestimmte Zielgruppe betrachtet, und anhand dieser ein möglichst realistisches Szenario entwickelt, aus dem sich konkrete Aufgabenstellungen an die Testpersonen ergeben. Selbstverständlich sollte jeder Test, bevor er angewandt wird, selbst einem Testlauf unterzogen werden. Als Ort Abbildung 2 - Beispielhafter Aufbau eines Usability Labors (Quelle: OZHAW, 2012) der Durchführung eignen sich im Regelfall Usability La- weise wird im Normalfall das Gesicht der Testperson, und die Sprache aufgezeichnet. Im Vorfeld sollte auch in jedem Fall abgeklärt werden, ob die technischen Voraussetzungen (Browser Version, Betriebssystem, etc.) passen. Bei der Durchführung der Bernhard Grießler, MT

15 Tests muss mindestens eine BetreuerIn anwesend sein, um den Test zu leiten. Es da sonst eventuell wichtige Informationen verloren gehen, weil eine Person mit dem Anfertigen der Notizen zusätzlich zur Testleitung überfordert ist. Wichtig ist es bei diesen Tests auch, die Testperson aufzufordern, laut zu denken, ihre Gedanken also auszusprechen, um sie später bei der Auswertung verwenden zu können. Die Analyse erfolgt meist mittels Analyse des Videos und eventuell gesetzter Marker. Zur Präsentation der Ergebnisse ist es auch üblich, Highlightvideos zu erstellen, in denen wichtige Stellen zusammengefasst gezeigt werden. (vgl. Mannhartsberger, Musil, 2001; S. 324ff) On-Site-Befragungen On-Site-Befragungen bieten Website BetreiberInnen die Möglichkeit, die Nutzerstruktur ihrer Website zu überprüfen, und grundlegende Informationen zu bekommen. Meist wird eine solche Befragung in Form eines PopUp Fensters gelöst und die BenutzerInnen haben die Möglichkeit, gleich oder später teilzunehmen oder abzulehnen. Das Ziel ist im Regelfall, rund 10% der Website-NutzerInnen teilnehmen zu lassen. Die Durchführung einer On-Site-Befragung kann sowohl in der Analyse als auch im Betrieb der Site sinnvoll sein. (vgl. eresult GmbH, 2012a) Expertenbasierte Evaluation der Evaluation dar. Dabei geht es grundsätzlich darum, Optimierungsvorschläge auf der Basis von gängigen Usability Richtlinien zu erhalten. Die wichtigsten Bestandteile der meisten expertenbasierten Evaluationen sind die heuristische Evaluation und der Cognitive Walkthrough Heuristische Evaluation Bei der heuristischen Evaluation wird das Produkt hinsichtlich der Konformität mit gängigen Usability-Richtlinen überprüft. Beispiele dafür sind: DIN EN ISO 9241 Ergonomie der Mensch-System-Interaktion (inbesondere die Teile 11-17, 110 und 151) DIN EN ISO Benutzer-orientierte Gestaltung interaktiver Systeme Bernhard Grießler, MT

16 Bildschirmarbeitsverordnung (BildschArbV) und europäische Bildschirmrichtlinie EWG 90/270 DATech Prüfhandbuch Leitfaden-Usability Usability-Heuristiken nach Nielsen & Molich Cognitive Walkthrough Bei einem Cognitive Walkthrough spielen mehrere Experten typische Nutzeraufgaben in einer vorgegebenen Weise durch. Dabei wird beurteilt, ob ein normaler Nutzer in der Lage wäre, die zur Erreichung des Ziels nötigen Arbeitsschritte zu erkennen und die Aufgaben zu erfüllen. (vgl. eresult GmbH, 2012b) Konzept/Design Tests Konzept- und Designtests eignen sich, um die Akzeptanz und die emotionale Wirkung eines Produkts in einer sehr frühen Entwicklungsphase zu überprüfen. Dabei kann das kreative Potential der NutzerInnen genutzt und mögliche Bedürftnisse in das Projekt Online Usability Tests (taskbasierte Onlinebefragungen) Im Rahmen eines online Usability Tests wird in einer Online-Befragung ein möglichst differenziertes Urteil über die Website erhoben. Vor der Beantwortung der Fragen kann den BenutzerInnen ein bestimmtes Szenario vorgegeben werden, beispielsweise das Suchen nach speziellen Informationen. (vgl. eresult GmbH, 2012c) Gruppen-Tests Da bereits früh klar war, dass aufgrund der benötigten Streuung von Testpersonen eine große Anzahl an Einzeltests nötig sein wird. Bei der Recherche nach bisher durchgeführten Gruppentest-Methoden wurde von Suchmaschinen nur eine Grundvariante gefunden, die mit kleineren Anwendung öfter zur Anwendung kommt Moderierter Gruppentest Der moderierte Gruppentest wurde von Frau Prof. Ursula Schulz entwickelt, um eine preisgünstige Alternative zu teuren Usability Tests mit Eye-Tracking etc. anzubieten. Dabei werden Gruppen von 5-15 Personen zu einer Website befragt, die über einen Bernhard Grießler, MT

17 Beamer angezeigt wird. Die Eindrücke der Testpersonen werden auf Tonband festgehalten und durch Notizen ergänzt Kategorisierung von Problemen Ein sehr wichtiger Teil jedes Usability Tests ist es, die gewonnenen Daten zu analysieren, und konkrete Probleme herauszuarbeiten. Da nicht nur der Aufwand beim Beheben von Problemen sehr unterschiedlich sein kann, sondern auch die Wichtigkeit für die Benutzbarkeit des Produkts, wurden die drei im Unterricht bereits regelmäßig angewandten Problemkategorien verwendet, um das Ausmaß der Probleme auch für Außenstehende greifbar zu machen !!! Schwerwiegendes Problem Ein schwerwiegendes Problem liegt vor, wenn eine oder mehrere Aufgaben nur mit großem Aufwand oder gar nicht gelöst werden können. Solche Probleme vertreiben viele BenutzerInnen und verursachen große Kosten bzw. hohe Umsatzeinbußen. Schwerwiegende Probleme sollten raschest möglich behoben werden, um den dadurch entstehenden Schaden einzugrenzen !! Großes Problem Können die BenutzerInnen eine Aufgabe zwar lösen, sind aber sichtlich verunsichert oder verwirrt, so liegt ein Großes Problem vor. Diese vertreiben einen Teil der BenutzerInnen und verursachen oft merkbare Kosten ! Kleines Problem Wird eine Aufgabe nur mit kritischen Anmerkungen gelöst, so liegt oft ein Kleines Pro- dennoch bei Gelegenheit behoben werden Zielgruppe einen späteren Erfolg zu garantieren. Etwa müsste ein Interaction Design, wie auch ein Screen Design für Menschen zwischen 40 und 60 Jahren völlig anders aufgebaut Bernhard Grießler, MT

18 sein, als für Jugendliche bis 25, die mit den gängigen Konventionen und Bedienungselementen im Webbereich vertraut sind. Neben soziodemographischen Merkmalen wie Herkunft, Familienstand und Bildungsstand werden zunehmend auch psychographische Merkmale berücksichtigt. Da das Web zunehmend zum Gebrauchsgegensand wird, muss das Produkt möglichst genau auf eine möglichst eng eingegrenzte Zielgruppe abgestimmt werden. 2. Ausgangssituation bei willwerden.at Die Bildungsplattform willwerden.at ist ein Gemeinschaftsprojekt in St. Pölten ansässiger Unternehmen und Bildungseinrichtungen. Ziel der Plattform ist es, Jugendlichen anhand von drei großen Bereichen (Ausbildungswege, Berufe, Unternehmen) einen möglichst genauen Überblick zu bieten, welche Möglichkeiten sie für die Gestaltung ihrer Zukunft im Großraum St. Pölten haben. Dabei kann einerseits versucht werden, über einen Interessenscheck einen ge- davon, geeignete Ausbildungswege und Unternehmen. Es kann aber auch nach erkannt werden, welche Berufe in welchem Abbildung 3 - Startseite des zu testenden Prototyps Unternehmen zur Verfügung stehen und welche Ausbildungswege dafür geeignet sind. Die dritte Möglichkeit ist, ausgehend von einer gewünschten Bildungseinrichtung, dazu Der Einstieg kann entweder über einen Interessens-Check erfolgen, der auf der Startseite untergebracht ist, oder auch über eine Suchfunktion, die eine möglichst intuitive und barrierefreie Filterung der Suchergebnisse anbietet. Bernhard Grießler, MT

19 2.1. Zielgruppe und mögliche Testpersonen Da es sich bei der Bildungsplattform willwerden.at um ein sehr breit gefächertes Angebot handelt, wurde die Zielgruppe als Jugendliche im Alter von 12 bis 19 Jahren mit auch 19-jährige MaturantInnen bzw. angehende StudentInnen sollten möglichst problemlos und intuitiv mit dem Produkt umgehen können. Da die Bildungsplattform in Kooperation mit vielen in St. Pölten ansässigen Unternehmen und Bildungseinrichtungen entwickelt wurde, konnten die Tests in der Handelsakademie und Handelsschule St. Pölten, sowie in der Sportmittelschule St. Pölten mit Genehmigung der Schulleitung durchgeführt werden. Diese Konstellation ermöglichte es, den gesamten Zielgruppenbereich abzudecken Technische Möglichkeiten Die Situation bei der Bildungsplattform stellte insofern eine Ausnahme gegenüber üblichen Tests dar, als dass durch fundiertes Grundwissen sowohl im Usability- als auch im Programmierbereich und die Möglichkeit der Einbeziehung verschiedener Lehrpersonen eine sehr große Wissensbasis zur Verfügung stand, die es ermöglichte, interdisziplinär zu arbeiten. So konnte das Inhaltliche durch die Kombination mit speziell angepassten technischen Hilfsmitteln, im konkreten Fall ein eigens programmiertes Tool zum Loggen der User-Aktionen, ergänzt werden, was ein sehr aussagekräftiges Testsetting ermöglichte Ziele des Tests Um einen aussagekräftigen Test entwickeln zu können, muss vorab in jedem Fall Produkt handelt, reichte es also nicht, nur das Design zu evaluieren, auch das Interaction Design, die eigens entwickelte Suchmaske und der Interessens-Check sollten auf ihre Gebrauchstauglichkeit überprüft werden Evaluierung des Designs Zu Beginn der Evaluierungsphase gab es bereits ein erstes Screendesign, was es ermöglichte, in großen Teilen nicht nur das Interaction Design, sondern auch schon direkt das Aussehen der Website zu überprüfen und die Reaktionen der Testpersonen Bernhard Grießler, MT

20 die Kennzeichnungen der einzelnen Bereiche ausreichend konsistent gestaltet wurden, ob die Aufteilung der Website den Testpersonen klar ist und ob die ProbandInnen sich Evaluierung der Suchmaske Die Suchmaske ist einer der Kernbereiche des Systems, da sie, neben dem Interessens-Check die einzige Einstiegsquelle in die große Übersicht aller Berufe, Ausbildungswege und Unternehmen darstellt. Die Suche war zum Zeitpunkt der Tests nach chen. Ziel war es, festzustellen, ob die Möglichkeiten zur Filterung von Einträgen ausreichend klar erkannt werden und ob bzw. wo noch Verbesserungsbedarf bestand Evaluierung des Interessens-Checks Der wichtigste Einstiegspunkt in die Bildungsplattform bietet der Interessens-Check, der anhand von einfachen Fragen in mehreren Schritten mögliche Berufe in Echtzeit anzeigt, und somit einen direkten Einstiegspunkt in die große Übersicht darstellt. Im Zuge der Tests sollte vor allem herausgefunden werden, ob die Möglichkeit erkannt wird, während der Durchführung des Checks jederzeit einen geeigneten Beruf aus der in Echtzeit generierten Liste als Einstiegspunkt zu den Detailinformationen nutzen zu können Evaluierung des Interaction Designs an sich Da sehr viele verschiedene Informationen sehr übersichtlich, intuitiv und unkompliziert dargestellt werden sollen, war es notwendig, ein Interaction Design zu entwerfen, und natürlich zu überprüfen. Während zum Zeitpunkt der Tests Großteile der Site bereits im endgültigen Design vorhanden waren, wurde die Suchmaske nur anhand von Wireframes auf die Gebrauchstauglichkeit der Interaktionselemente überprüft. Wichtig war es auch, die Bedienung der 3 Entitäten (Ausbildungswege, Berufe, Unternehmen) in der großen Übersicht auf Schwachstellen zu überprüfen und mögliche Vereinfachungen herauszuarbeiten. Bernhard Grießler, MT

21 2.4. Schwierigkeiten Die Bildungsplattform willwerden.at bot in mehrerer Hinsicht für Usability Tests außerordentliche Schwierigkeiten. Diese galt es im Vorhinein zu erkennen, darauf einzugehen und weitestgehend zu vermeiden, bzw. deren Auswirkungen gering zu halten Sehr junge Zielgruppe Im Fall der Evaluierung der Bildungsplattform mussten Tests mit einer sehr jungen Zielgruppe durchgeführt werden. Das bedeutet einerseits, dass darauf geachtet werden musste, den Test nicht so kompliziert zu gestalten, dass die Jugendlichen am Testsetting, anstatt der Durchführung der Aufgaben scheitern, andererseits musste natürlich damit gerechnet werden, mit großem Einfühlungsvermögen auf die Testpersonen zugehen zu können, und sie dazu zu bewegen, möglichst natürlich und konzentiert an den Test heranzugehen. Aufgrund der jungen Zielgruppe wurde einige Zeit die Option untersucht, Einzeltests mehr Personen in kürzerer Zeit zu testen letztendlich zugunsten des ursprünglich geplanten Gruppentests aus Sehr breit gefächerte Website -> äußerst verschiedene Zielgruppe Neben einem sehr großen Altersunterschied von sieben Jahren, was vor allem in jungen Jahren noch sehr viel ausmacht, mussten auch sehr verschiedene Bildungsniveaus berücksichtigt werden. Dieser Unterschied entstand einerseits durch die Altersdifferenz, andererseits hatte man es mit Jugendlichen aus verschiedenen Kulturen und sozialen Umfeldern zu tun Nur eine Woche Zeit für Evaluierung und Auswertung Eine weitere Schwierigkeit war, dass das Fenster für den Testzeitraum und die Auswertung insgesamt nur etwa eine Woche betrug, was zum Einen die Koordination der Temine schwierig machte, zum Anderen auch bedeutete, dass eventuelle Schwächen im Testsystem in jedem Fall vor dem ersten Test behoben werden mussten, da nachträglich keine Zeit war, zu reagieren. Auch das Tool zur Auswertung musste im Vorhinein programmiert werden, sodass während der Testphase die ganze Aufmerksamkeit der Interpretation der Daten geschenkt werden konnte. Bernhard Grießler, MT

22 2.5. Welche herkömmlichen Test-Varianten können zur Anwendung kommen? Ziel war es, möglichst nahe an die sehr aussagekräftigen aufgabenbasierten Usability Tests mit Einzelpersonen heranzukommen. Ein solcher diente als Grundlage für die Entwicklung des Test Settings. Da es aber in einer Testumgebung mit mehreren Personen kaum möglich ist, diesen sinnvoll umzusetzen, mussten Möglichkeiten gefunden werden, diesen mit anderen Methoden zu verbinden und dadurch den persönlichen Bezug zu den Testpersonen bestmöglich zu ersetzen. Hier wurde einerseits die Möglichkeit einer On-Site-Befragung (vgl. Kapitel ) verwendet, um die Eindrücke der Testpersonen an einer bestimmten Stelle des Tests festhalten zu können, aber auch Eigenheiten von Online-Befragungen (vgl. Kapitel ) wurden verwendet. Ebenso war es wichtig, die einzelnen Klicks, und damit den Weg und eventuelle Abbruch-Punkte durch eine Trackinganalyse festzuhalten. Ebenfalls durch ein Online-Tool ersetzt wurde der Controller, der üblicherweise bei professionellen, aufgabenbasierten Tests eingesetzt wird und zu bestimmten Ereignissen Marker setzt. Beispielsweise Tast Start, Task Ende. So kann die Zeit pro Task ermittelt, und Vergleiche angestellt werden Wie können möglichst viele verschiedene Personen möglichst aussagekräftig getestet werden? Üblicherweise werden Tests auf Video aufgezeichnet und durch diverse Marker ergänzt, die Ereignisse, wie den Beginn oder das Ende eines Tasks, Hilfestellungen oder Fehler anzeigen. Klicks werden mitgezählt, und im Video durch spezielle Symbole gekennzeichnet. Der erste Schritt war es, den Test in die einzelnen Bestandteile zu zerlegen, und möglichst viel davon in eine Testmethode zu übertragen, die das Testen mehrerer Personen gleichzeitig zulässt Einführungsphase Der erste Schritt jedes Usability Tests ist eine Einführung der Testperson. Hier werden wichtige Informationen angeboten, z.b. zum Ablauf des Tests, zum Ziel und Zweck des Tests, bei Bedarf eine Erklärung der Persona. (vgl. Kapitel ) Außerdem wird darauf Wert gelegt, der Testperson klar zu machen, dass nicht sie getestet wird, sondern das Produkt an sich. Die Testperson muss sich wohl fühlen, und die Testbedingungen sollten möglichst neutral, und bei allen Tests gleich sein. Deshalb wird der Text mit den Informationen auch vorgelesen, damit alle Personen den gleichen Informationsstand haben. Bernhard Grießler, MT

23 Da hier kaum für die Evaluation relevantes Feedback zu erwarten war, wurde diese Einführung mit Hilfe einer PowerPoint Präsentation bewerkstelligt und von einem Testleiter vorgetragen. Es gab natürlich die Möglichkeit für Zwischenfragen Erster Eindruck Sind alle Fragen zum Ablauf geklärt, bekommen die ProbandInnen die Möglichkeit, sich kurz, ohne die Verwendung von Interaktionselementen, auf der Website umzusehen und ihren ersten Eindruck zu schildern. Das ermöglicht einerseits die Evaluierung des ersten Eindrucks, der vor allem bei Websites eine sehr wichtige Rolle spielt, es kann dadurch aber auch überprüft werden, ob das Design zum Zweck der Website passt und ob auf Anhieb erkannt wird, worum es auf der Site geht. Im Fall der Bildungsplattform war es wichtig, den Testpersonen hier die Möglichkeit dinnen festzuhalten. Das konnte selbstverständlich nicht im Plenum erfolgen. Zu diesem Zweck wurde ein Feedback Link eingebaut, der ein Fenster mit einer ersten Stimmungsabfrage (Schulnoten 1-5) und der Möglichkeit, einer freien Texteingabe bot. Nachdem alle TeilnehmerInnen fertig waren, begann die Durchführung der Aufgaben Durchführung der Aufgaben Für gewöhnlich wird im Zuge eines aufgabenbasierten Tests der Testperson eine Aufgabe vorgelesen und ein kleiner Zettel mit den Eckpunkten der Aufgabe zur Verfügung gestellt, um die nötigen Hilfestellungen auf Inhaltliches zu reduzieren, und nicht organisatorische Hilfe bei der Durchführung anbieten zu müssen. Dies würde das Ergebnis verfälschen und den Aufwand bei der Auswertung erheblich erhöhen, da eine Sortie- malfall jeder Klick mitgezählt, um danach eine Statistik zu erstellen. Ist eine Aufgabe abgeschlossen, bekommt die Testperson die nächste Aufgabe gestellt. Bei einem Test mit mehreren TeilnehmerInnen kann selbstverständlich nicht jeder einzelnen Person die Aufgabe erklärt werden, weshalb in der PowerPoint Präsentation sowohl jede Aufgabe mit Erklärungen vorgelesen und gezeigt wurde, als auch anschließend eine kurze Zusammenfassung der Ziele jedes einzelnen Tasks. Bernhard Grießler, MT

24 Abschließende Umfrage Die an der FH verwendete Morae Software bietet die Möglichkeit, den Testpersonen nach Abschluss der Aufgaben einen Fragebogen anzuzeigen. Das ermöglicht es, die personlichen Eindrücke der ProbandInnen noch einmal schriftlich und in ihren eigenen Worten festzuhalten. Dieser abschließende Punkt kann die Auswertung der Daten sehr stark vereinfachen, und eventuell aufgetretene Unklarheiten beseitigen. Beim Testen der Bildungsplattform war daher klar, dass dieser Punkt auf keinen Fall fehlen darf. Die Umfrage wurde demnach als eigene Seite umgesetzt, die direkt im Anschluss an das Erreichen des letzten Zieles erschien Allgemeines Die Analyse der Einzeltestmethode ergab, dass es, um maximalen Nutzen aus den gesammelten Daten ziehen zu können notwendig war, auch bei der angewandten Gruppenvariante jeden Test einzeln nachvollziehen zu können. Das bedeutet, der erste Eindruck der Site muss einerseits verknüpft werden mit der abschließenden Umfrage, verbunden durch die getrackten Klicks, von denen jeder einzelne eindeutig den Bewertungen zuordenbar sein musste. Eine durchgehende, automatisch generierte Test-ID stellte sicher, dass alle gesammelten Daten jeweils dem richtigen Einzeltest zugeordnet wurden. So ergab ein durchgeführter Test mit 20 Personen nicht einen großen Datensatz, sondern 20 einzelne Datensätze, die jeweils die folgenden Daten beinhalten: Den ersten Eindruck von der Website Den Weg durch die Website und Anzahl der Klicks Die Bewertung durch den User in der abschließenden Umfrage Zusätzlich konnten über ein zusätzliches Tool die Gruppengröße und die Dauer der Tasks aufgezeichnet werden. 3. Vorbereitung der Tests Bevor mit einem Test begonnen werden kann, muss im Regelfall festgelegt werden, was genau getestet werden soll, und welche Erkenntnisse man sich erhofft. Dazu werden Szenarien entwickelt, die möglichst nahe an der Lebensrealität der gewünschten Zielgruppe sein sollen. Bernhard Grießler, MT

25 3.1. Entwicklung eines Test Szenarios Ein Szenario ist ein beispielhafter Anwendungsfall für die zu testende Software. Es pe, sondern um die Ausarbeitung eines speziellen Weges durch die Anwendung. Diese Spezialisierung auf einen bestimmten Bereich macht es möglich, Software zu testen, bei der noch nicht alles vollständig fertig ist, da nur ein gewisser Bereich funktionieren muss. (vgl. Kapitel ) Persona Die Entwicklung einer Persona ist die Grundlage jedes Szenarios. Die möglichst realitätsgetreu erdachte Person soll den TeilnehmerInnen der Tests später als Denk- Grundlage dienen. Im Zusammenhang mit der Bildungsplattform wurde daher folgende Persona entwickelt: Johannes, 16 Jahre alt: Johannes ist Schüler an einem Gymnasium. Er kennt sich gut mit Computern aus und spielt gerne Games aller Art. Er probiert gerne Neues aus und zeichnet in seiner Freizeit auch gerne. Er spricht mittelmäßig Englisch, ist gut in Ma- kreative Lösungen für diverse Probleme und mag gut gemachte Fantasy-Filme Aufgaben Ist eine Persona entwickelt, werden mögliche Anwendungsfälle ausgearbeitet, in denen die Person die zu testende Software verwenden könnte. Dieses Szenario wurde in 3 Teile aufgeteilt und mit jeweils einer konkreten Aufgabe versehen: Interessens-Check Im ersten Teil der Aufgabe ging es darum, den Interessens-Check zu testen. Dazu mussten diverse Fragen nach Belieben beantwortet werden, um schließlich den Beruf Bernhard Grießler, MT

26 Abbildung 4 - Interssens-Check mit Berufsvorschlägen Szenario 1: Du magst Computer Games und würdest gerne etwas in dieser Richtung machen, wenn du erwachsen bist - eventuell auch etwas mit der Entwicklung von Computerspielen zu tun haben. Du besuchst die Seite der Bildungsplattform Aufgabe 1: wickler tätig werden kannst Drei Entitäten Die zweite Aufgabe behandelte das Erkennen und Verstehen der drei Entitäten. Es sollte überprüft werden, wie leicht oder schwer es den Jugendlichen fällt, zwischen Berufen, Ausbildungswegen und Unternehmen hin und her zu navigieren. Ziel war das Anklicken der Details zur Internetagentur Q2E. Abbildung 5 - Übersicht der drei Entitäten Bernhard Grießler, MT

27 Szenario 2: Du hast den Beruf Game Designer gefunden und möchtest nun wissen, welche Ausbildungswege dir dazu zur Verfügung stehen. Die FH St. Pölten bietet einen möglichen Bildungsweg. Da du aus St. Pölten kommst, möchtest du dich näher darüber informieren. Als du siehst, welche Möglichkeiten dir sonst noch an der FH St. Pölten zur Verfügung stehen, wird auch dein Interesse für den Aufgabe 2: Wähle den passenden Ausbildungsweg an der FH St.Pölten aus und suche andere Berufe, die mit dieser Ausbildung möglich wären. Informiere dich spe- arbeiten könntest. Beispielsweise eine Internetagentur Verwenden der Suchfunktion Die dritte Aufgabe beschäftigte sich mit dem Verwenden der Suchfunktion. Einerseits sollte überprüft werden, ob der Einstieg in die Suchmaske klar war, andererseits sollte das Interaction Design für die Filterung von Einträgen und die Notwendigkeit/Usability einer eventuellen Merkliste überprüft werden. Abbildung 6 - Einstieg in die drei verschiedenen Suchmasken Szenario 3: interessante Berufe, willst dein Tätigkeitsfeld aber auf Medien, Druck, Design einschränken und dich über einige Berufe informieren. Du hast leider keine Zeit mehr und willst dir die Merkliste für später per schicken lassen. Bernhard Grießler, MT

28 Aufgabe 3: das Berufsfeld Medien, Druck, Design anzeigen. Dann möchtest du dir 3 Berufe merken und dir die Liste per Mail schicken lassen Entwicklung eines Evaluation Tools mit PHP/JavaScript/MySQL Aufgrund der Komplexität der benötigten Daten musste ein tool programmiert werden, das die Anforderungen an den Test erfüllen konnte und möglichst ohne Einschränkungen in Bezug auf Betriebssystem, Browser und Bildschirmgröße funktionieren sollte. Als Grundlage für das Tool wurde ein sogenannter Click Dummy 1 gebaut. Dazu wurden die Screenshots von jeder notwendigen Bildschirmansicht in Adobe Illustrator angefertigt und als Bilder exportiert. Diese Bilder wurden jeweils mit einer Image Map versehen und alle interaktiven Elemente bekamen einen Klickbereich, der eine JavaScript-Funktion aufrief. Eine Datenbank wurde zur Speicherung der Datensätze verwendet Loggen der Klicks Der Aufruf der JavaScript Funktion chg(page, elm) erweiterte eine Variable pstring jeweils um den Code der aktuellen Seite und einen für jedes klickbare Element einzigartigen Code. Bei Treffen des richtigen Links wurde die nächste PHP Seite mit dem ehemaligen JavaScript pstring als Parameter aufgerufen, der Inhalt des Parameters in eine Datenbank geschrieben und die Seite ohne dem Parameter neu geladen. Diese Aktion des automatischen Reloads der Seite verhinderte unabsichtliche Doppeleinträge und erschwerte die unbefugte Manipulation des Systems. Jeder einzelne Klick, der im System getätigt wurde, konnte durch diese Funktion nachvollzogen werden Setzen von Timestamps bei Seitenwechsel Zusätzlich zu den Klicks wurde auch mit jedem Seitenwechsel ein Timestamp, also die aktuelle Serverzeit in der Datenbank gespeichert. Das ermöglichte im nachhinein die genaue Auswertung, wie lange jede einzelne Person sich auf jeder einzelnen Seite aufhielt. 1 Click Dummy bezeichnet einen horizontalen Prototypen (vgl. Kapitel ), bei dem auf einem Bild mittels einer Image Map Links platziert werden. Bernhard Grießler, MT

29 Test-ID in Session Eine der wichtigsten Funktionen im Tool war die Tatsache, dass jeweils beim Aufrufen einer PHP-Seite geprüft wurde, ob bereits eine aktive Session mit einer einzigartigen Test-ID im Browser hinterlegt war. Falls nicht, wurde eine generiert, in der Session abgelegt und bei jedem Kontakt mit der Datenbank zu den restlichen Daten hinzugefügt. So konnten die Klicks einen eindeutig nachvollziehbaren Weg darstellen, dem die Umfrageformulare zugewiesen wurden. Die Nutzung einer Session eignete sich in diesem Fall sehr gut, da eine Session standardmäßig automatisch nach 20 Minuten Inaktivität verworfen wird. Das bedeutet, es konnten, auch ohne den Cache löschen zu müssen, mehrere Tests im selben Computerraum durchgeführt werden, wenn mindestens 20 Minuten Abstand zwischen den Tests waren Umfrageformulare Neben dem Tracking der Klicks waren vor allem die Umfrageformulare außerordentlich wichtig für eine nachträgliche zuverlässige Auswertung der Tests. Sowohl vor, als auch nach dem Test konnte der Eindruck der Website in Form von Schulnoten und mit einem freien Text bewertet werden Eindruck vor dem Test Die Abfrage des ersten Eindruckes vor dem Test diente vor allem zur Evaluierung des Designs und der grundsätzlichen Übersichtlichkeit der Website. Um den Umgang der Jugendlichen mit dem Benotungssystem möglichst einfach zu halten, wurde ein an Schulnoten angepasstes Benotungssystem verwendet. (vgl. Kapitel ) Eindruck nach dem Test Der Eindruck nach dem Test war einerseits wichtig, da er den bleibenden Eindruck in Bezug auf die Website aufzeigte, andererseits ermöglichte er einen sehr direkten und aussagekräftigen Vergleich mit dem Eindruck vor dem Test. Es ging bei der Umfrage darum, um spezielle Fragen in Bezug auf das Interaction Design zu beantworten. Auch die gefühlte Notwendigkeit für eine derartige Website sollte unter Frage gestellt werden. Die Umfrage lautete folgendermaßen: Bernhard Grießler, MT

30 Die Fragen im Detail: Wie einfach oder schwierig war für dich die Durchführung der Aufgaben? (1 = Sehr leicht, 5 = Sehr schwierig) War der Interessenscheck am Anfang für dich verständlich? (Ja/Nein) Findest du die Suche übersichtlich? (Ja/Nein) und Unternehmen? (1 = Sehr gut, 5 = Nicht genügend) gend) Weißt du schon, welchen Beruf oder welchen Ausbildungsweg du machen möchtest? (Ja/Nein) Könntest du dir vorstellen, dass dir diese Website bei der Entscheidung hilft? (Ja/Nein) werden? (Freier Text) Controller Interface zur Zuordnung von Tests zu Gruppen/Tasks Um sicherheitshalber die Daten zu einem bestimmten Testvorgang zuordnen zu können, wurde ebenfalls ein PHP Tool für den Controller erstellt. Durch Eingabe einer Gruppengröße wurde ein neuer Test-Datensatz angelegt und jeweils durch einen Klick um die Start- und Endzeiten der Tasks ergänzt Erstellen einer PowerPoint Präsentation Da eine Betreuung der einzelnen TeilnehmerInnen realistisch gesehen nicht möglich war, wurde eine PowerPoint Präsentation erstellt, die einerseits alle wichtigen Informationen für die Testpersonen beinhaltete, aber auch als Stütze diente. Auch der Link zur Website wurde über diese Präsentation angeboten. Die einzelnen Szenarien und Aufgaben waren ebenfalls Teil davon. Die Anzeige in den jeweiligen Unterrichtsräumen war durch Beamer geplant. Bernhard Grießler, MT

31 3.4. Koordination der Tests mit Schulleitung/Lehrpersonen Die Koordination mit der Sportmittelschule St. Pölten erfolgte über einen engagierten sen, Gruppen von maximal 7 Jugendlichen im Alter von 13 Jahren zu testen, um einen Überblick wahren zu können. Da die Handelsschule und Handelsakademie St. Pölten am Projekt Bildungsplattform beteiligt waren, konnte die Koordination der Termine innerhalb kürzester Zeit erfolgen. Mit dem Direktor der HAK wurde ein genauer Testablauf besprochen und verschiedene der Unterrichtszeit mit Unterstützung der Lehrkräfte die Tests durchzuführen. Die detaillierte Koordination der genauen Uhrzeiten und des Datums geschah per mit dem Administrator der Schule. Um eine möglichst breite Streuung der Testpersonen zu erreichen, wurden je eine 1., 2., 3., 4. und 5. Klasse getestet. 2. und 3. waren Klassen der Handelsschule, und 5. Klassen der Handelsakademie. Insgesamt konnte somit eine Altersspanne von 13 bis 19 Jahren abgedeckt werden Abklärung der PC-Situation vor Ort Ein weiterer wichtiger Punkt, der vorab geklärt werden musste, war die PC-Situation in den Schulen. Es wurde darauf hingewiesen, dass jeweils nur Internet Explorer in einer nicht aktuellen Version vorhanden war und niemand vor Ort Rechte zum Installieren neuer Software besaß. Auch die Situation der Monitore wurde abgeklärt, sodass die für konnte. Außerdem wurde sicher gestellt, dass in allen verwendeten Räumen Beamer vorhanden sind. 4. Durchführung der Tests Die Durchführung der Tests stellte den Kern des Projekts dar und musste innerhalb weniger Tage abgeschlossen sein. Das Testsetting wurde bereits im Vorfeld abgeklärt. Die Kompatibilität mit Internet Explorer konnte allerdings erst nach dem ersten Testdurchlauf vollständig hergestellt werden. Bernhard Grießler, MT

32 4.1. Testsetting Getestet wurde in Schulklassen mit einer Gruppengröße von 7 bis 20 Personen. Eine 3. Klasse der Sportmittelschule St.Pölten, eine 2. und 3. Klasse der Handelsschule St. Pölten und eine 1., 4. und 5. Klasse der HAK St. Pölten. Die Tests wurden jeweils auf den Geräten der Informatiksäle durchgeführt, was eine Kompatibilität mit Internet Explorer 7 erforderlich machte. Als Testsoftware wurde eine eigens entwickelte PHP- Anwendung verwendet (vgl. Kapitel 3.2.). Beamer zum Zeigen der Präsentation SchülerInnen-PCs Windows, Internet Explorer Durchgeführt wurden die Tests von einem 2-Personen Team, wobei eine Person durch den Test führte, die andere Person die Präsentation und das Controller-Interface betreute und Notizen machte Vorstellung und Einleitung Abbildung 7 - Aufbau der zur Verfügung stehenden Computerräume Jeder Test begann mit einer kurzen Vorstellung des Teams und einer Absprache mit der jeweiligen Lehrperson. Ab diesem Zeitpunkt wurde vom Testleiter nur noch vom in gedruckter Version vorhandenen Testleitfaden abgelesen, um allen Gruppen die gleichen Informationen zukommen zu lassen, und das Ergebnis nicht durch vergessene oder hinzugefügte Informationen zu verfälschen. Die Möglichkeit, noch Fragen zu stellen wurde kaum genutzt. Der Controller am Macbook bediente das Controller Tool, die Präsentation und machte Notizen zu den Kommentaren der SchülerInnen. Die meisten der TeilnehmerInnen waren sehr interessiert bei der Sache Erstes Feedback Der erste Punkt, den die TeilnehmerInnen zu erledigen hatten war, die in der Power- Point Präsenation angezeigte URL aufzurufen, und sich dort ohne Klicken umzusehen. Sobald sie das Gefühl hatten, einen Eindruck von der Seite zu haben, konnte in der rechten oberen Ecke ein Feedback-Link angeklickt werden, der die erste Umfrage öffnete. Es wurde versucht, die TeilnehmerInnen so weit wie möglich dazu zu bringen, die Felder alleine auszufüllen, ohne sich mit andern abzusprechen. Bernhard Grießler, MT