Leitfaden für das Usability Testing vom Tracing Mechanismus. Sarah Grebing May 15, 2015

Transkript

1 Leitfaden für das Usability Testing vom Tracing Mechanismus Sarah Grebing May 15,

2 1 Script 1.1 Vorher In den nächsten 60 bis 70 Minuten werden wir uns mit dem KeY System beschäftigen. Wir beschäftigen uns dabei mit einer Software-Version, die sich noch in der Entwicklung befindet. Ziel der Studie soll es sein, jetzt schon Schwachstellen und Optimierungspotenzial, sowie Ideen zur Weiterentwicklung aufzuzeigen. In diesem Zusammenhang werde ich dir Fragen stellen. Dabei ist uns deine persönliche Meinung wichtig. Ich werde dir auch Aufgaben stellen, bei denen du das System zum Lösen dieser Aufgaben benutzen sollst. Wir wollen damit die Benutzerfreundlichkeit testen und nicht deine Fähigkeiten. Du kannst dabei also nichts falsch machen. Uns ist es wichtig, dass du dabei alles sagst, was dir einfällt. Auch ist es uns wichtig, dass du uns sagst was du gut oder schlecht findest. Wenn du über etwas nachdenkst ist es uns wichtig, dass du dies laut machst. Wir werden eine Mitschrift anfertigen um die Ergebnisse auszuwerten und wir werden deine Aussagen und deine Aktionen am Bildschirm aufzeichnen (Audio und Video). Die Aufzeichnungen werden wir nur zu Auswertungszwecken verwenden und nicht veröffentlichen. Wir wollen uns zunächst kurz über deine bisherigen Erfahrungen unterhalten. Danach möchte ich dich bitten verschiedene Aufgaben bezüglich der Bedienung der Software durch zugehen. Nach jeder bearbeiteten Aufgabe werde ich dir ein Paar Fragen zu deinem persönlichen Eindruck bezüglich des Ablaufs und eventuell auftretenden Schwierigkeiten stellen. Am Ende habe ich dann noch einmal einige allgemeine Fragen an dich. Hast du Fragen bevor wir anfangen? Aufnahme starten 2 Einleitung (5 Min) Bitte stell dich einmal kurz vor. Mich interessieren vor allem Aspekte die mit dem formalen Beweisen und dem KeY System zu tun haben: Wie lange kennst du das KeY System schon? Seit wann benutzt du das System für mehr als Spielbeispiele? Im letzten Jahr, wie viele Stunden hast du das System im Durchschnitt in der Woche zum Lösen von Beweisaufgaben benutzt? Falls du auch am System mit entwickelst, worin bestehen hier deine Aufgaben? Schätze deine Expertise mit dem System ein. Würdest du dich als Anfänger, fortgeschrittener oder Experten-Nutzer einordnen? Warum würdest du dich in diese Kategorie einordnen? 2

3 3 Warm-Up (10 Min) Vorbefragung Zum Aufwärmen würde ich dich bitten dich in die Situation zu versetzten, dass du vor dem KeY System sitzt und einen Beweiszustand erreicht hast, in dem die automatischen Strategien nicht mehr weiterlaufen. Du hast viele offene Äste und eine recht große Sequenz. Was könnte passiert sein? Was können Gründe dafür sein, dass KeY so viele Beweisäste geöffnet hat und nicht schließen konnte? Wie gehst du an das Problem heran um herauszufinden was passiert ist und was die nächsten Schritte sind? Welche Möglichkeiten hast du dafür? Bitte ordne auch relativ zueinander ein, wie oft du welche Möglichkeit benutzt? Gibt es in der Situation noch alternativen oder fehlt dir ein Mechanismus der besser geeignet wäre als die schon vorhandenen? Wenn du dir eine Funktionalität wünschen könntest, die dich beim Beweisen mit KeY unterstützen könnte, welche wäre das? 3.1 Praktische Aufgabe Jetzt zum Monitor drehen und die Aufgabe RemoveK.java laden. Wir wollen uns jetzt der Bearbeitung von Beweisaufgaben mittels dem KeY System widmen. Wir haben hier eine Methode implementiert, die als Parameter ein Array und eine Integer Zahl k erhält. Die Methode soll das k-te Element aus dem Array entfernen und das restliche array zurückgeben. Dazu haben wir eine einfache Spezifikation angefangen. Bitte beweise mir dass die Methode removeelem() ihren Kontrakt erfüllt. Gehe bitte so vor, wie du auch bei anderen Beweisaufgaben vorgehst. Ergänze bitte wenn notwendig auch die Spezifikation oder das Programm. Bitte denke dabei laut wonach du suchst und bevor du klickst erkläre kurz warum du dort hinklicken würdest. Den Teilnehmer ein bisschen ausprobieren lassen. Max 5 Minuten. Wenn der Teilnehmer nicht zum vollständigen Beweis kommt, ist das nicht schlimm. Mein Augenmerk hier liegt auf den Schritten, die er nutzt um dem Beweis näher zu kommen. 3

4 4 Aufgaben mit dem System (20 Min + 20 Min) Aufgabenblock: Ohne Hilfsmittel Jetzt zum Monitor drehen und SplitStateScreenshot.proof laden. Wir werden uns jetzt mit Beweissituationen beschäftigen. Im folgenden wirst du verschiedene Beweissituationen sehen. Du sollst dann mit dem KeY System interagieren um den Beweis fortzuführen. Beschreibung der Situation: Aufgabe 1, Split Wir haben hier eine Methode, die anhand einer übergebenen Integer Zahl und einem Array, den ersten Teil des Arrays mit der Länge der Integer Zahl zurückliefert. Wir haben dazu eine Spezifikation erarbeitet, die diese Eigenschaft charakterisieren soll. /*@ public invariant len >= public invariant res. length == len /*@ public int len ; /*@ public int [] res = new int [ len ]; /*@ public requires a!= null && len >= 0 && a. length >= len && a. length ensures \ result!= null &&\ result. length <= a. length ensures (\ forall int i; 0 <= i && i < len ; \ result [ i ]== a[ assignable res public int [] split ( int [] a){ /*@ loop_invariant res!= null && res. length <= a. length && a. length >=0 res. length == len && a!= null && len >= 0 && 0 <= i && i <= && (\ forall int x; 0 <= x && x < i; res [x] == assignable res decreases len - for ( int i = 0; i < len ; i ++) { res [i] = a[i]; } return res ; } Wir haben den Beweis schon einmal angefangen und haben den Play Button gedrückt. Der folgende Beweiszustand ist nun das Resultat. Bitte darauf achten, dass der TN nicht irgendwo hinklickt und keine Feature von KeY benutzt ausser durch den Beweisbaum navigieren und sich die Sequenzen anzuschauen. Was ist bis jetzt passiert? Bitte erkläre mir die Beweissituation. Wo genau befinden wir uns im Beweis? Was steht da genau auf dem Bildschirm? Wie würdest du jetzt weiter vorgehen? Bitte erkläre mir warum ist dort x_arr_2=i_0 zu beweisen? 4

5 Figure 1: Split 2 Minuten lang erst einmal probieren lassen. Danach zeigen wir ihm/ihr auch die Spezifikation und den Code in einem Texteditor. 4.2 Kleine Aufgabe ohne Hilfsmittel (Aufgabe 1b) Als nächstes laden wir das Beispiel hist2 wo.key.proof. Knoten 458, Formel m(a,d) Hier ist auch wieder der Play Button gedrückt worden. Wie gehst du vor? Was ist bis jetzt passiert? Bitte erkläre mir die Beweissituation. Wo genau befinden wir uns im Beweis? Was steht da genau auf dem Bildschirm? Wie würdest du jetzt weiter vorgehen? Bitte erkläre mir warum ist dort m(a,d) zu beweisen? 5 2. Aufgabenblock: Mit Hilfsmittel Beschreibung der Situation Es gibt in KeY eine neue Funktionalität die Show History heißt. 5

6 Figure 2: Aufgabe ohne Hilfsmittel Vorbefragung Was stellst du dir darunter vor? Es sollte so etwas kommen wie, die Herkunft einer Formel oder eines Terms darstellen. Diese Funktionalität darfst du bei der Bearbeitung der nächsten Aufgabe benutzen. Darauf auch achten, wo der Nutzer die neue Funktionalität vermutet? Ist sie am richtigen Platz? Richtig ist, im Tacletauswahlmenü wenn auf die entsprechende Formel/den entsprechenden Term geklickt wird, (siehe Screenshot 5) Beschreibung der Situation: Aufgabe 2, Palindrome Wir haben hier eine Methode, die überprüft ob ein übergebenes Array ein Integer Palindrom enthält. Palindrom: Ein Palindrom ist eine Zeichenkette, die rückwarts und vorwärts gelesen dasselbe ergibt. Beispielsweise 1001 ist ein Palindrom, 1010 ist kein Palindrom. public requires a!= null ; 6

7 Figure 3: Auswahl des History ensures \ result == (\ forall int i; 0 <= i && i < a. length ; a[ i ]== a[a. length -1 assignable \ nothing public /*@ boolean ispalin ( int [] a){ boolean res = true ; /*@ loop_invariant a!= null && 0 <= i && i <= a. && res == (\ forall int x; 0 <= x && x < i; a[ x] == a[a. length -1 assignable \ nothing decreases a. length - for ( int i = 0; i < (a. length /2) ; i ++) { if(a[i]!= a[a. length -i -1]) { res = false ; } } return res ; } Datei Palindrome state1.proof laden. Wir haben den Beweis schon einmal angefangen und haben den Play Button gedrückt. Der folgende Beweiszustand ist nun das Resultat. Es sollte jetzt nur ein offenes Ziel da sein: Knoten 718. Der Fehler in der Datei: Zuweisung zum Result fehlt in beiden Spezifikationen Was ist bis jetzt passiert? Bitte erkläre mir die Beweissituation. Wo genau 7

8 befinden wir uns im Beweis? Was steht da genau auf dem Bildschirm? Wie würdest du jetzt weiter vorgehen? Bitte erkläre mir warum ist dort a[-1 + i_0 * -1 + a.length] = a[i_0] zu beweisen? Warum steht dort x_18=i_0? Woher kommt die Formel? Darauf achten und ggfs. erinnern, dass der Nutzer nun die neue Funktionalität benutzen darf. Bitte auch darauf achten, dass der Nutzer: 1. erst beschreibt was er machen möchte 2. keine Feature von KeY benutzt: Prune Proof, Macros, etc. 3. er nur: Navigation, Ein- und Ausblenden von Knoten und den neuen Mechanismus benutzt 2 Minuten lang erst einmal probieren lassen oder solange bis der TN den Code/Spezifikation sehen möchte. Danach zeigen wir ihm/ihr auch die Spezifikation und den Code in einem Texteditor. Dieser wird im Hintergrund geöffnet sein. 8

9 5.1 Kleine Aufgabe mit Hilfsmittel (Aufgabe 2b) Als nächstes laden wir das Beispiel Hist1.key.proof. Hier ist auch wieder der Play Button gedrückt worden. Was ist bis jetzt passiert? Bitte erkläre mir die Beweissituation. Wo genau befinden wir uns im Beweis? Was steht da genau auf dem Bildschirm? Wie würdest du jetzt weiter vorgehen? Bitte erkläre mir warum ist dort g(l, h8_0) zu beweisen? Woher kommt diese Formel? 5.2 Nachbefragung Zu dem neuen Mechanismus haben wir ein Paar Fragen an dich: Wie findest du den neuen Mechanismus? Hat der Mechanismus das angezeigt was du erwartet hast? Was hast du erwartet? Was war anders? Was erwartest du wenn eine Formel/ein Term mehrere Elternteile hat? Bis zu welcher Tiefe möchtest du die Eltern der Elternformeln sehen? Hast du Verbesserungsvorschläge für den Mechanismus? 9

10 6 Erwartungshaltung: Eltern-Relation Wir würden jetzt gerne noch einen kleinen Aufgabenblock mit dir durchführen. Wir werden dir jeweils einen Beweiszustand zeigen und dir dazu Fragen stellen. Wichtig ist und, dass du bitte die Maus zum zeigen benutzt und alles was du denkst auch sagst. Falls die TN fragen wie weit sie die Eltern anzeigen sollen, dann antworte bitte so etwas wie: soweit sie diese angezeigt bekommen möchten. 6.1 Knoten 14 RewriteRegel Bitte zeige mir ausgehend von Knoten 14 die Eltern von der Formel: a = null Warum würdest du diese Formeln als Elternformeln sehen? 6.2 Knoten 116 LI (evtl.) + Vereinfachung Bitte zeige mir ausgehend von Knoten 116 die Eltern von der Formel: i_0 <= a.length Warum würdest du diese Formeln als Elternformeln sehen? Warum würdest du nicht die Schleifeninvariantenformel als Eltern sehen? 6.3 Knoten 899 AnteSucc+Heap Bitte zeige mir ausgehend von Knoten 899 die Eltern von der Formel: a.length >= 1+k_0 Warum würdest du diese Formeln als Elternformeln sehen? 6.4 Knoten 987 Bitte zeige mir ausgehend von Knoten 987 die Eltern von der Formel: f_0_0 = o_0.f_0 Warum würdest du diese Formeln als Elternformeln sehen? 7 Cool-Down: Befragung (10 Min) Vielen Dank, dass du an unserem Test mit teilgenommen hast. Zum Abschluss habe ich noch ein Paar allgemeinere Fragen an dich. Kannst du dir vorstellen wofür Show History benutzt werden könnte im allg. Beweiskontext Kontext? 10

11 Würdest du diese Funktionalität benutzen? Wenn ja, hast du dazu auch ein kleines Beispiel? Hast du noch weitere Verbesserungsvorschläge für das KeY System? Würde es dir helfen, wenn an den Termen markiert ist aus welchem Teil der Spezifikation sie entstanden sind? 11

12 Ergänzende Fragen für den UEQ 1. Würdest du Show History im Beweisalltag verwenden? Wenn ja, wann genau? 2. Für welche Beweissituation ist Show History hilfreich? Wo hilft Show History nicht weiter? 3. Wie genau möchtest du die Eltern-Relation sehen? Möchtest du Show History nur für Formeln und Subformeln oder auch für Terme und Subterme? 4. Derzeit wird als Eltern-Teil nur der find()-teil eines Taclets angesehen. Welche Rolle haben für dich die Formeln im \assume()-teil eines Taclets? 5. Hast du Ideen für die Darstellung der Elternformeln/-terme? 12