E-Assessment NRW Erstellt:

Transkript

1 PINGO formative Assessments Mit PINGO (Peer instruction for very large groups), lassen sich formative Assessements realisieren. Das webbasierte Classroom Response System (CRS) wurde an der Universität Paderborn entwickelt und kann mit jedem (mobilen) internetfähigen Endgerät (z. B. Smartphone oder Tablet) genutzt werden. Es wird als SaaS (Software as a Service Cloud Service) kostenfrei nationalen und internationalen Bildungseinrichtung zur Verfügung gestellt sowie als Open Source für das Eigenhosting angeboten. Mit PNIGO lassen sich neben Single- und Multiple Choice-Fragen auch Schätz- und Freitextaufgaben realisieren. PINGO wird außer in Paderborn u.a. an den Universitäten Aachen, Düsseldorf und Duisburg-Essen genutzt. Als Entwickler ist die Universität Paderborn ebenfalls für die Weiterentwicklung und die Wartung verantwortlich. Das CRS wird bei einem externen Rechenzentrum in Frankfurt gehostet. Vorteile: Schnell einsetzbares System, da Cloud-basiert Open Source: keine Lizenzkosten Open Source: eigene Anpassungen möglich Webbasierte Anwendung, auf jedem internetfähigen Gerät nutzbar Nachteile: Open Source: kein Support vom Hersteller bei Eigenhosting Mögliche rechtliche Probleme beim Fremdhosting über externen Anbieter Kleines Entwicklerteam: eine stetige Weiterentwicklung ist fraglich 1

2 Inhaltsverzeichnis 1 ALLGEMEINE INFORMATIONEN ZUM GOOD PRACTICE BEISPIEL 3 2 DIDAKTISCHE EINSATZSZENARIEN UND EINSATZMÖGLICHKEITEN EINSATZGEBIETE DER SOFTWARE WELCHE EINSATZMÖGLICHKEITEN GIBT ES? MÖGLICHE FRAGETYPEN 6 3 ERFAHRUNGEN MIT DER SOFTWARE UND VERBREITUNG DISPZIPLINÄRE EIGNUNG KONKRETER EINSATZ DER SOFTWARE ANSPRECHPARTNER AN DEN DURCHFÜHRENDEN UNIVERSITÄTEN 6 4 TECHNIK SOFTWARE- UND HARDWAREEINSATZ SYSTEMANFORDERUNGEN AUF CLIENT- UND SERVERSEITE UNTERSTÜTZTE SCHNITTSTELLEN 7 5 UNTERSTÜTZUNG/ SUPPORT VORHANDENE SUPPORTSTRUKTUREN (SOFTWARE-/ HARDWAREPROVIDER) SPECIAL INTEREST GROUPS, COMMUNITIES USW. VON NUTZERN SCHULUNGEN AUF TECHNISCHER UND DIDAKTISCHER EBENE 8 6 AUFWAND KOSTEN ZEIT 9 7 ANZAHL DER TEILNEHMER 9 8 MÖGLICHE PROBLEMSTELLUNGEN TECHNISCH DIDAKTISCH RECHTLICH 9 9 ALTERNATIVEN UND VERGLEICHBARE SYSTEME IN AUSWAHL BEWERTUNG UND EVALUATION 10 2

3 Good Practice - formative Assessments mit PINGO 1 Allgemeine Informationen zum Good Practice Beispiel PINGO steht für Peer instruction for very large groups und ist ein eigenentwickeltes Classroom Response System der Universität Paderborn. PINGO ist als eine webbasierte Anwendung angelegt, deren Prototyp Anfang des Jahres 2012 im Rahmen einer Studienarbeit am Lehrstuhl für Wirtschaftsinformatik entwickelt wurde. Ziel war u.a. die Ablösung physischer ClickR-Systeme durch webbasierte ClickR für Smartphones und Notebooks zum Einsatz in der universitären Lehre. Seit Oktober 2012 wird PINGO von der Universität Paderborn fortlaufend weiterentwickelt und gewartet. Das Projekt PINGO gewann im Jahr 2012/2013 den Förderpreis für Innovation und Qualität in der Lehre und wird als SaaS (Software as a Service Cloud Service) kostenfrei nationalen und internationalen Bildungseinrichtung zur Verfügung gestellt sowie als Open Source für das Eigenhosting angeboten. PINGO ist disziplinübergreifend einsetzbar und bei Nutzung der Web-Anwendung der Universität Paderborn auf jedem internetfähigen Endgerät (z.b. Smartphone, Notebook, Tablet) verfügbar. 2 Didaktische Einsatzszenarien und Einsatzmöglichkeiten 2.1 Einsatzgebiete der Software Die Software ist geeignet für formative Assessments. 2.2 Welche Einsatzmöglichkeiten gibt es? Im Rahmen der disziplinübergreifenden Erprobung von PINGO in verschiedenen Lehrveranstaltungen haben sich drei didaktische Haupteinsatzszenarien herausgestellt: (1) die Wiederholung von Lerninhalten, (2) die Begleitung einer Lehrveranstaltung und (3) die Lernstandsüberprüfung. Darüber hinaus bestehen indes noch weitere Einsatzmöglichkeiten (vgl. dazu nachstehend Weitere Einsatzgebiete ). Nach der Präsentation des Lehrmaterials stellt der Lehrende eine Aufgabe zu den vermittelten Lerninhalten in PINGO. Neben Single- und Multiple-Choice unterstützt PINGO auch Schätz- und Freitextaufgaben (Schritt 1). Die Studierenden erarbeiten eine Lösung und geben diese mit Hilfe einer Zugangsnummer in die webbasierte PINGO-Anwendung über ihr internetfähiges Endgerät (Smartphone, Notebook, Tablet etc.) ein (Schritt 2). Die Lösungen werden von PINGO ausgewertet und in Form von Tabellen und Diagrammen aufbereitet. Der Lehrende kann das Antwortverhalten über einen Beamer darstellen (Schritt 3). Der Lehrende kann dann sein weiteres Vorgehen an dem erhaltenen Ergebnis ausrichten. Dabei stehen ihm prinzipiell drei verschiedene Vorgehensweisen zur Verfügung: Neben der Erläuterung von Unklarheiten (Schritt 4a) können Lerninhalte zur Vertiefung wiederholt werden (Schritt 4b) und/oder die Diskussion zwischen Studierenden (Peer Discussion) oder im Plenum zur intensiveren Auseinandersetzung mit Lerninhalten angeregt werden (Schritt 4c). 3

4 1. Einsatz von PINGO zur Wiederholung: Zur Wiederholung bereits erlernten Wissens sowie zur Angleichung verschiedener Wissensstände von Studierendengruppen kann PINGO zur Veranstaltungsnachbereitung und/oder zur Wiederholung aus Selbststudienphasen eingesetzt werden. Zur Gestaltung einer Wiederholungseinheit mit PINGO bietet es sich an, zu Beginn einer Veranstaltung Fragen zu formulieren und diese durch die Studierenden beantworten zu lassen. Für dieses Szenario empfiehlt sich die Wiederholung eines Themas anhand von nicht mehr als 5 Fragen. Dies entspricht in etwa einem Zeitaufwand von ca. 15 Minuten in einer Veranstaltung je nach Aufwand der Nachbesprechung des Antwortverhaltens. PINGO bietet die Möglichkeit, Fragenkataloge in der Web-Anwendung im Rahmen der Veranstaltungsvorbereitung zu erstellen, um auf diese in der Veranstaltung schnell zugreifen zu können und eine Mehrfachnutzung der Fragen zu gewährleisten. Des Weiteren kann eine Antwortzeit für die Studierenden festgelegt werden. Lehrende können mit PINGO durch Ermittlung des Antwortverhaltens feststellen, inwieweit vermittelte oder selbsterlernte Inhalte von den Studierenden verstanden wurden und/oder Wissensdefizite aufdecken und zu deren Klärung beitragen, um u.a. eine gemeinsame Arbeitsgrundlage zu schaffen. Letzteres kann in Form einer Peer Discussion oder der Interaktion mit dem Lehrenden erfolgen und die Interaktion fördern. Studierende können frühzeitig ihren Wissensstand überprüfen und werden zur Selbstreflexion aktiviert. 2. Einsatz von PINGO zur Begleitung einer Lehrveranstaltung: PINGO kann anstelle zum Beginn oder Ende der Lehrveranstaltung (siehe auch: PINGO zur Wiederholung und/oder PINGO zur Lernstandsüberprüfung) auch kontinuierlich im Veranstaltungsverlauf zur Begleitung einer Lehrveranstaltung eingesetzt werden, um eine aktive Beteiligung von Studierenden zu erreichen. Zur Gestaltung einer Begleitung der Veranstaltung mit PINGO bietet es sich an, Befragungen im Anschluss an Themenblöcke in der Veranstaltung einzubinden. Für dieses Szenario erscheint es sinnvoll, die Anzahl der Frageblöcke in Anlehnung an die Themenblöcke der jeweiligen Veranstaltung zu gestalten(z.b. 3 Themenblöcke = 3 Frageblöcke à ca. 3 Fragen). Der Zeitaufwand ist individuell unterschiedlich und richtet sich nach dem Umfang der Frageblöcke und dem Aufwand zur Nachbesprechung des Antwortverhaltens. PINGO bietet die Möglichkeit, Fragenkataloge in der Web-Anwendung im Rahmen der Veranstaltungsvorbereitung zu erstellen, um auf diese in der Veranstaltung schnell zugreifen zu können und eine Mehrfachnutzung der Fragen zu gewährleisten. Des Weiteren kann eine Antwortzeit für die Studierenden festgelegt werden. Die Begleitung der Veranstaltung mit PINGO kann punktuell in einer Veranstaltung erfolgen oder über ein gesamtes Semester hinweg. Lehrende können mit dem kontinuierlichen PINGO-Einsatz die Studierenden aktiv in die Lehrveranstaltung einbeziehen. Des Weiteren kann durch die Auswertung des Antwortverhaltens der Lernfortschritt im Lernprozess ermittelt werden sowie nach Bedarf bspw. durch Anpassung der Lerninhalte zeitnah die Lehrveranstaltung angepasst werden. Die- 4

5 ses Einsatzszenario bietet somit die Möglichkeit die Veranstaltung bedarfsgerecht zu gestalten. Studierenden wird ebenso wie bei der Wiederholung von Lerninhalten mit PINGO die Möglichkeit gegeben, aktiv am Lernprozess teilzunehmen sowie ihren Lernfortschritt zu reflektieren. 3. Einsatz von PINGO zur Lernstandsüberprüfung: Neben dem Einsatz von PINGO zur Unterstützung der Wiederholung von Lerninhalten und der kontinuierlichen Begleitung einer Lehrveranstaltung (siehe auch: PINGO zur Wiederholung und/oder PINGO zur Begleitung einer Lehrveranstaltung) kann PINGO auch zur Lernstandsüberprüfung am Ende einer Veranstaltung eingesetzt werden, um den erzielten Lernerfolg der Studierenden zu ermitteln. Zur Gestaltung einer Lernstandsüberprüfung mit PINGO bietet es sich an, Befragungen im Anschluss an eine thematische Einheit und/oder am Ende des Semesters durchzuführen. Für dieses Szenario formuliert der Lehrende Kontrollfragen, die nach Bearbeitung und Eingabe der Studierenden aufgelöst werden. Der Zeitaufwand ist individuell unterschiedlich und richtet sich nach der Anzahl der Fragen und dem Aufwand zur Nachbesprechung des Antwortverhaltens. Die Gestaltung kann sich bezüglich des Umfangs der Fragen und der zur Verfügung stehenden Bearbeitungszeit an den entsprechenden Kriterien bei Erstellung einer Papierklausur orientieren. Es kann sich anbieten, die Nachbesprechung auf einen Folgetermin zu legen, um als Lehrender das Antwortverhalten entsprechend aufzubereiten. PINGO bietet die Möglichkeit Fragenkataloge in der Web-Anwendung im Rahmen der Vorbereitung zu erstellen, um auf diese in der Veranstaltung zugreifen zu können und eine Mehrfachnutzung der Fragen zu gewährleisten. Des Weiteren kann eine Antwortzeit für die Studierenden festgelegt werden. Die Lernstandsüberprüfung mit PINGO kann beispielsweise als Prüfungsvorbereitung oder zur Überprüfung des Wissens der Studierenden zu einem Gesamtzusammenhang am Ende einer Veranstaltung dienen. Die gewählten Frageformate können sich dabei gezielt an vorherigen Lernstandsüberprüfungen (z.b. Multiple- Choice Klausur etc.) orientieren. Lehrende können mit dem Einsatz von PINGO zur Lernstandsüberprüfung nicht nur einzelne Lerninhalte, wie bei dem Einsatz von PINGO zur kontinuierlichen Begleitung der Lehrveranstaltung, abfragen, sondern umfangreiche Themengebiete bspw. des gesamten Semesters aufgreifen und/oder Gesamtzusammenhänge abfragen. So können Lehrende aus dem Antwortverhalten Rückschlüsse auf Lerndefizite erhalten und diese bspw. in der Prüfungsvorbereitung gezielt aufgreifen bzw. ihre Lehrveranstaltung im folgenden Semester darauf ausrichten. Studierende erhalten durch den Einsatz von PINGO als Lernstandsüberprüfung und der Nachbesprechung Hinweise auf ihren Lernerfolg. Es können so Themen identifiziert werden, die gezielt im Selbststudium wiederholt und vertieft werden müssen oder bereits gut verstanden wurden. Insbesondere zur Prüfungsvorbereitung ist dies ein Mehrwert. 5

6 2.3 Mögliche Fragetypen Neben Single- und Multiple Choice unterstützt PINGO auch Schätz- und Freitextaufgaben. Bei letzteren muss eine Anpassung der Bearbeitungs- und Besprechungszeit in der Lehrveranstaltung berücksichtigt werden. 3 Erfahrungen mit der Software und Verbreitung 3.1 Disziplinäre Eignung PINGO ist disziplinübergreifend einsetzbar. 3.2 Konkreter Einsatz der Software PINGO wird außer von der Universität Paderborn an über 120 nationalen und internationalen Hochschulen eingesetzt. Dabei beträgt die Anzahl der Nutzer 1 aus Nordrhein- Westfalen im Verhältnis zu den Gesamtnutzerzahlen 81 Prozent. Wird PINGO zur Wiederholung von Wissensinhalten genutzt, bietet es sich für nahezu jede Veranstaltungsform an (z.b. Vorlesungen, Seminare und Übungen. Der veranstaltungsbegleitende Einsatz von PINGO kann zwar grundsätzlich auch für nahezu jede Veranstaltungsform erfolgen, wird jedoch vor allem in Vorlesungen mit großen Studierendengruppen genutzt. Schließlich durchbricht der Einsatz von PINGO als Begleitung der Lernveranstaltung die vorlesungstypische Interaktion (Frontalunterricht) durch Einbezug der Studierenden und fördert dadurch die Interaktion zwischen Lehrenden und Studierenden. Auch die Interaktion von Studierenden kann fokussiert werden, indem an Abfragephasen mit PINGO eine Peer Discussion. Der Einsatz zur Lernstandsüberprüfung bietet sich für nahezu jede Veranstaltungsform (z.b. Vorlesungen, Seminare und Übungen) an. Diese Form der PINGO-Anwendung wird jedoch ebenfalls schwerpunktmäßig in Vorlesungen mit großen Studierendengruppen eingesetzt, an deren Ende eine Leistungsprüfung in Form einer Klausur steht. 3.3 Ansprechpartner an den durchführenden Universitäten Universität Paderborn, Prof. Dr. Dennis Kundisch, Entwickler und Nutzer von PINGO dennis.kundisch@wiwi.uni-paderborn.de Universität Duisburg-Essen, Nils Kurowsky, Eigenhosting von PINGO, Bereich Technik nils.kurowsky@uni-due.de 1 Aufgrund der besseren Lesbarkeit wird einheitlich die maskuline Version von Personenbezeichnungen verwendet. Diese Form ist als geschlechtsunabhängig zu verstehen. 6

7 Universität Wuppertal, Dr. Heike Seehagen-Marx, Eigenhosting von PINGO, Bereich Technik und E-Learning 4 Technik 4.1 Software- und Hardwareeinsatz PINGO wird als Saas (Software as a Service) kostenfrei von der Universität Paderborn für nationale und internationale Bildungseinrichtungen bereitgestellt. PINGO ist mehrsprachig in englischer und deutscher Bedienung erhältlich und unter der Eclipse Public License (EPL) lizensiert. Folglich können andere Institutionen PINGO auf der eigenen Infrastruktur bereitstellen und entsprechend ihren Bedürfnissen weiterentwickeln. 4.2 Systemanforderungen auf Client- und Serverseite Client PINGO basiert technisch auf Open Source-Produkten und etablierten Webstandards. Neben Ruby on Rails wird MongoDB zur schnellen skalierbaren Datenhaltung und Evented IO für hohe Leistungen bei Parallelzugriffen von Nutzern verwendet. Des Weiteren wird HTML5 und JavaScript eingesetzt. Die webbasierte PINGO-Anwendung kann mit jedem internetfähigen Endgerät, wie z.b. Smartphone, Notebook und Tablet verwendet werden. Server PINGO benötigt für die Einrichtung auf der eigenen Infrastruktur folgende Systemvoraussetzungen: Linux ab Kernel 2.6 NGINX-Webserver MongoDB-Datenbank Redis-Server Ruby (1.9.3, 2.0.x, 2.1.x) JavaScript (Node.js) 4.3 Unterstützte Schnittstellen PINGO unterstützt den Import und Export zu Moodle (Moodle XML), CSV (für Excel), Aiken/Pearson, ILIAS (QTI) und GIFT (nur Import). 5 Unterstützung/ Support 5.1 Vorhandene Supportstrukturen (Software-/ Hardwareprovider) Support für Nutzer 7

8 6 Aufwand Auf der Internetseite wird PINGO für Lehrende vorgestellt. Weiterhin gibt es ein ausführliches Nutzerhandbuch, welches online zur Verfügung gestellt ist. Neben der Einrichtung eines Kontos, werden u.a. die Erstellung von Fragen, die Bedienung der Web-Anwendung etc. thematisiert. 2 Dort wird ebenfalls kurz auf die Verwendung von PINGO für Nutzer eingegangen. Technischer Support Allgemein werden auf dem PINGO-Blog (erreichbar unter: alle aktuellen Entwicklungen und weiterführenden Informationen zu PINGO gegeben oder zum Download bereitgestellt. Didaktischer Support Im Rahmen des PINGO-Projektes ist ein didaktischer Leitfaden zum Einsatz von PINGO mit dem Titel PINGO in der Lehre. Didaktische Handreichung zu Eisatzmöglichkeiten erschienen. Die Handreichung ist online verfügbar. 3 Cloud-Service Ein technischer Support von PINGO für den Cloud-Dienst ist unter pingo-support@unipaderborn.de erreichbar. Eigenhosting Aufgrund begrenzter personeller Ressourcen gibt es bisher keine Unterstützungsangebote bei Problemen, die ggf. beim Hosten von PINGO auf der eigenen Infrastruktur auftreten. 5.2 Special Interest Groups, Communities usw. von Nutzern Special Interest Groups oder Communities von Nutzern gibt es für PINGO bisher nicht. Erstellte Fragenkataloge können jedoch individuell exportiert und anderen Lehrenden zur Verfügung bereitgestellt werden. 5.3 Schulungen auf technischer und didaktischer Ebene Zurzeit gibt es keine Schulungen für die Nutzung von PINGO. 6.1 Kosten Dadurch, dass PINGO ein Open Source Projekt und damit lizenzfrei in der Nutzung ist, fallen hier sehr geringe Kosten an. Lediglich die Infrastruktur (Hardware) muss angeschafft 2 Tutorial -siehe: letzter Zugriff: Didaktik-Leitfaden -siehe: 3-ls-4/PINGO_Didaktische_Handreichung_Einsatzmoeglichkeiten_final.pdf, letzter Zugriff:

9 werden. Zusätzlich zur eigenen Infrastruktur müssen noch die Personalkosten betrachtet werden, die für die Administration und den Support innerhalb der Hochschule anfallen. 6.2 Zeit 1. Technische Einrichtung Die technische Einrichtung ist bei Verwendung der PINGO Web-Anwendung der Universität Paderborn gering. Eine vorherige Installation ist nicht erforderlich; das System ist nach vorheriger Anmeldung sofort einsatzbereit. Der Aufwand für die Einrichtung auf der eigenen Infrastruktur kann stark variieren. 2. Didaktische Einarbeitung Die didaktische Einarbeitungszeit ist individuell und variiert je nach verwendeter Einsatzmöglichkeit stark (siehe dazu auch: Didaktische Einsatzszenarien und Einsatzmöglichkeiten). 3. Einsatz in der Lehrveranstaltung Der Zeitaufwand beim Einsatz in der Lehrveranstaltung ist individuell und variiert je nach verwendeter Einsatzmöglichkeit stark. 7 Anzahl der Teilnehmer PINGO ist sowohl für Gruppen mit einer geringen Teilnehmeranzahl als auch für große Studierendengruppen geeignet. 8 Mögliche Problemstellungen 8.1 Technisch Seitens der Entwickler wird ein Support ausschließlich für den Cloud-Service angeboten. Für Probleme, die beim Eigenhosting auftreten, gibt es keinen technischen Support. 8.2 Didaktisch Die durch PINGO unterstützte Lehrveranstaltung sollte im Vorfeld geplant werden, um einen didaktisch sinnvollen Einsatz zu gewährleisten. Diese Planung ist unabhängig von der verwendeten Software notwendig und kein spezifisches Merkmal der PINGO- Verwendung. 8.3 Rechtlich Die Studierenden sollten darauf hingewiesen werden, dass keine personenbezogenen Daten erhoben werden und die Bearbeitung der Aufgaben in PINGO anonymisiert stattfindet. Die Studierenden erhalten Zufalls-IDs um ein Mehrfachvoting auszuschließen. Die 9

10 IP-Adressen werden zum Auffinden von Fehlern vier Wochen lang beim deutschen Rechenzentrum gespeichert. Die Daten werden nach Ablauf der vier Wochen gelöscht. Auch die letzte IP des Lehrenden wird in der User-Datenbank gespeichert, wodurch Fremdzugriffe feststellbar sind. PINGO wird nicht auf Servern der Universität Paderborn gehostet, sondern bei einem externen Rechenzentrum namens maxcluster in Frankfurt. Etwaige hierdurch aufgeworfene datenschutzrechtlichen Fragen (z.b. bezüglich des Erfordernisses der Erteilung eines Auftrags gem. 11 BDSG an maxcluster) sollten vor Verwendung geklärt werden. PINGO verwendet zur kontinuierlichen Produktverbesserung Google Analytics. Einige Universitäten lehnen dessen Verwendung ab. Es besteht jedoch die Möglichkeit, für jeden registrierten Nutzer Google Analytics vollständig für alle PINGO-Einsätze oder für einzelne Sessions zu deaktivieren. 9 Alternativen und vergleichbare Systeme in Auswahl ILIAS Plug-In Live-Voting Ars Nova 10 Bewertung und Evaluation Bisher gibt es keine Evaluationen. Seitens der Entwickler ist eine solche nur bedingt möglich, da die registrierten Nutzer in der Datenschutzvereinbarung einer solchen nicht zugestimmt haben. Des Weiteren ist nur die Eingabe der -Adresse bei der Anmeldung zum Cloud-Service obligatorisch. Folglich ist bereits die Zuordnung zu Hochschulen oder gar Fachbereichen schwierig, da diese Angaben freiwillig sind. Rückschlüsse auf Nutzungsverhalten und weitergehende Befragungen entfallen zurzeit gänzlich. Einfach fragen und intelligent auswerten. Prof. Dr. Dennis Kundisch (Entwickler) Die Schwelle zur Nutzung ist sehr niedrig und PINGO auf das Nötigste beschränkt Prof. Dr. Dennis Kundisch (Entwickler) Publikationen der Entwickler M. Beutner, D. Kundisch, J. Magenheim, A. Zoyke: Support, Supervision, Feedback and Lecturers Role in the use of the Classroom Response Systems PINGO, to appear in: Proceedings of the E- LEARN World Conference on E-Learning, New Orleans, USA, M. Beutner, D. Kundisch, J. Magenheim, J. Neugebauer, A. Zoyke: Evaluation von Lerndesigns mit einem webbasierten Classroom Response System in der universitären Lehre, to appear in: Proceedings der 12. e-learning Fachtagung Informatik (DelFI 2014), Freiburg, Germany,

11 A. Zoyke, M. Beutner, J. Magenheim, D. Kundisch, P. Hermann, W. Reinhardt: Webbasierte Classroom Response Systeme in der Hochschullehre eine empirische Fallstudie zur Unterstützung von Lehr-/Lernprozessen aus Studierendensicht, to appear in: Proceedings der 43. dghd Jahrestagung 2014, Braunschweig. D. Kundisch, J. Magenheim, M. Beutner, P. Herrmann, W. Reinhardt, A. Zoyke: Classroom Response Systeme, in: Informatik-Spektrum, 36, 4, 2013, pp D. Kundisch, P. Herrmann, M. Whittaker, J. Neumann, J. Magenheim, W. Reinhardt, M. Beutner, A. Zoyke: Designing a Web-Based Classroom Response System, in: Proceedings of the Design Science Research in Information Systems and Technologies (DESRIST) 2013, Lecture Notes in Computer Science, Springer, M. Whittaker, J. Neumann: Develop in the fast lane with Ruby/Rails, in: Software Developer's Journal, Vol 2., No. 3, 2013, pp D. Kundisch: Direkte Rückmeldung erwünscht, in: Forschung & Lehre, 4/2013, pp M. Beutner, A. Zoyke, D. Kundisch, P. Herrmann, M. Whittaker, J. Magenheim, W. Reinhardt: PINGO - Umsetzung von E-Learning in der Hochschule in Adaption und Weiterentwicklung des Peer Instruction Ansatzes - Didaktische und organisatorische Reflexion der Studierendenaktivierung in Lehrveranstaltungen, in: Kölner Zeitschrift für Wirtschaft und Pädagogik (KWP), 27, 53, 2012, pp D. Kundisch, P. Herrmann, M. Whittaker, G. Fels, W. Reinhardt, M. Sievers, J. Magenheim, M. Beutner, A. Zoyke: Designing a web-based application to support Peer Instruction for very large Groups, in: Proceedings of the International Conference on Information Systems, Orlando, USA (nominiert für den Best Paper Award). J. Magenheim, W. Reinhardt, D. Kundisch, P. Herrmann, M. Whittaker, M. Beutner, A. Zoyke: Einsatz mobiler Endgeräte zur Verbesserung der Lehrqualität in universitären Großveranstaltungen, in: Proceedings des E-Learning Symposium, Potsdam, M. Sievers, W. Reinhardt, D. Kundisch, P. Herrmann: Developing electronic classroom response apps for a wide variety of mobile devices Lessons learned from the PINGO project, in: Proceedings of the 11th World Conference on Mobile and Contextual Learning (mlearn), Helsinki, Finland W. Reinhardt, M. Sievers, J. Magenheim, D. Kundisch, P. Herrmann, M. Beutner, A. Zoyke: PIN- GO: Peer Instruction for Very Large Groups, in: Proceedings of the Seventh European Conference on Technology Enhanced Learning (EC-TEL 2012), Saarbrücken