Wie können kollaborative Prozesse zur Wissenserschließung erfolgreich gestaltet werden?

Transkript

1 Augmenting human cognition in collaborative knowledge collections Wie können kollaborative Prozesse zur Wissenserschließung erfolgreich gestaltet werden? ARBEITSTAGUNG Gemeinsames Erschließen von Wissen in Museumssammlungen am Beispiel von Wikis Berlin, 23.April 2015! Prof. Dr. Cl. Müller-Birn Juniorprofessur für Web Science/Human-Centered Computing Freie Universität Berlin, Institut für Informatik

2 Der Wissensarbeiter - eine Vision (Bush, 1945) Duale Projektoren mit der Möglichkeit der Querreferenzierung Persönliche! Annotation User Interface Das gesamte! menschliche! Wissen Bush argues that [a] record if it is to be useful to science, must be continuously extended, it must be stored, and above all it must be consulted. Bush, V. (1945). As we may think. The Atlantic Monthly, Vol. 176(Heft 1), Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 2

3 Forschungsansatz Im Mittelpunkt meiner Forschungen stehen Designparameter für Software, die den Aufbau von kollaborativen Wissenssammlungen fördern. Kollaborative Wissenssammlungen entstehen durch die Kommunikation zwischen dem Benutzer und dem User Interface (Shneiderman, 1997). Das User Interface beeinflusst die Benutzeraktivitäten. Mein Ansatz ist es, bestehende Wissenssammlungen zu untersuchen und die Wirksamkeit von Designparametern offenzulegen. Durch das Offenlegen bestehender Designparameter können wir neue Software bauen, u.a. um die menschliche Kognition mit Hilfe von Algorithmen zu erweitern. Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 3

4 Ausgewählte Designparameter der Beteiligung Aktivität Feedback - Lege benötigte Beiträge offen - Schaffe Schnittstellen für maschinelle Beteiligung - Ermögliche unterschiedliche Formen der Beteiligung - (Kombiniere Beiträge mit sozialen Kontakten mit anderen Nutzer_innen) In Anlehnung an Kraut et al Building Successful Online Communities: Evidence-Based Social Design. Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 4

5 Aktivität Wie können wir Beiträge zu Wikis beschreiben? Aktivität Position position content Inhalt P1 A B P3 P2 P4 P5 Müller-Birn, C.; Lehmann, J.; Jeschke, S. (2009): A composite calculation for author activity in Wikis: accuracy needed. IEEE/WIC/ACM Web Intelligence 2009 (WI09) Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 5

6 Aktivität Intelligent task routing Wikipedia Editoren laufen häufig durch einen Entwicklungspfad vom neuen bis zum erfahrenden Nutzer Zugrundeliegende These: Nutzerbeteiligung kann durch Empfehlungen verbessert werden Personen konkret aufzufordern zu einer bestimmten Aufgabe beizutragen, erhöht die Wahrscheinlichkeit, dass sie es auch tun werden. Empfehlungen werden durch einen Bot berechnet basierend auf den vorherigen Edits von Nutzern Cosley et al SuggestBot: using intelligent task routing to help people find work in wikipedia. Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 6

7 Aktivität Wie nutzen Personen Bots innerhalb ihrer Wissensprozesse? Relative proportion of edits per user group Müller-Birn, C.; Dobusch, L.; Herbsleb, J.D. (2013): Work-to-rule: the emergence of algorithmic governance in Wikipedia. In Proceedings of the 6th International Conference on Communities and Technologies (C&T '13). ACM, New York, NY, USA, Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 7

8 Aktivität Wie nutzen Personen Bots innerhalb ihrer Wissensprozesse? Changing task focus of a bot over time Algorithmisch übersetzte Regeln sind besser skalierbar aber sie können weniger gut mit Ausnahmen umgehen. Müller-Birn, C.; Dobusch, L.; Herbsleb, J.D. (2013): Work-to-rule: the emergence of algorithmic governance in Wikipedia. In Proceedings of the 6th International Conference on Communities and Technologies (C&T '13). ACM, New York, NY, USA, Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 8

9 Aktivität Beteiligungsmuster in strukturierten Wissenssammlungen Im Oktober 2012 gegründetes Projekt für die Erfassung von strukturierten Daten und nachfolgende automatisierte Verwertung innerhalb der Wikipedia Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 9

10 Aktivität Beteiligungsmuster in strukturierten Wissenssammlungen (cont.) Item creator Item expert Item editor Reference editor Property engineer Property editor Participation Users 4219 / 20.88% 3264 / 16.1% 5470 / 27.1% / 71.7% 389 / 1.9% 1168 / 5.8% Frames 6979 / 7.9% 7104 / 7.9% / 16.7% / 62.4% 1097 / 1.2% 3428 / 3.9% Edits 105 [6,29] 915 [13,162] 215 [9,90] 46 [8,34] 3,972 [157,2,422] 1,906 [52,848] Activity Bars from left to right: Created items Item statements Item terms Item uri references Created properties Property terms Discussions Protected pages Reverts Users - Number / percentage of users per cluster Frames - Number / percentage of user timeframes per cluster Edits - Mean [IQR] of number of edits per user timeframe Activity - Percentual occurrences of users every three month per cluster Müller-Birn, C.; Karran, Lukasz-Rösch, M. B. Lehmann, J. (2015): Peer-production community or collaborative ontology development effort: What is Wikidata? (submitted to OpenSym 2015). Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 10

11 Aktivität Beteiligungsmuster in strukturierten Wissenssammlungen (cont.) Müller-Birn, C.; Karran, Lukasz-Rösch, M. B. Lehmann, J. (2015): Peer-production community or collaborative ontology development effort: What is Wikidata? (submitted to OpenSym 2015). Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 11

12 Aktivität Beteiligungsmuster in Wikidata (cont.) Item creator Item expert Item editor Reference editor Property engineer Property editor Participation Users 4219 / 20.88% 3264 / 16.1% 5470 / 27.1% / 71.7% 389 / 1.9% 1168 / 5.8% Frames 6979 / 7.9% 7104 / 7.9% / 16.7% / 62.4% 1097 / 1.2% 3428 / 3.9% Edits 105 [6,29] 915 [13,162] 215 [9,90] 46 [8,34] 3,972 [157,2,422] 1,906 [52,848] Activity Bars from left to right: Created items Item statements Item terms Item uri references Created properties Property terms Discussions Protected pages Reverts Users - Number / percentage of users per cluster Frames - Number / percentage of user timeframes per cluster Edits - Mean [IQR] of number of edits per user timeframe Activity - Percentual occurrences of users every three month per cluster Müller-Birn, C.; Karran, Lukasz-Rösch, M. B. Lehmann, J. (2015): Peer-production community or collaborative ontology development effort: What is Wikidata? (submitted to OpenSym 2015). Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 12

13 Aktivität Beteiligungsmuster in Wikidata (cont.) Item creator Item expert Item editor Reference editor Property engineer Property editor Participation Personen mit eher breiten Beteiligungsmustern sind zentral für die Projektkoordination und die Qualität der Inhalte. Users 4219 / 20.88% 3264 / 16.1% 5470 / 27.1% / 71.7% 389 / 1.9% 1168 / 5.8% Frames 6979 / 7.9% 7104 / 7.9% / 16.7% / 62.4% 1097 / 1.2% 3428 / 3.9% Edits 105 [6,29] 915 [13,162] 215 [9,90] 46 [8,34] 3,972 [157,2,422] 1,906 [52,848] Activity Bars from left to right: Created items Item statements Item terms Item uri references Created properties Property terms Discussions Protected pages Reverts Users - Number / percentage of users per cluster Frames - Number / percentage of user timeframes per cluster Edits - Mean [IQR] of number of edits per user timeframe Activity - Percentual occurrences of users every three month per cluster Müller-Birn, C.; Karran, Lukasz-Rösch, M. B. Lehmann, J. (2015): Peer-production community or collaborative ontology development effort: What is Wikidata? (submitted to OpenSym 2015). Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 13

14 We ve digitized the archive... now what? William Uricchio, Keynote at the Sustainable Futures for Digital Archives Conference 2012

15 Aktivität Anwendungsbereich: Kollaboratives Annotieren Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 15

16 Aktivität Mixed-Initiative Annotation Concept Müller-Birn, C., Klüwer, T., Breitenfeld, A., Schlegel, A., & Benedix, L. (2015). neonion: Combining Human and Machine Intelligence (pp ). Presented at the CSCW'15 Companion: Proceedings of the 18th ACM Conference Companion on Computer Supported Cooperative Work & Social Computing, New York, New York, USA: ACM. Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 16

17 Ausgewählte Designparameter der Beteiligung Aktivität Feedback - (Vergleich-) Leistungs- Feedback - Aufgaben-abhängige oder Performance-abhängige Belohnungen In Anlehnung an Kraut et al Building Successful Online Communities: Evidence-Based Social Design. Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 17

18 Feedback Wie können wir das Lesen von Inhalten als Feedback für die Autoren nutzen? Focus Exploration !! Article Views Reading Time Session Articles average above average below average above average average above average Lehmann, J.; Müller-Birn, C.; Laniado, D.; Lalmas, M.; Kaltenbrunner, A. (2014): Readers Preference and Behavior on Wikipedia. In Proceedings of the 25th ACM Conference on Hypertext and Hypermedia, Santiago (Chile). - For this research we received the Ted Nelson Newcomer Award 2014

19 Feedback Explizites Feedback basierend auf dem AFT Implizites Feedback durch Leseverhalten Readers give suggestions Editors make improvements Readers read articles Lehmann, J.; Müller-Birn, C.; Laniado, D.; Lalmas, M.; Kaltenbrunner, A. (2014): Readers Preference and Behavior on Wikipedia. In Proceedings of the 25th ACM Conference on Hypertext and Hypermedia, Santiago (Chile). - For this research we received the Ted Nelson Newcomer Award

20 Feedback Ziele setzen MovieLens ist eine Empfehlungsseite für Filme ( Zugrundeliegende These: Spezifische Ziele motivieren die Teilnehmer_innen dazu, sich mehr zu beteiligen Do your best Ratings per person in the week foolowng a request to rate Das Bereitstellen von spezifischen Zielen erhöht die Beiträge von Personen number of ratings Beenen et al Using social psychology to motivate contributions to online communities. Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 20

21 Feedback Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 21

22 Zusammenfassung Die hier vorgestellten Designparameter stellen nur einen sehr kleinen Ausschnitt bestehender Möglichkeiten dar. Die Anwendung der jeweiligen Designparameter ist immer kontextspezifisch. Falls möglich sollte bereits vor dem Einsatz der Software eine Anpassung auf die entsprechenden Nutzerbedürfnisse stattfinden (-> user-centered design). Kollaborative Prozesse zur Wissenserschließung erfolgreich gestalten, Prof. Dr. Cl.Müller-Birn, Berlin 2015!!!! 22

23