Teilkonferenz: CSCW & Social Computing

Transkript

1 Auszug aus dem Tagungsband der Multikonferenz Wirtschaftsinformatik 2014, Paderborn Teilkonferenz: CSCW & Social Computing Die Teilkonferenz CSCW & Social Computing adressiert Herausforderungen bei der Entwicklung, Einführung und Evaluation von Informationssystemen zur Unterstützung der Zusammenarbeit in Teams, Communities und sozialen Netzwerken. Die Unterstützung menschlicher Arbeit durch Informationssysteme setzt ein hinreichendes Verständnis für technologische Entwicklungen einerseits und die Arbeitspraktiken der angestrebten Nutzer andererseits voraus. Aus diesem Grund wird bei Kooperationssystemen von soziotechnischen Systemen gesprochen, die eine integrierte Betrachtung des organisatorischen, psychologischen, soziologischen, betriebswirtschaftlichen und technischen Hintergrundes notwendig machen. Traditionell wird die Teilkonferenz vom Leitungsgremium der gleichnamigen GI-Fachgruppe organisiert. Mit der Hilfe eines 34-köpfigen Programmkomitees konnten auf Basis von 66 Reviews 13 der eingereichten 31 Beiträge angenommen werden, darunter zwei research in progress. 8 Beiträge waren unter Vorbehalt angenommen worden und wurden daraufhin von den Autoren nochmals mit erheblichem Aufwand überarbeitet. Die Annahmequote von ca. 42% ist im Vergleich zu den CSCW- Teilkonferenzen der vergangenen MKWIs nahezu unverändert. Die Beiträge wurden in 4 Sessions mit je drei Präsentationen (Nutzen & Messung, Collective Intelligence, Ideas & Sharing, Design) und eine Session mit einer Präsentation und einem einstündigen Panel zugeordnet. Dezember 2013 Alexander Richter, Angelika C. Bullinger-Hoffmann (Teilkonferenzleitung)

2 Lowering Knowledge Boundaries through Collaboration Technology: A Problem Identification Marc Marheineke HHL Leipzig Graduate School of Management, Center for Leading Innovation and Cooperation, Leipzig, marc.marheineke@hhl.de Hagen Habicht HHL Leipzig Graduate School of Management, Center for Leading Innovation and Cooperation, Leipzig, hagen.habicht@hhl.de Kathrin M. Möslein Universität Erlangen-Nürnberg, Lehrstuhl für BWL insb. Wirtschaftsinformatik 1, Nürnberg, kathrin.moeslein@wiso.uni-erlangen.de Research in Progress Paper Abstract Within communities knowledge is shared regularly. Although today s communities can rely on sophisticated collaboration technologies, the sharing of knowledge remains impeded by different social mechanisms. Removing impediments that originate from different understandings between knowledge exchanging individuals has been called boundary management by Carlile. Boundary management can be supported by the use of specific objects. We investigate collaboration technology as shared object within an organizational knowledge community. In this sense, collaboration technology is conceived as a means to support the spanning of knowledge boundaries. This researchin-progress proposes a design science research (DSR) approach. It aims for designing and evaluating IT-based shared objects which effectively lower boundaries of knowledge sharing. First empirical findings suggest that a collaboration technology that offers a shared space for communication and exchange can provide fruitful support in contexts where syntactic and semantic boundaries prevail. Hence, the design task for CT as shared object in organizational knowledge communities should focus on lowering syntactic and semantic knowledge boundaries.

3 Multikonferenz Wirtschaftsinformatik Introduction Organizations are with no doubt becoming more complex and organizational units are often globally distributed. For that reason collaboration technologies are needed to cope with the challenges of complexity and distribution. Collaboration technologies provide tools, mechanisms and structures to support the exchange and interaction of geographically dispersed employees [8]. However, existing research points out that structures of technology-in-practice are dependent on social interaction [18]. In a similar vein, Orlikowski [18] inverted the focus from technology adaption (artifacts) to social interactions (technology-in-practice). The rise of collaboration technologies (CT) for social interaction marks the advent of virtual communities. People voluntarily collaborating and thereby leveraging modern technology are referred to as communities [26]. These communities often reside within the firm and are specific social structures that aims for vivid knowledge sharing [6,13]. According to Wenger & Snyder, communities are characterized by informally collaborating people who share expertise in at least one particular field and are driven by a joint goal which is related to their shared expertise [26]. In line with Brown and Duguid we conceive knowledge sharing deeply anchored in the organization [7]. Hence, we regard communities sharing knowledge within an organization - organizational knowledge communities - a locus of sharing domain specific knowledge enabled by CT. Knowledge sharing is a process of transmitting (conveying) information and establishing a shared understanding (converging) between actors. But barriers impede this process. Throughout this paper we examine a shared object that is the mean to transmit information from a knowledge giving person to a knowledge receiving person. By using CT that builds upon a mutually agreement knowledge barriers are exhausted. The used shared object lowers boundaries in a way that sense making [24] through mutually practicing takes place. The relevance for breaking down barriers is discussed as stickiness of information that induces high cost of knowledge transfer 1 [29]. One reason of stickiness is referred to knowledge that is highly embedded within individual experience [1] or deeply anchored within the organization [9]. As a consequence, we conceive CT as a shared object that interconnects community members to mutually work, learn, and share knowledge. In order to characterize impediments to the free travel of knowledge in organizations, Carlile coined the notion of knowledge boundaries [9]. He argues that the more complex information is, the more difficult its boundless sharing will be. It has been argued that community members coping with this complexity gained a competence for boundary spanning [15,19]. In the light of CT this competence is enabled by artifacts that support collaboration [21]. In this proposal we conceive boundary objects as artifacts community members collaborate with in order to gain a shared understanding and consequently name them shared objects. Hence, CT can be seen as shared object, providing the environment for activities dedicated to boost the flow of knowledge in organizations across time and space. Recent work on the importance of multifaceted collaboration [10,15] inspired us to further examine the role of CT as shared object for enhancing knowledge sharing in communities by lowering particular knowledge boundaries. Our research question therefore is: What is the role of CT as shared object in lowering knowledge boundaries in organizational knowledge communities? 1 We use knowledge sharing and knowledge transfer interchangeable throughout this paper.

4 1638 Marc Marheineke, Hagen Habicht, Kathrin M. Möslein In the remainder of the paper we introduce the core notions of collaboration technology as boundary object, knowledge boundaries, and organizational knowledge communities. Afterwards we outline the problem identification of the Design Science Research (DSR) paradigm along with our intended methodological process. Finally we discuss preliminary findings. 2 Research Design Focusing on the problem identification phase, this proposal characterizes the reveal of important and relevant business problems and aims for grounding the introduction of a DSR artifact the suggested shared object. It aims for better understanding impediments to knowledge sharing in a chosen social environment. In particular it focuses on identifying boundaries within organizational knowledge communities as well as ways to overcome those by introducing a shared object. The shared object holds as facilitator to establish shared understandings among collaborating community members. The study follows a two-step research approach. First, a narrative literature review will be presented which reviews current literature on CT, knowledge communities, and knowledge boundaries. Second, the actual situation in the field of application will be explored by means of an interview-based single case study. Altogether both research steps reported in this paper represent the phase of problem identification. It is the first of the six methodological phases of DSR: Problem identification, definition of the objectives, design & development, demonstration, evaluation, and communication (cf. [23]). Since it is planned to develop and test an IT-based artefact (shared object) that enhances organizational knowledge communities, DSR is a suitable method. DSR is a methodology developed in the field of Information System based on the findings of Simon [20]. 3 Research Step 1: Literature-based Problem Identification For the purpose of problem identification, the three core concepts, (1) CT as boundary object, (2) knowledge boundaries, and (3) organizational knowledge communities are reviewed in the light of current literature. 3.1 Collaboration Technology as Shared Object Past research on CT has shed light on how the task-fit and individual use of technology impact knowledge sharing in groups [8]. In this sense, CT needs to support the conveyance and convergence of information among collaborating humans [11]. Conveyance activities are needed in order to provide collaborating humans with all information necessary for individual understanding. With regard to media, conveyance processes require the transmission of a diversity of new information [needed to] create and revise a mental model of the situation [11], p Consequently, CT can support conveyance activities mainly with high reprocessability, rehearsability and high parallel information processing [11]. Convergence activities are necessary for achieving and maintaining shared understandings ( sensemaking [16,24]) within a group. Concerning media, they require rapid back and forth information transmission, [11] p Therefore, whenever community members interact virtually, CT can support convergence activities by allowing rich symbol sets and synchronous communication. In the present study we focus on the activity of convergence [4,11]. Enhancing convergence ultimately fosters knowledge sharing in a community [8]. It is based on the technological support processes of reconciling ambiguity and conflicting meanings [12]. By doing so, CT functions as an

5 Multikonferenz Wirtschaftsinformatik object for spanning knowledge boundaries. More precisely, it functions as a shared object, that is, a boundary object which is used simultaneously by multiple (geographically dispersed) community members for establishing shared meanings [12]. As a result it can be stated that by serving as a shared object, CT can enhance knowledge sharing and diminishes boundaries to knowledge sharing within communities. 3.2 Knowledge Boundaries In order to understand the role of a shared object for knowledge sharing in communities, the obstacles to sensemaking need to be framed. For this purpose we use Carlile s 3-T framework of knowledge management [8]. It builds on three basic problems of knowledge sharing among individuals, i.e., the problems of differences between individual knowledge stocks, of dependencies between knowledge chunks, and the novelty of knowledge for affected individuals [7]. Syntactic boundaries to knowledge sharing stem from differences in individual knowledge stocks and their capability to process syntax (e.g. 0 s and 1 s). Common lexica of actors, for instance, transfer information between two knowledge domains. The transfer of knowledge is essentially about establishing and updating a shared wording (lexicon). Moreover, unclear differences and dependencies among knowledge chunks as well as the ambiguity of meaning form a second boundary to knowledge sharing (e.g. [12]), called semantic. In practice this means actors may interpret (translate) information differently. Accordant boundary spanning focuses on generating and maintaining a shared understanding. With the highest level of novelty boundary spanning generates highest efforts for actors because of, 1) the new knowledge gained and 2) due to the transformation of individual s domain specific knowledge. Transform means to overcome a pragmatic boundary by negotiating meanings that found on differing interests of the actors. For instance one group strives to build a powerful engine but neglects to compromise the corresponding group s interest of aerodynamics. The concept of knowledge boundaries provides us with an understanding about how shared objects [9] can lower barriers in the context of knowledge sharing within a community. Moreover, community members that engage in boundary spanning activities (see e.g. [2,23]) further reduce boundaries. As a result and following Carlile, we regard impediments to knowledge sharing in communities to be of a threefold nature: syntactic, semantic, pragmatic. 3.3 Organizational Knowledge Communities Groups of people who actively shape and contribute to the learning process in organizations have been named communities of practice (CoP): Groups of people informally bound together by shared expertise and passion for a joint enterprise [26]. CoP are seen to be particularly effective in (i) solving problems quickly, (ii) transferring best practices, (iii) developing professional skills, and (iv) helping to recruit and retain talent [26]. Amin and Roberts [1] demonstrate the importance for organizations to build on knowledge formation through CoP. Further on Franke & Shah have shown multiple ways by which communities positively impact the diffusion of innovation within organizations. According to them, community interaction ultimately holds as an indicator of organizational performance [13]. As CoP typically consist of widely spread individuals, they employ easy to use CT [17] to support sensemaking among members. Besides the extensive use of CT, organizational communities differ from formal organizational entities such as teams because of the voluntariness of their contributions to the organizational welfare and the acting upon a common understanding ( shared repertoire ) [25]. However, it requires constant effort

6 1640 Marc Marheineke, Hagen Habicht, Kathrin M. Möslein to sustain their cognitive foundation in the form of a shared repertoire. Ambiguous as well as competing meanings arise permanently within groups and organizations [24]. As a consequence, reconciling activities need to take place continuously in order to sustain shared understandings [16,24]. Many types of CoP have been described (e.g. virtual communities, strategic communities, innovation communities, communities of interest, learning communities, knowledge communities, [3]). As we regard a community that is highly active in organizational knowledge sharing with widely distributed and intrinsically motivated community members, we name this community organizational knowledge community. As a result, the activities community members conduct in regards to knowledge boundaries need to be highlighted. 4 Research Step 2: Case Study-based Problem Identification Based on the literature review of the concepts of, CT as boundary object, knowledge boundaries, organizational knowledge communities, a qualitative case study analysis was performed. Qualitative data is derived from semi-structured interviews in a multi-national corporation (MNC) operating in twelve countries with its headquarters based in Germany. The company has a reported revenue of about 680 Mio in 2012 and a total number of employees of about We investigated an organizational knowledge community that resides within the firm. Members constantly engage in knowledge intensive boundary spanning activities between Germany and Tunisia. Moreover, knowledge sharing within this community is regularly practiced because of the unequal distribution of problem solving competences within the community. Due to the geographically dispersed setting of the community members knowledge boundaries impede the flow of information regularly. The overarching interest of the interview was phrased as: What are the obstacles and drivers in collaborating with colleagues within your organization and in particular with geographically dispersed colleagues? In the examined field setting competences in regards to setting up a new production line are mainly located in the German part of the community. However, the community strives to collaboratively set up a production line. Community members are thus dependent on domain specific know-how that resides within the community. We interviewed representatives of both physical sites of the community, Tunisians as well as Germans, to derive meaningful data on knowledge sharing. Further questions were raised such as, How does the collaboration within and across your unit and with others work?, What barriers occur during daily business within and across your unit? We put a focus on boundary spanners and the barriers each interviewee (community member) has to overcome. In total we conducted 18 interviews in German, English and French. The total interviewing time was 15 hours and 24 minutes. All interviews were audio-taped, fully transcribed and analyzed. Figure 1 depicts the aggregated cognitive map [22] of the preliminary results of the coding process. Labels [5] describe non-interpretively the formed categories (in red). Initially, the categories boundary spanning activities, all activities that concern the active sharing within the community, knowledge boundaries, barriers that impede the knowledge flow, and boundary spanning object, artifacts that support knowledge sharing were deductively coded and suggested based on the literature review. The subsequently performed inductive coding explored additional categories, namely access to information for boundary spanning, admittance to all relevant information within the community, competence to boundary spanning, self-efficacy to engage with others to share knowledge, and motivation to learn, motivation to share knowledge in the community. We chose this mapping approach in coherence with

7 Multikonferenz Wirtschaftsinformatik case study analysis [12] and pattern matching [27] to systematically analyze the data and to provide better grounding of construct measures [12]. The new categories are a result of constant comparison of codes and an aggregated form of abstraction. In total the six categories are grounded in 403 quotes. Coding was reviewed by a second person and results were collaboratively discussed. Figure 1: Aggregated cognitive map of the 18 semi-structured interviews (performed using atlas.ti 7) 5 Preliminary Results This chapter integrates our findings from the narrative literature review and the interview-based case study into comprehensive problem identification. The literature review yielded three fragments of the desired problem identification: (1) the impact of a shared object on knowledge boundaries in general, (2) the specification of knowledge boundaries according to Carlile, and (3) the importance of continuous boundary spanning activities for organizational knowledge communities. It shows the empirical gap of how exactly shared objects lower knowledge boundaries. We use the gathered empirical data to complement our framework. First, our interviews confirm the potential usefulness of shared objects for improving sensemaking. E.g. interviewee I16 stated: CAD-drawings and 3D- Models are a foundation to discuss on, currently this solely works with WebEx (87:87). Second, our interview data indicates that knowledge barriers occur in the organization on the three levels of syntax (26 quotes), semantics (15 quotes) and pragmatics (5 quotes). E.g. quotes such as: Alright, you know you have to explain it in more detail as you are usually used to, if somebody sits right opposite to you. Sometime one must do a few more visual sketches to transport the meaning (I14: 14:65) hinted to the semantic level. Further on besides the few mentions of pragmatic boundaries (5 quotes), we found evidence that they seem to be of minor importance in general. E.g. community members confirm to pursue shared goals: yes, we want the people from abroad to reach a certain knowledge level [to perform accordingly]. (I16 16:57) Hence, we propose to particularly investigate syntactic and semantic boundaries. Third, our interviews yield a number of concrete boundary spanning activities: [ ] behaviors intended to establish relationships and interactions with external actors that can assist their team in meeting its overall objectives [2] as lowering existing knowledge boundaries. In particular, we found evidence for competence for boundary spanning ( [ ] there are three to four people I got to know pretty well in the last eight years. I can get in contact with them and learned to effectively work with them without any big obstacles. (I16: 120:120), access to information ( [ ] communication plays a crucial role for new projects in Tunisia. Regular telephone-conferences and many physical visits in

8 1642 Marc Marheineke, Hagen Habicht, Kathrin M. Möslein Tunisia are necessary to successfully start a production. (I14 14:08), and motivation to learn ( We have people, such as technicians, who learned German. They are deeply engaged to learn German so they are able to communicate [with the mother firm]. (I1 1:3)) to lower existing knowledge boundaries. Last, numerous quotes suggest particular boundary objects for lossless communication: Our current tools do not support real-time collaboration. Consequently, I cannot instantly provide my meeting partner with drawings or such things. [ ] And that is difficult and prone to error (I14 14:92). Hence, as both, literature and interviews support each other, we propose that CT-based shared objects such as shared online whiteboards diminish knowledge boundaries. Figure 2 displays our suggested research framework and how the (to be designed) shared object effects knowledge boundaries. Boundary Spannig Activities Knowledge Boundaries Motivation to learn Access to information Lower Knowledge Boundaries Syntactic Boundary Semantic Boundary Boundary Competence Shared Object Collaboration Technology Pragmatic Boundary Figure 2: Proposed research framework with constructs from the qualitative study in grey 6 Conclusion The present research-in-progress reports on the problem identification for investigating the impact of CT on knowledge boundaries within organizational knowledge communities. First results indicate that the problem of sharing knowledge can be framed as three distinct boundaries, of which syntactic and semantic seem to prevail in organizational knowledge communities. Second, in the role of a shared object, CT can contribute to establishing and maintaining shared understandings and ultimately knowledge sharing within such communities. Third, specific boundary spanning activities need to be performed continuously in order to sustain the community. This is the case, because knowledge boundaries arise permanently, hence continued boundary spanning activities are needed. The study s results are limited due to their grounding in literature in combination with a single case. As every organization has its own smell [14], the generalization of our findings beyond the investigated community needs to be based on further studies. Nevertheless, because the main principles are supported by both, data and literature, we have reason to believe that CT in the form of a shared object [21] can indeed effectively support sensemaking as a particular form of knowledge sharing communities. Further research is suggested to quantify the effects of the shared object and boundary spanning activities on existing knowledge boundaries. This goal will guide the subsequent phases of the intended DSR process. Assumed managerial implications are advices on how to employ CT more effectively for enhancing knowledge sharing within communities.

9 Multikonferenz Wirtschaftsinformatik Acknowledgements We gratefully acknowledge support by the German Federal Ministry of Education and Research (BMBF-Verbundprojekt BRIDGE; FKZ 01BEX03A12). 8 References [1] Amin A, Roberts J. Knowing in action: Beyond communities of practice. Research Policy 2008;37: [2] Ancona DG. Bridging the Boundary External Activity and Performance in Organizational Teams. Administrative Science Quarterly 1992: [3] Bansemir B. Organizational innovation communities. Wiesbaden: Springer Gabler; (Marktund Unternehmensentwicklung). [4] Bormann EG. Symbolic convergence: Organizational communication and culture. Communication and organizations: An interpretive approach 1983: [5] Bougon MG. Congregate Congnitive Maps: A Unified Dynamic Theory Of Organization And Strategy. Journal of Management Studies 1992;29: [6] Brown JS, Duguid P. Organizational learning and communities-of-practice: Toward a Unified View of Working, Learning, and Innovation. Organization Science 1991;2: [7] Brown JS, Duguid P. Knowledge and Organization. Organization Science 2001;12: [8] Brown SA, Dennis AR, Venkatesh V. Predicting Collaboration Technology Use: Integrating Technology Adoption and Collaboration Research. Journal of Management Information Systems 2010;27:9 54. [9] Carlile PR. A Pragmatic View of Knowledge and Boundaries. Organization Science 2002;13: [10] Carlile PR. Transferring, Translating, and Transforming: An Integrative Framework for Managing Knowledge Across Boundaries. Organization Science 2004;15: [11] Dennis AR, Fuller RM, Valacich JS. Media, tasks, and communication processes: A theory of media synchronicity. MIS Quarterly 2008;32: [12] Eisenhardt KM. Building Theories from Case Study Research. Academy of Management Review 1989;14: [13] Franke N, Shah SK. How communities support innovative activities: an exploration of assistance and sharing among end-users. Research Policy 2003;32: [14] Ghoshal S. The individualized corporation: An interview with Sumantra Ghoshal. European Management Journal 1997;15: [15] Levina N, Vaast E. The emergence of boundary spanning competence in practice: implications for implementation and use of information systems. MIS Quarterly 2005: [16] Maitlis S. The social processes of organizational sensemaking. Academy of Management Journal 2005;48:21 49.

10 1644 Marc Marheineke, Hagen Habicht, Kathrin M. Möslein [17] McDermott R, Archibald D. Harnessing Your Staff s Informal Networks. Havard Business Review 2010;March: [18] Orlikowski WJ. Using technology and constituting structures: A practice lens for studying technology in organizations. Organization Science 2000;11: [19] Orlikowski WJ. Knowing in practice: Enacting a collective capability in distributed organizing. Organization Science 2002;13: [20] Simon HA. The sciences of the artificial. 3rd ed. Cambridge, Mass: MIT press; [21] Star SL. The structure of ill-structured solutions: boundary objects and heterogeneous distributed problem solving. In: Distributed Artificial Intelligence Vol. 2. p [22] Tegarden DP, Sheetz SD. Group cognitive mapping: a methodology and system for capturing and evaluating managerial and organizational cognition. Omega 2003;31: [23] Tushman ML. Special Boundary Roles in the Innovation Process. Administrative Science Quarterly 1977: [24] Weick KE. Sensemaking in organizations: Sage; [25] Wenger E. Communities of Practice: Learning as a Social System. System Thinker [26] Wenger E, Snyder W. Communities of Practice The Organizational Frontier. Harvard Business Review 2000;January: [27] Yin RK. Case study research: Design and methods. 4th ed. Los Angeles, Calif: Sage Publications; 2009.

11 Designing Target-Oriented Incentive Systems for Online Production Communities Pujan Ziaie Technical University of Munich, Arcisstraße 21, Munich, Germany, Helmut Krcmar Technical University of Munich, Boltzmannstr. 3, Garching, Germany, Abstract Online production communities aim to realize the collective intelligence and leverage the potential creativity, manpower, and knowledge of volunteer users to generate high quality, public content. Introducing appropriate incentives to sustain participation is not a trivial task for community designers due to the dynamic and multi-dimensional nature of such communities. In this paper, we review and synthesize the existing body of research pertaining to user participation and incentive systems and propose a novel approach towards incentive systems based on user desires and lifecycle-based community objectives. The identified relevant user desires drawn from Reiss s theory of basic desires are self-importance, self-development, fun, vindication, socialization, group identity and uniqueness. By using this desire-based approach, we conceptualize a generalizable and target-oriented iterative design model for developing and adapting incentive systems. The theorized model extends the current body of research by accumulating and merging the academic findings from different types of communities into a unified prescriptive model. This model also provides a practical guide for community designers to follow a systematic approach towards designing effective incentive systems.

12 1646 Pujan Ziaie, Helmut Krcmar 1 Introduction Online or virtual communities provide an easy-to-access platform with valuable functions and mechanisms for various purposes including socialization, networking, gaming and content generation. Due to the voluntary nature of participation in many types of online community, social behavior complications and individual dynamism are critical factors for designers and operators to deal with. Designing a successful online community needs, therefore, meticulous and constant attention to different aspects of technical, individual and social layers [52]. Human behavior, in particular, is a multi-dimensional, interactive and sometimes irrational, especially when put into a social context. Moreover, external factors such as new technologies, paradigms and networks require a perpetual adoption of constructs and methods [4]. While early research in this area has been largely descriptive, in recent years there has been a shift toward prescriptive modeling of online communities in particular and STSs in general. The goal of these studies has been to bring a more systematic approach for their design and operation [22; 37] by providing evidence-based and scientific guidance [33]. In this paper, we narrow our focus to (online) production communities 1 as an increasingly important type of online community. In production communities, the primary objective is collecting and/or developing content, with voluntary users as the main explicit 2 producer of content. These communities aim to accumulate, rate and share information, create digital artifacts, foster innovations and solve problems [23] by utilizing the collective intelligence of voluntary participants. Since production communities heavily depend on contributions of voluntary participants (users), sustained participation (not necessarily by the same users) plays a crucial role in their success [32]. In many production communities, incentive systems are introduced as explicit measures to attract new users, keep active users motivated and encourage passive users to become more committed (see [60] for implicit motivational factors). Taking the large number and geographic dispersion of users and the variety of their motives and characteristics into account, introducing effective incentives is a delicate and dynamic process. Also, communities change in scope and direction and set different goals and objectives in the different stages of their lifecycle [28; 57] and so do users [44]. All these factors account for the complexity and dynamism of incentive systems. There is a large body of literature on theorizing incentive systems for different types of communities including discussion forums [10], open innovation communities [20], open source communities [50] and Wikipedia [40; 56]. The key success factor, and at the same time the major challenge for all these different types of production communities, is their ability to enhance interest and drive users to participate and contribute more frequently, consistently and in alignment with the community s goals and norms. There is, however, no conceptualized framework to theorize on general design flow of incentives that can be indiscriminately applied to all different types of production communities. This paper is dedicated to providing a comprehensive literature review on established theories and best practices for different types of production communities pertaining to user participation and incentive systems. For this purpose, we try to conceptualize existing relevant theories, approaches, and features from the vast but disperse practices and findings into a comprehensible and concretized design model. Our intent in this exploration is to address underlying differences as well as similar patterns in different types of 1 In this paper, the term community represents an online or virtual community, unless stated otherwise. 2 This differs from implicit content production, where user activities are captured as content (e.g. in searching algorithms).

13 Multikonferenz Wirtschaftsinformatik production communities that are relevant to user participation and the role of incentive systems. Various influential factors including user desires and community features (goals and lifecycle) are studied with a scientific canon. We hope that the theorized model and the provided approach would shed light on recent discoveries in designing successful incentive systems and help explain the interdependencies and intricacies in this area. The outcome may also pave the way for future research endeavors on other relevant aspects of production communities. Our study is structured as follows: first we provide a generalized definition of production communities and their characteristics. Then, we outline an integrative framework that surfaces the general determinants of their incentive systems. In the next section, based on the proposed integrative framework, the implicit and explicit incentives and objective of incentive systems are discussed and drawn upon to conceptualize a design cycle for target-oriented incentive systems with clear steps and guidelines. We conclude the paper with a discussion of our findings, open issues and implications for future research and practice. 2 Theoretical Framing 2.1 Research Context: Production Communities Communities can generally be distinguished by following an approach based on users needs, such as socialization, gaming, content or knowledge sharing, activism, development and exchange [25]. The communities of interest in this study are production communities, which have the primary goal of accumulating and sharing user-generated content. There are various types and terms in the literature to refer to production communities including open content projects [8], web-enabled collective intelligence systems [37], social computing systems [43], peer production communities [53], open source content projects [42], community-driven knowledge sites [31] and social media [26]. We chose the term production communities inspired by the definition provided by Oreg and Nov [42] and Wilkinson [53], emphasizing the crowdsourcing of content. Considering this broad definition, a few well-known community types can be distinguished based on the type, form and collectivity [41] of content. One study divides production communities into three primary categories of collaborative, creative and competitive communities [61]. In collaborative communities, content can be developed collaboratively and by more than one user. The type of content that can nowadays be created collaboratively is not limited to text and ranges all the way from knowledge generation (e.g. Wikipedia) to architectural sketching, product design, movie making and geographical maps [17]. In creative communities, however, each user is basically the owner of his generated content and the other members may only contribute in the form of comment (discussion), ratings, recommendations, and other auxiliary forms. Competitive communities, as the name suggests, consist of short-lived competitions with specific topics (e.g. product design, innovation ideas, etc.). 2.2 User Motivations and Basic Desires In literature, user motivation been has primarily divided into two general types: intrinsic motivations and extrinsic motivations, although some scholars further divide extrinsic motivations into internalized extrinsic and purely extrinsic ones [50]. There is no certain verdict regarding which type of motivation is generally of more importance. What is certain is the weight or importance of each motivation with regard to the desires and behavioral characteristics of users and the goal of the community. This suggests that designers should understand personal desires of different groups of users to be able to provide suitable incentives that are aligned with each group s internal and external motivations [35].

14 1648 Pujan Ziaie, Helmut Krcmar Observing users behavior from the perspective of motivation might be best suited for a descriptive approach to justifying their participation. However, a design-oriented view of the behavior should tap into the distinction between various motivations to be able to provide suitable incentives. To distinguish between different kinds of motivation and address those differences to introduce the most effective incentives, individual preferences based on personal needs provide a potent theoretical ground. Accordingly, Reiss [46] proposed the theory of 16 basic desires based on psychometric research. His widespread theory suggests that all fundamental desires can exist with different strength at different times in different individuals. According to his theory, individuals behave in ways that is appealing to both reference group members (community) and their own desires of affiliation and power [51]. We derived seven primary user desires that are relevant to the context of production communities: selfimportance, self-development, fun, vindication, socialization, group identity and uniqueness. Table 1 shows how we identified these seven desires. We believe that the more desires of users an incentive system can successfully address and support, the more effectively it can motivate them to participate. Intrinsic feeling/motive - Efficacy/power - Freedom/ Independence Self-importance/ Status Self-confidence/ Acceptance - Fun/social contact - Wonder/Curiosity Vindication/ Vengeance Loyalty Compassion/ Idealism Love/family Ownership/ saving Pertinent desire Selfdevelopment Selfimportance Uniqueness Fun Socialization Remark The same. Self-development is a more common term in the literature [42]. Uniqueness is a well-known desire in online communities [14] and can be derived from self-confidence and self-importance motives. It is distinguished from self-importance, since it emphasizes the individual aspect, whereas self-importance can be achieved as part of a bigger group (e.g. via status) [27]. Socialization, as an important motivation in online communities [39],though not explicitly mentioned, is a part of fun in Reis s basic desires. Vindication Same. Especially important in competitive production communities [6]. group identity X Loyalty, compassion and love were merged into group identity, a wellknown desire in online communities [53]. Not relevant Stability/order X Not relevant Lust/romance X Not relevant Vitality/physical exercise X Not relevant Satiation/eating X Not relevant Safety/tranquility X Not relevant Table 1 Deriving primary desires in production communities from Reis's 16 basic desires 3 Theorizing Dynamic and Target-oriented Incentive Systems As discussed in the last section, constant observation of contextual and individual factors and appropriate reactions to inevitable changes throughout the lifecycle of a community [57] are essential for designing a successful incentive system. For this reason, the design process of incentive systems can

15 Multikonferenz Wirtschaftsinformatik be regarded as a never-ending cycle. In this cyclic design process, the objectives of a community should be defined and redefined according to the confronted challenges and current needs of a community and its users. Then, based on the addressed desire(s), the selected incentive for achieving these objectives should be applied to the right users in a personalized way. Incentives are then to be selected and prioritized. This design cycle is demonstrated in Figure Design Steps Defining Objectives Incentive systems can embrace certain objectives at different stages of a community s lifecycle (see [57] for an example on feature evolution during a community s lifecycle). Their objective is sometimes directly aligned with the community s objectives [13] and sometimes with a temporary goal to overcome imminent problems. For instance, while encouraging timely contributions is a persistent goal in open media communities, it can be adapted temporarily in open file sharing communities to regulate data traffic [48]. Some general objectives are, for example, improving user experience, encouraging timely contributions, enhancing content quality, increasing content quantity, increasing metacontent 3 [59] quantity, discouraging excessive contributions and promoting presence (e.g. reading, navigating, distributing content or taking part in elections) Selecting apt incentives In this step, a list of apt incentives should be prepared and prioritized. The selection process can be carried out with regard to the defined objectives and the salient desires of users within the community (see Section 2.2). Table 2 lists a few incentives with their corresponding main objective and addressed user desires as an example of how incentives can be systematically selected in a community. Main objective Incentive SI SD F V S GI U Reference(s) enhancing content quality Improving user experience increasing content quantity promoting presence increasing (meta)content quantity Providing systematic feedback mechanisms on content Sending personal admiration messages or showing public admiration Sending invitation to contribute to a topic, in which the user has been more active (is expert) Publishing a summary of the activities of users (e.g. in newsletters or blogs) Providing a list of needed contributions X X X X X X X X X X X X X X [9; 30] [3; 5] [18; 36] [24] [15; 34] SI: self-importance, SD: self-development, F: fun, V: vindication, S: socialization, GI: group identity, U: uniqueness Table 2 A sample of few incentives with the pertinent objectives and addressed desire(s) For example, in open source software development communities, self-development, socialization and group identity are primary user desires [42; 50]. This information can be used to identify and provide possible incentives (e.g. systematic feedback mechanisms or self-evaluation tools ). Here the distinction between content and metacontent is of great importance. Many studies show that not only is 3 metacontent refers to socially-generated metadata aimed at providing supplementary information for an item (content) to enhance its quality or to add new perspectives to it (e.g. tags, ratings, votes, comments, etc.) (see [59] for further details).

16 1650 Pujan Ziaie, Helmut Krcmar the significance of each of them different with regards to the stage and objective of a community [29], but also that users show diverse attitudes toward contributing content or metacontent [42; 47] Identifying Target Groups per Incentive There are few incentive practices that can be effectively applied to all users in the same form and style. Many seemingly sound approaches fail when they are applied to certain groups, since they are not tailored based on user needs and preferences (reflected in their activity pattern) and therefore prove to be psychologically invalid [16]. If an incentive is focused on fulfilling one or more certain desires (e.g. self-development), it is only effective when applied to users who possess and/or value those desires. Assigning users to the right behavioral group can, therefore, be of tremendous effect. This can be achieved through various approaches depending on the available resources, contribution context and the heterogeneity of users. One approach to classifying users is to explicitly measure user values and preferences via a questionnaire upon registration or as an optional feature in user profiles [55]. Another approach is to use software agents to implicitly gather user preferences by monitoring their activities [19] and extract certain patterns. It should be noted that although the first approach is more accurate and transparent, it may impose a cognitive burden on the users [38]. A thorough exploration of these techniques and their advantages and disadvantages is outside the scope of this paper Determining Sub-Groups and Classifying Users After identifying the right target-group for each incentive, it is time to determine sub-gourp in their corresponding target (pool of users). Sub-groups help designers customize and personalize each incentive based on the characteristics of its target users. Formulation and presentation of incentives is of great importance [3] and can be performed based on characteristics of users (e.g. gender [54], age, level of education [56], etc). For example, for thank you notes, the formulation of the text or the color of the message may vary for different genders or ages. The gender of users is believed to determine their perception of features [2] or preferred form of layout [21] Applying the Incentive and Observing the Outcome Even for the same user, there might be a need for certain incentives to be presented differently on different occasions. User salutations, invitations to contribute, thank you notifications, content or activity recommendations, socialization functions, etc. can all be personalized based on user characteristics and customized according to the frequency of use. Figure 1 Designing a target-oriented incentive system Keeping track of the activities of users after applying the incentives may also help the operators gain more insight about the effectiveness of those incentives. Moreover, if an incentive proves ineffective for a certain user or group, the target-group can be

17 Multikonferenz Wirtschaftsinformatik redefined in the next cycle. In case introducing an incentive does not yield the expected outcome, it can be removed or modified to decrease the cognitive burden on users. 3.2 Empirical Examples The proposed design cycle can summarized as follows: 1) the objectives of the incentive system is defined with regard to the characteristics, goals and lifecycle of the community; 2) the target groups are determined based on the list of relevant incentives; 3) the users are classified into target-groups for those incentives; 4) for each incentive the possible customizations are determined and the target users are classified into corresponding groups; 5) The incentive(s) are ultimately customized and applied. Objectives (step 1) can then be redefined or revised based on the outcome of the applied incentives. Taking the generic and target-oriented nature of such design cycle, some steps may be removed or adjusted depending on the context, type of users, the importance of the incentive system and the available resources. We end this section with few examples from the literature, one depicting a targetoriented incentive and the other an adaptive and personalized one Target-oriented Incentives: The Cases of MovieLens and Flickr MovieLens: Social comparison is a well-known incentive in online communities. In this practice, users are informed about their contribution compared to other users. In MovieLens, a community for evaluating and recommending movies, Chen et al. [11] applied this incentive to observe its effect on increasing participation (Step 1 and 2 of the design cycle). The incentive was not initially aimed at a specific target-group and all users were notified of their contribution compared to the median of all users. When the results were studied (Step 5), only those who were below or near the median increased their contribution while the contribution of those above the median was decreased significantly (by 60%). In the next cycle, users were classified into two groups (with contributions above and below average) and the incentive was applied only to the less active users (Step 3). Flickr: Prieur et al. [45] suggest that incentives applied to Flickr users be categorized into three groups with regard to the activity preference of users: 1) to motivate socialization around the content, 2) to motivate socialization regardless of content, and 3) to motivation content contribution (without socialization). They argue that these groups often have different desires and contribution patterns and, as a result, react differently to the same applied incentives (Step 1, 2 and 3) Adaptive and personalized Incentives: The Case of Comtella Reward mechanisms based on user reputation is another popular method for boosting participation [58]. In a project called Comtella, in which students can share articles related to weekly topics, Cheng and Vassileva [12] designed an adaptive reward mechanism to achieve two main objectives: encouraging timely participation and discouraging excessive (and often low-quality) contributions (Step 1). The rewarding was performed based on previous contributions of users and the time of contribution (Step 2). Their personalized incentive led to a sustained increase in the quality of contributions [49] (Step 5). 4 Discussion and Conclusion 4.1 Summary This paper aimed to review and synthesize the literature on user participation and motivational incentive systems and theorize a target-oriented design model (cycle) for incentive systems in production

18 1652 Pujan Ziaie, Helmut Krcmar communities. With the perspective that we have outlined in this paper, incentives are not simply general measures to increase participation, but ad-hoc and target-oriented practices to encourage specific activities for particular target-groups in line with a set of objectives. Selecting appropriate incentives and applying them to the right target group in a proper and personalized format takes various dimensions into account including users and community. We focused on online production communities, where content is deemed a unique and salient attribute and the main outcome. The main objective of production communities is to produce high-quality content (e.g. text, source, audio or video files, designs, etc.) by maximizing user participation in the community-related processes [58]. The extant interdisciplinary research was organized around an integrative framework that focuses on user desires and activity pattern as well as community characteristics, lifecycle and goals to address user participation and motivation (see Section 2). According to our model, upon defining the objectives of an incentive system (based on community s lifecycle and goals) and identifying the main user desires within the community, a list of incentives can be prepared and then assigned to specific group of users (targets) in a customized and personalized way. To establish a sound theoretical foundation for this dynamic, target-oriented and multi-dimensional design model, we reviewed and synthesized empirical findings explored and drew upon pertinent theories from psychology and sociology to address human behavior regarding the production of content as public goods. 4.2 Contributions Our review shows that a narrow focus on incentive systems can be misguided and misleading. Designing incentive systems should be carried out by a holistic consideration of user-related and community-related factors. In particular, the dynamic nature of both users and communities that is reflected in users evolving desires and a community s lifecycle should not be underestimated. Furthermore, our review reveals that significant exploratory research and theoretical development has occurred in this area, but mostly in the context of a specific type of community (e.g. open source development) and therefore there is still a paucity of research providing clear and generalized prescriptions for effective incentive systems. Each and every incentive is employed to address at least one of the primary personal desires: selfimportance, self-development, fun, vindication, socialization, group identity and uniqueness. Studying the incentive from the perspective of user desires helps in their selection and prioritization in accordance with the overlap of the users prominent desires and the desires an incentive is intended to fulfill or trigger. This approach points the way for researchers to give further consideration to general and multilevel issues as they study user participation and incentive systems. From a theoretically perspective, our work provides a more detailed understanding of user participation and interdependencies between various incentives with a focus on user desires. The theorized design model extends the current body of research by accumulating and merging the academic findings from different types of communities into a unified design cycle with generic guidelines that can be modified and applied to not only all types of production communities but also to other online communities. From a practical point of view, our findings will help community designers move from ad-hoc speculation and press forward with concrete steps toward to a predictable and sustainable approach when it comes to designing an incentive system. 4.3 Practical Implications One practical implication of the current research concerns the combination of incentives. Incentives are believed to not act in an additive fashion [1]. Interactions between different incentive approaches can

19 Multikonferenz Wirtschaftsinformatik sometimes culminate in the mutual neutralization of their motivational effects. Therefore, applying more than one approach should be performed carefully (or gradually to observe the effects). Effective incentive systems are often a hybrid of economic incentives and social motivators. Economic incentives are less effective or possibly even counterproductive when they contradict intrinsic motivations such as altruism, fun, ethical norms or other known social preferences [7]. For this reason, even in competitive communities, economic incentives such as monetary payments should be applied with the greatest of care and consideration to avoid any negative side-effects. Moreover, determining target groups of the incentive system and an apt classification of users poses a great challenge in practice. First, defining the right number of target groups with fine distinction is a delicate matter and second, assigning users to the right category is not trivial. The question remains as to how effectively classification of users can be carried out without imposing unnecessary cognitive burden on them. Whether or not to consider memory for incentive systems is another design decision that needs to be addressed. Incentives can learn from the past reactions of a user and employ specific incentives correspondingly. For example, if applying a specific incentive does not affect the contribution of a user, it might not be wise to apply the same incentive repeatedly in the future. This, however, adds another dimension to the system and increases its design complexity. Finally, while true dynamic and multidimensional incentive mechanisms might be ideal in theory, they may prove too complicated to implement within a reasonable time and budget, especially for new and rising communities. Proper customization of incentives based on user characteristics is also another open issue in practice. Empirical studies pertaining to this matter have often focused on one particular type of community with specific characteristics. Dynamic customization is a delicate matter, for user behavior can change depending on contextual factors such as culture [32] as well as individual factors (e.g. age). Some studies have shown that even the gender of users can be a decisive factor with some incentive practices such as social comparisons [24]. 4.4 Limitations and Suggestions for Future Works Many further steps can be taken in the address scientific areas to extend our theorizing. Above all, empirical evidence is required to scientifically evaluate the proposed model and the theorized hypotheses. This can be performed by testing the hypotheses in different types of production communities and observe and compare the outcomes. Another area that requires further scrutiny is the alignment of primary desires with the objectives of an incentive. Some desires can be intuitively assumed (e.g. leaderboard addresses the desire for selfdevelopment, uniqueness and self-importance). However, identifying the right primary desires and their respective weights might be arduous for certain incentives, especially for less clear and subjectively defined desires such as fun. Furthermore, most of the research is undertaken on successful and popular communities that have passed their tipping point of popularity [57]. This generality might instigate problems when it comes to providing and weighting certain incentives in a particular context. Failed communities or successful communities that were not able to sustain user participation and die out (e.g. Google Answers) deserve more academic scrutiny. Finally, we focused solely on literature pertaining to production communities. The derived design model may be well applicable to other types of online communities, where creating and managing content is not the main purpose.

20 1654 Pujan Ziaie, Helmut Krcmar 4.5 Conclusion Despite the mentioned limitations, we believe the innovative desire-based design approach that was proposed in this paper will be helpful for the scientific community in addressing further design aspects in the context of online communities. Also, in the absence of any universal process model, the conceptualized design model will provide practical guide for community designers to follow a systematic approach to provide dynamic and target-oriented incentive systems to sustain or boost participation in communities that practically live off users participation. 5 References [1] Antoniadis, P. and Le Grand, B. (2009) Self-organised virtual communities: Bridging the gap between web-based communities and p2p systems, International Journal of Web Based Communities, 5 (2): [2] Benlian, A. and Hess, T. (2011) The signaling role of it features in influencing trust and participation in online communities, International Journal of Electronic Commerce, 15 (4): [3] Bishop, J. (2007) Increasing participation in online communities: A framework for human computer interaction, Computers in Human Behavior, 23 (4): [4] Bishop, J. (2009) Enhancing the understanding of genres of web-based communities: The role of the ecological cognition framework, International Journal of Web Based Communities, 5 (1): [5] Bock, G. W., Zmud, R. W., Kim, Y. G. and Lee, J. N. (2005) Behavioral intention formation in knowledge sharing: Examining the roles of extrinsic motivators, social-psychological forces, and organizational climate, MIS Quarterly, [6] Boudreau, K. J. and Lakhani, K. R. (2009) How to manage outside innovation, MIT Sloan management review, 50 (4): [7] Bowles, S. and Reyes, S. P. (2009) Economic incentives and social preferences: A preferencebased lucas critique of public policy, CESifo, Center for Economic Studies & Ifo Institute for economic research. [8] Bryant, S. L., Forte, A. and Bruckman, A. (2005) Becoming wikipedian: Transformation of participation in a collaborative online encyclopedia, In Proceedings of the International ACM Conference on Supporting Group Work (SIGGROUP) ACM, Sanibel Island, FL, USA, [9] Burke, M., Marlow, C. and Lento, T. (2009) Feed me: Motivating newcomer contribution in social network sites, In Proceedings of the 27th International Conference on Human Factors in Computing Systems ACM, Boston, USA, [10] Butler, B. S. and Wang, X. (2012) The cross-purposes of cross-posting: Boundary reshaping behavior in online discussion communities, Information Systems Research, 23 (3-Part-2): [11] Chen, Y., Harper, F. M., Konstan, J. and Xin Li, S. (2010) Social comparisons and contributions to online communities: A field experiment on movielens, The American economic review, 100 (4): [12] Cheng, R. and Vassileva, J. (2005) User motivation and persuasion strategy for peer-to-peer communities, In Proceedings of the 38th Annual Hawaii International Conference on System Sciences (HICSS 05) IEEE Computer Society, Hawaii, 193a [13] Cheng, R. and Vassileva, J. (2006) Design and evaluation of an adaptive incentive mechanism for sustained educational online communities, User Modeling and User-Adapted Interaction, 16 (3): [14] Constant, D., Sproull, L. and Kiesler, S. (1996) The kindness of strangers: The usefulness of electronic weak ties for technical advice, Organization Science, 7 (2):

21 Multikonferenz Wirtschaftsinformatik [15] Cosley, D., Frankowski, D., Terveen, L. and Riedl, J. (2006) Using intelligent task routing and contribution review to help communities build artifacts of lasting value, In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems ACM, Montréal, Canada, [16] Crumlish, C. and Malone, E. (2009) Designing social interfaces, Yahoo Press. [17] De Alfaro, L., Kulshreshtha, A., Pye, I. and Adler, B. T. (2011) Reputation systems for open collaboration, Communications of the ACM, 54 (8): [18] Demartini, G. (2007) Finding experts using wikipedia, In Proceedings of the Workshop on Finding Experts on the Web with Semantics (FEWS) Citeseer, Busan, South Korea, [19] Gauch, S., Speretta, M., Chandramouli, A. and Micarelli, A. (2007) User profiles for personalized information access, The Adaptive Web, [20] Gebauer, J., Füller, J. and Pezzei, R. (2012) The dark and the bright side of co-creation: Triggers of member behavior in online innovation communities, Journal of Business Research. [21] Gefen, D. and Ridings, C. M. (2005) If you spoke as she does, sir, instead of the way you do: A sociolinguistics perspective of gender differences in virtual communities, ACM SIGMIS Database, 36 (2): [22] Gurzick, D. and Lutters, W. G. (2009) Towards a design theory for online communities, In Proceedings of the 4th International Conference on Design Science Research in Information Systems and Technology ACM, Desrist, 11. [23] Hargadon, A. B. and Bechky, B. A. (2006) When collections of creatives become creative collectives: A field study of problem solving at work, Organization Science, 17 (4): 484. [24] Harper, F. M., Li, S. X., Chen, Y. and Konstan, J. A. (2007) Social comparisons to motivate contributions to an online community, In Proceedings of the 2nd International Conference on Persuasive Technology Springer, Palo Alto, CA, USA, [25] Hinds, D. and Lee, R. M. (2008) Social network structure as a critical success condition for virtual communities, In Proceedings of the 41st Annual Hawaii International Conference on System Sciences IEEE Computer Society, Hawaii, 323. [26] Huberman, B. A. (2010) Social media and the paradox of cooperation, Hewlett-Packard Laboratories, Social Science Research Network. [27] Introne, J. and Alterman, R. (2006) Using shared representations to improve coordination and intent inference, User Modeling and User-Adapted Interaction, 16 (3): [28] Iriberri, A. and Leroy, G. (2009) A life-cycle perspective on online community success, ACM Computing Surveys (CSUR), 41 (2): 11:1-11:29. [29] Jones, Q. and Rafaeli, S. (1999) User population and user contributions to virtual publics: A systems model, In Proceedings of the International ACM SIGGROUP Conference on Supporting Group Work ACM, [30] Joyce, E. and Kraut, R. E. (2006) Predicting continued participation in newsgroups, Journal of Computer Mediated Communication, 11 (3): [31] Kim, B. and Han, I. (2009) The role of trust belief and its antecedents in a community driven knowledge environment, Journal of the American Society for Information Science and Technology, 60 (5): [32] Koh, J., Kim, Y.-G., Butler, B. and Bock, G.-W. (2007) Encouraging participation in virtual communities, Communications of the ACM, 50 (2): [33] Kraut, R., Maher, M. L., Olson, J., Malone, T. W., Pirolli, P. and Thomas, J. C. (2010) Scientific foundations: A case for technology-mediated social-participation theory, Computer, 43 (11):

22 1656 Pujan Ziaie, Helmut Krcmar [34] Lakhani, K. R. and Von Hippel, E. (2003) How open source software works, Research policy, 32 (6): [35] Lindenberg, S. (2001) Intrinsic motivation in a new light, Kyklos, 54 (2 3): [36] Ludford, P. J., Cosley, D., Frankowski, D. and Terveen, L. (2004) Think different: Increasing online community participation using uniqueness and group dissimilarity, In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems ACM, Vienna, Austria, [37] Malone, T. W., Laubacher, R. and Dellarocas, C. (2010) The collective intelligence genome, IEEE Engineering Management Review, 38 (3): 38. [38] Morita, M. and Shinoda, Y. (1994) Information filtering based on user behavior analysis and best match text retrieval, In Proceedings of the 17th annual international ACM SIGIR conference on Research and development in information retrieval Springer-Verlag New York, Inc., Dublin, Ireland, [39] Munson, S., Lauterbach, D., Newman, M. and Resnick, P. (2010) Happier together: Integrating a wellness application into a social network site, Persuasive Technology, [40] Nov, O. (2007) What motivates wikipedians?, Communications of the ACM, 50 (11): [41] Olsson, T. (2009) Understanding collective content: Purposes, characteristics and collaborative practices, In Proceedings of the Fourth International Conference on Communities and Technologies (C&T) ACM, Pennsylvania, USA, [42] Oreg, S. and Nov, O. (2008) Exploring motivations for contributing to open source initiatives: The roles of contribution context and personal values, Computers in Human Behavior, 24 (5): [43] Parameswaran, M. and Whinston, A. B. (2007) Social computing: An overview, Communications of the Association for Information Systems, [44] Preece, J. and Shneiderman, B. (2009) The reader-to-leader framework: Motivating technologymediated social participation, AIS Transactions on Human-Computer Interaction, 1 (1): [45] Prieur, C., Cardon, D., Beuscart, J. S., Pissard, N. and Pons, P. (2008) The stength of weak cooperation: A case study on flickr, Arxiv preprint arxiv: [46] Reiss, S. (2004) Multifaceted nature of intrinsic motivation: The theory of 16 basic desires, Review of General Psychology, 8 (3): 179. [47] Sen, S., Lam, S. K., Rashid, A. M., Cosley, D., Frankowski, D., Osterhouse, J., Harper, F. M. and Riedl, J. (2006) Tagging, communities, vocabulary, evolution, In Proceedings of the th anniversary conference on Computer supported cooperative work (CSCW) ACM, Alberta, Canada, [48] Tang, Y., Sun, L., Zhang, M., Yang, S. and Zhong, Y. (2006) A novel distributed and practical incentive mechanism for peer to peer live video streaming, In Proceedings of the IEEE International Conference on Multimedia and Expo IEEE, Toronto, Ontario, Canada, [49] Vassileva, J. (2012) Motivating participation in social computing applications: A user modeling perspective, User Modeling and User-Adapted Interaction, [50] von Krogh, G., Haefliger, S., Spaeth, S. and Wallin, M. W. (2012) Carrots and rainbows: Motivation and social practice in open source software development, MIS Quarterly, 36 (2): [51] Wang, Y. and Fesenmaier, D. R. (2003) Assessing motivation of contribution in online communities: An empirical investigation of an online travel community, Electronic Markets, 13 (1): [52] Whitworth, B. (2009) The social requirements of technical systems, Handbook of Research on Socio-Technical Design and Social Networking Systems, 3.

23 Multikonferenz Wirtschaftsinformatik [53] Wilkinson, D. M. (2008) Strong regularities in online peer production, In Proceedings of the 9th ACM conference on Electronic commerce (EC) ACM, Stanford, CA, USA, [54] Yukselturk, E. and Bulut, S. (2009) Gender differences in self-regulated online learning environment, Educational Technology & Society, 12 (3): [55] Zhou, X., Xu, Y., Li, Y., Josang, A. and Cox, C. (2012) The state-of-the-art in personalized recommender systems for social networking, Artificial Intelligence Review, [56] Zhu, H., Kraut, R. and Kittur, A. (2012) Organizing without formal organization: Group identification, goal setting and social modeling in directing online production, In Proceedings of the ACM 2012 conference on Computer Supported Cooperative Work CSCW, Seattle, Washington. [57] Ziaie, P. and Imamovic, M. (2013) Lifecycle-based evolution of features in collaborative production communities: The case of wikipedia, In Proceedings of the 21st European Conference on Information Systems (ECIS), Utrecht, Netherlands. [58] Ziaie, P. and Krcmar, H. (2012) Introducing a design framework for reputation systems in multitier production communities, Digital Creativity, special issue on Collaboration and Community, 23 (2): [59] Ziaie, P. and Krcmar, H. (2013) Content in open production communities: Taxonomy and construct, In Proceedings of the International Conference on Computer Applications Technology (ICCAT), Sousse, Tunisia. [60] Ziaie, P. and Krcmar, H. (2013) Hidden or implicit contextual factors influencing user participation in online production communities, In Proceedings of the Nineteenth Americas Conference on Information Systems (AMCIS), Chicago, Illinois, USA. [61] Ziaie, P. and Krcmar, H. (2013) Introducing a design-oriented categorization of online voluntary production communities, In Proceedings of the 3rd International Conference on Innovative Computing Technology (INTECH), London, UK.

24 I like! Eine quasi-experimentelle Untersuchung von organisationaler Identifikation und Unternehmensreputation als Einflussfaktoren auf das Nutzerverhalten in sozialen Medien Sebastian Eberz, Mario Schaarschmidt, Stefan Ivens, Harald von Kortzfleisch Universität Koblenz-Landau, Institut für Management, Koblenz, Research in Progress Paper Abstract Unternehmensreputation ist zunehmend Gefahren ausgesetzt, die durch die (unreflektierte) Nutzung sozialer Medien durch die eigenen Mitarbeiter entstehen. Die Treiber von richtigem oder falschem Verhalten von Firmenmitarbeitern in sozialen Medien sind jedoch bisher nur unzureichend identifiziert. Der vorliegende Artikel greift auf die Signaling Theorie zurück und untersucht am Beispiel der Plattform Facebook, wie Identifikation mit einem Unternehmen sowie Unternehmensreputation das Klickverhalten von Nutzern beeinflusst. Eine quasi-experimentelle Online-Studie mit 259 Probanden zeigt, dass insbesondere eine hohe Unternehmensreputation zu einer erhöhten Bereitschaft zum Klicken des Like -Buttons führt.

25 Multikonferenz Wirtschaftsinformatik Einleitung Die zunehmende Verbreitung und der Erfolg von Facebook und ähnlichen Plattformen im öffentlich zugänglichen Internet zeigen, dass diese nicht nur als temporäre Erscheinungen zu betrachten sind, sondern zunehmend an Bedeutung gewinnen. Solche Plattformen, welche auch als Social Network Sites (SNS) bezeichnet werden ([4]), repräsentieren konkrete technologische Entwicklungen im Sinne des Internet Social Networking Phänomens (ISN), welches [ ] den Aufbau und die Pflege des eigenen sozialen Netzwerks über das Internet beschreibt ([12], S. 89f). Mitarbeiter, die öffentlich zugängliche SNS sowohl privat als auch beruflich nutzen, verkörpern hier folglich zwei Identitäten, einerseits die als Mitarbeiter und andererseits jene als Privatperson ([11]). Eine Trennung dieser Identitäten bzw. der Nutzungsarten gestaltet sich insbesondere dann schwierig, wenn eine ebensolche Trennung zwischen beruflichem und privatem(freundes-)kreis nicht möglich ist, d.h. Personen sowohl der einen als auch der anderen Gruppe zugeordnet werden können ([14]). Das aus dieser Problematik hervorgehende fahrlässige Verhalten wird in der Berichterstattung der Medien aufgegriffen. Unzufriedene Mitarbeiter werden aufgrund von negativen Äußerungen auf Facebook (z.b. Beleidigungen des Vorgesetzten) oder der Gutheißung selbiger mittels der Like- Funktion, abgemahnt bzw. entlassen ([15]). Unternehmen, die von ihren Mitarbeitern als schlechte Arbeitgeber wahrgenommen werden, könnten zu einer solchen Unzufriedenheit führen und ein solches Verhalten möglicherweise begünstigen ([1]). Obgleich die Identifikation der Mitarbeiter mit ihrem Arbeitgeber und die Unternehmensreputation für den Unternehmenserfolg von großer Bedeutung sind, sind uns keine wissenschaftlichen Studien bekannt, die die Organisationsidentifikation und Reputation in diesem Kontext untersuchen. Wir formulieren daher die folgenden Forschungsfragen, für die im weiteren Verlauf dieses Research in progress -Artikels mögliche Antworten skizziert werden: (1) In wie weit beeinflusst die Organisationsidentifikation die Bereitschaft berufstätiger Facebook- Nutzer, von Dritten getätigte Äußerungen über ihren Arbeitgeber mittels der Like -Funktion zuzustimmen? (2) Wie verändert sich diese Bereitschaft, wenn die getätigten Äußerungen einen positiven bzw. negativen Inhalt besitzen? (3) Wie verändert sich diese Bereitschaft, wenn der Arbeitgeber eine positive bzw. negative Reputation besitzt? 2 Stand der Forschung 2.1 Probleme aus der ISN/ESN-kombinierten Nutzung von SNS Die Nutzung von SNS beschränkt sich nicht auf das private Umfeld (ISN), sondern findet zunehmend Verwendung im unternehmerischen Kontext ([12]). Das Enterprise Social Networking (ESN)- Phänomen beschreibt eben diese [ ] Nutzung sozialer Netzwerke im Unternehmenskontext ([12], S. 91). Eine Kombination beider Nutzungsintentionen (ISN/ESN) und die damit verbundene Einnahme einer Doppelrolle (Mitarbeiter und Privatperson) kann allerdings aufgrund von mixing work and professional connections and from spanning organizational levels ([14]) zu Spannungen führen ([11]). Das Veröffentlichen beruflicher vertraulicher Informationen ([14]) und die nicht beabsichtigte Freigabe von persönlichen Daten ([14]) könnten das Auftreten solcher Spannungen begünstigen. Wie von Wang et al. ([15]) und Ollier-Malaterre et al. ([11]) beschrieben, können kritische Äußerungen über den Arbeitgeber negative berufliche Konsequenzen wie den Verlust des Arbeitsplatzes zur Folge haben. Wang et al. ([15]) beispielsweise haben Facebook-Nutzer befragt, aus

26 1660 Sebastian Eberz et al. welchen Gründen sie Postings auf Facebook verfasst haben, die sie später bereuten. Die Nutzer, die sich über ihren Arbeitgeber geäußert haben, formulierten beispielsweise Unzufriedenheit und Missstände am Arbeitsplatz als ebensolche Gründe ([15]). Obgleich alle interviewten Nutzer angaben, die Sichtbarkeitseinstellungen von Facebook zu kennen, könnte beispielsweise eine gesteigerte Emotionalität ( hot states ([15])) das Bewusstsein um die Sichtbarkeit ihres Handelns beeinträchtigt haben. 2.2 Corporate Reputation und Organizational Identification Unzufriedenheit und Missstände am Arbeitsplatz könnten nicht nur bedeuten, dass Mitarbeiter ihren Arbeitgeber negativ wahrnehmen, sondern dass bei Kommunikation dieser Missstände über die Unternehmensgrenzen hinweg auch eine externe negative Betrachtung des Unternehmens bewirkt wird. Hinsichtlich der wahrnehmenden Personen differenzieren Dutton et al. ([6]) zwischen den Begriffen der Reputation (Beurteilung des Unternehmens von Außenstehenden) und der Wahrnehmung des Unternehmens von Außenstehenden aus Insider-Sicht wie beispielsweise Mitarbeitern ( insiders construed external image ). Obgleich hier zwei verschiedene Betrachtungsweisen vorliegen, kann die von den Mitarbeitern vermutete externe Wahrnehmung des Unternehmens von der Reputation derart beeinflusst werden, dass sich beide Betrachtungen bei ausreichender Verbreitung selbiger stark ähneln ([6]). Die Reputation repräsentiert einen wichtigen Erfolgsfaktor für Unternehmen. Eine positive Reputation kann einem Unternehmen beispielsweise Wettbewerbsvorteile verschaffen, anziehend auf kompetente, potentielle Mitarbeiter und Investoren wirken und das Verlangen eines Preispremiums erlauben ([7]). Sie beeinflusst nicht nur die Einstellung und das Verhalten verschiedener Anspruchsgruppen wie Kunden und Mitarbeiter ([9]), sondern wird ihrerseits auch von dem Verhalten und den Entscheidungen eines Unternehmens geprägt ([3]). Eine schlechte Reputation könnte demnach in Verbindung mit einer gesteigerten Unzufriedenheit von Mitarbeitern stehen, die wiederum ihrer Unzufriedenheit in Form von negativen Äußerungen in sozialen Netzwerken Ausdruck verleihen. Auch die Identifikation der Mitarbeiter mit ihrem Arbeitgeber spielt eine wichtige Rolle. Mael & Ashforth ([10]) beschreiben die Organisationsidentifikation als [ ] the extent to which the individual defines him or herself in terms of an organization [ ] (S. 106). Mitarbeiter identifizieren sich stark mit ihren Arbeitgebern, wenn die Eigenschaften der Unternehmen mit denen ihrer Selbstkonzepte, d.h. mit ihrer Selbstbeschreibung und Selbsteinschätzung, größtenteils übereinstimmen, oder sich ihre Arbeitgeber von anderen Unternehmen abheben ([6]). Mitarbeiter mit einer ausgeprägten Organisationsidentifikation tendieren beispielsweise dazu, ihren Arbeitgeber zu unterstützen und können so den Aufbau einer positiven Reputation fördern ([8]). 3 Theoretischer Bezug Zur Beschreibung eines möglichen Einflusses der Art der Äußerungen auf das Klickverhalten von Mitarbeitern greifen wir auf die Signaling Theorie zurück. Sie beschreibt, dass bei einer asymmetrischen Informationsverteilung Signale zur Reduktion dieser Asymmetrie ausgesandt werden ([5]). Ein Unternehmen, das neue hochqualitative Produkte herstellt, könnte beispielsweise die für ihre Produkte erhaltenen Qualitätsgütesiegel an die Kunden kommunizieren, um sie über die hohe Qualität ihrer Produkte zu informieren und die Informationsasymmetrie somit zu verringern ([5]).

27 Multikonferenz Wirtschaftsinformatik In unserer Studie verstehen wir Äußerungen von Außenstehenden über die Unternehmen als Signale im Sinne dieser Theorie. Unzufriedene Kunden könnten sich beispielsweise über die schlechte Service-Qualität eines Unternehmens äußern, Medien über geplante Entlassungen oder über die Errichtung neuer Standorte berichten. Die Informationsasymmetrie ergibt sich aus der Annahme, dass die in den Äußerungen angesprochenen Vorfälle (z.b. schlechte Service-Leistungen oder die geplante Neuerrichtung von Standorten) den Mitarbeitern bis zur Formulierung der Äußerungen unbekannt waren. Connelly et al. ([5]) beschreiben im Kontext der Signaling-Theorie, dass die Signal-Empfänger (in unserem Fall die Mitarbeiter) als Reaktion auf ein Signal wiederum Gegensignale aussenden könnten. Ein solches Gegensignal könnte sich beispielsweise in Form zeigen, dass Mitarbeiter Äußerungen über eine schlechte Service-Qualität als falsch kommentieren und damit versuchen, ihren Arbeitgeber zu schützen. Ebenso könnten Mitarbeiter auf positive Äußerungen (z.b. die geplante Errichtung neuer Standorte) mit ebenso positiven Gegensignalen reagieren (z.b. in Form von die Äußerungen bekräftigenden Kommentaren), um so eine positive Verstärkung zu bewirken. Wir fokussieren insbesondere die Bereitschaft von Mitarbeitern, solche Gegensignale, auch in Abhängigkeit von der Art der getätigten Äußerungen, auszusenden. In unserer Studie repräsentieren die Facebook- Likes als Ausdruck der Zustimmung ein solches Gegensignal. Da es sich bei dem eingangs beschriebenen Fehlverhalten von Mitarbeitern (z.b. Like von Beleidigungen des Vorgesetzten) um Ausnahmefälle handelt, vermuten wir, dass zustimmende Gegensignale in Form von Facebook- Likes eher bei positiven Äußerungen als bei negativen Äußerungen ausgesandt würden. Daher fokussieren wir im Folgenden die Klickbereitschaft im Kontext positiver Äußerungen. H1: Mitarbeiter klicken eher bei positiven als bei negativen Äußerungen betreffend ihren Arbeitgeber auf Like. Nach Dutton et al. ([6]) kann die Organisationsidentifikation as a process of self-categorization (S. 243) verstanden werden ([2]). Die Organisationsidentifikation von Mitarbeitern ist dann stark ausgeprägt, wenn sie ihren Arbeitgeber als etwas Besonderes betrachten ([6]). Mitarbeiter, die sich stark mit ihrem Arbeitgeber identifizieren, tendieren zu einem unterstützenden Verhalten ([2]) und fördern den Reputationsaufbau ([8]). Zudem lässt sich in Studien wie jene von van Dick et al. ([13]) ein Zusammenhang zwischen der Zufriedenheit von Mitarbeitern mit ihrem Job und der Organisationsidentifikation erkennen. Da eine positive Reputation auf gute Arbeitsbedingungen ([7]) und eine hohe Zufriedenheit von Mitarbeitern mit ihrem Job hinweist ([1]), könnten Mitarbeiter ihren Arbeitgeber insbesondere dann durch eine positive Bestätigung mittels Facebook- Likes unterstützen, wenn sie sich aufgrund einer positiven Reputation stark mit ihm identifizieren. H2a: Je stärker sich Mitarbeiter mit ihrem Arbeitgeber mit positiver Reputation identifizieren, desto wahrscheinlicher klicken sie bei einer positiven Äußerung auf Like. Da eine negative Reputation auf schlechtere Arbeitsbedingungen und eine geringere Zufriedenheit von Mitarbeitern mit ihrem Job hindeutet ([1]), könnte die Organisationsidentifikation bei Unternehmen mit negativer Reputation tendenziell geringer ausfallen als bei Unternehmen mit positiver Reputation. Dagegen spricht die Aussage von Ashforth & Mael ([2]), dass even negatively valued distinctions have been associated with identification (S. 24). Mitarbeiter könnten sich demnach trotz negativer Reputation stark mit ihrem Arbeitgeber identifizieren und ein beispielsweise verteidigendes Verhalten zeigen ([2]). Wir vermuten allerdings im Vergleich zu Unternehmen mit positiver Reputation, dass die

28 1662 Sebastian Eberz et al. Unterstützungsbereitschaft der Mitarbeiter von Unternehmen mit negativer Reputation tendenziell geringer ausfällt. Diese Vermutung lässt sich zudem mit Hilfe der Social Identity Theorie begründen. Die Theorie beschreibt, dass Menschen dazu neigen, sich und andere in verschiedene soziale Gruppen einzuordnen ([2], S. 20). Nach dieser Theorie haben Menschen das Ziel, durch diese Einordnung eine positive soziale Identität zu erreichen ([6]). Im Kontext eines Arbeitsverhältnisses kann eine positive Identität des Mitarbeiters auch in Verbindung mit einer positiven Unternehmensreputation gebracht werden ([6]). Dementsprechend würde eine schlechte Reputation bedeuten, dass sich die Eigenschaften, die sich die Mitarbeiter selbst zuordnen würden, geringfügiger mit jenen decken, die sie ihrem Arbeitgeber zuordnen. Die aus dieser geringeren Deckung resultierende geringere soziale Identität könnte in Zusammenhang mit einer tendenziell geringeren Bereitschaft dieser Mitarbeiter stehen, eine positive Äußerung mittels eines Facebook-Likes positiv zu bewerten. H2b: Die von der Organisationsidentifikation beeinflusste Wahrscheinlichkeit, eine positive Äußerung mittels Like zu bewerten, ist bei Mitarbeitern von Unternehmen mit negativer Reputation kleiner als bei Mitarbeitern von Unternehmen mit positiver Reputation. 4 Methodik und Operationalisierung der Variablen Zur Überprüfung der Hypothesen wählen die Autoren ein quasi-experimentelles Design und führen eine Online-Befragung unter Facebook-Nutzern durch. Die Datenerhebung im Rahmen der Hauptstudie erfolgte von November bis Mitte Dezember 2012 mittels einer Online-Umfrage. Insgesamt haben 959 Teilnehmer an der Umfrage teilgenommen. Um bestehende Erfahrungen mit einem konkreten Arbeitgeber auszublenden, galt unser Interesse den nicht-berufstätigen Teilnehmern, um so ein Beschäftigungsverhältnis möglichst verzerrungsfrei simulieren zu können. Eine Befragung berufstätiger Teilnehmer hätte aufgrund der Vielzahl von Arbeitgebern die Betrachtung der Reputation als Einflussfaktor, auch aufgrund subjektiver Wahrnehmungsverzerrungen, erschweren können. Wir erhoffen uns, deutlichere Effektunterschiede durch eine dichotome Betrachtung von Reputation zu erhalten. Daher bestimmten wir zur Operationalisierung der Reputationsvariable zwei Unternehmen, deren Reputationen sich maßgeblich voneinander unterscheiden. Zur groben Eingrenzung der in Frage kommenden Unternehmen, selektierten wir aus der Automobil- und Telekommunikationsbranche je zwei Unternehmen, von denen eines auf den vorderen und eines auf den hinteren Rängen des Fortune Global 500 Rankings vertreten war. Im Rahmen dieser Selektion fokussierten wir nur auf bekannte Unternehmen, über die kürzlich positiv bzw. negativ in den deutschen Medien berichtet wurde, so dass von einer ausreichenden Präsenz im Gedächtnis ausgegangen werden kann. Aufgrund der stärkeren Verbundenheit der Mobilfunkbranche mit dem Internet wählten wir Apple bzw. Nokia als positive bzw. negative Ausprägung der Reputationsvariable. Ein Pretest zur wahrgenommenen Reputation von Apple und Nokia bestätigte eine signifikant unterschiedliche Wahrnehmung der Firmen bezogen auf ihre Reputation. Die Teilnehmer wurden gebeten, sich vorzustellen, Mitarbeiter von Apple bzw. Nokia zu sein. Gemessen wurde dann die fiktive Identifikation, die ein Proband vorgab mit einem vorgegebenen Unternehmen haben zu können. Die Identifikation der Teilnehmer mit ihrem simulierten Arbeitgeber repräsentiert die nicht-manipulierte, unabhängige Variable. Zur Messung der Organisationsidentifikation nutzten wir die Items von Mael & Ashforth ([10]). Diese Items übersetzten wir in die deutsche Sprache und passten sie kontextuell an. Ein Cronbach s Alpha von 0,85 zeigt, dass von einer guten Konsistenz der Skala ausgegangen werden kann.

29 Multikonferenz Wirtschaftsinformatik Eine von einer fiktiven dritten Person verfasste Äußerung über Apple bzw. Nokia innerhalb einer geschlossenen Facebook-Gruppe repräsentiert den Stimulus in unserem Experiment. Diese Äußerung beschreibt für jedes Unternehmen einen positiven, respektive negativen Vorfall, so dass sich unter Berücksichtigung der Unternehmen vier Stimuli-Ausprägungen ergeben (Apple und positive Äußerung, Apple und negative Äußerung, Nokia und positive Äußerung, Nokia und negative Äußerung). Die Äußerungen lauteten wie folgt: Positiv: In Kürze werden neue [Unternehmen]-Niederlassungen in den Städten Berlin, Düsseldorf, München, Stuttgart, Dresden und Koblenz eröffnet. Durch diese richtungsweisende Entscheidung werden ca neue Stellen in Deutschland geschaffen. Negativ: [Unternehmen] schließt Niederlassungen in Deutschland in Berlin, Düsseldorf, München, Stuttgart, Dresden und Koblenz. Durch diese Entscheidung werden ca Mitarbeiter auf einen Schlag arbeitslos. Jedem Teilnehmer zufällig eine der vier Stimuli-Ausprägungen zugewiesen. Der Facebook- Like als Ausdruck der Zustimmung als abhängige Variable besitzt eine dichotome Ausprägung (Klick bzw. kein Klick auf Like). Hierbei ist zu berücksichtigen, dass obgleich ein Klick auf Like als Zustimmung gewertet werden kann, kein Klick auf Like nicht einer ablehnenden Haltung gleichkommen muss, sondern eher einer neutralen Einstellung entspricht. Wir verzichteten aus Gründen der Realitätsnähe auf die Operationalisierung einer Ablehnung in Form eines Dislikes, da eine solche Funktion zum Zeitpunkt der Studie in Facebook nicht verfügbar war. Den Teilnehmern wurde nun die Frage gestellt, ob sie im Hinblick auf die dargestellte Äußerung auf Like klicken würden.da die Nutzung von Facebook nicht auf bestimmte Altersgruppen oder ein Geschlecht beschränkt ist, werden diese basisdemographischen Merkmale als Kontrollvariablen in unser Experiment aufgenommen. Um mögliche Verhaltensunterschiede resultierend aus den Variablenmanipulationen aufzudecken, verwendeten wir ein Zufallsexperiment. Aufgrund der dichotomen Ausprägung der manipulierten Variablen beschreiben wir folglich ein 2x2-Experimentaldesign. Aufgrund der Fokussierung auf jene Teilnehmer, die in keinem Beschäftigungsverhältnis standen, reduzierte sich die Anzahl der Datensätze auf 523. Nach der Eliminierung der Datensätze mit unvollständigen Angaben und der Selektion der Datensätze jener Teilnehmer, die einen Stimulus im Rahmen einer geschlossenen Facebook-Gruppe erhielten, ergab sich ein finaler Stand von 259 Datensätzen. 5 Empirische Analyse Von den 259 Teilnehmern sind 34% männlichen, 66% weiblichen Geschlechts. Das Durchschnittsalter liegt bei ca. 24 Jahren. Die durchschnittliche private Nutzungsdauer des Internets liegt bei 2,9 Stunden täglich. 85,7% der Teilnehmer gaben an, in einem oder mehreren sozialen Netzwerken Mitglied zu sein.

30 1664 Sebastian Eberz et al. Geschlecht: männlich (Referenz: weiblich) Modell 1a Apple als Proxy für eine positive Reputation Modell 1b -0,327 (0,542) -0,440 (0,534) Alter -0,083 (0,089) -0,013 (0,042) Organisationsidentifikation 0,608** (0,211) 0,399 (0,220) Konstante -0,016 (2,066) -1,053 (1,366) Modell Chi² 10,181* 5,272 R² (Nagelkerke) 0,182 0,101 n Nokia als Proxy für eine negative Reputation Tabelle 1: Logistische Regression. Abhängige Variable bei beiden Modellen: Klick auf Facebook- Like (Nein = 0, Ja = 1). Angaben als Logit-Werte mit Standardfehlern in Klammern. Signifikanzniveaus: **p<0,01; *p<0,05 Da die abhängige Variable eine dichotome Ausprägung aufweist, überprüften wir die aufgestellten Hypothesen (ausgenommen H1) mittels einer logistischen Regression mit SPSS. Die logistische Regression lässt sich zur Überprüfung von H1 aufgrund von Nullzellen nicht durchführen, da kein Teilnehmer (0%) bei einem negativen Stimulus auf Like klicken würde. In der Gruppe, die einem positiven Stimulus ausgesetzt war, würden ca. 56% der Teilnehmer auf Like klicken. Die Aussage von H1, dass Mitarbeiter eher bei positiven (56%) als bei negativen (0%) Äußerungen auf Like klicken würden, ist somit bestätigt. Die Ergebnisse der logistischen Regressionen im Kontext eines positiven Stimulus zur Überprüfung der Hypothesen 2a und 2b sind in Tabelle 1 dargestellt. Mit der Hypothese H2a beschrieben wir einen positiven Zusammenhang zwischen der Identifikation von Mitarbeitern mit ihrem Arbeitgeber mit positiver Reputation und der Bereitschaft, eine positive Nachricht mittels Like zu bewerten. Die Ergebnisse zeigen eine signifikante Steigerung der Wahrscheinlichkeit (b=0,608, p<0,01), so dass wir H2a als bestätigt betrachten. In H2b formulierten wir, dass dieser Einfluss bei Unternehmen mit negativer Reputation geringer ausfällt. Wie vermutet ist der Logit-Wert bei Nokia kleiner als bei Apple, allerdings auf keinem akzeptablen Signifikanzniveau, so dass H2b abgelehnt werden muss. Zudem zeigt das Ergebnis des Omnibus-Tests der Modellkoeffizienten bei Modell 1b keine Bevorzugung des aufgestellten Modells gegenüber dem Nullmodell, so dass hier von einem unzureichenden Modell-Fit ausgegangen werden muss. 6 Zusammenfassung und Diskussion Das Ziel dieser Studie war es herauszufinden, in wie weit die Organisationsidentifikation das Entscheidungsverhalten von Mitarbeitern beeinflusst, eine Äußerung über ihren Arbeitgeber auf Facebook mittels eines Facebook- Likes positiv zu bewerten. Wie die Ergebnisse zeigen, würden Mitarbeiter eher einen positiven als einen negativen Stimulus mittels Like bewerten. Dies deckt sich mit der Einschätzung, dass die in den Medien beschriebenen negativen Verhaltensweisen als Ausreißer zu betrachten sind. Dass kein Teilnehmer den negativen Stimulus mittels Like positiv bewerten würde könnte dadurch erklärt werden, dass die Beschäftigungsverhältnisse nur simuliert wurden und beispielsweise die von Wang et al. ([15]) beschriebenen Hot States resultierend aus tatsächlich erlebten Missständen und Unzufriedenheit hier nicht aufkommen konnten. Die fehlende Bereitschaft, negative Vorfälle mittels Like positiv zu

31 Multikonferenz Wirtschaftsinformatik bewerten, könnte nicht nur für eine positive Grundhaltung sprechen, sondern auch auf die Berücksichtigung sozialer Normen zurückgeführt werden. Eine positive Bewertung negativer Vorfälle hätte zu kognitiven Dissonanzen führen können, deren Aufkommen die Teilnehmer vermeiden wollen. Wir konnten einen positiven Zusammenhang zwischen der Organisationsidentifikation (Teilnehmergruppe Apple) und der Bereitschaft, bei einer positiven Nachricht auf Like zu klicken, nachweisen. Obgleich bei der Teilnehmergruppe mit Nokia als simulierten Arbeitgeber kein signifikanter Einfluss von der Organisationsidentifikation auf das Klickverhalten zu erkennen ist, deutet ein zumindest positiver Logit-Wert darauf hin, dass auch Mitarbeiter von Unternehmen mit negativer Reputation ihren Arbeitgeber in einem gewissen Rahmen unterstützen würden. In diesem Kontext könnte ein Facebook- Like als Versuch der Mitarbeiter interpretiert werden, ihren Arbeitgeber trotz negativer Reputation zu fördern und in ein positives Licht zu rücken ([2]).Diese Studie soll einen Beitrag dazu liefern, das Verhalten von Mitarbeitern unter Berücksichtigung verschiedener Einflussfaktoren im Kontext von Facebook besser zu verstehen und den von Boyd & Ellison ([4]) angemerkten Mangel an experimentellen Studien im SNS-Bereich zu beheben. Hierbei ist anzumerken, dass wir in unserer Studie ausschließlich Probanden befragt haben, die in keinem realen Beschäftigungsverhältnis stehen und sich vorstellen sollten, Mitarbeiter von Apple respektive Nokia zu sein. Es wurde allerdings nicht geprüft, ob die Vorstellungskraft der Teilnehmer ausreichte, um sich möglichst realitätsnahe in die Rolle eines solchen Mitarbeiters zu versetzen. Daher ist Vorsicht bei einer Übertragung der gewonnenen Erkenntnisse auf tatsächliche Beschäftigungsverhältnisse angebracht. Zur Behebung dieses Mangels könnten zukünftige Studien Mitarbeiter befragen, die in einem tatsächlichen Beschäftigungsverhältnis stehen. Zudem haben wir in unserer Studie nur einen Vergleich zwischen einem Unternehmen mit positiver bzw. negativer Reputation angestrengt. Hier könnten zukünftige Studien Teilnehmer, die weder in einem tatsächlichen Beschäftigungsverhältnis stehen, noch die Rolle eines fiktiven Mitarbeiters einnehmen, als Kontrollgruppe hinzunehmen. Zudem bieten weitere Charakteristika von Beschäftigungsverhältnissen im ISN/ESN-Kontext von SNS ein breites noch zu untersuchendes Forschungsfeld. 7 Literatur Zeitschriftenbeiträge [1] Alniacik, U.; Cigerim, E.; Akcin, K.; Bayram, O. (2011): Independent and joint effects of perceived corporate reputation, affective commitment and job satisfaction on turnover intentions. In: Procedia - Social and Behavioral Sciences 24 (0), S [2] Ashforth, B. E.; Mael, F. (1989): Social Identity Theory and the Organization. In: Academy of Management Review 14 (1), S [3] Basdeo, D. K.; Smith, K. G.; Grimm, C. M.; Rindova, V. P.; Derfus, P. J. (2006): The impact of market actions on firm reputation. In: Strategic Management Journal 27 (12), S [4] boyd, danah m.; Ellison, N. B. (2007): Social Network Sites: Definition, History, and Scholarship. In: Journal of Computer-Mediated Communication 13 (1), S [5] Connelly, B. L.; Certo, S. T.; Ireland, R. D.; Reutzel, C. R. (2011): Signaling Theory: A Review and Assessment. In: Journal of Management 37 (1), S [6] Dutton, J. E.; Dukerich, J. M.; Harquail, C. V. (1994): Organizational Images and Member Identification. In: Administrative Science Quarterly 39 (2), S. p

32 1666 Sebastian Eberz et al. [7] Fombrun, C.; Shanley, M. (1990): What s in a Name? Reputation Building and Corporate Strategy. In: Academy of Management Journal 33 (2), S [8] Friedman, B. A. (2009): Human Resource Management Role Implications for Corporate Reputation. In: Corporate Reputation Review 12 (3), S [9] Hannon, J. M.; Milkovich, G. T. (1996): The effect of human resource reputation signals on share prices: An event study. In: Human Resource Management 35 (3), S [10] Mael, F.; Ashforth, B. E. (1992): Alumni and their alma mater: A partial test of the reformulated model of organizational identification. In: Journal of Organizational Behavior 13 (2), S [11] Ollier-Malaterre, A.; Rothbard, N.; Berg, J. (2013): When worlds collide in cyberspace: How boundary work in online social networks impacts professional relationships. In: Academy of Management Review. [12] Richter, D.; Riemer, K.; vom Brocke, J. (2011): Internet Social Networking. In: WIRTSCHAFTSINFORMATIK 53 (2), S [13] Van Dick, R.; Christ, O.; Stellmacher, J.; Wagner, U.; Ahlswede, O.; Grubba, C., et al. (2004): Should I Stay or Should I Go? Explaining Turnover Intentions with Organizational Identification and Job Satisfaction. In: British Journal of Management 15 (4), S Konferenzbeiträge (ohne Verlag) [14] Skeels, M. M.; Grudin, J. (2009): When social networks cross boundaries: a case study of workplace use of facebook and linkedin. In: Proceedings of the ACM 2009 international conference on Supporting group work. New York, NY, USA: ACM (GROUP 09), S [15] Wang, Y.; Norcie, G.; Komanduri, S.; Acquisti, A.; Leon, P. G.; Cranor, L. F. (2011): I regretted the minute I pressed share": a qualitative study of regrets on Facebook. In: Proceedings of the Seventh Symposium on Usable Privacy and Security. New York, NY, USA: ACM (SOUPS 11), S. 10:1 10:16.

33 Conceptualizing the Idea Selection Problem: Building on Insights from a large-scale Innovation Contest Martin Stoetzel University of Erlangen-Nuremberg, Chair of Information Systems III, Nuremberg, martin.stoetzel@fau.de Martin Wiener University of Erlangen-Nuremberg, Chair of Information Systems III, Nuremberg, martin.wiener@fau.de Abstract Web-based innovation contests as a means to engage a community of innovators have become a popular instrument in the past years. While several studies reported on successful idea selection in their cases, we actually were confronted with unexpected difficulties. In order to gain insights into the idea selection problem in large-scale innovation contests with 100 or more ideas, we first develop a conceptual idea selection model and then run Monte-Carlo simulations for 810 idea selection scenarios. Our results not only confirm common sense understanding (e.g. more raters better than few, consistent rating better than inconsistent): By using different value distributions we are also able to quantify the effects of certain design parameters in terms of rating performance, which is a new approach compared to previous studies on idea rating and selection. Our findings could thereby help scholars and practitioners to optimize the idea selection process in the future.

34 1668 Martin Stötzel, Martin Wiener 1 Introduction This study originates from our involvement in organizing a large-scale web-based innovation contest with students. Since 2010 this innovation contest is part of an undergraduate course at a major German university, with more than 1,000 students participating in this contest each winter term. Contest participation makes 25% of the final grade for the course, thereby encouraging all students to contribute novel and relevant ideas for a defined challenge. In the winter term 2012/13, the contest was organized in two phases: A concept development phase and a subsequent evaluation phase. The evaluation was done by two distinct groups: The students themselves evaluated concepts from other students, and in parallel a jury consisting of 27 research assistants from the organization committee evaluated the ideas. Table 1 shows some key figures from the contest run in 2012/13: Participants Ideas Participant ratings Jury ratings Ratings per idea 1,445 in 310 teams , ~49 Table 1. Students innovation contest 2012/13 Other than in previous years, the contest in 2012/13 was for the first time run in collaboration with an external partner, the City Council. Together with representatives from the City Council we defined the contest challenge as developing ideas and concepts for innovative digital services to be used by citizens as well as tourists and commuters. The students were randomly grouped into teams of 5 and they developed in total 310 ideas between Oct and Nov For the evaluation phase, we applied a carefully designed multi-criteria evaluation approach for obtaining the idea ratings. Very similar to [4] and [17], the following eight criteria had been defined and agreed with the city council: Problem orientation, elaboration, novelty, user value, user acceptance, marketing potential, technical feasibility and economic feasibility. Each idea was rated by ~46 students and also by 3 members from the jury. The evaluation was done for all criteria on a 7-point Likert scale. The overall rating was then calculated as the sum of the individual scores and divided by the number of raters per idea. Building upon earlier studies, we were expecting that the criteria and the evaluation approach would be adequate to identify the best ideas. However, after comparing the jury ranking with the students ranking, we found that their evaluation was quite diverse. Figure 1 shows the jury ranking compared to the students ranking the ideas on the x-axis are sorted by the jury ranking from best (1) to worst (310). A Spearman rank correlation test produced a correlation coefficient which is significant at 0.01 level; but if we for instance compare agreement on the best 25 ideas, we only find 6 ideas which are both in the top-25 from the jury and in the top-25 from the students.

35 Multikonferenz Wirtschaftsinformatik Figure 1. Idea ranking from students and jury compared (sorted by jury ratings) Although past research on innovation contests has presented a number of insights with regards to idea selection, we found two limitations which we want to address in this study: (1) Very little is known about the idea selection problem in large-scale innovation contests; studies which discuss idea selection in detail have predominantly built on contests with a smaller set of ideas; and (2) those studies which discuss idea selection uniformly report that the process and the result have been satisfactory, i.e. we did not find any study which reported about unsatisfactory evaluation results and measures for avoiding or mitigating such situations. Therefore, our objective is to conceptualize the idea selection problem for large-scale innovation contests and to derive insights into relevant design parameters. Our findings are also meant to help the obviously growing number of practitioners who engage the innovation community and who are confronted with the task of selecting the best ideas. 2 Theoretical Background 2.1 Idea Selection in Innovation Contests In the past years, web-based innovation contests have been conceptualized from various perspectives, e.g. the design elements and parameters of innovation contests, motivation of participants, award design, and characteristics of participants (cf. [25] p.10). In the following, we will concentrate on studies which report on idea evaluation and idea selection in innovation contests or similar settings. We performed a systematic literature review via the EBSCOhost Business Source Complete database using keywords as innovation contest, ideas competition, innovation challenge and some more variations. The aim was to find studies which report on innovation contests and the principles for selecting the best ideas. We also applied a backward search (relevant references cited in the found studies) and complemented our search by a forward search (later studies citing our results) via Google Scholar. Interestingly, although web-based innovation contests have become increasingly popular (see the Innovation Contest Inventory database [12] for many examples), we could not find many studies which present detailed insights about idea evaluation and idea selection in innovation contests:

36 1670 Martin Stötzel, Martin Wiener Studies Contest Year Participants Ideas [2], [7], [18], [24] SAPiens [19], [24] mi-adidas & ich [16] Telia Mobile n.a [8] WIN Contest , [9] CEC Shoe Design 2007 ~ [10] Ideenschmiede 2011/ Table 2. Studies discussing web-based innovation contests (including idea evaluation) What all these studies have in common is that the selection of the best ideas was ultimately done by a jury of so-called experts which are employees of the host organization, in some cases complemented by qualified externals. In addition, a couple of studies report that the idea selection has also been influenced by a community evaluation, which often preceded the jury evaluation phase. The community evaluation is done either via binary votes (e.g. idea is seen as good or bad, as in [8]) or by using multi-criteria evaluation approaches (e.g., [18], [24]). Most innovation contests applied multicriteria ratings which is in line with [22] who in their analysis found that simple rating mechanisms were less effective. With regards to the evaluation criteria, although different sets of criteria were used in the different cases, the rating criteria were neither contradictory nor completely diverse: Novelty, relevance, and elaboration commonly form the basis for a more or less elaborate set of criteria in each of the cases. This is actually one of the requirements defined by [1] who introduced the consensual assessment technique (CAT) for the evaluation of creative work. All listed studies report to having applied the CAT, at least for the expert evaluation of their ideas. 2.2 Rating Reliability One key requirement of the CAT is a high degree of inter-rater reliability. [1] suggested that sufficient reliability would be achieved with intra-class correlation coefficients (ICC) greater than 0.7. At this point we shall briefly rethink the rationale for using ICC: Intra-class correlation is especially useful for comparing ratings from more than two raters, and when raters are exchangeable, i.e. they are part of a potentially larger population of raters. In the studies listed in section 2.1, ICC was calculated as measurement for the reliability of the expert ratings regarding single rating criteria and/or overall rating scores. The authors of the studies were consistently satisfied with their ratings: [2] report that ICC coefficients were > 0.7 or slightly below for all criteria which were not excluded after factor analysis. Also [19] found high consensus for each of their criteria with ICC coefficients above 0.7. Consensus among judges was also approved in [9] and [10]. In contrast to these studies, the jury ratings from our contest seem to be significantly worse. Table 3 shows that the jury ICC coefficients for all 8 criteria are significantly below the 0.7 threshold. The students evaluation ICC coefficients on the other hand are much higher, most of them greater than 0.7.

37 Multikonferenz Wirtschaftsinformatik Rating criteria ICC (1,k) Jury ICC (1,k) Students Problem orientation Elaboration Novelty User value User acceptance Marketing potential Technical feasibility Economic feasibility Table 3. Intra-class correlation coefficients (one-way random) for jury and students In order to correctly interpret these results, we need to take a deeper look at the ICC calculations. First of all, there are different ICC models to be used: If not all raters evaluate each idea, the ICC (1, r) must be chosen which does not take into account effects of individual raters [23]. If the same raters evaluate all ideas, the commonly used model is ICC (2, r), which treats the raters as sample part of a potentially larger population of raters. Finally if raters consistently rate all ideas and they are not interchangeable, the ICC (3, r) model should be preferred. In our case we used the ICC (1, r) model because the evaluation task was shared among a larger set of raters (for the jury as well as for students). The problem is that in our case, we had an exceptionally large number of ideas (n=310), and in the case of students ratings also an exceptionally large number of raters (k ~ 46) compared to other studies which reported on ICC. It has been shown in previous studies that the inter-rater reliability coefficients are not independent from the number of raters and the number of targets [6]. We will briefly explain this fact for the ICC (1, r) coefficient, which we applied for our rating results. Per definition [23]: - - (1) where BMS denotes the between-targets mean square and WMS the within-target mean square. Let us assume we have n ideas and k ratings per idea. BMS and WMS are calculated as follows, with being the rating j for idea i: - - (2) - - (3) We now assume that we double the number of raters, and the new raters perform exactly the same rating as the initial set of raters. With 2k raters we get a new ICC which is definitely higher than the initial ICC: (4) ( - ) - (5) The assumption that the new raters perform exactly the same ratings as the initial raters is certainly very unlikely for a small set of raters. On the other hand, our data confirmed that actually almost all 310 idea ratings from students were normally distributed (KS-test, H 0 rejected in only 1 of 310 cases,, average p-value 0.633). Now if ratings for each idea are normally distributed, we can well argue that for instance 100 raters would perform very similar ratings as another group of 100 raters. If

38 1672 Martin Stötzel, Martin Wiener we split 46 raters (students rating) into two groups and each group of 23 would theoretically perform an identical rating, ICC for each of the two groups would be, according to equation (5): - (6) An coefficient of 0.8 would be equivalent to an coefficient of 0.59, which is below the 0.7 threshold proposed for good reliability. A conclusion of this is that ICC coefficients are likely to be large when we have a large set of raters, as in the case of our students rating. The other peculiarity is that in our case we have quite a large number of ideas (n=310). Using a similar logic as explained above, we can develop the following reasoning: If we double the number of ideas and the judges rate the new ideas exactly as they rated the initial set of ideas, e.g. because the ideas are very similar, then we can calculate the following: (7) According to equation (7), increasing the number of ideas actually has just the opposite effect on the ICC coefficient as increasing the number of raters. We thus suppose that the low inter-rater reliability of our jury evaluations was caused at least partially by (1) the large number of ideas and (2) the small number of raters (k=3). 2.3 Rating Validity Rating validity is a related but still different concept than reliability: Ratings from a panel of judges may seem reliable (high consensus among raters) but they might apply the wrong target function, i.e. might come to wrong conclusions in terms of which ideas are good or bad. Measuring validity is very difficult if not impossible in innovation contests, because the true value of an idea can hardly be measured before the innovation is implemented and market success can be proven. Therefore, the idea of the CAT is that the use of experts and high reliability of their assessments should provide a meaningful approximation of the rating validity [1, p. 41ff]. A systematic evaluation process and the application of well-grounded expert knowledge are deemed to be sufficient measures for achieving a valid assessment [14]. Once a jury of experts has performed their evaluation and the reliability of their ratings has shown to be high, one can also assess the validity of evaluations from non-expert raters (e.g. participants): If participants were able to identify the best ideas in conformity with expert judgments, we talk about concurrent validity and we also deem the participants rating as valid [21], [22]. 3 A Conceptual Model for Idea Selection 3.1 The value function In most innovation contests, rating validity cannot be directly measured. At the point of running the contest, the true value of the ideas can only be predicted, but we can hardly know whether one or another idea will in fact become a commercial success. The beauty about models is that we don t have to adhere to all real-world difficulties: We can assume that we know the value of the ideas, and we can then compare the rating of an idea against its true value. And for determining the value of the ideas, we can assume that the value of the ideas can be formulated as a parametric function. In order to construct a realistic value function, let us consider a famous innovation contest, the Netflix Prize challenge [18]: The contest was organized by the online

39 Multikonferenz Wirtschaftsinformatik movie rental company Netflix and was run between October 2006 and September The task was to develop a new algorithm for their movie recommendation system that was at least 10% better than the former recommendation algorithm [3]. Selecting the best idea was obviously not really a problem because the evaluation criterion was clearly measureable: The quality of the algorithm is determined by calculating the square root mean error between the prediction and the actual movie rating. By comparing the contest proposals with their algorithm they could directly measure the improvement in percent. Figure 2 shows the best 100 proposals (among 44,014 submissions) [18]. We can interpret this as the value function of the proposals. Figure 2. Value function of the Top-100 proposals from the Netflix Prize Challenge [28] Interestingly, the Netflix Prize challenge is one example where the value of a proposal is directly measureable, and therefore helps to demonstrate a realistic distribution of a possible value function. For our purposes, we will consider three value functions for subsequent modelling and testing. We call them A, B, and C (figure 3). All three functions show the value of 100 ideas from best (left) to worst (right). For simplicity, the best idea has value 1 and the worst idea value 0, i.e. we have normalized the value of ideas. Function B pretty much looks like the Netflix function for the 100 best ideas. We additionally construct two more functions, one with a steeper decline in the best ideas (function C) and one with a more moderate decline in the best ideas (function A).

40 1674 Martin Stötzel, Martin Wiener Figure 3. Hypothetical value functions for three innovation contests A, B and C The functions shown in figure 3 are built as follows (n=100): - ( - ) - (8) - (9) - (10) 3.2 Idea Selection Unlike the Netflix challenge, the usual case in most innovation contests is that the idea selection process does not result in a single chosen idea, but rather a set of the best ideas [8]. A prominent example is the Google 10-to-the-100, where ultimately the best five ideas were selected and granted a total award of 10 million dollars [20]. Now, if we wanted to select the best 10 ideas out of 100, we suppose that idea selection should be easiest in contest C because the value of the best 10 ideas is relatively much higher than the other 90 ideas, as compared to contests A and B. This understanding is based on the following logic: Even if raters are not able to identify the true value of the ideas, they should still be able to determine an approximation which is close to the true value. If the rating criteria are suitable for determining the true value, the raters evaluations should be distributed normally around the true value [23]. The variance of this normal distribution can be caused by a set of different biases [11]: (1) Raters may not have an identical understanding of the rating criteria, and (2) raters may interpret scales differently, i.e. some raters are generally more positive (trustful) or negative (skeptical) than others. In addition, external effects will influence the ratings because (3) common rating criteria are qualitative measures, i.e. not absolutely measureable but rather depending on a comparison of the individual understanding of the idea compared with past experiences and drawn analogies. The first two biases would be rater-specific, whereas the third would be called dyad-specific as it specific for each rater-idea couple [11]. In our model, ratings for idea i from rater j can be formulated as (11)

41 Multikonferenz Wirtschaftsinformatik where is the theoretical true value of idea i, is the rater-specific bias and is the dyad-specific bias for each rater-idea couple. Both the rater-specific bias as well as the dyad-specific bias are assumed to be normally distributed with a mean of zero and a variance of and respectively [23]. In addition, there might be an idea-specific error-term which could be caused by a systematic overor under-evaluation of ideas (we can imagine that nicely visualized ideas would obtain better ratings than poorly presented ideas, even if they perform equally on all specified evaluation criteria). Because our focus in this study is not on optimizing rating criteria or criteria compliance, we set. Using assumptions for the distribution of rater biases (i.e. defining values for and ), we are now able to predict which ideas would be selected in the three contests A, B and C. We can then calculate the value of the selected ideas and compare it with the value of the best ideas. The value difference between the best ideas and the selected ideas would be the lost value from the selection. 4 Simulations and Findings Our objective is now to test and visualize the impact of certain design parameters on the selection of the best ideas in our model in order to gain insights for the idea selection problem, and in particular for the idea selection in our contest. For this purpose, we run Monte Carlo simulations with 1,000 iterations for each of the following scenarios: The three value functions A, B and C with [ ]; number of raters k 1 =4, k 2 =8 and k 3 =20; number of selected best ideas s 1 =5, s 2 =10 and s 3 =25, and a total variance ( ) ranging from 0.1 to 1.0 in steps of 0.1. We also distinguish between rating consistency (all raters evaluate each idea), inconsistency with fixed allocations (a subset of raters evaluate the same subset of ideas) and with random allocation (a subset of raters evaluate a randomly assigned subset of ideas). Overall, the combination of all parameters resulted in 810 different scenarios. In order to refrain from more complexity, we kept the number of ideas fixed at n=100 and we simply divided the total variance into equal halves. In our contest, the raterspecific bias from students was found to make ~40% of their overall variance of ratings per idea, i.e. using in our model does not seem to be unrealistic. For each of the 1,000 iterations in each of the 810 scenarios we calculated two values: The lost value and the ICC coefficient. In contrast to the ICC which shows the reliability of the ratings, the lost value is actually a measure for the validity of the rating. Based on the value functions which we constructed, we were able to compute the degree of validity for each rating scenario. The higher the columns (figures 4 and 5), the lower the validity of the rating, expressed in the overall lost value from the idea selection decision. Results discussed in the following are average values from all 1,000 iterations. The x-axis shows the total bias variance from to. Figure 4. Lost value (by idea selection): Contest A

42 1676 Martin Stötzel, Martin Wiener Figure 5. Lost value (by idea selection). Contest C From all scenarios which we computed, figures 4 and 5 illustrate the results which are the most remarkable. Our calculations showed that the in-between scenarios (contest B in between A and C; s=10 selected ideas in between 5 and 25) produce results which are in between those shown in figures 4 and 5. For interpreting our findings we therefore concentrate on the results which most clearly exhibit the differences between the scenarios. At first sight, the results confirm two aspects which we had expected: (1) The larger the rater bias, the higher the overall lost value, and (2) more raters are better than few at determining the best ideas, at least for the same rater bias. A bit surprising at first sight is that selecting the best ideas in contest C was obviously not easier than in contest A. The lost value in contest C is higher than in contest A in most scenarios (only when we select 5 ideas, the lost value in contest C is lower than in contest A, at least for some values). We can explain this observation by the fact that the calculation is done as - (12) and the effect of making wrong decisions is smaller for contest A than for contest C. Hence, although in contest C we should be able to better identify the best ideas, the larger effect from making wrong decisions makes the idea selection more difficult in the end. Another interesting observation can be made by comparing the maximum level of variance which is acceptable if we want to achieve a certain degree of rating validity. In all scenarios, 20 raters with a bias variance of even 1.0 performed better at idea selection than 4 raters with a bias variance of 0.3. In other words, a community of 20 raters which has a bias 3 times as large as a jury of 4 raters would still be expected to perform better at selecting the best ideas, at least for the applied value functions. Looking at the reliability of the ratings, it is apparent that we did not achieve ICC coefficients > 0.7 in any of the 4-rater scenarios not even for the smallest variance of 0.1 (see figure 6). This result confirms our discussion from section 2.2 where we argued that ICC coefficients for a small number of raters and contests with many ideas (in this case 100) would be low in most cases. It also explains why we got such low ICC coefficients for the jury rating in our contest, where we actually had triple the number of ideas (n=310) and only 3 raters per idea.

43 Multikonferenz Wirtschaftsinformatik Figure 6. ICC (2,r) coefficients for contests A and C, comparison of 4 and 20 raters By comparing figure 6 with figures 4 and 5 we observe a high correlation between rating performance and the inter-rater reliability (Pearson correlation test confirmed significance at p=0.01 level). But this correlation cannot be interpreted as a linear relationship: 4 raters in contest A had a lost value of ~10% at while 20 raters in contest C had a lost value of ~10% at. The corresponding ICC coefficients are 0.38 and 0.58, i.e. the ICC coefficients for almost the same rating performance are found to be quite different. Comparing consistent ratings (raters evaluate each idea) with inconsistent ratings (raters evaluate a subset of ideas) offers additional insights: First of all, consistent rating performed much better than both types of inconsistent ratings. For instance, a consistent rating with resulted in a similar rating performance as inconsistent ratings with (see figure 7). Comparing both types of inconsistent ratings, i.e. fixed vs. random allocation of ideas, we could not find a significant difference. Figure 7. Lost value compared for consistent, inconsistent fixed and random We also compared the ICC coefficients for the same scenarios (figure 8). Especially for contest C it is interesting that the ICC is lowest for inconsistent ratings with fixed idea allocation, although fixed allocation has performed slightly better in terms of value selection.

44 1678 Martin Stötzel, Martin Wiener Figure 8. ICC coefficients compared for consistent (ICC (2, r)), inconsistent fixed and random (ICC (1, r)) 5 Discussion & Conclusion Although from our modelling results we could not gain renewed confidence with the rating results from our contest, the presented findings reveal various insights which could be considered for subsequent innovation contests in a sequel of the contest at our university, and also in other largescale innovation contests. First of all, the results have proven that rating reliability is a very useful proxy for the validity of a rating as the computed ICC coefficients and rating performance in our model are highly correlated. Nevertheless, the ICC coefficients should be interpreted with caution: Commonly used thresholds seem to be adequate when a jury of experts evaluates a small number of ideas. But once we have a larger number of ideas, ICC coefficients will most probably be low due to the difficulty to clearly distinguish between the perceived value of ideas. Unfortunately, we cannot really offer a solution to this problem: Even though from our simulations we can interrelate ICC values from 810 different idea contests with their corresponding rating validity (or lost value), the set of assumptions used for our model is still rather limited, compared to the potential configuration space of innovation contests in practice. In addition, we have seen from our modelling results that there is clearly no linear relationship between ICC coefficients and rating validity, i.e. a systematic correlation between model parameters, ICC coefficients, and rating validity seems to be a complex endeavor. Developing new ICC thresholds for large-scale idea contests with many raters would be highly desirable but would also require a significant extension of non-static model parameters. Regardless the above mentioned limitation, we can offer strong support for engaging a larger community of raters. While this statement can be qualitatively explained by the law of large numbers, our simulations go one step further and provide numeric insights: For all scenarios and the value functions A, B and C were actually quite different we found that a community of 20 raters would outperform a jury of 4 raters, even if the rating bias of the community was three times higher. This finding reassures the relevance of open evaluation approaches [8], especially because it is obviously much easier to recruit an extra couple of sufficiently skilled and motivated raters, compared to taking measures for significantly improving the rating ability of your raters at hand. Our simulations confirmed another qualitative statement which relates to the set-up of idea selection in innovation contests: Ideally you would use a large group of expert raters who consistently evaluate the entire set of ideas. Consistency means that each rater evaluates all ideas. From figure 8 we can get an impression of the advantages of consistent ratings with regards to rating reliability. What is interesting now is that the rather small advantage of consistent ratings expressed in ICC values turned out to be much larger when looking at the rating validity (see figure 7): From all scenarios, consistent ratings performed on average 40% better at value selection compared to the inconsistent ratings. The problem

45 Multikonferenz Wirtschaftsinformatik is that a request for rating consistency will hardly be complied with, once we talk about innovation contests with very large numbers of ideas. For instance in the Google 10-to-the-100 contest, a team of 3,000 employees was engaged to evaluate an overwhelming amount of 150,000 ideas a task which would have never been accomplished with a consistent rating [15]. We finally want to stress that rating performance clearly depends on the rater bias, and logically the smaller the bias the better the results. In our model we simply used as the variance of the overall rating bias and split this into equal parts for the rater-specific and the dyad-specific bias. On this aspect we would call for additional research which could investigate measures to improve the alignment of raters (i.e. reducing the variance of ratings for the same idea). Such measures seem to bear great potential for improving the idea selection process, and it would be particularly useful for community ratings where we usually have rather little control on the rating abilities of non-expert raters. Coming back to the idea rating results in our innovation contest with students, it became clear that the difference between ICC values from the jury and the student evaluation can mainly be explained by the large number of student raters and the small number of expert raters per idea. Still, the results cannot be deemed satisfactory. The first question is whether the jury was sufficiently skilled to realistically evaluate the ideas. With regards to evaluating ideas for digital city services, our 27 research assistants may have had not enough common understanding about how to apply the rating criteria. A briefing workshop and maybe a joint evaluation trial-run could have been useful. The second question is whether the jury members were sufficiently motivated to concentrate on their task to evaluate the ideas. Expert rater motivation is a general problem, because we can imagine that highly skilled people with great expertise are usually very busy and have very limited time for their evaluation task. The last question is whether the students were actually able to assess the ideas on all defined criteria. Especially technical and economic feasibility are criteria which they may not be sufficiently knowledgeable about. Here, an idea for the future would be to limit the community evaluation to the more straightforward criteria, derive a short-list of ideas, and then have the experts evaluate the short-listed ideas on the more difficult criteria, or on a wider set of criteria. 6 References [1] Amabile, TM (1996): Creativity in context: Update to the social psychology of creativity. Westview Press. [2] Blohm, I.; Bretschneider, U; Leimeister, JM; Krcmar, H (2011): Does collaboration among participants lead to better ideas in IT-based idea competitions? An empirical investigation. Int. J. of Networking and Virtual Organisations 2(9): [3] Boudreau, KJ; Lacetera, N; Lakhani, KR (2011): Incentives and problem uncertainty in innovation contests: An empirical analysis. Management Science 57(5): [4] Bretschneider, U (2012): Die Ideen Community zur Integration von Kunden in die frühen Phasen des Innovationsprozesses. Gabler, Wiesbaden. [5] Bullinger, AC; Neyer AK; Rass, M; Moeslein, KM (2010): Community-Based Innovation Contests: Where Competition Meets Cooperation. Journal of Creativity and Innovation Management 19(3): [6] Cortina, JM (1993): What is coefficient alpha? An examination of theory and applications. Journal of Applied Psychology 78(1):

46 1680 Martin Stötzel, Martin Wiener [7] Ebner, W; Leimeister, JM; Krcmar, W. (2009): Community engineering for innovations: The ideas competition as a method to nurture a virtual community for innovations. R&D Management 39(4): [8] Haller, J. (2013): Open Evaluation. Integrating users into the selection of new product ideas. Gabler, Wiesbaden. [9] Hansen, EG; Bullinger, AC; Reichwald R (2011): Sustainability innovation contests: Evaluating contributions with an eco impact-innovativeness typology. Int. J. Innovation and Sustainable Development 5(2/3): [10] Hartmann, M; Bretschneider, U; Leimeister JM (2013): Patients as innovators. The development of innovative ideas with the Ideenschmiede. 11th Int. Conference on Wirtschaftsinformatik [11] Hoyt, WT (2000): Rater bias in psychological research. When is it a problem and what can we do about it? Psychological Methods 5(1): [12] Innovation Contest Inventory: accessed [13] Jeppesen, LB; Lakhani KR (2010): Marginality and problem-solving effectiveness in broadcast search. Organization Science 21(5): [14] Kaufman JC; Baer, J; Cole, JC; Sexton JD (2008): A comparison of expert and non-expert raters using the consensual assessment technique. Creativity Research Journal 20(2): [15] Klein, M (2012): Enabling large-scale deliberation using attention-mediation metrics. Computer Supported Cooperative Work 21(4/5): [16] Kristensson, P; Gustafsson, A; Archer, T (2004): Harnessing the creative potential among users. Journal of Product Innovation Management 21(1):4-14. [17] Leimeister, JM; Huber, M; Bretschneider, U; Krcmar, H. (2009): Leveraging crowdsourcing: Activation-supporting components for IT-based ideas competition. Journal of Management Information Systems 26(1): [18] Netflix Prize: accessed [19] Piller, FT; Walcher, D (2006): Toolkits for idea competitions: A novel method to integrate users in new product development. R&D Management 36(3): [20] Project 10-to-the-100: accessed [21] Reinig, BA; Briggs, RO; Nunamaker, JF (2007): On the Measurement of Ideation Quality. Journal of Management Information Systems 23(4): [22] Riedl, C; Blohm, I; Leimeister, JM; Krcmar, H (2010): Rating scales for collective intelligence in innovation communities: Why quick and easy decision making does not get it right. ICIS 2010 Proceedings. [23] Shrout, PE; Fleiss, JL (1979): Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin 86(2): [24] Walcher, D (2007): Der Ideenwettbewerb als Methode der aktiven Kundenintegration: Theorie, empirische Analyse und Implikationen für den Innovationsprozess. Gabler, Wiesbaden. [25] Wenger, JE (2012): Gewinngestaltung bei Innovationswettbewerben. Theoretische und praktische Betrachtung. Gabler, Wiesbaden

47 Barrieren der Erfolgsmessung von Enterprise Social Software Christian Herzog, Melanie Steinhüser, Uwe Hoppe Universität Osnabrück, Institut für Informationsmanagement und Unternehmensführung, Osnabrück, Alexander Richter, Michael Koch Universität der Bundeswehr München, Forschungsgruppe Kooperationssysteme München, Neubiberg, E Mail: {vorname.nachname}@unibw.de Abstract Während Enterprise Social Software (ESS) zunehmend zum Einsatz kommt, stellt die Evaluierung ihres Nutzens immer noch eine Herausforderung für die meisten Unternehmen dar. Um ein besseres Verständnis für existierende Probleme zu entwickeln und Lösungsansätze zu finden, werden im vorliegenden Beitrag Barrieren der ESS-Erfolgsmessung auf Basis von 26 Experten-Interviews untersucht. Es werden 16 Barrieren identifiziert und in die Kategorien (1) Ressourcen und Verantwortlichkeit, (2) Ziele und Zieldefinition sowie (3) Vorgehen und Datenmaterial eingeordnet. Dabei zeigt sich, dass im Kontext von ESS insbesondere fehlende oder ungenaue Ziele die Erfolgsmessung erschweren und, dass der Erhebung von Nutzungsdaten eine höhere Bedeutung zukommt. Die anschließende Einordnung der Barrieren in Phasen des Lebenszyklus einer ESS soll helfen, die Erfolgsmessung besser planen zu können.

48 1682 Christian Herzog et al. 1 Motivation Von Jahr zu Jahr steigt die Zahl der Unternehmen, die Social Software für ihre interne Kommunikation und Kollaboration einsetzen [2]. Gleichzeitig ist der Nutzen, der durch den Einsatz von ESS entsteht nicht unumstritten [26]. Unternehmenspraxis und Wissenschaft tun sich schwer damit, die positiven Effekte zu belegen und den geschaffenen Mehrwert, der durch ESS entsteht, zu evaluieren und dadurch die Investition zu rechtfertigen [26]. ESS hat mehrere spezifische Charakteristika, die Einfluss auf die Erfolgsmessung haben. Zum Beispiel unterstützt ESS den Nutzer dabei, einfach eine Vielzahl eigener Inhalte zu generieren [9] und führt zu einem hohen Vernetzungsgrad der Mitarbeiter untereinander [8]. Daneben dient ESS nicht primär einem spezifischen Anwendungsszenario, sondern kann von ihren Nutzern für eine Vielzahl von Praktiken im Arbeitsalltag verwendet werden. Ihr Mehrwert zeigt sich erst dann, wenn sie ihren Platz im Arbeitsalltag der Anwender gefunden hat und lässt sich folglich nur im Kontext eines spezifischen Anwendungskontextes messen [28]. Durch diese Eigenschaften entstehen Herausforderungen, aber auch Möglichkeiten einer Erfolgsmessung. So liegt zum Beispiel ein stärkerer Fokus auf der Erhebung und Analyse von Nutzungsdaten [13]. Gleichzeitig hat sich bis heute keine einheitliche Vorgehensweise zur Ermittlung des Nutzens etabliert. Dabei finden Erfolgsmessungsmodelle von Informationssystemen (IS) oftmals keinen Einzug in die Unternehmen, weil deren Praxisrelevanz umstritten ist [11][29]. Unabhängig von der Verwendung bestimmter Modelle stellt sich auch die Frage, welche Schwierigkeiten und Probleme generell bei der ESS- Erfolgsmessung existieren. Um eine geeignete Vorgehensweise für Praktiker und Forscher abzuleiten und die Erfolgsmessung zu verbessern, ist eine genaue Analyse der existierenden Barrieren notwendig. Das diesem Beitrag zu Grunde liegende Forschungsziel ist somit die Identifikation von Barrieren der Erfolgsmessung von Enterprise Social Software. Darüber hinaus werden Ansatzpunkte vorgeschlagen um diese zu überwinden. Um ein besseres Verständnis der Barrieren zu bekommen, wurden Daten in einer Interviewstudie mit 26 Experten, die für die ESS im Unternehmen verantwortlich sind, erhoben und nachfolgend analysiert. Hierauf vorbereitend liefert Kapitel 2 zunächst einen kurzen Überblick der IS- und ESS-Erfolgsmessung und der damit verbundenen Schwierigkeiten. Kapitel 3 umfasst die Beschreibung des Vorgehens, der Planung der Datenerhebung sowie der anschließenden Analyse. In den Kapiteln 4 und 5 werden die Ergebnisse präsentiert und diskutiert. Ein Fazit und ein Ausblick auf weitere Forschungsarbeiten schließen den Beitrag ab. 2 Schwierigkeit der Erfolgsmessung von Informationssystemen und Enterprise Social Software Seitdem IS von Unternehmen eingesetzt werden, existiert der Wunsch zur Evaluierung, Bewertung und Messung ihres Erfolges. Nicht weniger alt sind Diskussionen dazu, ob und wie sich dies realisieren lässt. Diesen Herausforderungen verlieh in den 1990er Jahren das so genannte Produktivitätsparadoxon einen Ausdruck. In mehreren Studien war kein Nachweis eines Zusammenhangs einer Investition in IS und einem gleichzeitigen Anstieg der Produktivität zu erkennen [14][41]. Zur besonderen Popularität kam diese Thematik 2003 durch den Artikel IT doesn t matter von Nicholas G. Carr [5]. Auch wenn andere Studien dem Produktivitätsparadoxon widersprechen [20][38], zeigt die Diskussion die Schwierigkeit, die direkten Effekte nachzuweisen. Um Produktivitätsveränderungen zu analysieren, werden Input und Output gemessen. Werden hierfür monetäre Messgrößen wie Umsatz oder Gewinn verwendet, können Markt- und Umverteilungseffekte die Messung verfälschen. Dazu kommen Verzögerungseffekte, bedingt durch Anlaufschwierigkeiten

49 Multikonferenz Wirtschaftsinformatik und Lerneffekte bei der Implementierung der IS [15][39]. Die Ergebnisse einer umfassenden Literaturrecherche zur IS-Erfolgsmessung von Schryen (2010) zeigen außerdem, dass einige Forschungsfelder, wie zum Beispiel die Analyse des immateriellen Nutzens, immer noch nicht ausreichend adressiert wurden [33]. In verschiedenen Publikationen wurden Modelle zur IS-Erfolgsmessung veröffentlicht [10][12][30][34]. Das in der Wissenschaft dominierende Model [37] ist das IS Success Modell von DeLone und McLean [7]. Auch wenn dieses und andere Modelle unter Forschern eine breite Akzeptanz genießen, steht ihre Praxisrelevanz in der Kritik [11][31]. Rosemann und Vessey identifizierten verschiedene Probleme hinsichtlich der praktischen Ausrichtung der IS-Erfolgs- Forschung und empfehlen einen Applicability Check bei der Konstruktion von Erfolgsmessungs- Modellen, um die Praxisrelevanz wissenschaftlicher Artefakte zu überprüfen [29]. Eine Analyse des IS Success Modells konnte die praktische Anwendbarkeit nur bedingt feststellen [22]. Es wurde vor allem kritisiert, dass der entstehende Aufwand sowie die Integration der Erfolgsmessung in den IS- Lebenszyklus nicht berücksichtigt werden. Zusätzlich wurden Barrieren der Tauglichkeit hinsichtlich der verschiedenen Dimensionen des Modells identifiziert. In der Dimension Nutzung war die Messung von Systemzugriffen rechtlich nur bedingt zulässig oder die Evaluierung der Nutzerzufriedenheit durch eine selektive Befragung manipulierbar sowie deren Objektivität und damit Validität fraglich. Weitere Hindernisse waren Probleme der Messbarkeit der Informationsqualität oder nicht berücksichtigte praxisrelevante Parameter. Eine unzureichende Umsetzung der Erfolgsmessung ließ sich auf mangelnde Verantwortlichkeiten oder das Fehlen eines durchgehenden Prozesses zurückführen. Für die Erfolgsmessung von ESS wurden teilweise die oben beschrieben IS-Modelle modifiziert [23][36] oder ganz neue Ansätze entwickelt [21][26]. Durch die speziellen Eigenschaften von ESS sollten IS-Modelle nicht ohne Anpassungen übernommen werden [36]. Durch die hohe Beteiligung der Nutzer und die hohe Anzahl an nutzergenerierten Inhalten, kommt den Nutzungsdaten eine zentrale Bedeutung zu [13][21][24]. Die Übertragung der Nutzungsstatistiken auf den geschaffenen Mehrwert ist jedoch kaum möglich und so bedarf es einer genauen Analyse und weiterer Interpretationen [13]. Eine weitere Barriere bei der Erfolgsmessung entsteht durch die Nutzungsoffenheit von ESS [28]. Traditionellen IS, wie ERP oder DMS, liegen bereits bei ihrer Entwicklung vorgegebene bzw. klar definierte Nutzungsszenarien zugrunde. ESS wird hingegen meistens eingesetzt, um unstrukturierte Aufgaben zu unterstützen, wobei ein abgegrenztes Anwendungsszenario selten definiert ist. Damit zusammenhängend fehlen messbare Zielgrößen, wodurch eine Messung des ökonomischen Nutzens schwer ist [27][28]. Auch wenn einige Publikationen vereinzelt Barrieren der ESS-Erfolgsmessung ansprechen [13][28], fehlen bisher tiefergehende Forschungsarbeiten hierzu. Hier setzt die vorliegende Studie an. 3 Datenerhebung und Analyse Um die Barrieren der Erfolgsmessung von ESS zu identifizieren, wurde ein qualitatives Vorgehen durch halb-standardisierte Interviews gewählt [32]. Es wurden 26 Interviews mit für die ESS verantwortlichen Personen aus 24 Unternehmen zwischen Dezember 2011 und Juni 2012 geführt. Durch die explorative Herangehensweise konnten unterschiedliche Perspektiven in diesen relativ wenig erforschtem Bereich einbezogen werden [35]. Des Weiteren kann dadurch ein Verständnis für das Vorgehen und die Umsetzung der ESS-Erfolgsmessung aufgebaut werden, um die

50 1684 Christian Herzog et al. Zusammenhänge zu den Barrieren beurteilen zu können. Zusätzlich gestatten die Interviews eine Bewertung der Beziehungen zur Zielsetzung und Anwendung der eingesetzten ESS. In Vorbereitung auf die Interviews wurde ein Leitfaden zusammengestellt, der das Gespräch mit den Teilnehmern unterstützen und eine Vergleichbarkeit ermöglichen sollte [4]. Dieser beinhaltete 32 Fragen in verschiedenen Kategorien. Die Hauptfragen waren: Gibt es Barrieren, die die Erfolgsmessung der Enterprise Social Software einschränken? (im Fall dass Erfolgsmessung angewendet wird), Warum findet keine Erfolgsmessung statt? Gibt es Barrieren, die eine Erfolgsmessung verhindern? (im Fall dass Erfolgsmessung nicht angewendet wird), sowie Gibt es definierte Ziele, die der Einsatz der Enterprise Social Software verfolgt?. Die Frage zur Zielsetzung von ESS wurde gestellt, um auftretende Barrieren durch fehlende oder falsche Ziele untersuchen zu können. Insgesamt wurden vier verschiedene Kategorien abgefragt: (1) Person und Unternehmen, (2) Planung und Anwendung der ESS sowie deren Zielsetzung, (3) Erfolgsmessung von ESS und (4) Einfluss der Nutzung auf den Nutzen. Dies half uns, einen Eindruck über die Erfahrung der Teilnehmer zu bekommen und gleichzeitig deren Aussagen im jeweiligen Kontext interpretieren zu können. Der Interview-Leitfaden ermöglichte eine Vergleichbarkeit der Interviews und gleichzeitig genügend Freiraum für umfassende Aussagen sowie ein gezieltes Nachfragen des Interviewers, um bestimmte Situationen im Detail zu erörtern [4]. Die teilnehmenden Unternehmen wurden nicht nach bestimmten Kriterien, wie Branche oder Größe ausgewählt, sondern aufgrund der Tatsache, dass sie zum beschränkten Kreis der Unternehmen gehören, die bereits ausreichend Erfahrung in der Domäne besitzen. Alle Unternehmen haben ihren Sitz im deutschsprachigen Raum (Österreich, Deutschland und Schweiz) und wurden auf Konferenzen, Messen, in Web-Communities oder aufgrund persönlicher Empfehlungen akquiriert. Die Interviews wurden anschließend telefonisch mit einer Durchschnittslänge von ca. 45 Minuten geführt und aufgezeichnet. Eines wurde in Form eines persönlichen Treffens abgehalten und bei einem Weiteren wurde auf Wunsch des Teilnehmers auf eine Aufnahme verzichtet und stattdessen auf Gesprächsnotizen zurückgegriffen. Alle Aussagen der Teilnehmer wurden für die Veröffentlichung anonymisiert, können jedoch vom Interviewer zugeordnet werden [19]. Hierfür wird eine Nummerierung verwendet (z.b. Interview-Teilnehmer 13 = i13), deren Zuteilung nur dem Interviewer zur Verfügung steht. Die Tonaufnahmen wurden in Textform transkribiert und die Dokumente anschließend codiert. Dabei wurden die Codes in verschiedene Kategorisierungen für die jeweiligen Fragestellungen gegliedert. Neben der Klassifizierung der Codes wurde die Anzahl der Aussagen gezählt, um eine Gewichtung vornehmen zu können. 26 Interviews liefern zwar keine repräsentativen Ergebnisse, dennoch sind diese Werte ein wichtiger Indikator für die Bedeutung der jeweiligen Barrieren und ermöglichen es, diese entsprechend zu interpretieren. Bei der Auswertung erkannten wir drei unterschiedliche Kategorien, in welche wir die Barrieren einordnen konnten: (1) Wer misst den Erfolg (Barriere: Ressourcen und Verantwortlichkeit), (2) Was soll gemessen werden (Barriere: Ziele und Zieldefinition), sowie (3) Wie wird die Erfolgsmessung umgesetzt (Barriere: Vorgehen und Datenmaterial) (siehe Tabelle 1). Erste Zwischenergebnisse wurden in einer Fokusgruppe mit 10 Teilnehmern aus Forschung und Praxis diskutiert [16]. Die Fokusgruppe bestätigte die bestehenden Barrieren bei der Erfolgsmessung. Des Weiteren zeigten sich in der Diskussion die unterschiedlichen Sichtweisen der Erfolgsmessung, die auch schon in den Interviews bemerkt wurden. Während der Interviews wurde absichtlich auf eine Definition von Erfolgsmessung verzichtet, um die verschiedenen Auslegungen der Teilnehmer zu erfahren. Grundsätzlich wurden, ähnlich wie in anderen Veröffentlichungen [13][26], zwei Dimensionen der Erfolgsmessung erkannt: (1) Nutzung und (2) Mehrwert. Diese verschiedenen

51 Multikonferenz Wirtschaftsinformatik Sichtweisen sind für das Verständnis der Barrieren von Bedeutung, um so deren Auswirkungen richtig interpretieren zu können. Nach der Auswertung der 26 Interviews wurden die Ergebnisse erneut in einer zweiten Fokusgruppe mit drei ESS-Forschern diskutiert, um die Subjektivität des Interviewers und seiner Auswertung zu reduzieren [35]. 4 Ergebnisse 17 der 24 Unternehmen nannten Barrieren hinsichtlich der Erfolgsmessung der eingesetzten ESS. Teilweise wird diese dadurch verhindert (7 [n=24]) oder eingeschränkt (10 [n=24]). Neben den Barrieren sahen einige Unternehmen aus unterschiedlichen Gründen keinen Bedarf an einer Messung des ESS-Erfolges. Ein Teilnehmer sah die Nutzung der ESS mittlerweile so in den Arbeitsprozess integriert, dass eine Messung nicht für nötig befunden wurde. Ein weiterer Grund war die Evidenz des Nutzens (Zitat von Interview-Teilnehmer 13 (i13): Wir haben einfach gesehen, dass dadurch alleine für die Unternehmenskultur so viel Positives hinzukommt, dass wir dann keine Notwendigkeit mehr gesehen haben, das zusätzlich irgendwie zu messen."), oder der Zeitpunkt für eine Messung wurde als zu früh angesehen. Zusätzlich wurden eine kleine Unternehmensgröße sowie ein nicht lohnendes Aufwand-Nutzen-Verhältnis als weitere Gründe für den fehlenden Bedarf angegeben. Bei den meisten Unternehmen wurde eine Erfolgsmessung als bedeutend angesehen und entsprechend auch angewendet. Insgesamt wurden 16 Barrieren genannt, die dabei an verschiedenen organisatorischen oder technischen Stellen sowie in unterschiedlichen Projektphasen entstanden. Tabelle 1 zeigt die identifizierten Barrieren der ESS-Erfolgsmessung. Tabelle 1: Barrieren der ESS-Erfolgsmessung Kategorie Wer misst den Erfolg? Barriere: Ressourcen und Verantwortlichkeit Was soll gemessen werden? Barriere: Ziele und Zieldefinition Wie wird die Erfolgsmessung umgesetzt? Barriere: Vorgehen und Datenmaterial Barriere Keine Verantwortlichen Zu hoher Aufwand Fehlende Kapazitäten Kein akzeptables Nutzen / Aufwand-Verhältnis Kein offizielles Projekt / U-Boot-Projekt Keine Ziele Ungenaue (nicht messbare) Ziele Schwierigkeit, Kennzahlen zu definieren; Nur möglich, invalide Annahmen zu machen Erfolgsmessung bzw. ROI zu komplex; Generelle Komplexität der Effekte von ESS Datenschutzbestimmungen Grenzen von Umfragen (Sprache, Länge) Regulierungen durch Betriebsrat Technische Grenzen der Datenerhebung und Auswertung Fehlende Vergleichsdaten Schutz personenbezogener Daten Komplexität inhaltlicher Analyse

52 1686 Christian Herzog et al. Im Folgenden werden die einzelnen Barrieren näher beschrieben. 4.1 Wer misst den Erfolg? Barriere: Ressourcen und Verantwortlichkeit Bereits während der Einführung von ESS können organisatorische Barrieren eine spätere Erfolgsmessung verhindern. Ein Interview-Teilnehmer gab an, dass für die Bottom-up eingeführte ESS die Verantwortlichkeiten nicht geklärt sind. Ohne Verantwortlichen gibt es auch niemanden, der an einer Evaluierung interessiert ist, beziehungsweise eine Erfolgsmessung initialisiert (i06: Es war nie eine Entscheidung von oben oder von einer designierten Stelle, die gesagt hat: Wir setzen das jetzt ein, der Vorstand steht dahinter und in einem Jahr schauen wir, wie weit wir gekommen sind. Das gab es ja alles nicht, sondern es war ein kompletter Bottom-up Approach ). Ein weiterer Teilnehmer schilderte, dass die ESS-Plattform offiziell gar nicht existiere und dadurch die Erfolgsmessung nur rudimentär durch Nutzungsanalysen erfolgte (i05: [ ] Es wollte keiner Erfolgsmessung machen, weil es das Projekt offiziell nicht gab. ). Unabhängig von einer Erfolgsmessung wurden von allen 24 Unternehmen positive Effekte durch den Einsatz der ESS berichtet. Wie weiter oben schon erwähnt, reicht einigen Plattformverantwortlichen diese Erkenntnis aus, sodass eine Erfolgsmessung nicht für nötig gehalten wird. Für andere wiederum steht der Aufwand einer umfassenden Erfolgsmessung keinem angemessenen Nutzen gegenüber (i18: Wie viel investiere ich in die Messung? Das Problem ist schlicht und einfach: Um etwas wasserdicht argumentieren zu können, muss ich in die Messung so viel investieren, dass mir der Gewinn fast verloren geht. oder i21: [ ] Darüber hinaus wird irgendwann der Aufwand zu groß für das Ergebnis. Bei einer kleinen Unternehmensgröße kann ich einfach viel durch Fragen, Meetings usw. klären ). Unabhängig vom Nutzen stellt der hohe Aufwand an sich für eine aussagekräftige Erfolgsbewertung eine große Barriere dar (i03: Eine genaue und intensive Bewertung der Statistikdaten und deren Präsentation beansprucht einfach zu viel Zeit! ). Damit einhergehend verhindern fehlende Kapazitäten die Möglichkeiten einer detaillierten Messung (i23: Wir machen nur eine sehr rudimentäre Auswertung. Es gäbe vielleicht Möglichkeiten, das mehr im Detail anzuschauen, aber das ist eine Ressourcenfrage. oder i25: Es fehlt Zeit für die hochkomplexen Analysen. Ich hätte natürlich auch gerne die hochkomplexen Messungen auf Knopfdruck. ). 4.2 Was soll gemessen werden? - Barriere: Ziele und Zieldefinition Speziell für die Evaluierung des ökonomischen Nutzens von ESS führen fehlende oder ungenaue Ziele sowie nicht vorhandene Definitionen von Anwendungsszenarien und Use Cases zu Schwierigkeiten bei der Planung und Durchführung einer Erfolgsmessung. Über ein Drittel der Unternehmen (9 [n=24]) hat angegeben, keine expliziten Ziele für den Einsatz der ESS definiert zu haben, worin die meisten (7 [n=9]) eine Barriere für die Erfolgsmessung sehen. Die restlichen Unternehmen nannten im Schnitt zwischen 3 und 4 Ziele für den Einsatz ihres ESS. Die meisten davon waren strategisch (20 [n=54]) oder taktisch (19 (n=[54]). Nur ungefähr ein Viertel der Ziele wurden auf operativer Ebene (15 [n=54]) genannt. Dabei waren diese oftmals zu ungenau, um konkrete und messbare Kennzahlen abzuleiten (i11: Leider fehlen Ziele, von denen mit entsprechenden Kennzahlen der Erfolg abgeleitet werden könnte. oder i13: Barrieren sind fehlende oder falsche Ziele, Parameter und Messkriterien sowie deren Aussagekraft für die Nutzung der jeweiligen User und deren Arbeit mit den Tools. Dass man sagt, das mache ich, um dieses Ziel zu erreichen, findet nur selten statt. Die Frage ist, was mache ich jetzt tatsächlich messbar und hat das dann überhaupt einen Aussagewert? ). Durch die fehlenden Ziele, wurde eine generelle Komplexität beschrieben, die es schwer macht, den Nutzen überhaupt zu identifizieren, abzugrenzen und anschließend messbar zu machen. Dabei wurde mehrmals versucht,

53 Multikonferenz Wirtschaftsinformatik den Return on Investment (ROI) zu messen (i16: Wir haben Schwierigkeiten den ROI richtig zu erfassen. [ ] Reisekostenreduzierung, Innovationsgeschwindigkeit, Time to Market und Cost to Market usw. [ ] das können wir noch nicht, da sind wir noch nicht so weit. ). Die Schwierigkeit bei der Ableitung von Kennzahlen und deren Messung führte dazu, dass teilweise Annahmen gemacht werden und somit die Validität der Daten nicht sichergestellt war (i13: [ ] Man kann Annahmen machen und dies wurde auch getan, aber diese Annahme basiert natürlich auf nichts. Also womit begründe ich diese fünfminütige Produktionsverbesserung? ). 4.3 Wie wird Erfolgsmessung umgesetzt? Barriere: Vorgehen und Datenmaterial Barrieren bei der Erhebung der Daten oder durch fehlendes Datenmaterial zeigen einen großen Einfluss auf die Erfolgsmessung von ESS und speziell auf die Evaluierung der Nutzung. Da Social Software von einer Menge an von Nutzern generierten Inhalten geprägt ist, ist es sehr wichtig, die Möglichkeiten der Analyse und Verarbeitung dieser Daten sicherzustellen. Eine der Barrieren in dieser Kategorie sind Datenschutzbestimmungen, wobei man hierbei verschiedene Organisationsebenen unterscheiden muss. Die Erhebung aggregierter Daten eines Teams oder einer Gruppe ist aus Datenschutzaspekten meistens ohne Probleme durchsetzbar. Wenn es jedoch um die Evaluierung von Daten eines einzelnen Nutzers geht, fällt dies in Deutschland unter das Datenschutzgesetz. Die meisten Unternehmen sind jedoch auch gar nicht an einer Bewertung einzelner Mitarbeiter interessiert, sondern eher an den Effekten auf die generellen Arbeitsprozesse und den Auswirkungen auf die Gruppenarbeit oder die Organisation (i20: [ ] Also, ich sag mal Datenschutz betrifft ja eigentlich mehr so den Punkt, dass man die Erfolgsmessung auf den einzelnen Mitarbeiter herunterbrechen könnte. Da sehe ich überhaupt keine Notwendigkeit, weil es mir wirklich um die Gesamtzahl letztendlich geht. ). Auf der anderen Seite entsteht durch die Anonymisierung ein Mehraufwand (i13: Die Anonymisierung aufgrund der Datenschutzbestimmungen hinzukriegen, geht kaum mit einem vertretbaren Aufwand. ) auch wenn der Schutz der personenbezogenen Daten als wichtig angesehen wird (i01: Auf Grund von Betriebsvereinbarungen ist eine personenbezogene Auswertung nicht gestattet, was aber auch absolut richtig ist. ). Dabei sind Absprachen mit dem Betriebsrat nicht immer vermeidbar und kosten Ressourcen (i16: Es gibt eine Vereinbarung, die wir mit Betriebsrat an Datenschutz haben. Also wenn wir so wie jetzt Jive als eine Software einkaufen [ ] dann werden wir nie 100 Prozent einsetzen können. Wenn wir über Datenfelder und Auswertungsmechanismen sprechen, da sind wir sehr restriktiv. ). Ein Teilnehmer nannte als weitere Barriere die fehlenden detaillierten Auswertungsfunktionen der ESS (i22: Es gab nur sehr bescheidene Analysefunktionen, die einfach nicht meinen Ansprüchen entsprachen. Zum Beispiel gab es keine aktuellen, sondern nur langfristige Zugriffszahlen. Des Weiteren konnten die verschiedenen SharePoint-Systeme nicht zusammengefasst werden, sodass man eine Gesamtzahl hatte. ). Auch Grenzen bei der Datenerhebung durch Mitarbeiter-Umfragen wurden genannt (i22: Wenn man so eine Mitarbeiterumfrage macht, ist man natürlich begrenzt in der Länge des Fragebogens. oder i15: [ ] der einzige Hinderungsgrund könnte eine sprachliche Barriere sein, da die Umfragen nur auf Englisch gestellt wurden. ). Des Weiteren verhindern fehlende Vergleichsdaten eine Bewertung des Deltas zwischen neuem und altem System (i23: Ich habe leider keine Vergleichsdaten, da die frühere Kollegin diese nicht gesammelt hat und somit kann ich das alte und das neue Intranet nicht vergleichen. ). Zusätzlich hatte ein Teilnehmer Schwierigkeiten bei der Analyse der Qualität der Inhalte (i19: Ich habe deshalb gezögert, weil Inhalt sich anzuschauen für mich auch ein Thema der Semantik ist. Und das ist eine sehr, sehr hohe Komplexität an der Stelle. ).

54 1688 Christian Herzog et al. 5 Diskussion Die Ergebnisse zeigen, dass die Mehrzahl der Unternehmen durch unterschiedlichste Barrieren Schwierigkeiten bei der Erfolgsmessung von ESS haben. Der fehlende Bedarf einer ESS- Erfolgsmessung wurde auf verschiedenste Weise begründet. Zwar wird diese nicht immer als notwendig erachtet, jedoch sind die Begründungen teilweise kritisch zu hinterfragen. So sollte zum Beispiel die Erfolgsmessung nicht von der Reife des Systems oder einem bestimmten Projektstatus abhängig sein. Vor allem in einer frühen Phase der ESS-Einführung sind die Nutzungsdaten noch relativ instabil, wodurch man schon hier mit der Erfolgsmessung anfangen und die Veränderung der Nutzung messen sollte. 5.1 Barrieren der Erfolgsmessung in unterschiedlichen Entstehungsphasen Nach Neumann et al. (2011) müssen Erfolgsmessungssysteme stärker in den Lebenszyklus eines Informationssystems einbezogen werden. Dabei soll schon in der Vorphase des Projektes die Planung erfolgen und ein vorläufiges Design der Messinstrumente sowie die Identifikation der Parameter und Kennzahlen feststehen [22]. Es existiert eine Vielzahl von Vorgehens- und Phasenmodellen für unterschiedliche Anwendungsbereiche [6]. Ein Beispiel ist der Enterprise System Experience Cycle [18], der sich in vier verschiedene Phasen gliedert und dabei Aspekte der Erfolgsmessung involviert. In Kombination mit den Erfahrungen aus den Experteninterviews wurde dieser um die Phase Initialisierung ergänzt und somit die ESS-Lebenszyklen (1) Initialisierung, (2) Planung, (3) Einführung, (4) Laufender Betrieb und (5) Wartung/Upgrade/Abschluss unterschieden. Die Zuteilung der Barrieren zu den verschiedenen ESS-Lebenszyklen zeigt, dass diese in allen Phasen vorkommen und somit jeder Projektabschnitt einzeln Berücksichtigung finden muss (siehe Abbildung 1). Abbildung 1: Barrieren im ESS-Lebenszyklus (in Anlehnung an [18]) Eine genauere Betrachtung verdeutlicht, dass Barrieren, die in der Initialisierungsphase identifiziert wurden, oftmals zu einem Nicht-Anwenden der Erfolgsmessung führen. Die Definition der Ziele und die Festlegung der Anwendungsszenarien erfolgt in der Planungsphase. Barrieren haben hier vor allem einen Einfluss auf die Evaluierung des geschaffenen Mehrwerts. Evaluierungshürden durch Datenschutz entstehen meistens mit der Einführung der Software. Im laufenden Betrieb finden die Verantwortlichen oftmals keine Ressourcen oder erkennen einen zu hohen Aufwand der Erfolgsmessung. Des Weiteren entstehen in dieser Phase Barrieren bei der Erhebung der Daten und

55 Multikonferenz Wirtschaftsinformatik deren Auswertung. Die Sicherstellung von Vergleichsdaten betrifft vor allem den Projektabschluss, bzw. das Upgrade auf ein neues Release. Durch die Eingliederung der Barrieren in die verschiedenen Phasen ist zu erkennen, dass mit der Erfolgsmessung nicht erst nach der ESS-Einführung begonnen werden sollte. Um auf die entsprechenden Daten zurückgreifen zu können, muss schon während der ersten Planung des ESS- Projektes die Erfolgsmessung konzipiert und geeignete Ziele sowie entsprechende Kennzahlen definiert werden. Des Weiteren ist es wichtig, die entsprechenden Ressourcen einzuplanen, die Verantwortlichkeiten sicherzustellen und Datenschutzbedenken mit dem Betriebsrat abzuklären. Die Barrieren im Nachhinein zu überwinden, erfordert einen hohen Aufwand oder ist teilweise gar nicht machbar. Berücksichtigt werden sollte dabei aber auch, dass sich die Interessen und die Ausrichtung der Erfolgsmessung mit der Reife der ESS-Implementierung verändern können [14]. 5.2 Überwindbare Barrieren? Eine fehlende verantwortliche Instanz ist nicht nur eine Barriere für die Erfolgsmessung, sondern vor allem für den Erfolg der ESS selbst. Grundsätzlich sollte immer ein Verantwortlicher für die Plattform bestimmt werden. Dabei ist jedoch auch zu hinterfragen, wer die Erfolgsmessung durchführt und welche Motivation mit der Erfolgsmessung verfolgt wird. Muss der ESS-Verantwortliche sich und die Software rechtfertigen, ist die Objektivität kritisch zu betrachten, da er die Ergebnisse tendenziell positiv darstellen könnte [3]. Daher ist abzuwägen, ob für die ESS-Verantwortung und die Erfolgsmessung jeweils unabhängige Instanzen einberufen werden. Die Tatsache, dass eine ESS inoffiziell und Bottom-up eingeführt wurde, sollte keine Auswirkung auf die Realisierung der Erfolgsmessung haben. Jedoch sind dabei die Treiber der ESS von deren Nutzen überzeugt und meistens fehlt ein Business Case mit definierten Anwendungsszenarien im Rahmen der Geschäftsstrategie, wodurch die Erfolgsmessung auf der Strecke bleiben kann. Fehlende und ungenaue Ziele stellen vor allem für die ESS-Erfolgsmessung eine Barriere dar. Es ist jedoch nicht nur wichtig, Ziele zu definieren, sondern vor allem messbare Ziele festzulegen. Diejenigen, die das ESS-Projekt initialisieren und die Ziele festlegen, sind dabei nicht immer diejenigen die den Erfolg auch rechtfertigen müssen. Geprägt durch die Nutzungsoffenheit unterliegt die ESS-Erfolgsmessung der besonderen Herausforderung, eine detailliertere Zielsetzung in einem abgegrenzten Anwendungsszenario zu definieren [26]. Durch die Nutzungsoffenheit können aber auch zusätzlich unerwartete positive Effekte auftauchen, welche außerhalb dieser Anwendungsszenarien entstehen. In diesem Fall wäre ein exploratives Vorgehen z.b. durch Interviews zu empfehlen. Im Zusammenhang mit ungenauen Zielen, lässt sich auch die hohe Komplexität, die von einigen Teilnehmern angegeben wurde, teilweise erklären. Durch das Fehlen messbarer Kennzahlen werden subjektive Annahmen getroffen, deren Validität nicht gegeben ist. Die aktuelle Diskussion in den Medien um den Schutz personenbezogener Daten im Zusammenhang mit dem Abhörskandal von Geheimdiensten, zeigt die hohe Bedeutung von Datenschutz und gleichzeitig die Sensibilisierung der Nutzer für diese Thematik [17]. Datenschutzbestimmungen sind teilweise nicht mit einer umfangreichen Evaluierung der Nutzung vereinbar. Dies wurde schon als Barriere bei der IS-Erfolgsmessung identifiziert [22], bekommt aber hinsichtlich ESS eine zusätzliche Bedeutung, da bei deren Nutzung eine große Menge personenbezogener Daten durch nutzergenerierte Inhalte entsteht. Des Weiteren entsteht durch Absprachen mit dem Betriebsrat sowie durch die Anonymisierung der Daten zusätzlicher Aufwand. Der Schutz personenbezogener Daten ist in Deutschland gesetzlich durch das Telemediengesetz (TMG) und das Bundesdatenschutzgesetz (BDSG) geregelt. Demnach bedarf die Erhebung, Speicherung und Verwendung personenbezogener

56 1690 Christian Herzog et al. Daten einer ausdrücklichen gesetzlichen Ermächtigungsgrundlage oder einer wirksamen Einwilligung der Nutzer [1]. Der Betriebsrat hat insbesondere dann ein Mitbestimmungsrecht, wenn ESS für die Überwachung des Verhaltens oder der Leistung der Arbeitnehmer verwendet werden kann (vgl. 87 Abs. 1 Nr. 6 BetrVG). Wie schon erwähnt, ist die Analyse der Nutzungsdaten ein Hauptbestandteil der ESS-Erfolgsmessung. Um dabei nicht auf unerwartete Einschränkungen zu stoßen, sollte die Erfolgsmessung noch vor der ESS-Einführung mit dem Betriebsrat abgesprochen werden. Eine Evaluierung auf Teamebene reicht manchen Unternehmen schon aus, ansonsten empfiehlt es sich, die Einwilligungserklärung der User einzuholen. Um die Nutzungsdaten zu erheben, bietet mittlerweile fast jedes ESS eigene Analysewerkzeuge, zumal innerhalb der geschlossenen Unternehmensnetzwerke ein Tracking und eine Analyse mittels Google Analytics oder WebTrek nicht möglich ist [1]. Nicht alle Analysewerkzeuge können jedoch die Anforderungen der Unternehmen erfüllen. Falls kein geeignetes Tool existiert, wäre abzuwägen, inwieweit sich eine Eigenentwicklung lohnen würde oder doch die manuelle Analyse der Daten eine Option wäre. Für Letzteres sollten mit dem zuständigen IT-Administrator die Art der Daten und deren Granularität abgesprochen werden. Des Weiteren ist die Aufbewahrung von Vergleichsdaten wichtig, um den Erfolg eines Updates, Releases oder ganzen Softwarewechsels über die Differenz zum alten System zu evaluieren. Zusätzlich kann so auch eine Erfolgsmessung nach einer gewissen Zeit wiederholt werden, um die Beständigkeit zu überprüfen. Eine weitere Barriere ist die Komplexität inhaltlicher Analysen. Inhaltliche Analysen sind mitunter sehr aufwendig und schwierig mit Datenschutzbestimmungen zu vereinbaren. Sie können jedoch z.b. im Rahmen einer Genreanalyse genutzt werden, um die Nutzung zu untersuchen und Anwendungsszenarien zu identifizieren [25]. Hier gilt es, Nutzen und Aufwand abzuwägen und die datenrechtlichen Regulierungen mit dem Betriebsrat abzuklären. Davon unabhängig ist hingegen ein hoher Aufwand beziehungsweise ein fragliches Aufwand-Nutzen-Verhältnis keine ESS spezifische Barriere [3][40]. Vor der Erfolgsmessung muss überprüft werden, welche Parameter und Kennzahlen wie erhoben und welche Ressourcen investiert werden können. Zukünftige Forschungen sollten den Aspekt Aufwand stärker berücksichtigen und dem Bedarf nach einfacheren Erfolgsmessungs-Modellen nachkommen. Unabhängig davon muss auf der anderen Seite das Bewusstsein geschärft werden, dass eine nutzenstiftende Erfolgsmessung eine Investition von Ressourcen bedeutet. 6 Fazit und Ausblick Ziel der vorliegenden Studie war es, Barrieren der Erfolgsmessung von ESS in unterschiedlichen Unternehmensebenen und Projektphasen zu identifizieren und zu analysieren. 16 Barrieren wurden dabei in die Kategorien (1) Wer misst den Erfolg (Ressourcen und Verantwortlichkeit), (2) Was soll gemessen werden (Ziele und Zieldefinition) und (3) Wie wird Erfolgsmessung umgesetzt (Vorgehen und Datenmaterial) eingeordnet. Einige Barrieren sind nicht unbedingt ESS spezifisch [22], haben jedoch durch die besonderen Eigenschaften von ESS einen stärkeren Einfluss auf die Erfolgsmessung. So kommt durch nutzergenerierte Inhalte der Analyse von Nutzungsstatistiken eine höhere Bedeutung zu [13]. Dabei können durch die Einhaltung von Datenschutzbestimmungen und Absprachen mit dem Betriebsrat zusätzliche Aufwände entstehen. Des Weiteren ist eine genaue Zielsetzung in definierten Anwendungsszenarien wichtig, um nutzungsoffene Software wie ESS [28] evaluieren zu können. Durch die fehlenden oder ungenauen Ziele können keine geeigneten Kennzahlen abgeleitet werden, was wiederum die Komplexität der Erfolgsmessung erhöht und die Validität der Daten verringert.

57 Multikonferenz Wirtschaftsinformatik Die Barrieren zeigen insgesamt den Bedarf an praktikablen und einfachen Erfolgsmessungs-Modellen, die Aufwand-Nutzen-Aspekte sowie die verschiedenen Lebenszyklen berücksichtigen. Dies wurde in wissenschaftlichen Ansätzen bisher unzureichend adressiert. Auf der anderen Seite sind Praktiker herausgefordert, konkrete Ansatzpunkte zur Überwindung der Barrieren zu identifizieren und die Erfolgsmessung möglichst früh mit in die Organisation von ESS-Projekten zu integrieren sowie Ressourcen freizustellen. Die Eingliederung der Barrieren in Phasen eines typischen ESS- Lebenszyklus soll helfen, die Planung der Erfolgsmessung zu optimieren und dadurch die Barrieren bereits in der Anfangsphase zu verhindern oder zu umgehen. Die relativ geringe Teilnehmeranzahl begrenzt uns darin, repräsentative Schlüsse ziehen zu können. Wir empfehlen daher weitere Untersuchungen in Form einer quantitativen Studie. Zusätzlich möchten wir unsere zukünftige Forschung darauf konzentrieren, Ergebnisse im Hinblick auf die Erstellung umfassender Richtlinien zur Erfolgsmessung weiter zu entwickeln. 7 Literatur [1] Arlt, A; Baltes, S; Harlinghausen, CS; Rossi, C; Schneider, J (2013): Enterprise Social Software in Unternehmen. Bundesverband Digitale Wirtschaft (BVDW) e.v. (Hrsg), Fachgruppe Social Media, Düsseldorf. [2] Back, A; Gronau, N; Tochtermann, K (2012): Web 2.0 und Social Media in der Unternehmenspraxis: Grundlagen, Anwendungen und Methoden mit zahlreichen Fallstudien. 3. Auflage. Oldenbourg Wissenschaftsverlag, München. [3] Behn, RD (2002): The psychological barriers to performance management: Or why isn't everyone jumping on the performance-management bandwagon? Public Performance & Management Review 26(1):5-25. [4] Bryman, A; Bell, E (2007): Business research methods. Oxford University Press, New York. [5] Carr, NG (2003): IT doesn t matter. Harvard Business Review 81(5): [6] Chroust, G (1992): Modelle der Software-Entwicklung - Aufbau und Interpretation von Vorgehensmodellen. R. Oldenbourg Verlag, München, Wien. [7] DeLone, WH; McLean, ER (1992): Information systems success: The quest for the dependent variable. Information Systems Research 3(1): [8] DiMicco, JM; Millen, DR; Geyer, W; Dugan, C; Brownholtz, B; Muller, M (2008): Motivations for social networking at work. In: Proceedings of the 11th Conference on Computer Supported Cooperative Work, San Diego. [9] Du, HS; Wagner, C (2006): Weblog success: Exploring the role of technology. International Journal of Human-Computer Studies 64(9): [10] Gable, GG; Sedera, D; Chan, T (2008): Re-conceptualizing information system success: the ISimpact measurement model. Journal of the Association for Information Systems 9(7): [11] Gemlik, A; Neumann, M; Sprenger, J; Breitner, M H (2010): Praxisrelevanz des Modells von DeLone und McLean zur Erfolgsmessung von Informationssystemen. GI Jahrestagung (2), GI, [12] Grover V; Jeong SR; Segars, AH (1996): Information systems effectiveness: The construct space and patterns of application. Information & Management 31(4):

58 1692 Christian Herzog et al. [13] Herzog, C; Richter, A; Steinhüser, M; Hoppe, U; Koch, M (2013): Methods and metrics for measuring the success of Enterprise Social Software what we can learn from practice and vice versa. In: Proceedings of the 21st European Conference on Information Systems, Utrecht, Netherlands. [14] Hitt, LM; Brynjolfsson, E (1996): Productivity, business profitability, and consumer surplus: three different measures of information technology value. MIS Quarterly 20(2): [15] Krcmar, H (2005): Informationsmanagement. 4. Auflage. Springer, Berlin et al. [16] Krueger, RA; Casey MA (2009): Focus Groups. A practical guide for applied research. Sage, London. [17] Macdonald, R (2013): Es ist noch nicht zu spät, etwas zu tun - Bürgerrechtsaktivistin zur NSA- Affäre. Abgerufen am [18] Markus, ML; Tanis, C (2000): The Enterprise System Experience - from adoption to success. In: R.W. Zmud ed., Framing the domains of it research: Glimpsing the future through the Past, Cincinnati, OH: Pinnaflex Educational Resources, [19] Mayer, HO (2008): Interview und schriftliche Befragung. Entwicklung Durchführung Auswertung. 4. Auflage. Oldenbourg Verlag, München. [20] Mukhopadhyay, T; Kekre, S; Kalathur, S (1995): Business value of information technology: A study of electronic data interchange. MIS Quarterly 19(2): [21] Muller, MJ; Freyne, J; Dugan, C; Millen, DR; Thom-Santelli, J (2009): Return on contribution (ROC): A metric for enterprise social software. In: Proceedings of the European Conference on Computer Supported Cooperative Work, Springer, London. [22] Neumann, M; Sprenger, J; Gemlik, A; Breitner, MH (2011): Untersuchung der praktischen Anwendbarkeit des IS-Erfolgsmodells von DeLone und McLean. In: Proceedings 10th International Conference Wirtschaftsinformatik, Zürich. [23] Raeth, P; Smolnik, S; Urbach, N; Zimmer, C (2009): Towards assessing the success of social software in corporate environments. In: Proceedings of the 15th Americas Conference on Information Systems, San Francisco. [24] Raeth, P; Kügler, M; Smolnik, S (2011): Measuring the impact of organizational social web site usage on work performance: A multilevel model. In: Proceedings of the International Conference on Information Systems, Shanghai. [25] Riemer, K; Richter A (2010): Tweet Inside: Microblogging in a Corporate Context. In: Proceedings of the 23rd Bled econference, Bled. [26] Richter, A; Heidemann, J; Klier, M; Behrendt, S (2013): Success measurement of enterprise social networks. In: Proceedings 11th International Conference on Wirtschaftsinformatik, Leipzig. [27] Richter, A; Mörl, S; Trier, M; Koch, M (2011): Anwendungsszenarien als Werkzeug zur VErmittlung des Nutzens von Corporate Social Software. In: Proceedings 10th International Conference Wirtschaftsinformatik, Zürich.

59 Multikonferenz Wirtschaftsinformatik [28] Richter, A; Riemer, K (2013): Nutzungsoffene Anwendungssoftware. Wirtschaftsinformatik, 3/2013. [29] Rosemann, M; Vessey, I (2005): Linking theory and practice: Performing a reality check on a model of IS success. In: Proceedings of the 13th European Conference on Information Systems, Regensburg. [30] Schubert, P; Williams, S P (2011a): A Framework for Identifying and Understanding Enterprise Systems Benefits, Business Process Management Journal 17 (5): [31] Schubert, P; Williams, S P (2013): Management der Nutzenrealisierung aus Informationstechnologie. In: Proceedings 11th International Conference on Wirtschaftsinformatik, Leipzig [32] Schultze, U; Avital, M (2011): Designing interviews to generate rich data for information systems research. Information and Organization 21(1): [33] Schryen, G. (2010): Ökonomischer Wert von Informationssystemen. Wirtschaftsinformatik 52(4): [34] Seddon, PB; Calvert, C; Yang, S (2010): A multi-project model of key factors affecting organizational benefits from enterprise systems. MIS Quarterly 34 (2): [35] Spencer, L; Ritchie, J; Lewis, J; Dillon, J (2003): Quality in qualitative evaluation: A framework for assessing research evidence. National Centre for Social Research. [36] Steinhüser, M; Smolnik, S; Hoppe, U (2011): Towards a measurement model of corporate social software success evidences from an exploratory multiple case study. In: Proceedings of the Hawaii International Conference on System Sciences. Kauai, USA. [37] Urbach, N; Smolnik, S; Riempp, G (2009): The State of research on information systems success - a review of existing multidimensional approaches. Business & Information Systems Engineering 1(4): [38] Tallon, P; Kraemer, KL; Gurbaxani, V (2001): Executives' Perceptions of the business value of information technology: A process-oriented approach. UC Irvine: Center for Research on Information Technology and Organizations. [39] Trier, M; Richter, A (2013): I can simply Theorizing Simplicity as a design principle and usage factor. In: Proceedings of the 21st European Conference on Information Systems, Utrecht. [40] Van Dooren, W (2005): What makes organisations measure? Hypotheses on the causes and conditions for performance measurement. Financial Accountability & Management 21: [41] West, LA; Courtney, JF (1993): The information problems in organizations a research model for the value of information and information systems. Decision Sciences 24(2):

60 Using Twitter as a Source for Travel Warnings: the Role of Information Source and Target Audience Kay Noyen ETH Zurich, Chair of Information Management, Weinbergstrasse 56/58, 8092 Zurich, Switzerland, knoyen@ethz.ch Felix Wortmann University of St. Gallen, Institute of Technology Management, Dufourstrasse 40a, 9000 St. Gallen, Switzerland, felix.wortmann@unisg.ch Abstract Business travelers are oftentimes equipped with technology informing them about local dangers. As these corporate travel risk applications increase personal safety during travels, they are also expensive and hardly available to the average traveler. Online platform Twitter, known for extensive contribution by nonaffiliated users, has also been recognized by international foreign offices as an outlet for travel warnings and guidance. This new channel of information allows for the creation of applications that bring current and high quality travel risk information to the mainstream. Our explorative research aims at investigating the role of the information source and target audience of such an application. The results of our analysis show no substantial evidence that user-generated travel risk information would be per se unsuitable as an information source. Further, our analysis revealed that frequent travelers as well as non-frequent Twitter users might be of special interest as a target group for the application.

61 Multikonferenz Wirtschaftsinformatik Introduction Natural disasters, political instability, terrorism, diseases and crime pose severe threads to travelling individuals particularly in unfamiliar environments [30]. Natural hazards are life-endangering and can cause immense harm to unprepared travelers [4]. Political instability and unrest is a major reason for travel warnings and advice not to travel in foreign countries [33]. Terrorism and its consequences pose a steady threat to the safety of international travelers [13]. Tourists are particularly vulnerable to crime, present in most urban areas [10]. Summing up, there is a variety of reasons why travel risk information like travel warnings and guidance of high quality are important. First and foremost, tourists are prone to be under informed about imminent dangers when travelling, as they usually do not have regular access to suitable information outlets and oftentimes do not speak the local language. In case of an emergency, travelers usually do not have sufficient knowledge about local emergency infrastructure preventing them to react appropriately in critical situations. Travel risk applications can provide travel risk information when and where it is necessary and can further help to take appropriate precautions before travelling and prevent dangerous situations in advance by indicating generally risky travel destinations. There are already information systems in place distributing high-quality travel risk information. Corporations pay extensive amounts of money to assist their employees during travels and keep them safe from potential threat on the basis of these sources (see e.g. [1], [11]). This happens for two reasons. First, big corporations have a higher travel budget and can afford this kind of service more easily than individuals. And second, corporate workers might be assigned to travel to countries with a higher risk-profile than the usual tourist. Typically, the travel risk information feeds incorporated in such corporate programs are assembled, processed and distributed by specialized agencies in return for a significant service fee. This shows that travel risk information is not just highly valuable for the safe being of travelers, but also comes with a substantial price. With the advent of social networks, micro-blogging and news platforms like Twitter, information generally propagates more freely than before. Not just the amount and frequency of broadcasted information has increased, but also the diversity of directly available information sources has immensely grown [20]. Lately, Twitter has been recognized by multiple foreign offices and other official sources as an outlet for travel warnings and guidance. The quality and amount of available travel risk information from these sources on Twitter is substantial and enables for the creation of information systems that bring high-quality travel risk information to the average traveler who do not travel under the safeguarding umbrella of a corporation. The core design artifacts [17] of our research are a travel risk web portal and a mobile application that integrate travel risk related tweets and provides an information system comparable to a corporate travel risk program to consumer markets. As of today, the system obtains Twitter feeds from several foreign offices, in order to provide high quality and up to date travel risk information. Tweets, which contain a reference to a country are automatically recognized and presented to the user grouped by country. Twitter has even more potential for providing travel risk information. At a later stage of development, we want to integrate Tweets which were not generated by official sources, but by unaffiliated users of the platform. Despite the fact that it requires more effort to filter for travel risk relevant content and appropriately integrate it into the information system, this kind of information source holds great potential for broadening the information base and providing more detailed first-hand information [3]. However, it is unclear how user-generated travel risk information is perceived by the users of the

62 1696 Kay Noyen, Felix Wortmann system and how that perception affects their intention to use the system. Perceived information quality is known to be a key driver of system acceptance [26]. We assume that this is also the case in the context of a travel risk information system. Therefore, the first dimension along which we study the perception of the provided information and the resulting consequences for the intention to use the system, is the information source. The second dimension we want to investigate is the target audience of the application. While there is large potential for companies to strategically position themselves in the travel context by offering such an application, it is unclear which target audience can be reached. We identified two major factors which might influence the acceptance of the solution. First, existing research suggests that general perception of travel warnings might strongly vary with travel frequency of the user [29]. More frequent travelers might rely more on their own experiences and are less affected by travel risk information. Second, prior evidence indicates that Twitter experience of a user might strongly affect the perception of any information that is presented as a tweet [31]. Users with low twitter affinity probably value travel risk information lower than users with high twitter affinity. In this study, we specifically want to investigate the interplay of information source and target audience on an explorative basis, as we expect interesting insights that can guide future artifact development. More specifically, we want to focus on the following research questions: RQ1: What is the impact of information source and travel frequency on system acceptance? RQ2: What is the impact of information source and Twitter usage on system acceptance? The reminder of this paper is structured as follows. In the next chapter the theoretical background of our research is outlined. We describe our research design and data collection in section three. The results of our research are presented and analyzed in chapter four. Finally, we discuss our findings in section five. 2 Theoretical Background Our two research questions are both framed in the context of information source and target audience. Therefore, we want to build upon perceived information quality as a key construct to explain system acceptance. In order to operationalize system acceptance in the context of our work we conducted an intense literature review (keywords perceived information quality, system acceptance ) on the basis of six scholarly databases (Science Direct, Proquest, EBSCOhost, ACM, Wiley Inter Science, SpringerLink), as they cover the most relevant IS journals, books, as well as conference proceedings. The identified literature can be categorized into three domains, i.e. tourism, risk management and information systems. All three domains identify trust and risk as essential concepts which play a vital part in the interplay between perceived information quality and intention to use (cf. for example [29], [12] and [23]). In their seminal work, Nicolaou and McKnight [26] ultimately bring these fundamental concepts together in one consistent research model. Hence, we take their work as a foundation for our work. After examining various PIQ (perceived information quality) -related definitions, Nicolaou and McKnight define PIQ to represent cognitive beliefs about the favorable or unfavorable characteristics of the currency, accuracy, completeness, relevance, and reliability of the information [26]. This definition comprehensively adopts different aspects of PIQ in the literature.

63 Multikonferenz Wirtschaftsinformatik Building upon the trusting beliefs component of the trust concept typology of McKnight and Chervany, trusting beliefs (TRU) means one believes the other party has beneficial characteristics, and implies favorable perceptions about the other party, i.e. the party is honest (i.e., has integrity and keeps commitments), benevolent (i.e., responsive to the partner s interests, not just its own), and competent (i.e., has the ability to do what the partner needs done) [24]. Nicolaou and McKnight define perceived risk (RSK) as the degree to which one believes uncertainty exists about whether desirable outcomes will occur. This definition includes part of Sitkin and Pablo s broader perceived risk concept, capturing outcome uncertainty, outcome divergence likelihood, and extent of undesirable outcomes [32]. Intention to use (ITU) stems from the theory of reasoned action (TRA) literature [14], as exemplified by TAM (Technology Acceptance Model) research (e.g. [8]). 3 Research Design and Data Collection We conducted a combined online questionnaire and experimental simulation with German-speaking participants from the university s environment (n=87). Participants were acquired via a mailing list and asked to imagine soon to be traveling to the fictive country travel country for the first time. With the following scenario, which was presented to participants, we aimed to provide a possibly realistic and substantial motivation for the participants travel intent: In two weeks, the wedding of your best friend will take place in travel country. ou are your best friend s witness at the marriage. On the next page you will be presented with Twitter messages about travel country. Please take a look at the page and answer the upcoming questions. We incorporated a fictive country, so participants would not be biased by previous travel experience [34]. To add more realism to the scenario and provide a somewhat sharper picture of travel country, participants were informed that their flight to travel country would take about 12 hours including waiting and transfer time. The applied experimental design was a 1 x 2 between subject arrangement. Participants were randomly assigned to either one of the two groups, in which we manipulated the information source of the presented Twitter messages. One group of participants ( official ) was presented with tweets from foreign offices (USA, UK, Canada, Switzerland, and Germany), the other group ( unofficial ) with tweets from fictive individual Twitter users. Notably, the content of Twitter messages in both groups was identical, i.e. we exchanged author name and avatar only. All presented information originates from actual tweets twittered by foreign offices about Columbia. Exemplary tweets for both groups are shown in figure 1.

64 1698 Kay Noyen, Felix Wortmann (a) (b) Figure 1: Display of twitter messages for the two experimental groups: official information source (a) and unofficial information source (b) A subsequent item-based questionnaire allowed us to measure participants perceived information quality (PIQ), perceived risk (RSK), trusting beliefs (TRU) and intention to use the system (INT) in both experimental groups. Furthermore, participants were asked how often they travel long distance (1, rarely 6, often) and how often they use Twitter (1, rarely 6, often). The scale assessing PIQ was adapted from Nicolaou and McKnight [26] to the context at hand while preserving the underlying theoretical considerations of the scale (different information quality dimensions). TRU, RSK and ITU also stem from Nicolaou and McKnight [26]. Again, the scales were adapted with the intend to maintain the underlying rationales. Only the original TRU scale cannot be tuned well to the nature of our work. Our experimental setup is limited in that it does not allow assessing the benevolence of the solution provider. Hence, TRU only reflects honesty and competence as major aspects of trust. Summing up, Table 1 shows the item measures underlying our work with corresponding descriptive information.

65 Multikonferenz Wirtschaftsinformatik Table 1: Construct and item measures Item 1-7 Scale (Strongly disagree Strongly agree) Mean Standard deviation Perceived information quality (PIQ) PIQ 1 Information is current enough PIQ 2 Information is accurate enough PIQ 3 Information is relevant enough PIQ 4 Sufficient amount of information available PIQ 5 Information has appropriate level of detail PIQ 6 Information can be relied upon Trusting Beliefs (TRU) TRU 1 Website is sincere TRU 2 Website competent Risk (RSK) RSK 1 Risk of making wrong decision (very low very high) RSK 2 Website use (potential for loss potential for gain) Intention to use (ITU) ITU 1 Would use again ITU 2 I would recommend use % of the participants were between 18 and 24 years old, 65% were between 25 and 34 years old, 2% were between 35 and 54 years old and 2% were older than % of the participants did not report their age. Of all participants, 57% were female, 30% were male and 13% did not report their gender. 4 Analysis and Results Our research is of explorative nature. Therefore, we do not aim to validate the constructs on the basis of a comprehensive research model but run an item-based analysis. To analyze our results we conducted two two-way analyses of variance (Anova). One first Anova was conducted to analyze the impact on information source and travel frequency on intention to use the system (first research question). The second Anova was conducted to analyze the impact of information source and users twitter usage frequency on intentions to use the system (second research question). The analyses are presented in the following two sections. 4.1 The impact of information source and travel frequency Information source (official/ unofficial) might influence the perception of the presented travel risk information, but that effect might differ across groups of frequent and non-frequent travelers. A twoway Anova tested the perceived information quality, trusting beliefs, perceived risk and intention to use of travel warnings either being presented as originating from official or unofficial sources among respondents who classified themselves as frequent or non-frequent travelers. Anova test results are presented in Table 2. The means of all items are illustrated in Figure 2. In the following, all significant effects are described.

66 1700 Kay Noyen, Felix Wortmann Table 2: Anova results for information source and travel frequency Information source Travel frequency Interaction df F Prob > F df F Prob > F df F Prob > F PIQ PIQ PIQ PIQ PIQ PIQ TRU TRU RSK RSK ITU ITU There was a significant main effect of travel frequency on the perception of the currency of the presented information (PIQ 1), F(1,83) = 4.47, p <.05. Specifically, frequent travelers perceived the information to be more current than non-frequent travelers. Furthermore, there was a significant main effect of travel frequency on the perception of the sufficiency of the amount of available information (PIQ 4), F(1,83) = 4.61, p <.05. Specifically, frequent travelers perceived the amount of available information to be more sufficient than nonfrequent travelers. In addition, there was a significant main effect of travel frequency on the perception of the appropriate level of information detail (PIQ 5), F(1,81) = 12.12, p <.01. Frequent travelers perceived the level of detail to be more appropriate than non-frequent travelers. However, there was also a significant interaction effect between travel frequency of the participants and the information source of the presented travel risk information (PIQ 5), F(1,81) = 4.54, p <.05. Taking the means as a basis (cf. Figure 2), this indicates that the perceived level of detail of the information was quite similar for frequent and non-frequent travelers if they were presented travel risk information from an unofficial information source, however it was significantly different if they were confronted with the same information from an official information source. Finally, there was a significant main effect of information source on the perception of the reliability of information (PIQ 6), F(1,82) = 6.34, p <.05. Specifically, information originating from an official information source was perceived as being more reliable.

67 Multikonferenz Wirtschaftsinformatik Figure 2: Means for two way Anova (information source and travel frequency)

68 1702 Kay Noyen, Felix Wortmann 4.2 The impact of information source and Twitter usage As we have shown, information source might influence the perception of the presented travel risk information. However, that effect might differ across groups of frequent and non-frequent Twitter users. A two-way Anova tested the perceived information quality, trusting beliefs, perceived risk and intention to use of travel warnings either being presented as originating from official or unofficial (unknown Twitter users) sources among respondents who classified themselves as frequent or nonfrequent Twitter users. Anova test results are presented in Table 3. The means of the corresponding analysis are illustrated in figure 3. In the following, all significant effects are described. Table 3: Anova results for information source and Twitter usage Information source Twitter usage Interaction df F Prob > F df F Prob > F df F Prob > F PIQ PIQ PIQ PIQ PIQ PIQ TRU TRU RSK RSK ITU ITU There was a significant main effect of the Twitter usage on the perception of the currency of the presented information (PIQ 1), F(1,83) = 14.74, p <.01. Specifically, non-frequent twitter users perceived the information to be more current than frequent Twitter users. There was a significant main effect of the information source on the perception of the reliability of information (PIQ 6), F(1,82) = 9.21, p <.01. Specifically, information originating from an official information source was perceived as being more reliable. There was a significant main effect of the information source of the participants on the perception of the integrity of the system (TRU 1), F(1,83) = 4.43, p <.05. Specifically, when information originated from official information sources, the system was perceived as having more integrity. There was a significant main effect of the Twitter usage of the participants on the intention to use the system again (ITU 1), F(1,83) = 4.75, p <.05. Specifically, non-frequent twitter users had higher intention to use the system again than frequent Twitter users.

69 Multikonferenz Wirtschaftsinformatik Figure 3: Means for two way Anova (information source and twitter usage)

70 1704 Kay Noyen, Felix Wortmann 5 Discussion and Conclusion The primary objective of our study was to investigate the implications of using Twitter as a source for travel warnings in information systems. We found that both the information source and characteristic traits of the target audience play an important role for several aspects of perceived information quality and the resulting consequences for the intention to use the system. There were no direct significant effects of information source and travel frequency on system acceptance (RQ1). That is, neither our experimental manipulation of the information source of being either official or unofficial nor the respondents trait of being either frequent or non-frequent travelers had a significant influence on the respondent s intention to use the system. However, we found significant effects of both travel frequency and information source on several aspects of perceived information quality which might lead to an indirect influence on intention to use. Surprisingly, frequent travelers perceived the currency of the provided information as higher than non-frequent travelers. This is indeed unexpected, because there is no direct, intuitive connection between a respondent s frequency of traveling and her perception of how sufficient the currency of the presented travel risk information is. Also, the sufficiency of the amount of the presented information was perceived higher by frequent-travelers than by non-frequent travelers. The reason for that might be that frequent travelers require less information than non-frequent due to their higher travel experience. Interestingly, the level of detail of the presented information was rated higher by frequent travelers than non-frequent travelers, but only if the presented information was denoted to originate from an official information source. This means that frequent and non-frequent travelers perceive the same information only differently, if the information source is official. Not surprisingly, the empirical evidence shows that information denoted as originating from an official information source was perceived as being more reliable. There was a significant effect of Twitter usage on the system acceptance (RQ2). We found that nonfrequent Twitter users are more likely to use the system than frequent Twitter users. A possible explanation for this effect is that frequent Twitter users would not use a system specifically designed for travel risk information, but rather their general Twitter client. Additionally, there were significant effects of both Twitter usage and information source on several aspects of perceived information quality and trusting beliefs. Analogous to the above, non-frequent Twitter users perceived the currency of the information as higher than frequent Twitter users. As non-frequent Twitter users are less used to the high currency of information on Twitter, they may perceive the presented information as more current than frequent Twitter users. As could be expected, when information denoted as originating from an official information source was presented, respondents perceived the information as being more reliable. Additionally, if information denoted as originating from an official information source was presented, respondents perceived the system as being more sincere. As we specifically wanted to investigate the interplay of information source and target audience to guide future artifact development, our findings bear some interesting insights. First, as could be expected, allegedly official information was perceived as more reliable and made the overall system appear more sincere. However, our empirical data shows no significant effects for many items like accuracy, relevancy or even competence when manipulating the information source to be either official or unofficial. Hence, we found no extensive evidence that user-generated travel risk information would be per se unsuitable as an information source for a travel risk application. Indeed this type of information might complement official information sources with the potential of providing latest first-hand information. Second, our data suggests that our proposed travel risk application might

71 Multikonferenz Wirtschaftsinformatik be best positioned in the target audience of non-frequent Twitter users that travel frequently as all significant effects we found point into that direction. 6 Literature [1] Aon (2013): Aon WorldAware Solutions your comprehensive safe travel programme. Last accessed [2] Bakos, JY; Brynjolfsson, E (1993): Information technology, incentives, and the optimal number of suppliers. Journal of Management Information Systems, 10(2):37 53.$ [3] Becker, H; Naaman, M; Gravano, L (2011): Selecting Quality Twitter Content for Events. ICWSM, 11. [4] Blaikie, PM; Cannon, T; Davis, I; Wisner, B (1994): At risk: natural hazards, people s vulnerability and disasters. Routledge, London and New York. [5] Bhattacherjee, A. (2002). Individual trust in online firms: Scale development and initial test. Journal of Management Information Systems, 19(1), [6] Boritz, JE (2004): Managing enterprise information integrity: security, control, and audit issues. Information Technology Governance Institute, Chicago. [7] Bovee, MW (2004): Information quality: a conceptual framework and empirical validation. Doctoral Dissertation. University of Kansas Lawrence, USA. [8] Davis, FD; Bagozzi, RP; Warshaw, PR (1989): User acceptance of computer technology: a comparison of two theoretical models. Management science 35(8): [9] DeLone, WH; McLean, ER (2003): The DeLone and McLean model of information systems success: A 10-year update. Journal of Management Information Systems 19(4):9 30. [10] Dimanche, F; Lepetic, A (1999): New Orleans tourism and crime: A case study. Journal of Travel Research 38(1): [11] Drum Cussac (2013): Drum Cussac Risk Management Platform. Last accessed [12] Earle, TC (2004): Thinking aloud about trust: A protocol analysis of trust in risk management. Risk Analysis 24(1): [13] Fischhoff, B; de Bruin, WB; Perrin, W; Downs, J (2004): Travel risks in a time of terror: judgments and choices. Risk analysis : an official publication of the Society for Risk Analysis 24(5): [14] Fishbein, M; Ajzen, I (1975): Belief, attitude, intention and behavior: An introduction to theory and research. [15] Gefen, D; Karahanna, E; Straub, DW (2003): Trust and TAM in online shopping: An integrated model. MIS quarterly 27(1): [16] Gulati, R; Gargiulo, M (1999): Where do interorganizational networks come from? American journal of sociology 104(5): [17] Hevner, AR; March, ST; Park, J; Ram, S (2004): Design science in information systems research. MIS quarterly 28(1):

72 1706 Kay Noyen, Felix Wortmann [18] Jarvenpaa, SL; Tractinksy, N; Vitale, M (2000): Consumer trust in an Internet store. Information Technology and Management 1(1-2): [19] Keil, M; Tan, BC; Wei, K; Saarinen, T; Tuunainen, V; Wassenaar, A (2000): A cross-cultural study on escalation of commitment behavior in software projects. MIS quarterly 24(2): [20] Kwak, H; Lee, C; Park, H; Moon S (2010): What is Twitter, a social network or a news media?. In Proceedings of the 19th international conference on World wide web: ACM, New York. [21] Lee, YW; Strong, DM; Kahn, BK; Wang, RY (2002): AIMQ: a methodology for information quality assessment. Information and Management 40(2): [22] Luhmann, N (1979): Trust and Power. John Wiley, New York. [23] McKnight, DH (2002): Developing and validating trust measures for e-commerce: An integrative typology. Information Systems Research 13(3): [24] McKnight, DH; Chervany, NL (2002): What trust means in e-commerce customer relationships: An interdisciplinary conceptual typology. International Journal of Electronic Commerce 6(2): [25] Morgan, RM; Hunt, SD (1994): The commitment-trust theory of relationship marketing. Journal of Marketing 58(3):20. [26] Nicolaou, AI; McKnight, DH (2006): Perceived Information Quality in Data Exchanges: Effects on Risk, Trust, and Intention to Use. Information Systems Research 17(4): [27] Pavlou, PA (2003): Consumer acceptance of electronic commerce: Integrating trust and risk with the technology acceptance model. International Journal of Electronic Commerce 7(3): [28] Pavlou, PA; Gefen, D (2004): Building effective online marketplaces with institution-based trust. Information Systems Research 15(1): [29] Reisinger, Y; Mavondo, F (2005): Travel anxiety and intentions to travel internationally: Implications of travel risk perception. Journal of Travel Research 43(3): [30] Reisinger, Y; Mavondo, F (2006): Cultural Differences in Travel Risk Perception. Journal of Travel and Tourism Marketing 20(1): [31] Schultz, F; Utz, S; Göritz, A (2011): Is the medium the message? Perceptions of and reactions to crisis communication via twitter, blogs and traditional media. Public relations review 37(1): [32] Sitkin, SB; Pablo, AL (1992): Reconceptualizing the determinants of risk behavior. Academy of Management Review 17(1):9 38. [33] Sönmez, SF (1998): Tourism, terrorism, and political instability. Annals of Tourism Research 25(2): [34] Sönmez, SF; Graefe, AR (1998): Determining Future Travel Behavior from Past Travel Experience and Perceptions of Risk and Safety. Journal of Travel Research 37(2): [35] Wang, RY; Strong, DM (1996): Beyond accuracy: What data quality means to data consumers. Journal of Management Information Systems 12(4):5 33.

73 Anforderungsanalyse von Enterprise Social Networking Anwendungen Eine Action Design Research Studie Aylin E. Yücel, Tim A. Rickenberg, Michael H. Breitner Leibniz Universität Hannover, Institut für Wirtschaftsinformatik, Hannover, {yuecel rickenberg Malte Schlüter Lenze Automation GmbH, Aerzen, Bernd Hohler bhn Dienstleistungs GmbH & Co. KG, Aerzen, Abstract Technologische Trends und Wandel im Arbeitsleben stellen die bisherigen Informationssysteme vor neue Herausforderungen. Um menschliche Zusammenarbeit zu unterstützen, findet Enterprise Social Networking (ESN) zunehmend Einsatz in der unternehmensinternen Kommunikation. Damit ESN erfolgreich im Unternehmenskontext integriert werden kann, sind die grundsätzlichen Anforderungen an solche Plattformen zu analysieren. Hierzu wurde eine Action Design Research (ADR) Studie in einem Unternehmen für Antriebs- und Automatisierungstechnik durchgeführt. Im Rahmen der Studie wurde ein ESN Prototyp konzipiert und mit qualitativen Interviews und quantitativen Umfragen evaluiert. Das Ergebnis der Anforderungsanalyse stellt organisatorische, funktionale und nichtfunktionale Anforderungen auf, die einen Ansatzpunkt zur Einführung einer ESN Anwendung darstellen.

74 1708 Aylin E. Yücel et al. 1 Einleitung Die wachsende Bedeutung des Internets, IT-Trends und der demografische Wandel führen dazu, dass sich die Kommunikation in den letzten Jahren gewandelt hat. Die zunehmende Vernetzung von Mitarbeitern wird unter anderem durch die steigende Komplexität von interdisziplinären Projekten und Aufgaben hervorgerufen. Wissensarbeiter werden dazu veranlasst, bei Problemen und Fragen auf das Wissen persönlicher Kontakte zurückzugreifen. Folglich lassen sich gewandelte Anforderungen an die IT wahrnehmen. Aufgrund des enormen Erfolgs von offenen Social Networking Diensten setzen sich aktuell Unternehmen mit dem Nutzenpotential solcher Anwendungen auseinander. Das Ziel dabei ist es, die Kommunikation und Kollaboration sowie das Beziehungs- und Wissensmanagement innerhalb von Unternehmen zu fördern. Systeme, die Funktionen zum Identitätsmanagement und Vernetzungen mit anderen Nutzern bereitstellen, werden als Enterprise Social Networking (ESN) Dienste bezeichnet. Auch in der Forschung handelt es sich bei ESN um ein recht neues Phänomen. Es gibt bisher nur wenig Erkenntnisse und Ergebnisse bzgl. Auswirkungen und Einsatz von ESN Anwendungen. Das Ziel des vorliegenden Papers ist es somit, die Anforderungen an ESN Anwendungen innerhalb von Unternehmen in Rahmen einer Analyse detailliert und kategorisiert aufzuzeigen. Dazu findet ein Action Design Research (ADR) Ansatz Anwendung in einem Unternehmen für Antriebs- und Automatisierungstechnik. Es wird ein ESN Prototyp konzipiert, implementiert und anschließend anhand qualitativer und quantitativer Verfahren evaluiert. Resultierend werden Erkenntnisse und Design Principles von dem Prototypen und dem Fachkonzept in Form einer generalisierten Anforderungsanalyse abgeleitet. Hierfür gilt es folgende Forschungsfrage zu beantworten: Was sind die organisatorischen, funktionalen und nicht funktionalen Anforderungen an eine Enterprise Social Networking Anwendung im Rahmen einer Anforderungsanalyse? Das Paper ist wie folgt gegliedert: In Abschnitt zwei werden Forschungsgrundlagen mit verwandter Forschung und Forschungsdesign dargestellt. Der dritte Abschnitt stellt die Anforderungsanalyse an ESN Anwendungen mit organisatorischen, funktionellen und nicht-funktionellen Anforderungen dar. Abschnitt vier umfasst eine Diskussion und zeigt Limitationen und Implikationen auf. Das Papier endet mit einem Fazit und einem kurzen Ausblick. 2 Forschungsgrundlagen 2.1 Grundlagen und verwandte Forschung In den vergangenen Jahren hat das Social Web einen starken Einfluss auf die Kommunikation und Zusammenarbeit genommen. Durch leistungsstarke und intuitiv zu bedienende Anwendungen im privaten Bereich und fortschreitende Consumerization erfüllen viele bestehende Systeme in Unternehmen oft nicht mehr die Erwartungen und Bedürfnisse des modernen Mitarbeiters. Die Mitarbeiter drängen Unternehmen zu Veränderungen, damit eine neue Art der Zusammenarbeit und Kommunikation entstehen kann [4]. Somit kann unter ESN auch die unternehmensinterne Anwendung von Möglichkeiten und Plattformen aus dem öffentlichen Internet verstanden werden. ESN verstärkt gemeinsames Wissen durch die Kombination von sozialen Beziehungen, Kommunikation, Dialogen und das Teilen von Inhalten [24]. ESN verbindet Menschen, Daten und Prozesse [4], wobei die soziale Interaktion auf Team-Ebene, Projektebene oder unternehmensweit stattfindet [21]. ESN Plattformen bieten eine Vielzahl an Funktionen und erlauben den Nutzern vielseitige Aktivitäten. Mitarbeiter nutzen ESN Plattformen im Intranet von Unternehmen um Experten zu identifizieren, die

75 Multikonferenz Wirtschaftsinformatik bei der Lösung eines Problems helfen können oder ein Projekt unterstützen können. Zudem zählen informelle Gespräche, organisieren von Meetings, Diskussionen, Benachrichtigungen über Ereignisse und die Koordination von Aufgaben zu den Hauptaktivitäten auf ESN Plattformen [21]. Wissensteilung wiederrum geschieht durch das Verknüpfen mit Kollegen, Kommunikation und Koordination der Arbeit [24]. Auch [23] sehen die Hauptfunktionalitäten von ESN darin Probleme zu lösen, Informationen zu verteilen, Aufgaben zu koordinieren, Wissen zu identifizieren und Projekte zu managen. Weiterhin dienen ESN Anwendungen als Informationsspeicher und zur Inputgenerierung. Der Einsatz von ESN verspricht Unternehmen viele Vorteile und stiftet auch den Mitarbeitern Nutzen. Für das Management werden auf diesem Wege die personellen Ressourcen des Mitarbeiterstamms explizit aufgeführt, um so Aufgaben und Projekte effizienter verteilen zu können [30]. Nutzer hingegen bekommen die Möglichkeit ihr Wissen aufzuzeigen und sich strategisch mit Kollegen zu verbinden [8]. Eventuell können Querversetzungen oder Positionssteigerungen abgeleitet werden. Nutzer verspüren eine persönliche Zufriedenheit, wenn sie Kollegen, mit denen sie zusammenarbeiten oder mit denen sie an gemeinsamen Aufgaben arbeiten, besser kennenlernen können, indem sie über ihre Kenntnisse, Aufgabengebiete und Interessen erfahren [8]. Dies fördert auch den Informationsfluss zwischen den Abteilungen [11]. Neuen Mitarbeiter, aber auch Mitarbeitern, die an geografisch entfernten Orten arbeiten, erlauben ESN Anwendungen die Werte und Vorstellungen des Unternehmens kennenzulernen [28]. Jedoch handelt es sich bei ESN um eine malleable end-user software. Dies bedeutet, dass der Nutzen der Software sich erst bei der Anwendung im Alltag bemerkbar macht [22]. In grundlegender ESN Forschung wird vor allem das Potential von ESN Plattformen untersucht. So werden in Studien bestimmte Aspekte, einschließlich der Motivation der Nutzer [8], den Individual- [30] und Unternehmensnutzen [28], den Einsatzbereich [21] und die Hauptaktivitäten [24] von ESN untersucht. Da die Auswirkungen von ESN in der Praxis von den Funktionen der Plattform abhängen, ist eine Analyse erforderlich, um ESN mit unterschiedlichen Nutzungsanforderungen in Kontext setzen zu können. Dieses Papier stellt eine solche Analyse dar. Mit den Erkenntnissen dieser Studie können die Bandbreite und Eigenschaften von ESN Funktionalitäten und Nutzung dargestellt werden. 2.2 Forschungsdesign Das unterliegende Forschungsdesign richtet sich an den Grundsätzen der ADR Methode aus [26]. Dieser integrative Ansatz ist eine Kombination aus Design Research (DR) und Action Research (AR) und zielt darauf ab, die Lücke zwischen organisatorischer Relevanz und methodischer Rigorosität zu schließen. Demnach wird ein relevantes Problem in einem spezifischen organisatorischen Umfeld in einer ständigen Interaktion zwischen Praktikern und Forschern bearbeitet. Dabei werden IS Artefakte simultan entwickelt und evaluiert, die durch Formalisierung der Ergebnisse auf das Ausgangsproblem und generalisiert auch auf die allgemeine Problemklasse abzielen. Das daraus resultierende und hier angewendete Forschungsvorgehen ist in Abbildung 1 mit den verwendeten Datenquellen dargestellt.

76 1710 Aylin E. Yücel et al. a) 1. Problemformulierung 3. Reflexion b) Anforderungsanalyse ESN und Lernen Unternehmensspezifische Quellen Unternehmen für Automation c) Interviews Grundsatz 1: Praxis-inspirierte Forschung Grundsatz 2: Theorie-verwurzelte Artefakte Semi-strukturierte Interviews (#14) Quantitative Umfrage (#27/67) # Abteilung 1 Vertrieb Europa 2 Vertrieb Europa 2. Erstellung, Intervention und Evaluation Grundsatz 3: Wechselseitige Formung Grundsatz 4: Gegenseitig beeinflussende Rollen Grundsatz 5: Glaubwürdige und simultane Evaluierung Grundsatz 6: Geführtes Entstehen Feldaufzeichnungen Unternehmensdokumente Generische Quellen Wissenschaftliche Literatur (10) AISeL, ACM Digital Library, IEEE Xplore, JSTOR, ScienceDirect, SpringerLink, Wiley Online Library 3 Consumer Goods 4 Consumer Goods 5 Corporate Communication 6 Produkt Management 7 Strategisches Marketing 8 Informationstechnik 9 Automation 10 Intralogistik 11 Vertrieb AI Europe 4. Formalisierung des Lernens Praxisliteratur 12 Service Grundsatz 7: Generalisierte Ergebnisse Internet-Webseiten 13 Automotive 14 Informationstechnik d) ADR Team Forscher (5) Praktiker (7) (ESN Team) ESN Prototyp Alpha Version ESN Prototyp ESN Anwendung Beitrag Generalisierte Anforderungsanalyse ESN Anwendung als Artefakt Mitarbeiter (Endnutzer) (31/45/67/>100) Beta Version Nutzen durch ESN Anwendung Abbildung 1: Forschungsdesign mit Action Design Research, siehe [26] In der ersten ADR Phase fand die Problemformulierung und Initiierung statt, in der die praktische Relevanz von ESN Anwendungen und Notwendigkeit einer detaillierten Anforderungsanalyse herausgestellt wurde. Als organisatorischer Kontext diente ein international operierender Hersteller und Entwickler für Antriebs- und Automatisierungstechnik (3300 Mitarbeiter, 52 Gesellschaften, Vertrieb und Service in 60 Ländern). Entsprechend der ADR Grundsätze 1 und 2 wurde das praktische Problem umrissen und theoretische Prämissen aufgestellt um die Forschungsfrage und -ziele zu formulieren. Es wurde eine umfassende Datensammlung durchgeführt, die wissenschaftliche Literatur und weitere generische sowie unternehmensspezifische Quellen umfasst (siehe Abbildung 1b). Während Quellen aus dem Unternehmen dazu dienten, unternehmensspezifische Anforderungen zu identifizieren und formulieren, wurden generische Quelle dazu verwendet, theoretische Grundlagen zu schaffen und Anforderungen daraufhin zu abstrahieren und generalisieren (ADR Phase 3 und 4). Zur Suche der Literatur wurden wissenschaftliche Suchmaschinen herangezogen und Social Collaboration und ESN als Stichworte gewählt. Beiträge wurden nur in Betracht gezogen, sofern sie sich explizit auf ESN als Ganzes und nicht allgemein auf Social Software oder einzelne Teilfunktionen von ESN, wie Microblogging, bezogen. So wurden neun Paper zu ESN und aufgrund der Relevanz und Aktualität ein Paper zu Social Software in die Analyse einbezogen. Diese Paper wurden offen und selektiv kodiert. Während beim offenen Kodieren die Daten Absatz für Absatz aufgebrochen werden, wurde beim selektiven Kodieren nach den Schlüsselkategorien kodiert, bis eine Sättigung eintrat und die Kodierung von weiteren Quellen keine neuen Erkenntnisse in Aussicht stellte [27]. Die eigentliche Generierung und Evaluierung des Artefakts in Form eines ESN Prototypen und einer Anforderungsanalyse erfolgte zyklisch auf Basis der gesammelten Daten in ständiger Interaktion der Forscher und Praktiker (ADR Phase 2, Grundsätze 3-5). Die Alpha-Version des ESN Prototypen

77 Multikonferenz Wirtschaftsinformatik wurde auf einen begrenzten organisatorischen Kontext angewendet, welcher aus dem ADR Team aus Forschern und ESN Team bestand (Abbildung 1d). In einem weiteren Zyklus wurde der Kontext erweitert, so dass die Beta-Version des Prototyen auch einer fokussierten Gruppe von Endnutzern bereitgestellt wurde. Während eine tiefergehende Evaluation der Alpha-Version formativ zur Verfeinerung des Artefakts mit Hilfe von semi-strukturierten Interviews erfolgte, wurde die Beta- Version durch summative Evaluierung mittels quantitativer Fragebögen auf ihren Nutzen begutachtet. Als Datenquelle und zur Evaluierung der Alpha-Version des Artefakts wurden 14 Mitarbeiter im Rahmen semi-strukturierter Interviews befragt (Abbildung 1c). Bei der Auswahl der Interviewpartner wurde darauf geachtet, verschiedene Altersklassen, Positionen, Nationalitäten und Branchensegmente abzudecken. Der Interviewleitfaden ist unterteilt in fünf Blöcke und orientiert sich an definierten Phasen [29]. Die Interviews dauerten 30 bis 60 Minuten und wurden, bis auf vier telefonische Interviews, im Unternehmen persönlich durchgeführt. Zur Auswertung der Interviews wurden diese transkribiert. Da ein Interview nicht aufgenommen werden durfte, floss es als Feldnotiz mit ein [31]. Zur Analyse der Interviews wurde analog zur den anderen Quellen offenes und selektives Kodieren genutzt. Eine Kombination aus qualitativer und quantitativer Forschung erlaubt Defizite beider Ansätze zu reduzieren [17]. Nach der Testphase das ESN Prototypen auf Basis von Microsoft SharePoint und MySites, wurden 67 Teilnehmer (27 Antworten) quantitativ zum allgemeinen Nutzen von ESN Anwendungen, spezifischen Nutzen des Prototypen, Potential von ESN Anwendungen, sowie deren Anforderungen und Herausforderungen befragt. Die summative Evaluation der Beta- Version des Prototypen basierte auf einer 5-Punkt Likert-Skala und wurde mittels eines Befragungstools durchgeführt. Um die Ergebnisse übertragbar zu machen, wurden die unternehmensspezifischen Erkenntnisse ständig mit wissenschaftlichen Beiträgen abgeglichen, gründliche Reflexion durchgeführt (ADR Phase 3, Grundsatz 6) und letztendlich in ADR Phase 4 nach Grundsatz 7 formalisiert. So konnten durch Abstrahierung des während der Entwicklung des ESN Prototypen Erlernten grundlegende Design Prinziples in Form einer generalisierten Anforderungsanalyse erstellt werden. 3 Eine Anforderungsanalyse für ESN Anwendungen Die Ziele der Einführung und Nutzung von Social Software Anwendungen sind vielseitig. ESN Anwendungen haben im Allgemeinen die Absicht Kommunikation und Kollaboration innerhalb und über Unternehmensgrenzen hinweg zu ermöglichen [5]. Unternehmen können davon profitieren, dass sie mehr über die Beziehungen zwischen Mitarbeitern wissen. Dieses Wissen kann zur strategischen Teambildung genutzt werden, Entscheidungen bzgl. Human Ressource Aufgaben unterstützen und zur richtigen Ressourcenallokation führen [30]. Auch die räumliche, zeitliche und funktionale Begrenzung der Nutzbarkeit von Wissen soll aufgehoben werden, indem durch aktive Teilnahme Wissen gespeichert und implizites Wissen verfügbar gemacht wird. Dies ist insbesondere durch Expert Finder möglich, über die kompetente Kollegen bzw. Mitarbeiter gefunden werden können, die bei einer aktuellen Problemstellung helfen können. Zudem werden dialogorientierte Kommunikation und Vernetzung unterstützt um damit das Beziehungsmanagement unter den Kollegen zu fördern. Aufgrund der Gestaltungsmacht des Nutzers und der Nutzungsoffenheit von Social Networking Anwendungen [23] ergeben sich organisatorischen Anforderungen (O), die sich in den funktionalen (F) und nicht-funktionalen (N) Anforderungen einer Social Networking Anwendung widerspiegeln. Während funktionale Anforderungen darstellen, welche Funktionen das System ausüben soll, nehmen

78 1712 Aylin E. Yücel et al. nicht-funktionale Anforderungen Bezug auf die Realisierung, Systemeinführung, Qualität und zum Projektmanagement. Abbildung 2 gibt einen Überblick über die identifizierten Anforderungen: Organisatorische Anforderungen O1 O2 O3 O4 O5 Datenschutz und Schutz vor Missbrauch Privatsphäre und Selbstbestimmung Vermeidung von Mehraufwand Vermeidung von Informationsflut Vermeidung von Ablenkung Funktionale Anforderungen F1 F2 F3 F4 F5 Profile Microblogging und Feedback Newsfeed Suche und Expertfinder Taxonomien Benutzerbezogen Orthogonal zentriert Inhaltsbezogen Nicht-Funktionale Anforderungen N1 Integrationsfähigkeit Verwendbarkeit Erweiterbarkeit Wartbarkeit Skalierbarkeit Abbildung 2: Anforderungen an eine ESN Anwendung 3.1 Organisatorische Anforderungen Datenschutz und Schutz vor Missbrauch (O1): Obwohl eine offene Informationsarchitektur innerhalb der Organisation vorgeschlagen wird [14], ist ein grundlegendes Rechtsystem für ESN Anwendungen notwendig. Neben der Verfügbarkeit von Informationen ist weiterhin zu kommunizieren, wozu die bereitgestellten Systeme und erstellter Social Content letztlich verwendet werden sollen. Missbrauch von Enterprise 2.0 Werkzeugen ist in diesem Zusammenhang eine verbreitete Befürchtung. Von der Nutzung solcher Systeme zur Verbreitung unangemessener bzw. nicht wahrheitsgetreuer bis hin zu fehlerhaften Informationen umfasst dieses Bedrohungsszenario eine Reihe von Nutzungsarten, welche ein angemessenes Maß an Regelungen erfordern. So kann entsprechenden Gefahren durch die Verwendung von Authentifizierungsmechanismen begegnet werden [14][28]. Wenn durch Authentifizierung identifizierbar ist, von wem bestimmte Beiträge, Kommentare, Informationen und Nachrichten stammen, wird die Unsicherheit reduziert und das Vertrauen in die Technik gestärkt [3]. Mitarbeiter werden umso durchsichtiger für Unternehmen, je mehr Informationen preisgegeben und im System gespeichert werden. Unternehmen könnten dies nutzen, um Mitarbeiter zu überwachen, so dass sie daraus ein Risiko in ihrer Teilnahme und Aktivität auf Social Software Seiten sehen könnten. Daher sollte eine Einschränkung der gesammelten Daten erfolgen und dies den Mitarbeitern mitgeteilt werden. Allgemein gilt, dass eine Überwachung der Verwendung der Anwendungen zwar nötig ist um Missbrauch vorzubeugen, dies jedoch kontraproduktive Auswirkungen auf den kollaborativen Charakter von Social Software hat [10] und daher Mitarbeitern viel Vertrauen entgegen gebracht werden muss. Hierbei sollte dem Umgang miteinander ein angemessener Rahmen gegeben werden. Privatsphäre und Selbstbestimmung (O2): ESN Anwendungen unterliegen der Gefahr als Überwachungsmechanismus oder Bedrohung der Selbstbestimmung wahrgenommen zu werden (vgl. Interview 1, 2, 10, 11). Notwendig sind daher Einstellungsmöglichkeiten, welche dem Nutzer die Selbstbestimmung über das Veröffentlichen von Daten ermöglicht. Sinnvoll ist hierbei ein Ansatz, bei dem der Nutzer explizit dem Teilen von Informationen zustimmen muss. Zudem sollte deutlich kommuniziert werden, dass Beteiligung auf freiwilliger Basis erfolgt. Vermeidung von Mehraufwand (O3): Aus betriebswirtschaftlicher Sicht soll die Einführung von ESN Anwendungen zu einer Produktivitätssteigerung führen. Mehraufwand für die Pflege (vgl. Interview 7,

79 Multikonferenz Wirtschaftsinformatik , 12) eines weiteren Informationssystems oder gar die doppelte Haltung von Informationen muss vermieden werden (vgl. Interview 3, 7, 8, 9, 12, 13, 14). Um zusätzlichen Aufwand für die Mitarbeiter zu reduzieren, sollte eine Integration mit bereits eingesetzten Systemen erfolgen und ein hoher Automatisierungsgrad angestrebt werden. Hierbei kann die Bereitstellung von Dokumenten und Content mittels anderer Plattformen, wie Enterprise Content Management (ECM) Systemen oder Wikis, automatisch erkannt und in den anderen Plattformen übernommen werden. Vermeidung von Informationsüberflutung (O4): Von Informationsüberflutung wird gesprochen, wenn die auf ein Individuum einströmenden Informationen so groß sind, dass die Zeit diese zu verarbeiten die hierfür zur Verfügung stehenden Ressourcen übertrifft [25]. Auswirkungen von Information Overload sind vielfältig und wirken sich negativ auf die Arbeitsproduktivität aus. Möglichkeiten zur Bewältigung der Informationsflut sind die Zusammenfassung ähnlicher Meldungen bspw. bei Microblogs oder die Verwendung von Filtermechanismen zum Ausblenden nicht benötigter Inhalte [15]. Vermeidung von Ablenkung (O5): Mögliche Ablenkung durch das System muss vermieden werden (vgl. Interview 1, 3, 6, 9, 14), da Mitarbeitern durch die Teilnahme an ESN Anwendungen ansonsten ihre eigentliche Arbeit vernachlässigen könnten. Neben Maßnahmen wie der Einführung von Richtlinien, wie viel Zeit ein Nutzer an dem System verbringen darf, stellt die Filterung der Inhalte auf die für den Arbeitskontext wichtigsten Informationen eine mögliche technische Maßnahme dar. 3.2 Funktionale Anforderungen Enterprise 2.0 Anwendungen werden in inhaltzentrierte, benutzerzentrierte und orthogonal zentrierte Dienste untergliedert [6]. Orthogonal zentrierte Dienste sind Anwendungen, die nicht direkt Inhalt oder Nutzer zuzuordnen sind. Um die funktionalen Anforderungen auf den Begriff Enterprise 2.0 beziehen zu können, werden die Anforderungen nach diesen Diensten klassifiziert. Die Anforderungen finden weiterhin Übereinkunft mit dem Akronym SLATES (Search, Links, Authoring, Tags, Extension, Signals) [16], welche die Hauptfunktionalitäten von Enterprise 2.0 Anwendungen darstellen. Profile mit Kenntnissen und Aufgabengebiete (F1): Während Organigramme Aufschluss über die Struktur des Unternehmens und der professionellen Nähe geben, kann nicht auf die sozialen Netzwerke innerhalb der Organisation geschlossen werden [7]. So wird nicht ersichtlich, wem ein Mitarbeiter vertraut und mit wem auch außerhalb der Arbeit Zeit verbracht wird. Diese Beziehungen können jedoch die stärksten und bedeutendsten sein [30]. ESN Plattformen ermuntern Mitarbeiter sowohl professionelle, als auch persönliche Informationen miteinander zu teilen [5]. Mittels eines Profils können Visitenkarteninformationen (vgl. Interview 8) und ein Who is Who (vgl. Interview 8, 11, 14) erstellt werden. Hierfür sollten ein Profilbild [28] sowie Kontaktdaten bereitgestellt werden können (vgl. Interview 8). Ebenso ist es wichtig, professionelle Daten wie die Fähigkeiten, Kenntnisse und Erfahrungen (vgl. Interview 1, 11, 12) angeben zu können. Um akkurate Angaben gewährleisten zu können, sollten Daten zu Aufgabengebieten, vorherigen Projektarbeiten und der Position aus einem zentralen Verzeichnis bezogen werden. Besonders für diese berufsbezogenen Informationen stuften die Mitarbeiter die zentrale Pflege als wichtig ein. Die eigentliche Pflege des Profils erfolgt hingegen über den Nutzer selbst, um so die Aktualität und Korrektheit der Informationen zu gewährleisten. Ohne Expert Finder oder Gelbe Seiten in einem Unternehmen gibt es kaum eine Möglichkeit zu erfahren, worin andere Mitarbeiter und Kollegen gut sind. Bei Problemen oder Fragen ist daher oft nicht bekannt, wen Nutzer um Rat bitten können. Besonders erschwert wird dies für neue Mitarbeiter, die die meisten Mitarbeiter noch nicht kennen (vgl. Interview 6). Auf den Profilen sollen

80 1714 Aylin E. Yücel et al. Informationen über Fähigkeiten bereitgestellt werden um diese im Rahmen einer Expertensuche nutzen zu können. Um Kontext- und Kontaktmanagement als essentielle Teilfunktionen von ESN zu erlauben [20], muss auf den Profilseiten deutlich aufgezeigt werden, mit welchen Kollegen Verknüpfungen bestehen, welche Position der Mitarbeiter in der Organisation einnimmt und bspw. über Statusmitteilungen aufzeigen, welchen Aktivitäten die Nutzer nachgehen. Nutzer sollen Teile ihres Profils als nicht-öffentlich kennzeichnen können, um private Daten vor Unbekannten verbergen zu können und ihre Privatsphäre zu schützen [8]. Zudem sollte die Möglichkeit bestehen zu überprüfen, wie das eigene Profil aussieht, wenn ein bestimmter Nutzer oder eine Nutzergruppe es betrachtet. Aus den Interviews auch hervor, dass die Mitarbeiter gar keine oder nur eingeschränkt Informationen aus dem privaten Leben veröffentlichen bzw. erhalten möchten, auch wenn dies mit ESN Anwendungen möglich ist. Gründe dafür sind ggf. stigmatisiert bzw. gruppiert zu werden, versehentlich fehlerhafte Daten anzugeben und der Selbstdarstellung im Allgemeinen: Ich würde wahrscheinlich [bei ESN Profilen] mitmachen, wobei ich glaube, dass ich keine privaten Informationen zur Verfügung stellen wollen würde, weil dadurch kennt man mich ja immer noch nicht. Es ist halt, dass das geschriebene Wort interpretierbar ist (Interview 7). Jedoch werden Informationen zu Vorlieben oder sonstiges Wissen mit Verbindung zum Unternehmenskontext als vorteilhaft angesehen. Das Profil soll einen für Dritte sichtbaren Newsfeed besitzen, welcher ausschließlich den Nutzer betreffende Aktivitäten enthält. Außerdem sollte es eine Dokumentenablage geben, auf der Mitarbeiter Dokumente bereitstellen können. Durch Tags soll der Nutzer auf die Dokumente aufmerksam machen können, um so mit Kollegen Informationen teilen zu können. Aus der quantitativen Erhebung ging hervor, dass die im Unternehmen existierenden Systeme wenige Möglichkeiten bieten, Informationen zu Kunden und Märkten zu erhalten. Um eine Basis zum Wissensaustausch bereitzustellen, können ESN Anwendungen mit Wikis kombiniert werden. Microblogging und Feedback (F2): Das Veröffentlichen von kurzen Nachrichten seitens der Nutzer wird als Microblogging bezeichnet [2]. Dabei liegt der Nutzen in schneller Kommunikation, die durch die Kürze der Textnachrichten begünstigt wird [13]. Es sind vier wesentliche Funktionen von Microblogs innerhalb eines Unternehmens zu identifizieren [23]: Bei der Aufgabenkoordination delegieren Mitarbeiter Aufgaben an andere, veröffentlichen Listen von Aufgaben, berichten von abgeschlossenen Aufgaben oder erfragen den Stand von Aufgaben. In Bezug auf die Problemlösung stellen Teammitglieder arbeitsbezogene Fragen, heben Probleme hervor oder berichten über Möglichkeiten Probleme zu lösen. Zur Mitteilung über Aktivitäten teilen Mitarbeiter Informationen über Meetings, Events und bevorstehende Treffen. Für die Ideenfindung teilen Mitarbeiter interessante Seiten oder stellen Ideen zur Diskussion vor. Ein mögliches Einsatzszenario ist, Vertriebsmitarbeitern zu ermöglichen, Kundenbesuche durch kurzen Informationsaustausch mit Kollegen vor- und nachzubereiten. Weiterhin kann bspw. das strategische Marketing, Wettbewerbsanalysen schneller und effizienter aufstellen, indem Informationen mit dezentralen Vertriebsmitarbeitern ausgetauscht werden (vgl. Interview 4). Um Interaktion, Wissensaustausch und Kommunikation zu fördern, sollten Mitarbeiter durch Kommentarfunktionen direkt Feedback zu den Microblog-Einträgen ihrer Kollegen geben können (vgl. Interview 4, 10, 13). Es ist möglich, durch gezielte Filterung der Einträge von Microblogs die auf Wissensarbeiter wirkende flut zu bewältigen [23]. Zudem ist es wichtig, die Microblog-Einträge als Enterprise Content zu behandeln zu speichern, damit relevante Informationen nicht verloren gehen. Um Informationsüberflutung zu bewältigen, sollte das following -Prinzip genutzt werden. So erhalten Mitarbeiter nur die Informationen und Microblog-Einträge derjenigen Mitarbeiter, mit denen sie verknüpft sind. Andere Möglichkeiten der Bewältigung der Informationsflut stellen das Tagging (durch Hashtags) von Nachrichten oder das Teilen von Nachrichten mit dem direkten Verweis an Mitarbeiter dar [13]. Um unerwünschte Beiträge zu vermeiden und so zu

81 Multikonferenz Wirtschaftsinformatik umgehen, dass Beiträge redaktionell überarbeitet werden müssen, sind Richtlinien zu setzen, die wahrheitsmäßige Angaben, einen sprachlich angemessenen Stil und Authentifizierung der Beitrag- Schreiber definieren. Newsfeed und Aggregatoren (F3): Das Web 2.0 ist geprägt von einer großen Menge an neuen Inhaltsquellen wie bspw. Blogs und Wikis. Dadurch wird die Übersicht der neusten Entwicklungen in dem Interessensgebiet des Mitarbeiters erschwert. Um Mitarbeiter über den aktuellen Stand von Dokumenten und neue Einträge und Änderungen an Informationen oder Einträgen zu informieren sowie personalisierte Suchanfragen einzusetzen, werden Newsfeeds und Aggregatoren verwendet [2] (vgl. Interview 1, 4, 5, 7, 8, 9). Ein Newsfeed ist definiert als eine Nachrichtenseite, welche sich an den Bedürfnissen des Nutzers orientiert und sich anpassen lässt. Sobald eine neue Information veröffentlicht wird (in Wikis, Microblogs etc.), wird zeitgleich bzw. leicht verzögert auch der Feed aktualisiert und die Inhalte der Einträge in komprimierter Form angezeigt. Somit geben Feeds die Möglichkeit der individuellen Zusammenstellung von Inhalten und verfolgen das Pull-Prinzip, wobei der Nutzer entscheidet, welche Informationen dieser erhalten möchte [1]. Die Filterung von Newsfeeds stellt eine Möglichkeit dar, einerseits Informationen regelmäßig zu erhalten, aber bestimmte Inhalte, besonders private News von Kollegen, nur eingeschränkt zu empfangen. Es wird dabei zwischen zwei Arten von Newsfeeds differenziert. Zum einen soll auf einer zentralen Seite ein privater Newsfeed für einen Nutzer alle Neuigkeiten zusammenstellen und darstellen, zu denen der Mitarbeiter Verbindungen aufweist. Zum anderen sollen auf dem Profil eines Nutzers, welches durch andere Mitarbeiter angesehen werden kann, nur die Neuigkeiten aufgelistet werden, an denen der betrachtete Nutzer direkt beteiligt ist. Das sind also Einträge, die der Nutzer verfasst hat oder Einträge, die andere Nutzer auf der Seite hinterlassen haben. Suche (F4): ESN Anwendung müssen eine Suchfunktion bereitstellen, welche das Auffinden von Personen, als auch von Gruppen und Dokumenten ermöglicht (vgl. Interview 2-9, 11-14). Also, einen der größten Vorteile [von ESN], den ich sehe, ist [ ] irgendwo im Bereich des Wissensmanagements: dass ich Wissen schneller verteilen kann, dass ich Experten aus unterschiedlichsten Bereichen zu Themen einfacher finde und zusammenbringen kann. Gerade [ ] bei Themen, wo die Experten in ganz unterschiedlichsten Bereichen sitzen können (Interview 4). Im Rahmen einer Expertensuche können Fähigkeiten, Kenntnisse und Interessengebiete als Schlagwörter dienen. Die Suche bei Gruppen und Dokumenten, wie bspw. nach Themen, soll die Möglichkeit geben, relevante und interessante Inhalte zu finden. Zudem sollte es eine Schnell-Suche (Type Ahead Search) geben, die bei Eingabe erster Buchstaben bereits sucht, ohne dass die Suchanfrage abgesendet werden muss. Taxonomien und Tagging (F5): Tagging beschreibt das Zuweisen von benutzerdefinierten Stichwörtern zu einer Information und wird vom Sender oder Konsumenten einer Information durchgeführt. Anhand der Tags können aggregierte, informale Klassifizierungen entstehen. Zudem können Tags als Navigator oder als Filter beim Suchen dienen. Dies dient der Selbstorganisation, aber auch der Öffentlichkeit, wenn Nutzer ihre Sammlungen teilen. Zudem kann dies Nutzer in Verbindung bringen, wenn diese feststellen, dass sie mit anderen dieselben Themen und Interessen teilen [18]. Das Taggen innerhalb eines Unternehmens erlaubt die Informationsflut zu bewältigen und Zugang zu relevantem Wissen zu erhalten [9]. Um eine einheitliche Vergabe von Tags zu schaffen und so die Suche zu erleichtern und das Verständnis zu erhöhen, sind Taxonomien und Folksonomien einheitlich zu wählen und zu pflegen, damit sie sich mit denen anderer Systeme decken (vgl. Interview 2, 4, 9, 11, 12, 13).

82 1716 Aylin E. Yücel et al. 3.3 Nicht-funktionale Anforderungen Zu den nicht-funktionalen Anforderungen zählen: Integrationsfähigkeit, Verwendbarkeit, Erweiterbarkeit, Wartbarkeit und Skalierbarkeit. Besonders ist hervorzuheben, dass eine ESN Anwendung intuitiv erlernbar sein muss, um eine mögliche Demotivierung durch hohen Lernaufwand zu vermeiden (vgl. Interview 7). Die wichtigste Anforderung stellt jedoch die Integrationsfähigkeit dar. Integrationsfähigkeit (N1): In der Regel besitzen Organisationen bereits eine IT Infrastruktur, welche insbesondere Authentifizierungsmechanismen und arbeitsbezogene Informationssysteme beinhaltet. Eine Zusammenführung dieser bereits vorhandenen Systeme und neu implementierter Social Software Anwendungen muss geschaffen werden, um Verwirrung aufgrund mehrerer Kommunikationskanäle zu vermeiden. Eine ESN Anwendung ist somit in die bestehende IT Landschaft zu integrieren. Eine ESN Anwendung kann bestehenden Systemen einen persönlichen Bezug verleihen, indem Nutzer über Profile beschrieben werden, Kommentare gegeben werden können und durch Verknüpfungen ein Netzwerk aufgebaut werden kann. So stellt ein Newsfeed eine Verbindungsstelle zwischen bestehenden Systemen und ESN Profilen dar, indem von Aktivitäten in beiden Systemen informiert wird. Da noch weitere Szenarien in Unternehmen auftauchen, bei denen eine Integration von Social Software Anwendungen in bestehende Systeme nötig sind, sind ESN Anwendungen als ergänzendes Modul einzuführen, das bereits verwendete Anwendungen erweitert [3]. Die Zusammenführung mit vorhandenen Systemen ist als Herausforderung anzusehen, da hierbei eine technische Hürde besteht. 4 Diskussion, Limitationen und Implikationen Bei der Einführung und Nutzung von ESN Anwendungen stellt die Organisation den Rahmen und damit einen kritischen Erfolgsfaktor dar. ESN Initiativen und Anwendungen müssen nicht nur unterstützt werden, sondern spezifisch an die Kultur angepasst und vor allem gelebt werden. Dies geht einher mit Richtlinien und Regelungen. Weiterhin ist der Erfolg des Systems zu messen. Bei ESN Anwendungen handelt es sich um eine malleable end-user software, dessen Nützlichkeit nicht evaluiert werden kann, bevor die Plattform intensiv genutzt wird. Somit ist in Bezug auf ESN die Anwendbarkeit klassischer Ansätze zur Akzeptanzmessung, wie TAM oder UTAUT, in Frage zu stellen. Auch die alleinige Nutzung finanzieller Kennzahlen, wie ROI, ist nicht geeignet, um den Nutzen zu kalkulieren. Daher ist spezifisch zu definieren, wie der Nutzen einer ESN Anwendung evaluiert werden soll [22]. Die Nutzung des Systems in Form von Zugriffszahlen, Mitarbeiterzufriedenheitsstudien oder Unternehmensnutzen durch Generierung von Wissen können als Indikatoren eingesetzt werden. Neben der Organisation stellt der Nutzer einen weiteren Erfolgsfaktor dar. Nur wenn der Nutzer ein System akzeptiert, wird dieser daran teilnehmen und einen Beitrag leisten. Bei erfolgreicher Implementierung einer ESN Anwendung können Beziehungsmanagement, Informations- und Wissensmanagement, Kommunikation und Kollaboration innerhalb eines Unternehmens positiv beeinflusst werden. Zu dem untersuchten ESN Prototypen wurden 31 Mitarbeiter zur Nutzung eingeladen. Während in den ersten Tagen einige Mitarbeiter ihre Profile mit professionellen Daten, wie Telefonnummer (7 von 31), Wissensgebiete (7) und Arbeitsort (6) aktiv pflegten und Fotos eingestellt wurden (9), wurden private Informationen selten geteilt. So wurde teilweise das Geburtstagsdatum (5) angegeben. Interessen wurden selten geteilt (4) aber deckten lediglich unternehmensrelevante Gebiete ab. In den ersten drei Wochen der Testphase wurde selten mit Kollegen kommuniziert (2-5 Posts), jedoch nahm die Zahl der getaggten und geteilten Artikel von Woche zu Woche zu (8-15 Tags; 1-6 Artikel). Zudem

83 Multikonferenz Wirtschaftsinformatik wurde der Testpilot verstärkt dazu genutzt andere Kollegen einzuladen. So wuchs die Zahl der Teilnehmer auf 67 in der letzten Woche der Testphase und auf mehr als 100 nach der Testphase. Mehrmals erfragten Vertriebsmitarbeiter und strategisches Marketing Informationen zur aktuellen Marktlage, Kunden oder Wettbewerber und erhielten innerhalb weniger Minuten eine Antwort von Kollegen. Aus der Testphase ist festzuhalten, dass eine aktive Teilnahme an einer ESN Initiative oft nur mühevoll gefördert werden kann und stark mit dem (wahrgenommenen) Nutzen der Anwendung verknüpft ist. Um die Motivation und Akzeptanz zu fördern, sollte der Nutzen somit deutlich aufgezeigt werden. Insbesondere wenn eine möglichst breite und rege Beteiligung erreicht wird, kann individueller Nutzen wie bspw. Zeitersparnis generiert werden. Ferner sollten ESN Anwendungen erst dann breit eingeführt werden, wenn die technische Umsetzung ausgereift ist. Eingeschränkte oder fehlerhafte Funktionen führen schnell zu Demotivierung oder gar der dauerhaften Ablehnung des Systems. Da der Nutzungsgrad erst mit der Zeit zunimmt, ist es wichtig, ESN Initiativen langfristig anzulegen und fortlaufend voranzutreiben sowie involvierte Mitarbeiter zu unterstützen. Dazu ist ein aktives Change Management mit Seminaren, Schulungen und gezielter Kommunikation und Promotion sinnvoll. Neben Nutzenpotentialen bringen ESN Anwendungen auch Risiken und Herausforderungen mit sich. Die identifizierten Risiken wie Informationsüberflutung, Ablenkung, Datensicherheit sind vorliegend als organisatorische Anforderungen aufgenommen und dargestellt. Auch funktionale Anforderungen werden dargelegt und wesentliche technologische Funktionalitäten und Komponenten, wie bspw. Profile, Microblogging und Tagging, dabei aus Nutzersicht dargestellt. Die Suchfunktion wurde dabei als wichtigste Funktion eingestuft. Jedoch bieten existierende Anwendungen auch von Nutzern nicht gewünschte Funktionen, die teilweise nicht deaktiviert werden können, wie bspw. private Informationen in Newsfeeds. Neben der Selbstbestimmung über Daten wurde auch die thematische Klassifizierung und Filterung von Inhalten in diesem Kontext als wichtig eingestuft: [ ] man muss dann auch verschiedene Level einstellen können, mit welchen Informationen man da belästigt werden möchte oder was man wissen möchte (Interview 1). Die nicht-funktionalen Anforderungen an ESN Anwendungen werden kurz beschrieben und aufgezeigt, dass über Systemanpassungen die Risiken und organisatorische Anforderungen bewältigt werden können. So stellt die Anforderungsanalyse einen wesentlichen Schritt Richtung Implementierung einer ESN Anwendung dar. Es wurde weiterer Forschungsbedarf in Bezug auf ESN identifiziert. In der Literatur bestehen bisher nur wenige Ansätze zur Erfolgsmessung von ESN Anwendungen. Grundlegende Arbeiten, siehe [19], liefern einen Startpunkt für quantitative Analysen. Es sind weitere Studien notwendig um den Erfolg von ESN Anwendungen zu evaluieren, wie bspw. die Definition von Kennzahlen. Aufgrund des bisherigen Forschungsstands wurde der Aspekt der Erfolgsmessung vorliegend zwar genannt, ohne sich jedoch explizit auf ein Modell zu stützen. Auch liefert die Literatur wenige Erkenntnisse über den Effekt von ESN auf den Unternehmenserfolg. Während Studien den Individualnutzen aufzeigen, siehe [8], erörtern nur wenige Studien, welchen Einfluss der Individual- auf den Unternehmensnutzen hat, siehe [12]. Diese Aspekte sind in weiteren Studien näher zu beleuchten. Zudem wird zwar die Adoption von ESN Anwendungen untersucht, jedoch nicht, wie die Technologie in Verbindung mit anderen Enterprise 2.0 Anwendungen den Unternehmenskontext beeinflussen kann. Das vorliegende Paper weist Limitationen bezüglich des Forschungsvorgehens und des entwickelten Konzepts auf. Es wurden Limitationen in Bezug auf die Epistemologie und Triangulation identifiziert. Zur Analyse der Daten wurde Coding mit unterliegender positivistischer Epistemologie angewendet. Um vollständige Objektivität zu gewährleisten, werden im Positivismus mehrere Coder empfohlen. Dies erfolgte vorliegend nicht bei allen Quellen, so dass die Inter-Coder-Reliability nicht überall

84 1718 Aylin E. Yücel et al. überprüft werden konnte. Eine Triangulation ist die Anwendung von mehreren empirischen Methoden auf dasselbe Problem oder Phänomen. Idealerweise folgt einer qualitativen Forschung eine quantitative, die abgerundet wird durch eine zweite qualitative Forschung [17]. Hier wurde in Anschluss an eine qualitative Methode eine quantitative angewendet; eine anschließende zweite qualitative Methode wurde jedoch noch nicht angewendet. Als Limitation in Bezug auf das entwickelte Konzept werden nur Kernkomponenten einer ESN Anwendung beschrieben. Jedoch sind Softwarelösungen erweiterbar und kombinierbar mit anderen Systemen. Dieser Aspekt wurde unter Integrationsfähigkeit erwähnt, die technischen Anforderungen für eine Erweiterbarkeit wurden aber nicht weiter spezifiziert. Weiterhin stellen die funktionalen Anforderungen nur Funktionen dar, die für den Endverbraucher sichtbar sind, so dass die Analyse die Wartung oder Konfiguration nicht umfasst. Die Analyse wurde aus Sicht des Nutzers durchgeführt, so dass die technische Umsetzung oder finanzielle Aspekte nicht im Fokus der Untersuchung lagen. Da der Fokus auf funktionalen Anforderungen lag, wurden nicht-funktionale zwar genannt um die Analyse abzurunden, jedoch nicht weiter erörtert. Auch eine tiefergehende Erfolgsmessung von ESN Anwendungen sowie Social Analytics wurden nicht weiter betrachtet. Als Implikation können die Ergebnisse der Anforderungsanalyse Entscheidungsträgern und Nutzern eine bessere Vorstellung über die Potentiale, Herausforderungen und Einflüsse von ESN vermitteln. So können die Ergebnisse des vorliegenden Papers als Entscheidungshilfe bei der Einführung von ESN Anwendungen dienen. Insgesamt sind im ESN Forschungsgebiet und in der Praxis noch nicht viele empirische Erkenntnisse vorzufinden, so dass Unternehmen, die ESN Anwendungen vollständig eingeführt haben, noch zu den Early Adoptern zählen. Die vorgestellte Analyse stellt einen Ausgangspunkt bezüglich der Anforderungen an ESN Anwendungen sowohl wissenschaftlich als auch praktisch dar. Die Ergebnisse können aufgegriffen, spezifisch angepasst und weiterentwickelt werden. 5 Fazit und Ausblick Kerninhalt des vorliegenden Papers ist die Darstellung einer Anforderungsanalyse für ESN, welche funktionale, nicht-funktionale und organisatorische Anforderungen umfasst. Die mit gestaltungsorientierter Forschung (ADR) entwickelte Anforderungsanalyse beinhaltet 13 essentielle Anforderungen und soll Unternehmen bei der Einführung von ESN Anwendungen als Orientierung dienen. Die Organisation selbst stellt dabei die Rahmenbedingungen und Grundgerüst und gleichzeitig auch den kritischen Erfolgsfaktor dar. ESN Anwendungen müssen nicht nur von den Führungskräften unterstützt werden und mit bestehenden Systemen integriert werden, sondern auch spezifisch an die Unternehmenskultur angepasst und letztendlich durch die Nutzer akzeptiert werden. Dies geht einher mit der Definition einer Governance mit Richtlinien und Regelungen. Obwohl der Erfolg von ESN Anwendungen schwer messbar und zu quantifizieren ist, sollte eine ständige Kontrolle erfolgen. Die Anforderungsanalyse wurde in Zusammenarbeit mit einem Industrieunternehmen erstellt, ist aber soweit generisch, dass andere Unternehmen diese aufgreifen und nutzen können. Hauptfunktionalitäten einer ESN Plattform sind Suchfunktionen, Tagging, Profile, Microblogging und Newsfeeds. Customizing adressiert Herausforderungen wie Filterung und Eindämmung der Informationsflut und Ablenkung. Für besondere Anforderungen ist die vorgestellte Anforderungsanalyse spezifisch anzupassen oder zu erweitern um durch erfolgreichen ESN Einsatz einen Wettbewerbsvorteil zu schaffen.

85 Multikonferenz Wirtschaftsinformatik Im Rahmen zukünftiger Forschung sollten weitere wichtige, wenig erforschte ESN Aspekte weiter aufgegriffen werden. So stellen die Nutzerakzeptanz und die zur Akzeptanz führenden Determinanten zentrale Punkte dar. Auch die Erfolgsmessung von ESN Anwendungen und die monetäre Quantifizierung des tatsächlichen Nutzens sind weitergehend zu untersuchen. Das Web 3.0 mit semantischen Ansätzen oder auch mobile Endgeräten im ESN Kontext stellen zukünftige Ansatzpunkte für Theorie und Praxis dar. Die Relevanz von ESN wird in Zukunft durch neue abteilungsübergreifende Zusammenarbeit, steigende Dynamik und neue Mitarbeitergenerationen weiter steigen. 6 Literatur [1] Alby, T (2008): Web 2.0. Konzepte, Anwendungen und Technologien. Hanser Verlag, München. [2] Back, A; Gronau, N; Tochtermann, K (2009): Web 2.0 in der Unternehmenspraxis. 2. Auflage. Oldenbourg Wissenschaftsverlag, München. [3] Bächle, M; Ritscher, J (2008): Enterprise Social Software im unternehmensinternen Einsatz: Empirische Untersuchung und Einsatzempfehlungen. Arbeitsberichte zur Wirtschaftsinformatik 1, Studiengang Wirtschaftsinformatik, Berufsakademie Ravensburg. [4] Bennett, S (2012): The Benefits of Communicating and Collaborating in a real-time Enterprise Social Network. In: Proceedings of the IPCC. [5] Brandel, M (2008): The new employee connection: Social Networking Behind the Firewall. In: Computerworld. [6] Büchner, T; Matthes, F; Neubert, C: A concept and service based analysis of commercial and open source Enterprise 2.0 tools. In: Proceedings of the International Conference on KMIS. Madeira. [7] Cross, R; Borgatti, SP; Parker, A (2002): Making Invisible Work Visible: Using social network analysis to support strategic collaboration. California Management Review 44 (2): [8] DiMicco, J; Geyer, W; Millen, DR; Dugan, C; Brownholtz, B (2008): Motivations for Social Networking at Work. In: Proceedings of the ACM conference on CSCW. New York. [9] Dorn, J (2008): Social Tagging. In: Back A, Baumgartner H, Gronau N, Tochtermann K (Hrsg): Web 2.0 in der Unternehmenspraxis: Grundlagen, Fallstudien und Trends zum Einsatz von Social Software. 1. Auflage. Oldenburg Wirtschaftsverlag, München. [10] Garcia, JS (2007): Enterprise 2.0. VDM Verlag Dr. Müller. Saarbrücken. [11] Hansen, MT (1999): The Search-Transfer Problem: The role of weak ties in sharing knowledge across organization subunits. Administrative Science Quarterly 44 (1): [12] Herzog, C; Richter, A; Steinhüser, MC; Hoppe, U; Koch, M (2013): Methods and Metrics for Measuring the Success of Enterprise Social Software What we can learn from Practice and Vice Versa. In: Proceedings of the ECIS. Utrecht. [13] Java, A; Song, XD; Finin, T; Tseng, B (2007): Why We Twitter: Understanding Microblogging Usage and Communities. In: Proceedings of the WabKDD and SNAKDD. San José. [14] Koch, M; Richter, A (2009): Enterprise 2.0, Planung, Einführung und erfolgreicher Einsatz von Social Software in Unternehmen. Oldenbourg Wissenschaftsverlag, München.

86 1720 Aylin E. Yücel et al. [15] Koroleva, K; Krasnova, H; Günther, O (2010): STOP SPAMMING ME! Exploring Information Overload on Facebook. In: Proceedings of the AMCIS. Lima. [16] McAfee, AP (2006): Enterprise 2.0: The Dawn of emergent Collaboration. MIT Sloan, Management Review 47 (3): [17] Miles, M; Huberman, A; Saldana, J (1994): Qualitative Data Analysis: A Methods Sourcebook. 3. Auflage. Sage Publications, London. [18] Richter, A; Derbella, V (2007): IT-gestütztes Wissensmanagement - Theorie, Anwendungen und Barrieren. 2. Auflage. Volker Derballa Verlag, Berlin. [19] Richter, A; Heidemann, J; Klier, M; Behrendt, S (2013): Success Measurement of Enterprise Social Networks. In: Proceedings of the International Conference on WI. Leipzig. [20] Richter, A; Michael, K (2008): Funktionen von Social-Networking-Diensten. In: Tagungsband der MKWI. München. [21] Richter, A; Riemer, K (2013): The Contextual Nature of ESN: A Multi Case Study Comparison. In: Proceedings of the ECIS. Utrecht. [22] Richter, A; Riemer, K (2013): Malleable End-User Software. Business & Information Systems Engineering 5 (3). [23] Riemer, K; Richter, A; Böhringer, M (2010): Enterprise Microblogging. Wirtschaftsinformatik 52 (6): [24] Riemer, K; Scifleet, P (2012): Enterprise social networking in knowledge-intensive work practices: A case study in a professional service firm. In: Proceedings of the ACIS. Geelong. [25] Schick, AG; Gordon, LA (1990): Information Overload: A Temporal Approach, Accounting, Organizations and Society. ibusiness 3 (1): [26] Sein, MK; Henfridsson, O; Purao, S; Rossi, M; Lindgren, R (2011): Action Design Research. MIS Quarterly 35 (1): [27] Strauss, A; Corbin, J (1998): Basics of Qualitative Research: Techniques and Procedures for Developing Grounded Theory. Sage Publications, London. [28] Thom-Santelli, J; Millen, D; Gergle, D. (2011): Organizational acculturation and social networking. In: Proceedings of the Conference on CSCW. Hangzhou. [29] Weßel C (2010): Semi-strukturierte Interviews im Software-Engineering: Indikationsstellung, Vorbereitung, Durchführung und Auswertung Ein Fall-basiertes Tutorium. GI Jahrestagung (2): [30] Wu, A; DiMicco, J; Millen, DR (2010): Detecting Professional versus Personal Closeness Using an Enterprise Social Network Site. In: Proceedings of the SIG CHI Conference. Atlanta. [31] Yin R (2009): Case Study Research: Design and Methods. Sage Publications, London.

87 Kennzahlen kooperativer Arbeitsbereiche Nils Jeners RWTH Aachen, Informatik 5, Aachen, Wolfgang Prinz Fraunhofer FIT, Sankt Augustin, Abstract Dieser Beitrag schlägt Kennzahlen und Metriken zur Analyse von gemeinsamen Arbeitsbereichen vor. Dazu werden die Benutzeraktivitäten in verschiedenen elektronischen Arbeitsbereichen des BSCW Systems untersucht und anhand der vorgeschlagenen Metriken Aktivität, Produktivität und Kooperativität verglichen. Die Untersuchungen zeigen, dass die ermittelten Metriken einerseits eine Zuordnung von Arbeitsbereichen zu einer Nutzungsintention, andererseits ein Benchmark untereinander ermöglichen. Eine weitere Erkenntnis ist, dass sich auch in der kooperativen Nutzung solcher Systeme das Paretoprinzip (80/20-Regel) wiederfinden lässt.

88 1722 Nils Jeners, Wolfgang Prinz 1 Einleitung Elektronische Kommunikations- und Kooperationsmedien werden schon seit vielen Jahren in Unternehmen eingesetzt. Obwohl es kritische Betrachtungen dazu gibt, ob diese Medien einen positiven Einfluss auf die Produktivität der Mitarbeiter haben [4, 5], gibt es doch viele Befürworter für die Verwendung moderner Kooperationsmedien. Für Wissensarbeiter [7] und Virtuelle Teams [8] sind Groupware Systeme und insbesondere gemeinsame elektronische Arbeitsbereiche (Shared Workspace Systeme) aus dem heutigen Arbeitskontext nicht mehr wegzudenken [19]. Um eine Aussage über die Nutzung der Systeme und speziell über die Produktivität und Kooperativität der Akteure innerhalb dieser Systeme treffen zu können, ist es notwendig Kennzahlen zu ermitteln, die die Anforderungen betrieblicher Kennzahlensysteme erfüllen [18]. Bisherige, durch statistische Methoden ermittelte, Kennzahlen über Workspace Systeme, dienten dazu Wissen über ein System zu erlangen, wie es genutzt wird. Mithilfe dieser Ergebnisse werden diese Systeme bisher verbessert und weiterentwickelt [1, 9]. Diese Ergebnisse werden jedoch bisher nicht dazu verwendet, Gruppen zu charakterisieren und eine Aussage über die Zusammenarbeit zu treffen. Kennzahlen zu sozialen Netzwerken sind gut erforscht und weit verbreitet [17], [22]. Die soziale Netzwerkanalyse (SNA) ist eine Methode der empirischen Sozialforschung und definiert unter anderem die Kennzahlen Kantendichte, Knotengrad, Zentralität und Cliquenanalyse. Die Aussagen dieser Zahlen beziehen sich auf einzelne Akteure, deren Beziehungen untereinander sowie auch auf das gesamte Netzwerk. Einige Ansätze existieren bereits diese Kennzahlen für Gruppen und gemeinsame Arbeitsbereiche zu nutzen [10], [15]. Der Fokus der SNA liegt jedoch in der Beschreibung eines statischen Netzwerkes. Dynamische Prozesse und Aktivitäten der Mitglieder werden nicht betrachtet. Ein weiteres Untersuchungsfeld ist die Klassifikation einzelner Teilnehmer in produktive Arbeiter und sogenannte Lurker [13], [14]. Die Einteilung von Wissensarbeiter in Rollenkategorien fußt dabei auf den durchgeführten Aktionen. Die entscheidenden Faktoren sind dabei sowohl quantitativ, als auch qualitativ und dienen dazu die Produktivität zu bewertet [7]. Laut Drucker existieren sechs Faktoren, die die Produktivität beeinflussen: (1) Kenntnis der Aufgabe, (2) Fachwissen und Selbstorganisation, (3) kontinuierliche Innovation, (4) kontinuiertliches Lernen und Lehren, (5) Quantität und Qualität der Arbeitsergebnisse und (6) Identifikation mit dem Unternehmen. Diese Faktoren legen ihren Fokus auf den einzelnen Wissensarbeiter und sind schwer messbar. Dabei ist es offensichtlich, dass die meisten Ergebnisse von Wissensarbeitern in einer Gruppe entstehen, bei der jedes Gruppenmitglied eine oder mehrere bestimmte Rollen einnimmt [20]. Die von Koch und Richter vorgeschlagenen Kennzahlen [12] eignen sich für die Einführung von Sozialen Medien im Unternehmen und erweitern damit die Perspektive auf die Gruppe. Die dort genannten Kennzahlen sind: Änderung des Kommunikationsverhaltens (Anzahl s), Anzahl Dokumente, Aktivität, Grad der Beteiligung an einzelnen Dokumenten, Vernetzungsgrad der Mitarbeiter sowie Mitarbeiterzufriedenheit. Die Verwendung dieser Kennzahlen beschränkt sich häufig auf einen Vorher-Nachher-Vergleich bei der Einführung von Werkzeugen, um den Effekt auf das Verhalten einer Gruppe zu ermitteln. Ein kontinuierlicher Einsatz zur Messung des Leistungsverlaufs einer Gruppe ist den Autoren nicht bekannt. Das Ziel dieser Arbeit ist es, aussagekräftige Kennzahlen zu definieren, die die Vergleichbarkeit und Charakterisierung unterschiedlicher Arbeitsbereiche und die Beobachtung dieser über die Zeit ermöglichen. Selbstverständlich ist, dass kooperative Arbeit sich nicht ausschließlich in einem einzigen System abspielt. Die eingesetzten Werkzeuge zur Zusammenarbeit sind häufig sehr vielfältig,

89 Multikonferenz Wirtschaftsinformatik wie andere Untersuchungen gezeigt haben [9]. Die eingesetzten Werkzeuge, angefangen von , über Telefonkonferenzen, kollaborativen Editoren, bis hin zu leichtgewichtigen Spezialwerkzeugen, wie z.b. Doodle, werden häufig in einem Arbeitskontext parallel genutzt. Alle diese Aktivitäten, wie auch die physische Zusammenarbeit im gleichen Raum, können bei dem hier vorgestellten Ansatz nicht berücksichtigt werden. Daher beschränken sich die Autoren auf ein monolithisches System, das eine möglichst umfassende Abdeckung der Kooperation zulässt, mit dem Wissen nicht alle Arten der Zusammenarbeit erfassen zu können. Das hier betrachtete Shared Workspace System BSCW bildet die Grundlage der Datenbasis und wird im folgenden Kapitel 2 vorgestellt wird. Kapitel 3 definiert die entwickelten Kennzahlen und Metriken. In Kapitel 4 werden die aus Projekten ermittelten Kennzahlen dargestellt, die in Kapitel 5 diskutiert werden. 2 Gemeinsame Arbeitsbereiche BSCW Das Shared Workspace System BSCW (Basic Support for Cooperative Work) ist eine Groupware, die die Zusammenarbeit von mehreren Benutzern im Internet unterstützt [2]. Das BSCW System wird seit 1995 von Fraunhofer FIT (damals GMD FIT) als Groupware zur Unterstützung verteilten Arbeitens entwickelt. Im Vordergrund steht dabei die selbstorganisierte Koordination eines verteilten Teams über einen gemeinsam genutzten Arbeitsraum. Dazu bietet BSCW vielfältige Möglichkeiten zum Dokumentenmanagement, zur Registrierung und Verwaltung von Benutzern und Gruppen, zur Diskussion in Foren, sowie zum Kalender und Aufgabenmanagement. Derzeit sind ca Server von BSCW weltweit installiert. Die Anzahl der Benutzer wird auf über 1 Mio. geschätzt. Auf dem von FIT betriebenen öffentlichen Server ( sind mehr als Benutzer registriert. BSCW wird über den Spin-Off OrbiTeam vertrieben. Das BSCW System speichert die Benutzeraktionen auf den gemeinsam genutzten Objekten, um den Benutzern Auskunft über die Kooperationshistorie und den Objektzustand zu geben. Dazu wird für jede Benutzeraktion folgende Metainformation protokolliert: Zeitstempel, Aktion (z.b. lesen, erzeugen, ändern, versionieren, löschen, etc.), betroffenes Objekt und Benutzer ID. Diese Information stellt BSCW an der Benutzerschnittstelle z.b. durch entsprechende Icons zur Verfügung, sie kann jedoch auch als CSV-Datei (comma-separated values) ausgelesen werden. Damit besteht die Möglichkeit, das Kooperationsverhalten in einem Arbeitsbereich über einen längeren Zeitraum auszuwerten. Für die in diesem Beitrag beschriebenen Analysen wurden entsprechend der unterschiedlichen Einsatzbereiche von BSCW, Arbeitsbereiche mit unterschiedlicher Charakteristik ausgewählt: Projektbezogene Arbeitsbereiche (P) dienen der Organisation von organisations-übergreifenden Projekten. Dies sind typischerweise nationale oder internationale Forschungsprojekte mit 5-20 Partnern und insgesamt Projektmitgliedern über einen Zeitraum von mehreren Monaten. Organisationsbezogene Arbeitsbereiche (O) unterstützen die Kooperation innerhalb einer bestimmten Abteilung einer Organisation über mehrere Jahre. Aufgabenbezogene Arbeitsbereiche (A) unterstützen die Erledigung einer festgelegten Aufgabe, z.b. Austausch von Dokumenten zu einer Lehrveranstaltung o.ä. über einen kurzen Zeitraum von ca. sechs Monaten.

90 1724 Nils Jeners, Wolfgang Prinz 3 Kennzahlen und Metriken Die in dieser Arbeit entwickelten Kennzahlen und Metriken stützen sich auf das Participant-Artifact- Framework [6] und das Meta-Model kooperativer Systeme [11]. Der entwickelte Prototyp verarbeitet Logdaten in dem Activity Streams Format [21], das für ein bestimmtes Ereignis zu einem bestimmten Zeitpunkt jeweils einen Actor, ein Verb, ein Object und ein Target angibt. Durch die Nutzung dieses offenen Formats ist es auch möglich Ereignisdaten anderer Systeme zu analysieren und mit denen von BSCW zu vergleichen. Die Logdaten von BSCW sind als kommaseparierte Werte (CSV) pro Arbeitsbereich exportierbar und müssen zunächst in das entsprechende Format umgewandelt werden. So sind unterschiedliche Arbeitsbereiche einzeln analysierbar und untereinander vergleichbar. Zu jedem Arbeitsbereich werden zunächst elementare Kennzahlen ermittelt. Dazu zählen die Dauer der Aktivitäten bzw. des Projekts (in Tagen), die Anzahl der aktiven Mitglieder, die Anzahl der Objekte bzw. Dokumente im Arbeitsbereich und die Anzahl der einzelnen Ereignisse. Diese Ereignisse werden in drei verschiedenen Kategorien unterteilt: create, edit und read (vgl. Bild 1). Dadurch wird eine Abstrahierung erreicht, um eine Adaption der Metriken an andere Systeme zu ermöglichen. createevents sind Ereignisse, bei denen Personen Objekte oder Dokumente anlegen. Personen, die Objekte erstellen besitzen die Rolle Autor. editevents sind Ereignisse, bei denen eine Person ein existierendes Objekt ändert. Unterschieden wird hier zwischen Änderungen der Metadaten (Name, Beschreibung, Tags, etc.) und der Daten, bzw. der Inhalte des Objekts selbst. Personen die Objekte bearbeiten, besitzen die Rolle Editor. readevents sind Ereignisse, bei denen Personen Objekte oder Dokumente konsumieren. Die Rolle dieser Personen heißt Leser. Bild 1: Model der Zusammenarbeit Drei grundlegende Metriken wurden aus den Kennzahlen abgeleitet: Aktivität, Produktivität und Kooperativität. Die Aktivitätsmetrik beschreibt die generelle Aktivität innerhalb eines Arbeitsbereiches, also wie viele Aktionen pro Mitglied pro Tag im Durchschnitt durchgeführt wurden. Die Produktivitätsmetrik zeigt die Anzahl der produktiven Aktivitäten, also wie viele Objekte bzw. Dokumente pro Mitglied pro Tag im Durchschnitt angelegt worden sind. Die Kooperativitätsmetrik beschreibt den Grad der Zusammenarbeit, d.h. wie viele Bearbeitungen pro Mitglied pro Tag im Durchschnitt durchgeführt worden sind.

91 Multikonferenz Wirtschaftsinformatik Die oben genannten Metriken werden üblicherweise auf einer Zeitachse dargestellt. Dynamische Betrachtungen der Arbeitsbereiche spielen gerade in Projekten eine große Rolle. Sie erlauben eine Einschätzung der Art des Arbeitsbereiche und der Gruppe von Mitarbeitern. Die Metriken können auf beliebige Zeitintervalle (Tage, Wochen, Monate, Jahre) oder auch über die ganze Projektdauer angewendet werden. Die Erfahrung hat gezeigt, dass diese Werte über die Zeit eine hohe Varianz besitzen und dadurch kürzere Intervalle zur Betrachtung sinnvoller erscheinen. Neben diesen drei grundlegenden Metriken wurden noch weitere entwickelt. Die Arbeitsteilung betrachtet die Aufteilung der Aktivitäten auf die Mitglieder und stellt die Frage: Wie viel Prozent der Aktivitäten wird von wie viel Prozent der Personen in einem Arbeitsbereich durchgeführt? Die Darstellung dieser Metrik erfolgt ebenfalls in einem Diagramm mit den Achsen Personen und Aktivitäten, jeweils in Prozent, so dass eine normierte Darstellung erreicht werden kann. Das ermöglicht den Vergleich unterschiedlicher Arbeitsbereiche Die Reaktionsfähigkeit eines Arbeitsbereichs beantwortet die Frage: Innerhalb wie vielen Tagen wurden wie viel Prozent der Dokumente mindestens einmal von einer Person (außer dem Autor selbst) betrachtet oder bearbeitet? Die Auswertung dieser Metrik zeigt einerseits wie schnell Mitglieder auf erzeugte Objekte anderer reagieren, aber auch wie viel Prozent der Objekte nie gelesen werden. Im folgenden Kapitel wenden wir die vorgestellten Metrken auf verschiedene Arbeitsbereiche an. 4 Ergebnisse und Auswertung der Kennzahlen Von zehn untersuchten Arbeitsbereichen fallen vier in die Kategorie projektbezogene Arbeitsbereiche (P) und jeweils drei in die Kategorie organisationsbezogene Arbeitsbereiche (O) und aufgabenbezogene Arbeitsbereiche (A). Insgesamt wurden knapp Ereignisse auf knapp Objekten von über 600 Personen analysiert, die in verschieden langen Zeiträumen zwischen einem halben und mehreren Jahren eingetreten sind. Tabelle 1 zeigt die Basisdaten der untersuchten Arbeitsbereiche. Die Arbeitsbereiche von P1-P3 sind mittelgroße Projekte mit mehreren Projektpartnern, wohingegen P4 deutlich ein größeres Projekt ist. Ebenso sind O1 und O2 Arbeitsbereiche kleinerer Arbeitsgruppen und O3 ist ein Arbeitsbereich eines gesamten Organisationsbereiches, der drei Arbeitsgruppen umfasst. A1-A3 sind Arbeitsbereiche, die begleitend zu einer Lehrveranstaltung entstanden sind. Tabelle 1: Basisdaten der untersuchten Arbeitsbereiche Arbeitsbereich P1 P2 P3 P4 O1 O2 O3 A1 A2 A3 Personen Objekte Ereignisse Tage

92 1726 Nils Jeners, Wolfgang Prinz Die einzelnen Arbeitsbereiche unterscheiden sich ebenfalls hinsichtlich der Art der Ereignisse (vgl. Tabelle 2 und Abbildung 1). Wie oben bereits beschrieben wurde zwischen drei Ereignisarten unterschieden (create, edit, read). Die Ergebnisse der anteiligen Ereignisarten lassen sich mit Hilfe der Art der Arbeitsbereiche leicht interpretieren. Organisationsbezogene Arbeitsbereiche werden hauptsächlich zur Dokumentation bzw. zur Archivierung von Dokumenten (Projektanträgen, Fotos von Betriebsausflügen) verwenden. Daher besitzen diese Arbeitsbereiche einen relativen hohen Anteil von create-ereignissen. Die aufgabenbezogenen Arbeitsbereiche, die hier für Lehrveranstaltungen genutzt wurden, dienen zur Verteilung von Dokumenten (Vorlesungsfolien, wissenschaftliche Artikel), die jeder Teilnehmer der Lehrveranstaltung lesen sollte. Damit besitzt diese Art von Arbeitsbereich einen sehr hohen Anteil von read-ereignissen. Die projektbezogenen Arbeitsbereiche dienen der tatsächlichen Zusammenarbeit der einzelnen Mitglieder. Hier lässt sich der hohe Anteil von edit-ereignissen beobachten. Tabelle 2: Prozentuale Anteile der Ereignisarten Arbeitsbereich P1 P2 P3 P4 O1 O2 O3 A1 A2 A3 Create 19,0 26,3 16,1 19,9 41,5 37,9 29,0 10,7 15,3 11,4 Edit 12,3 11,9 6,4 9,9 17,2 7,2 10,5 2,4 4,7 4,7 Read 68,7 61,8 77,5 70,2 41,3 54,9 60,5 86,9 80,0 83,9 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Read Edit Create P1 P2 P3 P4 O1 O2 O3 A1 A2 A3 Abbildung 1: Grafische Darstellung der prozentualen Anteile der Ereignisarten

93 Multikonferenz Wirtschaftsinformatik Abbildung 2 zeigt die tägliche Auswertung der Aktivität, Produktivität und Kooperativität. Wie oben bereits beschrieben besitzen die Werte eine hohe Varianz. Der maximale Wert beträgt hierbei auch nicht 1,0 sondern 1,5. Die Darstellung ist lediglich abgeschnitten für die bessere Lesbarkeit. Dass Phasen mit stärkerer und schwächerer Aktivität existieren ist kaum überraschend. Dass aber nur 10% - 20% der Tage, gemessen an der Gesamtlaufzeit eines Arbeitsbereiches eines Projekts, überhaupt eine Aktivität in einem Arbeitsbereich stattfindet, ist sehr wohl überraschend. 1 0,9 0,8 Aktivität Produktivität Kooperativität 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Januar 11 Februar 11 März 11 April 11 Mai 11 Juni 11 Juli 11 August 11 September 11 Oktober 11 November 11 Dezember 11 Januar 12 Februar 12 März 12 April 12 Mai 12 Juni 12 Juli 12 August 12 September 12 Oktober 12 November 12 Dezember 12 Abbildung 2: Aktivität, Produktivität und Kooperativität eines Arbeitsbereiches Die Arbeitsteilung ist über die unterschiedlichen Arbeitsbereiche relativ identisch (vgl. Abbildung 3, Abbildung 4) und lässt den Schluss zu, dass 20% der Personen für 80% der Ereignisse verantwortlich sind. So sehen die Kennlinien der projektbezogenen Arbeitsbereiche (P) und der organisationsbezogenen Arbeitsbereiche (O) untereinander relativ identisch.

94 1728 Nils Jeners, Wolfgang Prinz % Ereignisse 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 0% 50% 100% % Personen Abbildung 3: Arbeitsteilung (P) % Ereignisse 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 0% 50% 100% % Personen Abbildung 4: Arbeitsteilung (O) Bei der Betrachtung der aufgabenorientierten Arbeitsbereiche (A) fällt eine flachere Kurve auf (siehe Abbildung 5). Dies lässt sich damit erklären, dass bei einer Vorlesung auf die Erzeugung von einem Dokument des Dozenten häufig das Lesen des Dokuments von allen Studenten folgt. Die fehlende Zusammenarbeit erzeugt dadurch einen lineareren Verlauf. % Ereignisse 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 0% 50% 100% % Personen Abbildung 5: Arbeitsteilung (A) Die Reaktionsfähigkeit der projektbezogenen (P) (siehe Abbildung 6) und organisationsbezogenen (O) (siehe Abbildung 7) Arbeitsbereiche entscheidet sich nur geringfügig. In beiden Arten von Arbeitsbereichen reagieren die Mitglieder innerhalb des ersten Tages nach Erzeugung auf 30% - 45% der Objekte. Dieser Anteil kann als Austausch bezeichnet werden. Spätere Ereignisse auf diese Objekte kann man als Archivzugriffe bezeichnen, sie können auch durch ein bestimmtes Projektereignis (Review, Projekttreffen o.ä. ausgelöst werden. Allerdings gibt es dazu keine harte Grenze. Beide Arten von Arbeitsbereichen erreichen nach 30 Tagen eine Reaktion auf 50% - 75% der

95 Multikonferenz Wirtschaftsinformatik Objekte. Das bedeutet auch im Umkehrschluss, dass 25% - 50% der Objekte in dem betrachteten Zeitraum nie wieder verwendet wurden. Je höher dieser Wert ist, desto höher ist der Archivcharakter des Arbeitsbereiches. 100% 100% 90% 90% % gelesene Dokumente 80% 70% 60% 50% 40% 30% 20% 10% 0% Tage nach Erzeugung % gelesene Dokumente 80% 70% 60% 50% 40% 30% 20% 10% 0% Tage nach Erzeugung Abbildung 6: Reaktionsfähigkeit (P) Abbildung 7: Reaktionsfähigkeit (O) Die Reaktionsfähigkeit von aufgabenbezogenen Arbeitsbereichen (A) (siehe Abbildung 8) ist gegenüber den anderen Arbeitsbereichen charakteristisch. Einerseits fällt auf, dass innerhalb des ersten Tages grundsätzlich keine Reaktion erfolgt. Danach aber ein rasanter Anstieg auf bis zu 90%. Das bedeutet, der Anteil von nichtgelesenen Objekten ist knapp über 10%. Ein Grund dafür liegt vermutlich in der Tatsache, dass viele Benutzer erst durch den über Nacht verschickten Aktivitätsbericht per auf die neuen Objekte aufmerksam werden und diese dann am nächsten Tag lesen und weiter verarbeiten. % gelesene Dokumente 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Tage nach Erzeugung Abbildung 8: Reaktionsfähigkeit (A)

96 1730 Nils Jeners, Wolfgang Prinz 5 Schlussfolgerung und Ausblick Dieser Beitrag schlägt verschiedene neuen Metriken zur Analyse von gemeinsamen Arbeitsbereichen vor. Interessant ist, dass unterschiedliche Arbeitsbereiche einer Kategorie oft ähnliche Werte erzeugen, diese zwischen Kategorien jedoch abweichen. Damit lassen sich im Umkehrschluss folgende Aussagen treffen. Über die statistische Auswertung des Nutzungsverhaltens in einem Arbeitsbereich kann ein Rückschluss auf inhaltliche Nutzung getroffen werden. Damit lassen sich entsprechende Konfigurationen oder Anpassungen des Systems auslösen. Ist andererseits die Nutzungsintention eines Arbeitsbereich bekannt, so kann über den Verglich mit anderen und dem allgemeinen Durchschnitt ein Benchmarking erfolgen. Dies kann dann wiederum dazu genutzt werden, entsprechende Schulungsoder Change Management Maßnahmen einzuleiten, um die Team- und Gruppenkooperation zu verbessern. Ein weiteres interessantes Ergebnis unserer Untersuchung ist, dass auch die Nutzung gemeinsamer Arbeitsbereiche dem Paretoprinzip [3, 16] (80/20-Regel) folgt. So konnten wir feststellen, dass 20% der Nutzer 80% der Aktivitäten durchführen und auch nur an 20% der Tage eines Projektes kooperative Aktivitäten in einem Workspace stattfanden. Wir hoffen, dass diese Untersuchungen und die vorgeschlagenen Kennzahlen und Metriken zu einem besseren Verständnis für das kooperative Verhalten in gemeinsam genutzten elektronischen Arbeitsbereichen beitragen. Im nächsten Schritt werden wir die Untersuchungen auf weitere Arbeitsbereiche ausdehnen, mit dem Ziel eine breitere Datenbasis für die Ermittlung von Kennzahlen von Arbeitsbereichen zu erhalten. Anschließend können eine Klassifikation und ein Benchmarking dieser Arbeitsbereiche anhand der Kennzahlen erfolgen, mit dem Ziel Empfehlungen für Teams auf Basis der Kennzahlen zu formulieren. 6 Dank Diese Veröffentlichung entstand im Rahmen des Projekts Expedition Unternehmen Social Media im Mittelstand, gefördert durch das Bundesministerium für Wirtschaft und Technologie (BMWi). 7 Literatur [1] Appelt, W. (2001): What groupware functionality do users really use? Analysis of the usage of the BSCW system. Ninth Euromicro Workshop on Parallel and Distributed Processing, [2] Appelt, W. and Busbach, U. (1996): The BSCW system: a WWW-based application to support cooperation of distributed groups. Enabling Technologies: Infrastructure for Collaborative Enterprises, Proceedings of the 5th Workshop on, [3] Arnold, B.C. (1983): Pareto distributions. International Co-operative Publishing House. [4] Brynjolfsson, E. (1993): The productivity paradox of information technology. Communications of the ACM. 36, 12, [5] Carr, N.G. (2003): IT doesn t matter. Educause Review. 38, [6] Dix, A. (1994): Computer Supported Cooperative Work - A Framework. Design issues in CSCW. Springer-Verlag.

97 Multikonferenz Wirtschaftsinformatik [7] Drucker, P.F. (1999): Knowledge-worker productivity: The Biggest Challenge. California management review. 41, 2, [8] Duarte, D.L. (2006): Mastering virtual teams: strategies, tools, and techniques that succeed. Jossey-Bass. [9] Jeners, N., Lobunets, O. and Prinz, W. (2013): What Groupware Functionality Do Users Really Use? (A study of collaboration within digital ecosystems). 7th IEEE International Conference on Digital Ecosystems and Technologies (DEST), [10] Jeners, N., Nicolaescu, P. and Prinz, W. (2012): Analyzing Tie-Strength across Different Media. On the Move to Meaningful Internet Systems: OTM 2012 Workshops, [11] Jeners, N., Prinz, W. and Franken, S. (2013): A Meta-Model for Cooperation Systems. PRO-VE, Berlin, Heidelberg. [12] Koch, M. and Richter, A. (2009): Enterprise 2.0 Planung, Einführung und erfolgreicher Einsatz von Social-Software in Unternehmen. Oldenbourg. [13] Muller, M. (2012): Lurking as personal trait or situational disposition. Computer Supported Cooperative Work, 253. [14] Muller, M., Shami, N.S., Millen, D.R. and Feinberg, J. (2010): We are all lurkers: consuming behaviors among authors and readers in an enterprise file-sharing service. Computer Supported Cooperative Work 2010 Workshop on Collective Intelligence, 201. [15] Nasirifard, P., Peristeras, V., Hayes, C. and Decker, S. (2009): Extracting and utilizing social networks from log files of shared workspaces. Leveraging Knowledge for Innovation in Collaborative Networks. Springer [16] Newman, M. (2005): Power laws, Pareto distributions and Zipf s law. Contemporary Physics. 46, 5 (Sep. 2005), [17] O Brien, G. (1968): The measurement of cooperation. Organizational Behavior and Human Performance. 3, 4 (1968), [18] Preißler, P.R. (2008): Betriebswirtschaftliche Kennzahlen: Formeln, Aussagekraft, Sollwerte, Ermittlungsintervalle. Oldenbourg Verlag. [19] Prinz, W., Loh, H., Pallot, M., Schaffers, H., Skarmeta, A. and Decker, S. (2006): ECOSPACE - Towards an Integrated Collaboration Space for eprofessionals. Collaborative Computing: Networking, Applications and Worksharing, 1 7. [20] Reinhardt, W., Schmidt, B., Sloep, P. and Drachsler, H. (2011): Knowledge Worker Roles and Actions-Results of Two Empirical Studies. Knowledge and Process Management. 18, 3, [21] Snell, J., Atkins, M., Norris, W., Messina, C., Wilkinson, M. and Dolin, R. (2011): JSON Activity Streams 1.0. [22] Wasserman, S. and Faust, K. (1994): Social network analysis: methods and applications. Cambridge University Press.

98 User Collaboration for Idea Elaboration Philipp Kipp Universität Kassel, Fachgebiet Wirtschaftsinformatik, Kassel, Eva Alice Christiane Bittner Universität Kassel, Fachgebiet Wirtschaftsinformatik, Kassel, Ulrich Bretschneider Universität Kassel, Fachgebiet Wirtschaftsinformatik, Kassel, Jan Marco Leimeister Universität Kassel, Fachgebiet Wirtschaftsinformatik, Kassel, Abstract Web-based innovation platforms (WBIP) are common tools for the integration of customers and other external stakeholders into the product and service innovation processes of companies. WBIP of many large companies are very successful in generating many ideas. This leads to WBIP operators drowning in lots of possibly creative and high potential ideas, which are difficult to screen. Therefore, this paper suggests a collaboration process allowing customers to participate collaboratively in the elaboration of self-selected ideas. The collaboration process was being developed following the collaboration process design approach and was designed to be adaptable into WBIP. The contribution of this paper is a novel approach to collaborative user integration into the idea elaboration process.

99 Multikonferenz Wirtschaftsinformatik Introduction In recent years, many companies have started integrating their customers into product and service development processes to gain better insight information of the consumers. This phenomenon is commonly described as Open Innovation, a term coined by Henry Chesbrough [5] for opening innovation processes of a company to external stakeholders. While Open Innovation covers the whole innovation process of a company, especially the integration of customers into the early stages of product or service innovation has caught a lot of attention in theory and practice [2], [7], [11], [15]. The trend to open up different aspects of the value chain combined with the rise of the Internet as a simple way to communicate with a broad auditorium allows new forms of customer integration. Without current technology, customer integration has only been possible by interviewing small samples of lead users [15] or conducting large standardized surveys. Web-based innovation platforms (WBIP) for implementing Virtual Idea Communities or online Idea Competitions now allow all customers to share their insights, opinions and ideas regarding a product with the manufacturer or other customers [9]. Popular WBIP such as Dell Ideastorm 1, Innocentive 2 or My Starbucks Idea 3 and many other platforms were developed by companies trying to get their customers to generate many innovative ideas. Ideas generated on these WBIP can include new products or services, product or service improvements, marketing campaigns or distribution channels. WBIP summon customers who are mostly intrinsically motivated to contribute to the development of the products [8], [12], [14]. In order to enable the companies to identify high quality ideas worth beeing implemented, the approach suggested in this paper is a collaborative idea elaboration process. In this process, the community of WBIP members selects promising ideas and collaboratively elaborates these ideas by contributing their own point of view on the underlying problem description of the ideas and possible new approaches to implement these ideas. The result of the process is a richer, more elaborated description of the idea, which has been chosen to be promising by the community. The elaborated problem description is depicting the ideas relevance to the community and is able to serve as a basis to decide, if the idea is worth pursuing and the elaborated solution description can give an improved starting point for internal feasibility analysis. This paper details the development of a web-based collaborative idea elaboration process that can be adapted to different kinds of WBIP. It aims to develop a structured tool-supported process to enable collaborative elaboration of ideas by participants on a WBIP. The goal of the process is to enhance an initial idea into the description of a relevant problem and a feasible detailed description of a possible solution of this problem. In this paper, we show the development of the collaboration process design based on the Collaboration Process Design Approach and a pilot implementation of the process. The research questions answered in this paper are the following: How can a repeatable collaboration process improve the idea elaboration in WBIP? What is a possible technical implementation of the developed process? To which extend does the collaborative idea elaboration process increase idea quality? The paper will be structured as follows: Section 2 describes the process of designing the collaborative idea elaboration process. It explains how the collaboration process design approach (CoPDA) [10] is used for the development of the process and how the consensual assessment technique [1] is used for

100 1734 Philipp Kipp, Eva Bittner, Ulrich Bretschneider, Jan Marco Leimeister the evaluation of the ideas resulting from the process. Chapter 3 displays the results of the proof of concept. Part 4 explains the limitations of this paper and section 5 summarizes the findings of this paper and points out the practical and theoretical contribution. 2 Development based on the collaboration process design approach In this section, the process of how to design an innovative collaborative idea elaboration process will be shown. This paper adheres to design science research guidelines, which aim to develop solutions to organizational and business problems through designing and evaluating novel artefacts. To achieve this, design research focuses on the creation of innovative and purposeful artefacts for a specified problem domain. Such artefacts include new constructs or prototypes, and new methods for their development. In the case of this paper, the artefact to be designed is a collaborative idea evaluation process. Following the design science guidelines by Peffers et al.[13], we will first elaborate the specific requirements for the success of the process, before the steps of the process will be detailed. The complete process was evaluated in three proof of concept workshops with 6 participants each focusing on the elaboration of one idea per experiment. In order to develop the collaboration process, we choose collaboration engineering methodology, as it aims at designing collaborative work practices for high-value recurring tasks, and deploying those designs for practitioners to execute for themselves without ongoing support from professional facilitators [6]. Kolfschoten and de Vreede [10] provide a systematic five step approach for the design of the collaboration process. Figure 1 displays the collaboration process design approach, which we follow in our research. The first step encompasses the analysis of the involved task, group, and stakeholders. It results in a definition of the group goal and requirements for the collaboration process. In the second step, the group task is decomposed into a set of activities that should be executed to reach the group goal. The third step aims at selecting collaboration process design patterns (thinklets) for each of the activities. ThinkLets are used to ensure systematic repeatability without ongoing professional facilitation. The thinklet sequence is further developed into a detailed agenda in step four to specify the script, tool support, and scheduling of all activities. The final design of the process is validated against the desired results in order to identify the necessary adaption.

101 Multikonferenz Wirtschaftsinformatik Fig. 1. The collaboration process design approach [10] 2.1 Task diagnosis According to Kolfschoten and De Vreede the task diagnosis [10] is the necessary step to understand the environment as well as the goals of the collaboration process. The task diagnosis step takes a closer look at the collaboration tasks, the goals it should achieve as well as the deliverables of the process. The central goal of the collaborative idea elaboration process is the elaboration and improvement of an existing initial idea. This includes an assessment of the initial idea by the participants in the collaboration process as well as an augmentation of the idea by each user s comments and contributions. In order to be able to utilize every contribution of the participants, the completely elaborated idea is not the only deliverable developed in the process. Other deliverables are the comments contributed by each user to the definition of the idea s problem, the suggested solution as well as each user s evaluation of these comments. The combination of the comments and their evaluations result in a list of contributions that can be sorted and analyzed by the ratings of all participants. The final elaborated idea should show a level of detail that allows organizations an easy assessment of the value and feasibility of the idea. Therefore, the problem description needs to point out the underlying problem from different perspectives and including a list of possible stakeholders. For the suggested solution, this means that it should include suggestions for possible idol projects (Who did something similar before?) or ideas of external service providers who could support the implementation of the idea. Ideally, the suggested solution already includes an estimate for the expected implementation cost or schedule. A jury of experts in the idea s domain evaluates the quality of the resulting idea. A suitable method for the evaluation of ideas or other creative artifacts is the consensual assessment technique [1]. This multidimensional evaluation technique will allow an expert jury the distinct evaluation of the novelty, feasibility, simplicity, elaboration, and expected popularity of the idea. The jury s evaluation is the benchmark for the quality of the resulting elaborated idea.

102 1736 Philipp Kipp, Eva Bittner, Ulrich Bretschneider, Jan Marco Leimeister After the ideas have been generated and rated positively, they are introduced into an organization internal decision making and implementation process. The design and implementation of these processes is not within the scope of this thesis. Another important goal of the collaboration process can be referred as an experience goal. The toll-supported collaborative idea elaboration process should show the users the acknowledgement for their contribution to the elaboration of an idea rather than just recording and processing their input. This is due to the fact that the process will be repeated in many instances, which rely on the same user base the users of the web-based ideation platform. By providing a positive reinforcement to participate in the collaboration process, users are more likely to come back and contribute their insights to the elaboration of the next idea. 2.2 Activity decomposition This step of the collaboration process design approach divides the process into smaller steps with clearly defined goals and results. This step is necessary to enable the collaboration engineer to select the appropriate tools and thinklets for each activity. Figure 2 shows the sequence of necessary actions to achieve the collaboration goal of understandable and well elaborated ideas. The top of each block indicates the title of the activity. The figure also includes the respective layer of collaboration for each activity. The task presentation is supposed to inform the participants of the structure and the overall goal of the following collaboration process. This task results in the understanding and awareness of the participants regarding the following process steps. In the second task problem extraction, the participants have their first contact with the idea. The participants are supposed to read the initial idea and identify the parts that directly correspond to the underlying problem the idea is trying to solve. The goal of this activity is the categorization of the idea and the identification of the essential problem. The results are the parts of the initial idea s text corresponding to the basic issue. The next activity is problem elaboration. In this task, the collaborative goal is the generation of a problem description covering different aspects of the original problem. This activity creates a clear understanding of the problem that the group is going to solve during the collaboration process. The result is a textual description of different aspects of the problem.

103 Multikonferenz Wirtschaftsinformatik A1 Task Presentation clarify Process leader briefly introduces the group to the task, participants read initial idea description A2 Idea selection A6 Solution Extraction Reduce/build consensus Participants select an idea to elaborate Reduce/ organize Participants read initial idea description and extract/highlight fragments that refer to the solution A3 Problem extraction A7 Solution elaboration Reduce/organize Participants read initial idea description and extract/highlight fragments that refer to the problem, the idea aims to solve generate Participants contribute further desciptions, visualizations and explanations to the solution A4 generate/clarify Problem elaboration Participants dicuss if the problem description fragments match the real problem or what the actual problem is. A8 Reduce/build consensus Solution concretion Participants prepare a joint description of the suggested solution. A5 Problem concretion Reduce/build consensus Participants prepare a joint short problem description Fig. 2. The collaborative idea elaboration process In the problem concretion activity, the participant will reduce the description of the problem to the most important aspects. This achieves two important goals: The participants are forced to build consensus regarding the important aspects of the problem, and the idea is reduced and rewritten in a readable form that helps to convince others of the relevance of the problem. The activities solution extraction, solution elaboration, and solution concretion are following the same structure as the three foregoing activities but they are elaborating on a solution of the previously identified and agreed upon solution.

104 1738 Philipp Kipp, Eva Bittner, Ulrich Bretschneider, Jan Marco Leimeister 2.3 Task thinklet choice Based on the activity decomposition, there is a thinklet assigned to each activity. A thinklet is a predefined pattern of collaboration designed to achieve a defined goal. The selected thinklets can be found in Table 1. The thinklet selection is based on ThinkLets - Building Blocks for Concerted Collaboration by Briggs and de Vreede [3]. Table 1. Collaborative actions and the corresponding layers of collaboration and thinklets Action No. Action Title Layer(s) of collaboration ThinkLet 1 Task presentation Clarify - 2 Idea selection Reduce/Build consensus MultiCriteria 3 Problem extraction Reduce/Organize Popcornsort 4 Problem elaboration Generate/clarify OnePage 5 Problem concretion Reduce/Build consensus OnePage 6 Solution extraction Reduce/Organize Popcornsort 7 Solution elaboration Generate OnePage 8 Solution concretion Reduce/Build consensus OnePage Not every task could exactly be matched by the thinklets defined by Briggs and de Vreede [3]. This made it necessary to make some changes to the original thinklet definitions with respect to the environment of the collaboration process. A tasks is a presentation and no collaborative work that would be covered by a thinklet. The first thinklet used in the process was a MultiCriteria voting to support the participants in selecting the idea their group will elaborate. The criteria are defined as originality, feasibility, and relevance. The scale for each criterion is a five point Likert scale. The results for each criterion were added to identify the most popular idea for the group. The idea elaboration process consists of two phases with each three very similar actions. Both phases use the same thinklets for their activities. The first step in each phase is the extraction of the solution/problem using a modified version of the Popcornsort thinklet. The modification we made was that the participants should assign a part of the original idea of the problem/solution (depending on the action) or leave it in the primary way. There were no alternative buckets given to them. For the two actions problem elaboration and concretion, the same OnePage thinklet page is used. 2.4 Agenda building Based on the selected thinklets, the detailed agenda for the evaluation was created. The agenda is supposed to give an exact structure to the process and provide guidance. In addition to the thinklet choice, it defines the usage of the group support system as well as what is communicated to the participants. The group support system used for the implementation of this process is ThinkTank. The software offers support for all thinklets defined in the previous section. In order to motivate the participants to develop creative ideas and think in different ways, the agenda includes guiding questions for the problem and solution elaboration actions. The questions for the problem elaboration are designed to support participants arguments for the relevance of the problem.

105 Multikonferenz Wirtschaftsinformatik The guiding questions for the solution elaboration try to support the participants to define a concrete use of the solution and possible external support for the implementation. 2.5 Design validation In order to evaluate the collaboration process, we conducted a proof of concept implementing the process described previously. The goals were: Testing whether the collaborative elaboration increases idea quality, to measure participant satisfaction with the collaboration process, and to monitor participant behavior during the process evaluation workshops. Since the ideas to be elaborated were about measures to improve teaching, learning or living at the university, students were selected to participate. In each of the three workshops, there were 5 voluntary student participants from different fields. Among the participants there were majors in economics, engineering, art and computer sciences Prior to the workshops, all participants were asked to point out an idea to improve the mentioned fields without giving them a clear indication what the target of the evaluation workshops would be. This procedure was supposed to create starting ideas for the collaboration process - structurally similar to ideas found on WBIP. Every participant got access to every idea the members brought to the workshop and could select one of the ideas for further elaboration. Further details of the process evaluations workshops is given in section 3 of this paper. 2.6 Software implementation After this pretest of the process, the collaboration process was integrated into a WBIP. The implemented prototype is based on the CMS System Drupal 6 and was implemented as an independent module that can easily be integrated into any other Drupal based WBIP. This allows a broad evaluation of the tool in lab experiments and field test with different groups of participants. The results of these evaluations and experiments serve as a base for future revisions of the tool. In order to represent the described process as a software artifact, we implemented a collection of features to fit the needs of the different process steps. The process steps for the identification and definition of the problem and the solution of the idea (A1 and A3) have been implemented as a brainstorming. Every user of the WBIP platform can participate in this activity without restrictions of time and place. In these brainstormings the participants are asked to contribute aspects of the problem they deem to be important. These can be short problem aspects from the original description of the initial idea or aspects the original idea did not include so far in the original problem/solution description but seems to be important to the brainstorm participant. Thus, the original idea description is augmented by the creativity, needs, and perception of the collaboration process participants. In order to obtain a sense of relevance for each of the brainstorming contributions, the participants can vote on each contribution. This gives the participants the opportunity to evaluate the collaboratively collected problem or solution aspects and to use this evaluation in the following process steps. Both process activities A2 and A4 follow the brainstorming activities and give the participants the chance to vote on all brainstorming contributions, but remove the functionality to contribute new problem or solution aspects. By adding these activities to the process, all contributions could be evaluated with enough time before the process proceeds to the final activities. The process steps of problem and solution concretion (A5 and A6) are realized based on the collaborative word processor Etherpad Lite 4. This tool is embedded into the WBIP and allows the participants to write a conclusive text respectively for the problem and the solution description. Possible editing conflicts are avoided by enabling the 4

106 1740 Philipp Kipp, Eva Bittner, Ulrich Bretschneider, Jan Marco Leimeister participants to simultaneously write in the text fields. The writing progress is constantly tracked to make every stage of the text development transparent for the researchers. Each of the process activities strongly relies on the outputs of the preceding process steps. To ensure this, it is always possible for each participant to see all results of the completed and ongoing process activities. 3 Process evaluation workshops This paper develops a collaborative idea elaboration process. A good evaluation is crucial in order to validate the process and to guide future research. The evaluation of the process was carried out in three evaluation workshops with groups of German university students. Each group consisted of five students from different majors (economics, engineering, art and computer sciences) The collaborative idea elaboration process was set up in a local network on the group support system ThinkTank. In order to control any external influences, all participants were invited to the laboratory. This allowed the researchers to keep the communication of the participants closer to the environment than one would find on a WBIP. The group support system allows to follow the exact progress of the ideas made in the collaborative elaboration. There are several different kinds of results from the proof of concept: The first is the observation of the researchers during the workshops. This is a very important source for future revisions of the collaboration process. The researchers observe at which process points the participants use verbal discussions or other means of communication a tool-based process implementation on a website should support. Additionally a survey based on Brigg s General Meeting Assessment Survey [4] is conducted among the participants to measure their satisfaction with the collaboration process. The most important results are the original as well as the collaboratively elaborated ideas. The quality of the original ideas are compared with the elaborated ones in an expert rating using Amabile s consensual assessment technique [1]. This gives insight into the extent to which the collaborative idea elaboration process improves idea quality. 3.1 Observation results The participants followed the steps according to the collaboration process design. The steps problem extraction and problem concretion worked exactly according to the planned process. The participants copied the relevant parts of the original ideas and agreed on their improvements by using the adding and editing functionalities of the group support system. In the following steps of extracting and concreting the possible solutions, the participants very often used communication outside of the textbased group support system. Most of them used direct face-to-face discussions during the solution concretion phase. One group even used a whiteboard to visualize relationships among concepts and to develop a shared understanding of the problem solution. This shows us that just a text based collaboration is inconvenient for high creativity tasks. Future revisions of the process, as well as the tools used for the process implementation, need to support additional ways of communication, such as direct chat, separate discussions or graphic display of ideas, to support shared understanding among the participants. The evolution of the ideas shows the contribution a collaborative effort can make. While the problems of the initial ideas were mostly adopted, new ideas for possible solutions were found in the process. While not all of the resulting ideas could be implemented easily, well elaborated ideas can help to sell the idea to people and make them aware of how they could profit from the implementation. This

107 Multikonferenz Wirtschaftsinformatik shows that the structured collaborative process not only enables the participants to combine their knowledge and ideas, but also create new value by building on the ideas of others. This is an important hint towards structured collaboration as a tool for successful elaboration of simple ideas. 3.2 Participant satisfaction Additionally the participants were asked to fill out a general meeting assessment survey as suggested by Briggs et al. [4]. The survey tested the process and result satisfaction of the participants on a set of items measured on a 7 step Likert scale with seven being the highest value. The results of the onesample t-test against the neutral value 4 show a tendency towards a satisfactory perception of the collaboration process and result quality. At an average, process satisfaction was rated 4.52 (n.s.) and result satisfaction 4.63 (p<0.05). These values can be seen as a positive feedback and will serve as a benchmark for the evaluation of future revisions of the process. 3.3 Idea quality evolution In the proof of concept, three ideas were collaboratively elaborated upon using the process described above. This section elaborates on the influence of collaborative elaboration on the quality of ideas. In order to do so, we used the consensual assessment technique by Amabile [1]. It uses multidimensional expert ratings to assess the quality of ideas. In this case, we surveyed a jury of five university employees with at least three years of job experience. This ensures that the jury members are capable of evaluating improvement ideas. The evaluation survey assessed five distinct items to evaluate different dimensions of idea quality. The items included in the survey were originality; feasibility; benevolence; simplicity, and completeness. Each item was operationalized by one claim. The jury members were asked to express their agreement on each claim on a 5-step Likert scale. They did not know which of the ideas were initial or elaborated and evaluated the ideas in random order. The original claims were in German, given here with the corresponding translations: Item 1 (Originality):This idea is a new approach to assess its underlying problem for the university. Item 2 (Feasibility): This idea is easily feasible for the university. Item 3 (Benevolence): This idea has the potential for benevolence among the students of the university. Item 4 (Simplicity): This idea solves its underlying problem in a simple way. Item 5 (Completeness): This idea is complete and well elaborated upon. Every item rating was valued with a score from 1 (lowest) to 5 (highest). The first result of the expert rating is that the overall rating of each idea improved in the course of the collaboration process. Table 2 shows the overall scores for the initial, as well as the elaborated, ideas.

108 1742 Philipp Kipp, Eva Bittner, Ulrich Bretschneider, Jan Marco Leimeister Table 2. Idea evaluation results 11 Initial Elaborated Originality Feasibility Benevolence Simplicity Completeness Total Originality Feasibility Benevolence Simplicity Completeness Total (+2) 12 (-3) 21 (+2) 16 (+2) 13 (+5) 77 (+8) (+4) 14 (+0) 24 (-1) 21 (-1) 19 (+6) 96 (+8) (+3) 9 (-2) 17 (+4) 11 (-4) 11 (+2) 64 (+3) Another important finding from the expert rating was that the improvements rates were not equally distributed among the items. The advancements for completeness and originality are very high; the improvements on feasibility and simplicity are instead negative, i.e., the elaborated ideas are rated worse for both items than the initial ideas. The successful improvements of the items originality and completeness coincide with the goals of the collaborative approach: To create a better elaborated version of the ideas using the creativity and originality of multiple participants. The decline of the ratings for feasibility and simplicity can be explained by the higher complexity of the elaborated ideas. As multiple people collaborate and contribute their insights to the idea, more aspects are included into the solution. Therefore, the idea becomes more complex (negative simplicity) and more difficult to implement (negative feasibility). 4 Limitations This section summarizes the threats to the validity of the work. The internal validity of the evaluation could be threatened by the fact that we analyzed the resulting ideas but not the communication of the participants. The participants operated the process in the presence of the observer though without recording of the oral communication. The participants were encouraged to write down their questions and issues through the use of the group support system. Although we did not prevent oral communication in the evaluation, this is a limitation of this study. Regarding external validity, the major concern is the generalizability of the results. Indeed the idea elaboration process was operationalized only three times with university students. We tried to limit this effect by selecting a topic in which students can be considered as experts and therefore suitable for the collaborative work. Due to the diversity of ideas and idea communities, we cannot claim that the results are representative for all idea communities. Further, the involved participants could have had an effect on the idea elaboration. This study is a first step to analyze the collaborative idea elaboration process. To strengthen the results, other ideas with other participants should be analyzed.

109 Multikonferenz Wirtschaftsinformatik Discussion and conclusion The collaboration process developed in this paper is an important step for successful collaborative idea elaboration on WBIP. The process was developed and evaluated following well established methodology of the field of Collaboration Engineering, especially the collaboration design approach by Kolfschoten and de Vreede, which was transformed to the presented needs. The article shows first results with a prototypal evaluation with students. Collaboration Engineering and the collaboration process design approach provided the methodology for the development of collaborative processes. We used this body of knowledge to develop and pilot our collaborative idea elaboration process. The process is based on the separate identification and elaboration of the idea s underlying problem and its suggested solution by a group of idea stakeholders with knowledge in the idea s basic topic. The evaluation by a jury of experts suggests that the overall quality of the idea improves during the collaboration process. The analysis shows an increase in quality, especially for the items elaboration and originality. The contribution of this paper can be divided into theoretical and practical aspects. The theoretical aspect is the combination of different approaches from Information Systems, Collaboration Engineering and Innovation Management. Combining these three fields enables an increase in idea quality and therefore strengthens the Open Innovation approach. On the other hand, the practical perspective describes a step towards the implementation of collaboration tools on WBIP, so that platform providers could foster collaboration as well as an increase of idea quality on their platforms. In summary, you can say that the results are based only on a small sample of ideas and few expert ratings, but they do indicate an improvement in the overall idea quality and especially in the elaboration and originality items. This shows that the collaborative idea elaboration process is a promising approach to improve idea quality. Besides, the results also demonstrate that the ideas generated in our collaboration process tend to become much more complex than the initial ideas. In future revisions of the process, one focus point will be to reduce complexity in the elaborated versions of the ideas. This paper lays the foundation for our future research in user collaboration for WBIP. Future work will focus on improving the process and implementing it on an innovation community site at our university. Additionally, there will be user workshops focusing on the effectiveness of the tool implementation and on ways to motivate the users for the collaboration process.

110 1744 Philipp Kipp, Eva Bittner, Ulrich Bretschneider, Jan Marco Leimeister 6 References [1] Amabile, T.M. (1982): Social psychology of creativity: A consensual assessment technique. Journal of Personality and Social Psychology - PSP 43, [2] Blohm, I., Bretschneider, U., Leimeister, J.M., Krcmar, H. (2011): Does collaboration among participants lead to better ideas in IT-based idea competitions - An empirical investigation. International Journal of Networking and Virtual Organizations [3] Briggs, R.O., de Vreede, G.-J. (2009): ThinkLets - Building Blocks for Concerted Collaboration, Omaha [4] Briggs, R.O., de Vreede, G.-J., Reinig, B.A. (Year): A Theory and Measurement of Meeting Satisfaction. In: Conference A Theory and Measurement of Meeting Satisfaction. IEEE Computer Society Press, [5] Chesbrough, H.W. (2003): The Era of Open Innovation. MIT Sloan Management Review 44, [6] De Vreede, G.-J., Briggs, R.O. (2005): Collaboration Engineering: Designing Repeatable Processes for High-Value Collaborative Tasks. 38th Hawaii International Conference on System Sciences, [7] Di Gangi, P.M., Wasko, M. (2009): Steal my idea! Organizational adoption of user innovations from a user innovation community: A case study of Dell IdeaStorm. Decision Support Systems 48, [8] Janzik, L., Herstatt, C. (2008): Innovation Communities: Motivation and Incentives for Community Members to contribute. IEEE International Conference on Management of Innovation and Technology (ICMIT), Bangkok [9] Kipp, P., Wieck, E., Bretschneider, U., Leimeister, J.M. (2013): 12 Years of GENEX Framework: What did Practice Learn from Science in Terms of Web-Based Ideation? 11. Internationale Tagung Wirtschaftsinformatik, Leipzig [10] Kolfschoten, G., De Vreede, G.-J. (2009): A Design Approach for Collaboration Processes: A Multi-Method Design Science Study in Collaboration Engineering. Journal of Management Information Systems 26, [11] Leimeister, J.M., Huber, M., Bretschneider, U., Krcmar, H. (2009): Leveraging Crowdsourcing: Activation-Supporting Components for IT-Based Ideas Competition. Journal of Management Information Systems 26, [12] Moore, T.D., Serva, M.A. (Year): Understanding Member Motivation for Contributing to Different Types of Virtual Communities: A Proposed Framework. In: Conference Understanding Member Motivation for Contributing to Different Types of Virtual Communities: A Proposed Framework. [13] Peffers, K., Tuunanen, T., Rothenberger, M.A., Chatterjee, S. (2007): A Design Science Research methodology for Information Systems Research. Journal of Management Information Systems 24, [14] Reichwald, R., Piller, F. (2009): Interaktive Wertschöpfung - Open Innovation, Individualisierung und neue Formen der Arbeitsteilung. Gabler, Wiesbaden

111 Multikonferenz Wirtschaftsinformatik [15] von Hippel, E. (2005): Democratizing Innovation. The MIT Press, Cambridge, MA

112 On the State of the Art in Simulation of Collective Intelligence A Literature Review Alexander Kornrumpf FernUniversität Hagen, Lehrstuhl für Informationsmanagement, Hagen, alexander.kornrumpf@fernuni-hagen.de Ulrike Baumöl FernUniversität Hagen, Lehrstuhl für Informationsmanagement, Hagen, ulrike.baumoel@fernuni-hagen.de Abstract Collective Intelligence (CI) has proven to be an active research topic, with popular subtopics such as open innovation and crowdsourcing. Even so, the simulation of CI is still an emerging field. Through a literature review we show that simulated CI has produced valuable insights and has the potential to do so in the future. Even though there are many competing lines of research and research tools, our findings indicate a conceptual convergence on agents and their individual payoffs as well as relationships and distribution of resources among these agents. Together with the agent s activities these concepts make for a consistent overall picture that can be used to inform theory and design of CI and CI systems.

113 Multikonferenz Wirtschaftsinformatik Introduction Collective Intelligence (CI) refers to the phenomenon that groups of heterogeneous individuals may collectively address challenges, often imposed on them by the environment, in an apparently intelligent way [36]. In the wake of the web 2.0, CI increasingly has become to mean more specifically the participation of customers and users in business processes that traditionally were internal [25, 36]. Crowdsourcing [24] and Open Innovation [12] are popular examples of how companies leverage CI for the creation of value [25, 36]. Earlier literature reviews have proven CI to be the topic of active and ongoing research but also a topic where little conceptual convergence has been reached so far [46, 15]. This implies that a literature review on CI will include work that does not share a single understanding of what CI actually is. Nevertheless, these earlier reviews show some consensus on high-level concepts. Cremona and Ravarini [15] regard research on CI and social computing (SC) as two ways to investigate the same topic, where CI refers to the conceptual aspect of a new form of human collaboration, often over long distances and at large scale, whereas SC refers to the applications that harness and enable CI They identify applications in knowledge sharing, collaboration, communication, data mining, and team learning and coordination [15]. Salminen takes a different approach and argues that research on CI can be organized along the lines of emergence and a micro-macro dichotomy. This refers to the idea that individuals pursue relatively simple tasks on a micro-level but that from this a greater level of intelligence on a macro-level emerges through non-linear effects [46]. Recent work suggests changing the perspective in CI research from analysing existing and potential applications of CI and SC to designing CI systems (CIS), i.e. the human-computer systems that enable these applications in practice. It can be shown that CIS design is complex and therefore expensive and hard to tackle with analytical methods. This makes simulation a viable tool to support the process of creating and evaluating new CIS designs before implementing them in practice [31]. Against this background, in the present paper we conduct a literature review that narrows down the focus from the entire field of CI, as considered in previous reviews, to the simulation of CI. We make three critical assumptions. First, that in the subfield of simulation of CI there probably is a higher convergence on specific concepts than in the field as a whole. Second, that such concepts, which have been derived for the simulation of CI and related phenomena for research purposes, can be adapted to simulation for design purposes. Third, that, since simulation aims to be a model of reality, such concepts in fact mirror concepts present in real CI thereby generating insight about CI in general. We find the latter two assumptions to be very well in agreement with design science guidelines [22]. As it is the case with most literature reviews, and suggested e.g. in [5] and [37], we seek to capture and structure the existing body of knowledge, point out gaps in previous research and identify common research methodology. We frame these goals in two questions: 1) What concepts are commonly considered when simulating CI? 2) What indicators for the degree of convergence on these concepts can be found? We organise out paper following a conservative outline. We first introduce our methodology, then report neutrally on the results and finally discuss them drawing conclusions about the above questions.

114 1748 Alexander Kornrumpf, Ulrike Baumöl 2 Methodology 2.1 Scope We follow the recommendation of vom Brocke et al. [66] to define the scope of our review with respect to the taxonomy introduced by Cooper [14]. The focus of our review within this taxonomy is on theories and research methods with the understanding that a given simulation reflects a theory about the simulated domain and that simulation in and of itself is a research method. Since we aim to look at the big picture we will not consider outcomes or applications specific to the reported research. Our goal is the integration of concepts, where a sufficient convergence has been reached, but also, to a much lesser extent, to point out where divergence of concepts and methods still poses an issue. Consequently the organisation of our review is conceptual rather than historical or methodological. The perspective we choose is neutral and we write for a general academic audience. Searching for literature is an iterative process with no definite end-point [37]. Claiming exhaustiveness is practically impossible nowadays, given e.g. the fact that a simple, unrestricted google scholar query for collective intelligence simulation returns more than results. Nevertheless, we feel that our approach is best described as exhaustive with selective citations. We have obtained a set of sources using a methodologically sound process and we will make this process transparent within the course of this paper. Since we have chosen a subfield of an emerging topic, the set of sources was manageable and we were able to consider the entire set when writing our review. From this set we cite only some work which we consider to best represent the concepts identified in the entire set. This is clearly different to a representative approach where the decision to exclude sources is made earlier in the process. Table 1 summarises how this review is positioned within Cooper s taxonomy. Table 1: Positioning of this paper within the taxonomy of literature reviews adapted from [14]. Focus Research Outcomes Research Methods Theories Applications Goal Integration Criticism Central Issues Perspective Neutral Representation Espousal of Position Coverage Exhaustive Exhaustive with Selective Citation Representative Central or Pivotal Organisation Historical Conceptual Methodological Audience Specialised Scholars General Scholars Practitioners General Public 2.2 Dimensions of Analysis We choose a conceptual organisation for our review and follow the advice of vom Brocke et al. [66] and Torraco [63] by providing some working definitions and a conceptual structure in advance. As it becomes clear implicitly from earlier reviews [46, 15] and explicitly from reflection [32], CI as an emergent field has yet to settle on definitions and theories. We do not want to exclude interesting streams of research prematurely and therefore rely on a very general definition of CI by Aulinger [4]: 1. A group has the capability to overcome challenges through shared or individual processing of information. and: 2. This capability allows the group to come to results superior to the results that could have been reached by conventional methods or by one member of the group alone.

115 Multikonferenz Wirtschaftsinformatik A very similar definition, although phrased differently is used in an earlier review of CI and SC literature [15]. According to this definition, it is a hallmark of CI that the collective or group solves a problem. Depending on context, collective may refer to animals, humans or even robots [32, 53]. In the case of interest for this paper the collective is actually simulated rather than real. In addition, we want only to consider such cases in-depth where the collective is human. This is because our ultimate interest lies in the design of CIS, which we are defined as human-computer systems that enable CI [28]. To verify this conception we investigate for each source which is the problem solving entity and which is the simulated entity. Only if the two match and are human the case reported in the respective paper is one of simulated human CI (SHCI). Simulation is a research method in and of itself [68]. To produce results beyond this point, our investigation into research methods within the topic of simulation of CI must be finer grained. Therefore, for each case of SHCI we analyse which role simulation takes within the reported research and which established research tools and frameworks, if any, have been used. We ask open-endedly which concepts are simulated in detail and do not want to influence the result by prescribing a theory about this beforehand. Nevertheless, we believe that the notion of emergence and a micro-macro dichotomy as identified in many works by an earlier review [46] and also indicated in point (2) of above definition of CI form central theoretical concepts for the field of CI which we therefore include in a separate dimension of analysis. 2.3 Search Process Several authors recommend pursuing three search methods: keyword search, backward search and forward search [67, 37, 66]. However there is some disagreement on the value of scholarly databases within this process. While Webster and Watson [67] tend to encourage using such databases, Levy and Ellis [37] warn that using publisher specific databases might lead to limited results and that keyword search in general suffers from buzzwords changing over time. Vom Brocke et al. [66] take an intermediate stand and advise to use databases that are known to index high-ranking peer reviewed journals. To address this, we chose to conduct our search in two publisher independent databases, namely EBSCO-Host and the Thomson Reuters Web of Knowledge which are known to index subsets of important publisher databases such as ScienceDirect, IEEExplore, and Springerlink. Especially EBSCO also has a reputation for indexing the highest-ranking journals. To cope for the risk of changing buzzwords we did not only search for collective intelligence but also for open innovation [12] and crowdsourcing [24]. Our impression is that the latter two have created by far the greatest buzz of the CI related terms. This impression is also confirmed by the number of hits for the respective terms in a simple google search. We have not included swarm intelligence because an earlier review found that only 2% of the results for that keyword discuss humans [46]. Even so we found that quite a number of results dealt with topics related to not to SHCI. We blacklisted some terms from the fields of swarm inspired optimisation algorithms and swarm robotics but not the terms swarm and robotics themselves which would have been too restrictive. We monitored the impact of blacklisting on the search results to ensure that no important sources were ignored. Ultimately we think that excluding keywords is far more transparent than arbitrarily pruning search results after the event. This is in to compliance with the demand of vom Brocke et al. that the process of excluding sources has to be made as transparent as possible [66]. The final search query is given by:

116 1750 Alexander Kornrumpf, Ulrike Baumöl ("collective intelligence" OR crowdsourcing OR "open innovation") AND (simulation) NOT ("ant colony optimization" OR particle OR "swarm optimization" OR routing OR scheduling OR manipulator OR mobile OR thermal) We include both journal and conference papers but limited results to work published since This year stands out because it was the year when Howe coined the term crowdsourcing [24]. It also roughly corresponds to a shift in terminology which is hard to pinpoint exactly. We illustrate this only by example. As late as 2001, Bonabeau and Meyer write about business applications of swarm intelligence without explicitly mentioning the term CI [9]. In 2007 Gloor and Cooper still title The New Principles of a Swarm Business but uses the term CI within the text [21]. Finally in 2009, Bonabeau has also adopted the term CI in a title [8]. We conclude that 2006 roughly marks the year since which our search terms are used in their present meaning, thus mitigating the issue of changing buzzwords and meanings. The search was conducted in late August and early September 2013 in the aforementioned two databases. We manually removed duplicates of sources present in both databases and very few sources which according to their title are obviously not related to the topic. On the remaining results we conducted forward and backward searches. The results of this process are reported in the next section. 3 Results We divide the presentation of the resulting set of sources into two parts. In the first part we report on the bibliometrics of the entire set in terms of different lines of research in order to draw conclusions about the salience and convergence of the topic. We especially take care to explain why we exclude some sources from further investigation [66]. Vagueness on this point is an admitted weakness of an earlier review of CI literature [46]. In the second part we dive into the content of a subset of sources to show which concepts are commonly simulated. We present our findings in the shape of a concept matrix and discuss how the different concepts relate [67]. In order to maintain a neutral perspective we delay discussion and conclusion about the results to the next section. 3.1 Lines of Research The keyword search, using the process described in the previous section, yielded a total of 74 journal and conference papers. Because only little manual cleaning was done, this was almost equal to the raw set of results. This number is vanishingly small compared with the raw result set of approximately 1050 results that Salminen reports to have obtained from Web of Knowledge alone in a general search for collective intelligence and swarm intelligence [46]. However, considering the narrow focus of our query, the number of results is well in scale with earlier reviews producing 128 raw results on crowdsourcing and 160 raw results on CI and SC respectively [74, 15]. Neither forward nor backward search produced any additional sources to consider. As for backward search, this can be explained. In research, simulation most often is a means rather than an end and so it comes as to no surprise that most simulations were motivated seemingly ad-hoc, drawing on methodology from other fields rather than on explicit SHCI research. As for forward search, the work presented in this review admittedly created surprisingly little impact. In part this also might have aforementioned reasons. Authors not deeming it worthwhile to further investigate simulation which was only a tool in the first place, while other authors directly use tools they know rather than those newly developed by their peers. An

117 Multikonferenz Wirtschaftsinformatik automated bibliometric analysis offered by the Web of Knowledge produced an h-index of six: only six papers were cited more than six times in the database. But even a tutorial article with the instructive title On model design for simulation of collective intelligence [52] was not in fact cited in the context of SHCI. Closer investigation in the raw set of results drew a more diverse picture. We used the dimensions of analysis as described in the previous section to ensure that the sources under consideration actually deal with SHCI. We found that of the initial 74 results only 27 fulfilled the requirement of discussing the simulation of collectives with a focus on independently acting humans or, slightly extending the concept, firms. These papers will be analysed in depth. Furthermore 16 articles did in fact discuss (human) crowdsourcing and simulation but the crowd was either not the problem solving entity or not the simulated entity. We enumerate these papers completely and briefly comment on different subcategories, but do not include them in further analysis. The remaining 30 papers, and thereby the largest group, consisted of work that was concerned with the simulation of non-human collectives or simply slipped through our query. We briefly categorise these papers here to indicate the diversity of research that is conducted under the headline of CI and simulation and to make transparent what lines of research were excluded from further investigation. However we only cite a few representative examples. Table 2: Main lines of research identified in the sources Line of Research Problem Solving Entity Simulated Entity Sources SHCI (27) Collective Collective 27 in Total, discussed below Crowdsourcing (16) Crowd (14) Problem (9) [13, 17, 23, 29, 34, 35, 45, 60, 64] None (5) Simulation is the Problem Public Services (2) Crowd (2) [2, 43] Swarms (5) Animals Animals 5 in total [6, 11, 26, 39, 73] Optimization (4) Algorithm Swarms 4 in Total Robotics (8) Robots Robots 8 in Total Peer-to-Peer (4) Networks Data 4 in Total Military (4) Vehicles, Missiles, Scenarios 4 in Total Other (6) Other None 6 in Total Table 2 shows the results grouped first by the line of research and then by the problem solving entity and the simulated entity. The number of sources in the respective category is given in parentheses. Where both the problem solving entity and the simulated entity were collectives of humans, we identified a case of SHCI and marked the paper for further analysis which we will discuss later. Within the line of crowdsourcing we identified 14 cases where the crowd was involved in solving a problem but it was the problem and not the crowd that was simulated. Simulated problems ranged from traffic [60] to GUI testing [17] to international policy [34]. In a smaller group of five cases, no CI related simulation was conducted at all. Instead the design, modelling and validation of simulations themselves form the problem that was outsourced to the crowd. Finally we identified two very surprising cases where a crowd was simulated, but as part of the problem and not of the solution. Crowd models were used to represent homelessness [2] and emergency departments [43]. Other research included the simulation of animal swarms, e.g. [19], swarms inspired optimization algorithms, e.g. [1], and swarm robotics, e.g. [7]. These were cases we expected to find and partly

118 1752 Alexander Kornrumpf, Ulrike Baumöl tried to exclude from our query in advance. From further afield we found cases of swarms on the level of data packets in peer-to-peer networking [42] and missiles in military applications [38]. Only six articles looked promising at first but then turned out to be completely unconcerned with simulation, among them the often cited [16]. 3.2 Common Concepts of SHCI We present a classical concept matrix [67] for the 27 articles we have identified to cover SHCI in the stricter sense. We use the dimensions of analysis as discussed in the previous section. The result is depicted in Table 3. Numbers in parentheses indicate the number or sources containing the respective concept.

119 Multikonferenz Wirtschaftsinformatik Table 3: SHCI Concept Matrix Role of Simulation Research Tools and Frameworks Simulated Concepts Micro Activity Macro Emergent Paper (27) Exploratory (17) Confirmatory (6) Exemplary / Tutorial / Review (4) Multi-Agent Systems (9) Cultural Algorithms (1) Fitness Landscapes (1) Reinforcement Learning (2) Game Theory (3) Hierarchical Task Networks (1) Other/Individual (13) Agents (22) Alliances / Relationships (13) Knowledge / Resources (16) Payoffs / Rewards / Preferences (9) Learning (6) Trade, Brokering, Gifting (12) Local Search / Local Observing (4) Task selection / Team selection (14) Other (6) Self-Organisation (9) Innovation (12) Networks (8) Stigmergy (2) [3] x x x x x x x x x x x [10] x x x x x x x [20] x x x x x x [27] x x x x x x x [30] x x x x x x x x [33] x x x x x [40] x x x x x x x [41] x x x x x x [44] x x x x x x x [47] x x x [48] x x x x x x [49] x x x x x x x [50] x x x x x [51] x x x x x x x [52] x x x x x x x x x [54] x x x x x x x x x x [56] x x x x x x x x x [57] x x x x x [58] x x x x x [59] x x x x x x x x [61] x x x x x x x x [62] x x x x x x x x x x x [65] x x x x x x x x x [70] x x x x [71] x x x x [72] x x x x x x x x [75] x x x x x x x x Of the 27 sources, 17 reported exploratory use of simulation to gain new insights, six sources reported using simulation to confirm results derived by other means. Four papers, most notably [52], had a general tutorial or review character and presented simulation only in examples. We found that no specific research tool has yet become trick of the trade. 16 papers used tools that were singular within the set of sources or individually created. To illustrate the diversity we highlight the use of

120 1754 Alexander Kornrumpf, Ulrike Baumöl cultural algorithms [30], fitness landscapes [3] and hierarchical task networks [72]. Even though an overwhelming 80% of papers (22) simulated agents in one way or another, only nine of them used classical multi-agent systems (MAS) such as e.g. NetLogo, which was employed in [51] and [72]. Game theory (GT) was used in three papers, reinforcement learning (RL) in two. We divided our analysis in an open dimension for simulated concepts and a more specific dimension of micro-level activities. Results confirm that micro-level activities, as suggested by earlier findings [46], were indeed considered throughout the whole set of results, and in the majority of cases the active entity was represented by agents. We also found that activities and other simulated concepts were closely related. Many papers (16) included a concept of knowledge, e.g. [65, 74] or other resources [30] distributed among the agents. The agents can then reveal and broker knowledge [20, 65] or gift and trade resources [30]. Similar concepts we found to be present in twelve papers. Another common concept, found in 13 papers was the formation of alliances such as teams [44] and strategic partnerships [3] as well as other forms of relationships, often as a prerequisite of interaction, e.g. [59]. Actively selecting a task, e.g. [72], or a team, e.g. [51], to participate in was included in 14 papers. Selection criteria ranged from kinship [30] over reputation [51] and preferences [72] to purely utilitarian considerations [3, 56]. The respective values and preferences of the aforementioned activities for the individual agents was quantified using function in nine cases. Garriga et al. [20] and Sie et al. [56] use GT to model and explain reward structures and the resulting behaviour. Less common (6) activities included micro-level learning, sometimes formalised as RL [54, 62]. Some authors (4) represented the limitation of the individual, as present in the definition of CI, by making activities local. Despite the central and even defining role of emergence for CI, macro-level emergents were discussed in less detail within the set of results. In twelve cases innovation can be seen as the emergent which obviously is due to the chosen keywords. Self-organisation was present in nine papers. Networks, as considered in eight papers, can be seen as a way to represent alliances and trade relationships on a macro-level. Stigmergy [10, 72] played only a minor role. 4 Discussion and Conclusion We have identified a clear focus on a limited number of concepts and related micro-level activities. Some of these concepts have been part of CI research for a long time. Agent and reward based theory of CI is discussed in depth e.g. by Wolpert and Tumer [69]. On the one hand, simulation can inform theory here by pointing to the importance of quantifying these rewards and allowing to investigate different reward models. On the other hand, theory suggests that a central characteristic of CI is the existence of distinct reward structures on the individual micro-level and the collective macro-level [69]. This insight we have found to be underrepresented in SHCI literature, leaving room for further research. Other concepts, namely relationships and resource distribution have been largely ignored so far by theoretical work on CI. This may be the case because CI theory is typically inspired by swarm intelligence, where these concepts do not play a role, whereas the research under review here comes from an economic background, where resource distribution is a central theme and it is long known that the participation in teams and tasks has to be incentivised. Simulation can not only inform theory with respect to these concepts but also help designers to cope for them in new CIS. The convergence on concepts is accompanied by a divergence of tools and frameworks. None of the considered papers report a convincing overall model of SHCI. The relative predominance of MAS, GT and RL in the sample might be only a snapshot. However, some theoretical arguments can be made

121 Multikonferenz Wirtschaftsinformatik that suggest that these tools should be indeed adopted as a SHCI framework. We briefly sketch out a possible line of further research here: The synthesis of MAS, GT, and RL is actively researched under the headline of multi-agent learning (MAL). The basic setting of MAL, a stochastic game or Markov game, consist of a set of agents, a set of stage games (system states that take the form of a game), a set of actions (pure strategies in GT language) and a set of reward functions for every stage game. Furthermore a stochastic game is characterised by, a stochastic transition function denoting the probability of a future state given the previous state and the actions taken in it [55]. It can easily be seen, that stochastic games not only share research tools with SHCI research, but also account for common concepts such as agents and rewards, as well as learning as a micro-level activity. Other micro-level activities can be modelled in principle as possible agent actions or strategies. In a way, due to the Markov property and the modelfreeness of the RL approach [55], the individual horizon of events can even be considered to be local. Erev and Roth [18] point out the good performance of MAL in predicting the behaviour of real humans as measured in experiment in environments in which each player has a negligible effect on the environment [ ] even when the collective behaviour that this produces plays a large role in shaping the environment [18]. Although unintended by the authors, this comes down to way to describe CI. While the striking similarity in the aforementioned points speaks to the potential of MAL to become a theoretical foundation of SHCI, we identify two issues open for further research: First, it needs to be investigated if MAL allows the agents to learn to (temporarily) cooperate, not as a prescriptive strategy but as an emergent, thus making the system truly self-organisational. Second, if the resulting changes on the macro-level are quantified by a distinctive reward function, as mentioned earlier in this discussion, ways need to be found to direct the collective towards optimising this function without directly interfering with the learning process, which is assumed to reflect individual free will. All in all, the high ratio of exploratory work in the set of SHCI results shows that simulation of CI is a valuable method to gain insights. However the application of such insights to the design of new CIS, as envisioned in the introduction is still a gap in the body of knowledge, even though first steps in that direction [41] can be seen. Our review also shows that the simulation of CI bears every sign of an emerging topic. The overall number of publications is comparatively small. We find a large number of competing lines of research. With respect to simulation, research on crowdsourcing, whilst traditionally considered to be CI research [36], has taken a completely different direction than general SHCI research. Open innovation currently seems to be the predominant theme, but further research has to show how CI can produce other macro-level emergents with respect to solving real-world problems. Limitations of our review are also due to SHCI being an emergent topic. There may be other trend besides crowdsourcing and open innovation generating buzz in the near future which were not covered. Also a forward backward search will probably prove more fruitful once the topic has somewhat matured. 5 Literatur [1] Akay B, Karaboga D (2012): A modified Artificial Bee Colony algorithm for real-parameter optimization. Inf. Sci 192: [2] Alexiuk M, Wiebe G, Pizzi N (2005): Emergent models of wellness: a case study of management practices in single resident occupant hotels of Vancouver CA. In: Canadian Conference on Electrical and Computer Engineering, 2005., pp

122 1756 Alexander Kornrumpf, Ulrike Baumöl [3] Almirall E, Casadesus-Masanell R (2010): OPEN VERSUS CLOSED INNOVATION: A MODEL OF DISCOVERY AND DIVERGENCE. Acad. Manage. Rev. 35(1): [4] Aulinger A (2009): Entstehungsbedingungen und Definitionen kollektiver Intelligenz. In: Aulinger A, Pfeiffer M (eds) Kollektive Intelligenz. Methoden, Erfahrungen und Perspektiven, Stuttgart. Steinbeis-Edition, pp [5] Baker MJ (2000): Writing a Literature Review. Marketing Review 1(2): [6] Berland M, Rand W (2009): Participatory Simulation as a Tool for Agent-based Simulation. In: Filipe J, Fred ALN, Sharp B (eds) ICAART Proceedings of the International Conference on Agents and Artificial Intelligence, Porto, Portugal, January 19-21, INSTICC Press, pp [7] Berman S, Halász Á, Hsieh MA et al. (2009): Optimized stochastic policies for task allocationin swarms of robots. Trans. Rob. 25(4): [8] Bonabeau E (2009): Decisions 2.0. The Power of Collective Intelligence. MIT Sloan Manage. Rev. 50(2): [9] Bonabeau E, Meyer C (2001): Swarm Intelligence. A whole new way to think about business. Harvard Bus. Rev. 79(5): [10] Bosse T, Jonker CM, Schut MC et al. (2006): Collective representational content for shared extended mind. Cogn. Syst. Res. 7(2-3): [11] Butka P, Mach M, Furdik K et al. (2011): Design of a system architecture for support of collaborative policy modelling processes. In: 6th IEEE International Symposium on Applied Computational Intelligence and Informatics (SACI), 2011, pp [12] Chesbrough HW (2003): Open innovation. The new imperative for creating and profiting from technology. Harvard Business School Press, Boston, Mass [13] Chuang Y, Yi C (2013): Shockwave models for crowdsourcing-based traffic information mining. In: Wireless Communications and Networking Conference (WCNC), 2013 IEEE, pp [14] Cooper HM (1988): Organizing knowledge syntheses: A taxonomy of literature reviews. Knowledge in Society 1: [15] Cremona L, Ravarini A (2012): Collective Intelligence and Social Computing: A Literature Review. In: Marco M de, Te'eni D, Albano V et al. (eds) Information Systems: Crossroads for Organization, Management, Accounting and Engineering. ItAIS: The Italian Association for Information Systems, Heidelberg. Physica-Verlag HD, pp [16] Dodgson M, Gann D, Salter A (2006): The role of technology in the shift towards open innovation: the case of Procter & Gamble. R&D Management 36(3): [17] Dolstra E, Vliegendhart R, Pouwelse J (2013): Crowdsourcing GUI Tests. In: Sixth International Conference on Software Testing, Verification and Validation (ICST), 2013 IEEE, pp [18] Erev I, Roth AE (2007): Multi-agent learning and the descriptive value of simple models. Artif. Intell. 171(7): [19] Ferreira N, Lins L, Fink D et al. (2011): BirdVis: visualizing and understanding bird populations. IEEE Trans. Vis. Comput. Graph. 17(12):

123 Multikonferenz Wirtschaftsinformatik [20] Garriga H, Aksuyek E, Hacklin F et al. (2012): Exploring social preferences in private collective innovation. Technol. Anal. Strateg. 24(2): [21] Gloor P, Cooper S (2007): The new principles of a swarm business. MIT Sloan Manage. Rev. 48(3): [22] Hevner AR, March ST, Park J et al. (2004): Design Science in Information Systems Research. MISQ 28(1): [23] Hosseini M, Cox IJ, Milić-Frayling N et al. (2012): On Aggregating Labels from Multiple Crowd Workers to Infer Relevance of Documents. In: Baeza-Yates R, Vries A, Zaragoza H et al. (eds) Advances in Information Retrieval, vol 7224, Berlin Heidelberg. Springer, pp [24] Howe J (2006): The Rise of Crowdsourcing. Accessed 07 Jun 2013 [25] Ickler H (2010): An Approach for the Visual Representation of Business Models That Integrate Web-Based Collective Intelligence into Value Creation. In: Bastiaens T, Baumöl U, Krämer BJ (eds) On Collective Intelligence, vol 76, Berlin / Heidelberg. Springer, pp [26] Introne J, Laubacher R, Malone TW (2011): Enabling Open Development Methodologies in Climate Change Assessment Modeling. Software, IEEE 28(6): [27] Jiang H, Matsubara S (2012): Improving Crowdsourcing Efficiency Based on Division Strategy. In: Web Intelligence and Intelligent Agent Technology (WI-IAT), 2012 IEEE/WIC/ACM International Conferences on, vol 2, pp [28] Kapetanios E (2008): Quo Vadis computer science. From Turing to personal computer, personal content and collective intelligence. Data Knowl. Eng. 67(2): [29] Khazankin R, Satzger B, Dustdar S (2012): Optimized execution of business processes on crowdsourcing platforms. In: Collaborative Computing: Networking, Applications and Worksharing (CollaborateCom), th International Conference on, pp [30] Kobti Z, Reynolds RG, Kohler TA (2006): The Emergence of Social Network Hierarchy Using Cultural Algorithms. Int. J. Artif. Intell. T. 15(6): [31] Kornrumpf A, Baumöl U (paper to appear at HICSS 2014): A Design Science Approach to Collective Intelligence Systems [32] Krause J, Ruxton GD, Krause S (2010): Swarm intelligence in animals and humans. Trends. Ecol. Evol. 25(1): [33] Kyläheiko K, Jantunen A, Puumalainen K et al. (2011): Value of knowledge Technology strategies in different knowledge regimes. Int. J. Prod. Econ. 131(1): [34] Landwehr P, Spraragen M, Ranganathan B et al. (2013): Games, Social Simulations, and Data-- Integration for Policy Decisions: The SUDAN Game. Simulat. Gaming 44(1): [35] Lee L, Chen H (2012): Mining search intents for collaborative cyberporn filtering. J. Am. Soc. Inf. Sci. 63(2): [36] Leimeister JM (2010): Collective Intelligence. BISE 2(4): [37] Levy Y, Ellis TJ (2006): A Systems Approach to Conduct an Effective Literature Review in Support of Information Systems Research. Informing Science Journal 9:

124 1758 Alexander Kornrumpf, Ulrike Baumöl [38] Liu B, Zhang X, Yu W et al. (2009): Coordinated work of large collections of agents using COllective INtelligence. In: 4th IEEE Conference on Industrial Electronics and Applications, ICIEA 2009., pp [39] Li W, Seshia SA, Jha S (2012): CrowdMine: towards crowdsourced human-assisted verification. In: Proceedings of the 49th Annual Design Automation Conference, New York, NY, USA. ACM, pp [40] Lykourentzou I, Papadaki K, Vergados DJ et al. (2010): CorpWiki: A self-regulating wiki to promote corporate collective intelligence through expert peer matching. Inf. Sci 180(1): [41] Mayande N, Weber C (2011): Designing virtual social networks for for-profit open innovation. In: Technology Management in the Energy Smart World (PICMET), 2011 Proceedings of PICMET 11, pp 1 16 [42] Murai F, Rocha AA de A., Figueiredo DR et al. (2012): Heterogeneous download times in a homogeneous BitTorrent swarm. Comput. Netw. 56(7): [43] Neighbour R, Oppenheimer L, Mukhi SN et al. (2010): Agent based modeling of "crowdinforming" as a means of load balancing at emergency departments. Online J. Public Health Inform. 2(3) [44] Osipov K, Sukthankar G (2012): Forming Effective Teams from Agents with Diverse Skill Sets. In: International Conference on Social Informatics (SocialInformatics), 2012, pp [45] Rutherford A, Cebrian M, Dsouza S et al. (2013): Limits of social mobilization. Proceedings of the National Academy of Sciences 110(16): [46] Salminen J (2012): Collective Intelligence In Humans: A Literature Review. In: Proceedings CI2012 [47] Sasaki H (2011): Including collective intelligence in human-machine interactive decision-making under time constraints. In: 2011 IEEE International Conference on Systems, Man, and Cybernetics (SMC),, pp [48] Sautter G, Böhm K (2013): High-throughput crowdsourcing mechanisms for complex tasks. Social Network Analysis and Mining: 1 16 [49] Savitskaya I, Ihrig M (2012): Exploring open innovation strategies: a simulation approach. In: Troitzsch K, Mohring M, Lotzmann U (eds) Proceedings of the 26th European Conference on Modelling and Simulation (ECMS 2012), Nottingham, UK. European Council for Modelling and Simulation, pp [50] Savitskaya I, Kortelainen S (2012): Innovating within the system: the simulation model of external influences on open innovation process. International Journal of Transitions and Innovation Systems 2(2): [51] Scarlat E, Maries I (2010): Simulating Collective Intelligence of the Communities of Practice Using Agent-Based Methods. In: Jędrzejowicz P, Nguyen NT, Howlet R et al. (eds) Agent and Multi-Agent Systems: Technologies and Applications, vol 6070, Berlin Heidelberg. Springer, pp [52] Schut MC (2010): On model design for simulation of collective intelligence. Inf. Sci 180(1):

125 Multikonferenz Wirtschaftsinformatik [53] Schutter G De, Theraulaz G, Deneubourg J (2001): Animal-robots collective intelligence. Ann. Math. Artif. Intel. 31(1): [54] Sheremetov L, Rocha-Mier L (2008): Supply chain network optimization based on collective intelligence and agent technologies. Hum. Syst. Manage. 27(1): [55] Shoham Y, Powers R, Grenager T (2007): If multi-agent learning is the answer, what is the question? Artif. Intell. 171(7): [56] Sie RLL, Bitter-Rijpkema M, Sloep PB (2011): What s in it for me? Recommendation of Peers in Networked Innovation. J. Univers. Comput. Sci. 17(12): [57] Singh VK, Gautam D, Singh R et al. (2009): Agent-Based Computational Modeling of Emergent Collective Intelligence. In: Nguyen NT, Kowalczyk R, Chen S (eds) Computational Collective Intelligence. Semantic Web, Social Networks and Multiagent Systems, vol 5796, Berlin / Heidelberg. Springer, pp [58] Singh VK, Singh G, Pande S (2013): Emergence, Self-Organization and Collective Intelligence Modeling the Dynamics of Complex Collectives in Social and Organizational Settings. In: 15th International Conference on Computer Modelling and Simulation (UKSim), 2013 UKSim, pp [59] Skrzynski P, Szuba T, Szydło S (2011): Collective Intelligence Approach to Measuring Invisible Hand of the Market. In: Jędrzejowicz P, Nguyen NT, Hoang K (eds) Computational Collective Intelligence. Technologies and Applications, vol 6923, Berlin Heidelberg. Springer, pp [60] Stenneth L, Stone W, Alowibdi J: Reducing Travel Time by Incident Reporting via CrowdSourcing. In: Arabnia HR, Clincy VA, Solo AMG (eds) Proceedings of the 2011 International Conference on Internet Computing, ICOMP 2011, pp [61] Szuba T, Polański P, Schab P et al. (2011): On efficiency of collective intelligence phenomena. In: Nguyen NT (ed) Transactions on computational collective intelligence III, Berlin, Heidelberg. Springer, pp [62] Terna P (2009): The epidemic of innovation playing around with an agent-based model. Economics of Innovation and New Technology 18(7): [63] Torraco RJ (2005): Writing Integrative Literature Reviews: Guidelines and Examples. Human Resource Development Review 4(3): [64] Viappiani P, Zilles S, Hamilton HJ et al. (2011): Learning complex concepts using crowdsourcing: a Bayesian approach. In: Proceedings of the Second international conference on Algorithmic decision theory, Berlin, Heidelberg. Springer, pp [65] Villarroel JA, Taylor JE, Tucci CL (2013): Innovation and learning performance implications of free revealing and knowledge brokering in competing communities: insights from the Netflix Prize challenge. Comput. Math. Organ. Theory 19(1): [66] Vom Brocke J, Simons A, Niehaves B et al. (2009): Reconstructing the Giant: On the Importance of Rigour in Documenting the Literature Search Process. In: Newell S, Whitley E, Pouloudi N et al. (eds) Proceedings of the ECIS 2009 : 17th European Conference On Information Systems, Verona, pp [67] Webster J, Watson RT (2002): Analyzing the Past to Prepare for the Future: Writing a Literature Review. MISQ 25(2): xiii xxiii

126 1760 Alexander Kornrumpf, Ulrike Baumöl [68] Wilde T, Hess T (2007): Forschungsmethoden der Wirtschaftsinformatik. Wirtsch. Inform. 49(4): [69] Wolpert DH, Tumer K (1999): An Introduction to Collective Intelligence [70] Yilmaz L (2009): On the Synergy of Conflict and Collective Creativity in Open Innovation Socio-technical Ecologies. In: International Conference on Computational Science and Engineering, CSE 09., vol 4, pp [71] Yücesan E (2013): An efficient ranking and selection approach to boost the effectiveness of innovation contests. IIE Transactions 45(7): [72] Zamfirescu C, Candea C (2011): Planning in Collaborative Stigmergic Workspaces. In: Jędrzejowicz P, Nguyen NT, Hoang K (eds) Computational Collective Intelligence. Technologies and Applications, vol 6923, Berlin Heidelberg. Springer, pp [73] Zander J, Mosterman PJ (2012): Technical engine for democratization of modeling, simulations, and predictions. In: Proceedings of the Winter Simulation Conference, pp 228:1 228:14 [74] Zhao Y, Zhu Q (2012): Evaluation on crowdsourcing research: Current status and future direction. Inf. Syst. Front. [75] Zou G, Yilmaz L (2011): Dynamics of knowledge creation in global participatory science communities: open innovation communities from a network perspective. Comput. Math. Organ. Theory 17(1): 35 58

127 Ein integrierter Mikroblogging-Ansatz zur Unterstützung verteilter Softwareentwicklungsprojekte Lars Klimpke Universität Mannheim, Lehrstuhl für ABWL und Wirtschaftsinformatik, Mannheim, Thomas Kude Universität Mannheim, Lehrstuhl für ABWL und Wirtschaftsinformatik, Mannheim, Armin Heinzl Universität Mannheim, Lehrstuhl für ABWL und Wirtschaftsinformatik, Mannheim, Abstract Dieser Beitrag verbindet die Themen "Social Computing" und "CSCW", in dem Mikroblogging für Aufgaben der verteilten Softwareentwicklung herangezogen wird. Anhand des kognitiv-affektiven Modells der organisationalen Kommunikation von Te'eni werden Kommunikationsstrategien verteilter Softwareentwickler abgeleitet, mit deren Hilfe die Medien- und Nachrichteneigenschaften gestaltet werden können. Der daraus resultierende Mikroblog-basierte Kommunikationsansatz wird anschließend mit Hilfe eines Werkzeugs realisiert und vorläufig bewertet. Das Werkzeug erlaubt das Mitsenden von Quellcode, das Verknüpfen der Nachrichten im Quelltext sowie eine vollständige Integration von Mikroblogs in einer integrierten Entwicklungsumgebung.

128 1762 Lars Klimpke, Thomas Kude, Armin Heinzl 1 Einleitung Mikroblogging-Werkzeuge werden vermehrt in Unternehmen eingesetzt. Sie ermöglichen das Versenden von Kurznachrichten, die auf einer Zeitleiste dargestellt werden [24]. Damit können Ankündigungen gemacht oder Fragen gestellt werden, zu denen kein Ansprechpartner bekannt ist. Bisherige Untersuchungen fokussieren das Nutzerverhalten in öffentlichen Mikroblogs oder die Nutzung von Mikroblogging für Marketingzwecke [14][24]. Vereinzelt finden sich Studien über unternehmensinternes Mikroblogging [6][23][25]. Diese befassen sich jedoch meist mit der allgemeinen Kommunikation im Unternehmen. Durch die Eigenschaften des Mikroblogging- Konzepts, insbesondere dessen informeller Charakter, die Kürze der Nachrichten sowie die Möglichkeit, sowohl synchron als auch asynchron zu kommunizieren, bietet Mikroblogging großes Potenzial in der verteilten Softwareentwicklung. Dennoch wurde der Einsatz sozialer Medien im Allgemeinen und des Mikrobloggings im Besonderen in der verteilten Softwareentwicklung in der aktuellen Forschung und Praxis bislang unzureichend behandelt. Diese Lücke greift der vorliegende Beitrag auf. Es wird ein Ansatz vorgestellt, der die Kooperation von verteilt arbeitenden Softwareentwicklern während der Implementierungsphase unterstützt, die im inner- und zwischenbetrieblichen Kontext durchgeführt wird [16] und von einer hohen Reziprozität und Dynamik gekennzeichnet ist. Die Zielsetzung besteht darin, die Konzeption und prototypische Realisierung eines auf Mikroblogs basierenden Kommunikationsansatzes darzustellen [12]. Dieser Ansatz soll das gegenseitige Verständnis der verteilt arbeitenden Akteure verbessern. Akteure erhalten die Möglichkeit, Mikroblogs als komplementäres Medium zu nutzen, um ihren Informationsstand zu verbessern sowie das Wissen anderer Projektbeteiligter zu erschließen. Der Prototyp wird schließlich einer ersten, vorläufigen Bewertung unterzogen. 2 Begriffliche und konzeptionelle Grundlagen 2.1 Mikroblogging Ein Mikroblog ist ein Kommunikationsmedium, bei dem die Teilnehmer kurze, textbasierte Beiträge teilen. Die Unterschiede zu konventionellen Blogs sind die Begrenzung der Zeichenzahl auf meist 140 Zeichen sowie der Fokus auf aktuelle Informationen, die einen Nachrichtenstrom in Echtzeit erzeugen [3][30][34]. Im Gegensatz zu anderen virtuellen sozialen Netzwerken steht jedoch nicht die Vernetzung, sondern der Nachrichtenaustausch im Vordergrund. Die Beziehung zwischen zwei Nutzern ist dabei nicht zwingend bidirektional. Vielmehr ist es möglich, den Nachrichtenströmen anderer Teilnehmern auf Basis von Abonnements zu folgen, ohne dass der Kommunikationspartner die Verbindung bestätigen muss [26][34]. In Mikroblogs kann durch Einbettung von Hyperlinks auf andere Quellen verwiesen werden. Insofern spricht man auch von Notifikationswerkzeugen [18]. Die Kommunikation kann mittels Mikroblogs sowohl synchron als auch asynchron erfolgen [1][5]. Einerseits ist möglich, ähnlich wie in Instant Messaging-Diensten, synchron zu "chatten", indem sich zwei oder mehr Personen gegenseitig Nachrichten über ihren jeweiligen Strom senden [13][26]. Andererseits können Dialoge über einen längeren Zeitraum asynchron aufrechterhalten werden, indem die einzelnen Nachrichten gespeichert werden und öffentlich einsehbar sind. Mikroblogs besitzen einen informellen Charakter [35]. Dieser wird durch die Kürze der Nachricht sowie den Schreibstil der Mikroblogger begünstigt. Nicht das sprachliche Ausdrucksvermögen, sondern der Nachrichteninhalt steht im Vordergrund der Kommunikation. Personen, die sich in einer Fremdsprache unsicher fühlen, empfinden es einfacher, Nachrichten zu verfassen. Kulturunterschiede

129 Multikonferenz Wirtschaftsinformatik werden durch den informellen Charakter weniger deutlich [4]. Ein spontaner und ungezwungener Informationsaustausch wird somit begünstigt. Neben öffentlichen Mikroblogging-Plattformen, wie z.b. Twitter, existiert mittlerweile auch eine zunehmende Anzahl an Mikroblogging-Plattformen für Unternehmen [26]. Diesen wird ein hohes Potenzial für den Wissensaustausch in und zwischen Unternehmen zugeschrieben [20][28]. Böhringer und Richter [2] beschreiben das betriebliche Mikroblogging als technologically supported interpersonal interaction utilising short information snippets within a separated information space (i.e. company, department, project) in order to create informal, social, group-structural, and workspace awareness (S. 300). Existierende Studien zur Nutzung von Mikroblogging in und zwischen Organisationen wurden bislang meist in Bezug auf die allgemeine betriebliche Kommunikation oder in Gruppen von Wissenschaftlern durchgeführt [8][14][19][25]. Ein umfassender Ansatz zur Nutzung von Mikroblogging in der Softwareentwicklung existiert bislang nicht, obwohl das Potential solcher und ähnlicher Ansätze diskutiert und bereits erste Konzepte vorgeschlagen wurden. Auf diese wird im Folgenden eingegangen. 2.2 Mikroblogging und verwandte Ansätze in der Softwareentwicklung Verschiedene Ansätze, die zur Verbesserung der Kommunikation in der Softwareentwicklung vorgeschlagen wurden, bieten ähnliche Funktionalitäten wie das Mikroblogging. So entwickelten Fitzpatrick [7] ein Benachrichtigungssystem, bei dem Chatfunktionen in das Versionierungssystem CVS (Concurrent Version System) integriert werden, um die Informiertheit, Koordination und Kommunikation der Entwickler zu unterstützen. Handel und Herbsleb [11] haben ebenfalls Instant Messaging-Funktionen in eine integrierte Entwicklungsumgebung (engl.: integrated development environment, IDE) eingebettet, um die Informiertheit der Entwickler zu erhöhen. Zudem konnten Sinha et al. [29] ein Werkzeug entwickeln, das die Kollaboration und Informiertheit im verteilten Anforderungsmanagement durch die Unterstützung der informellen Kommunikation verbessern soll. Dieses Werkzeug wurde in die Eclipse IDE integriert und unterstützt die synchrone und asynchrone Kommunikation in Bezug auf Anforderungen. Auch der Einsatz sozialer Medien wird in der Softwareentwicklung zunehmend diskutiert. So beobachteten Storey et al. [31] einen Trend von integrierten Entwicklungsumgebungen über kollaborative Entwicklungsumgebungen bis hin zu sozialen Entwicklungsumgebungen. Zudem fordern sie eine verstärkte Erforschung der Nutzung sozialer Medien in der Softwareentwicklung. Reinhardt [22] hat einen Ansatz entwickelt, der Mikroblogging-Funktionen in eine IDE integriert. Dazu wurde eine Schnittstelle zur Twitter-Plattform geschaffen, um ad-hoc-kommunikation über diese Plattform zu ermöglichen. Auch Guzzi et al. [9] haben ein Werkzeug entwickelt, das einen Mikroblog-ähnlichen Ansatz in die Eclipse IDE integriert, um dadurch Softwareentwicklern zu helfen, den Entwicklungsprozess besser zu verstehen und zu dokumentieren. Das Ziel ist die Unterstützung der Softwarewartung und die Vermeidung des Verlusts von Wissen beim Ausscheiden von Mitarbeitern. Dazu werden Nutzungsinformationen der IDE mit Nachrichten verknüpft. Neben den vorgenannten Arbeiten wurden auch von der Open-Source-Gemeinschaft einige Werkzeuge entwickelt, die die Twitter-Plattform in die Eclipse IDE integrieren. Beispiele hierfür sind Tweethub, Twitclipse, Twikle, oder Twitterclipse. All diese Werkzeuge bieten Benutzerschnittstellen für Twitter. Ein anderer Ansatz wird vom Werkzeug Snipper verfolgt, mit dessen Hilfe Entwickler Quellcodeausschnitte über die Twitter-Plattform teilen können.

130 1764 Lars Klimpke, Thomas Kude, Armin Heinzl Die vorgestellten Ansätze lassen eine Integration von sozialen Medien in der Softwareentwicklung sinnvoll erscheinen. Allerdings fokussieren sie sich oftmals auf eine Schnittstelle zur öffentlichen Twitter-Plattform. Dabei bleibt das Potential einer durchgängigen Integration des Mikroblogging- Ansatzes in die Aufgaben der Softwareentwicklung weitestgehend ungenutzt. Eine solche Integration verspricht eine verbesserte Kommunikation zwischen Softwareentwicklern und anderen Anspruchsgruppen, was im Rahmen der verteilten Softwareentwicklung von Bedeutung ist [17][21]. Das von Guzzi et al [9] vorgeschlagene Werkzeug erlaubt zwar das Senden und Lesen von Mikroblog- Nachricht innerhalb der IDE und verbindet diese Nachrichten mit Nutzungsinformationen, eine Verknüpfung mit dem tatsächlichen Softwarecode beinhaltet das Werkzeug jedoch bislang nicht. Eine solche Integration zwischen Kommunikationsoberfläche und Codeartefakt ermöglicht eine Kontextualisierung von Informationen und damit eine verbesserte Kommunikation zwischen verteilt arbeitenden Softwareentwickler. Dies wird im nächsten Abschnitt auf Basis existierender Arbeiten zur Kommunikation mit Hilfe von Informationssystemen diskutiert. Basierend auf diesen theoretischen Überlegungen werden Anforderungen an einen integrierten, auf der Mikroblogging-Technologie basierenden Kommunikationsansatz für die Softwareentwicklung abgeleitet. 2.3 Mikroblogging-basierter Kommunikationsansatz in der Softwareentwicklung Bei der Konzeption eines integrierten Mikroblogging-Ansatzes muss die Frage gestellt werden, welche Kommunikationsstrategien verteilt arbeitende Softwareentwickler verfolgen und welche Medien- und Nachrichteneigenschaften diesen Strategien gerecht werden. Gemäß Te'eni [32] sind die Strategien Kontextualisierung und Testen durch Anpassen und Kontrolle dann geeignet, wenn neuartige, veränderliche und wenig strukturierte Aufgaben zu erfüllen sind, hoher Zeitdruck herrscht, die Aufgabenträger unterschiedliche Qualifikationen bzw. Hintergründe aufweisen und bzgl. der Kommunikation einer hohen Komplexität ausgesetzt sind. Da diese Eigenschaften typisch für verteilte Entwicklungsprojekte sind, sollen sie näher ausgeführt und zur Gestaltung des anzuwendenden Mediums (hier: Mikroblogs) bzw. der verwendeten Nachrichteneigenschaften herangezogen werden. Die Kommunikationsstrategie Kontextualisierung bezieht sich auf das Bereitstellen von Kontextinformationen in einer Nachricht [33]. In Ergänzung zum Nachrichtentext wird diese durch Kontextinformationen angereichert. Es handelt sich um Informationen, über die der Sender verfügt und die das Verständnis des Empfängers erhöhen [15]. Zudem können Kontextualisierungen Informationen darüber enthalten, in welcher Situation die Nachricht erstellt wurde und wer mit wem, wann und unter welchen Bedingungen kommuniziert [27]. Von besonderer Bedeutung ist im Rahmen der vorliegenden Arbeit die Anreicherung von Nachrichtentexten mit Programmcode, da dieser für Softwareentwickler den zentralen Kontext des Nachrichtenaustauschs darstellt. Bei der Strategie Kontrolle durch Testen und Anpassen spielt der Sender eine aktive Rolle, indem er sicherstellt, dass Kommunikationsprozesse durch Rückkoppelungen effektiv ablaufen [32]. Dies kann dadurch erreicht werden, dass der Sender wiederholt den Empfänger fragt, ob die eigenen Aussagen nachvollziehbar und plausibel sind (d.h. dass die Kommunikation erfolgreich war) und im Falle von Rückmeldungen die Nachricht gemäß der Hinweise des Empfängers entsprechend anpasst [32]. Durch das unmittelbare Feedback wird der Sender in die Lage versetzt, seine Nachricht anzupassen und zu verbessern. Bei ausbleibendem Feedback hat der Sender zusätzlich die Möglichkeit, die Antwort anzumahnen. Basierend auf den herausgearbeiteten Kommunikationsstrategien werden nachfolgend Medien- und Nachrichteneigenschaften behandelt, die diese unterstützen. Die Kommunikationsstrategie Kontextualisierung erfordert laut Te'eni [32] beim Kommunikationsmedium eine hohe Kapazität des Kommunikationskanals, einen geringen

131 Multikonferenz Wirtschaftsinformatik Formalisierungsgrad der Nachrichten, jedoch einen hohen Organisationsgrad derselben. Damit wird die Voraussetzung geschaffen, Quellcodeausschnitte ohne Formatvorgaben zu versenden. Die Distribution und Anzeige der Nachricht erfolgt nach festgelegten organisatorischen Regeln. Die Kommunikationsstrategie Kontrolle durch Testen und Anpassen impliziert eine hohe Interaktivität des zu gestaltenden Mediums zur Unterstützung der Feedbackschleifen sowie eine gewisse Formalisierung der Nachricht. Letzteres kann durch den Aufbau der Nachricht, wie Betreffzeile, Benennung der Adressaten, eine Problembeschreibung, sowie die Auflistung oder Bewertung von Lösungsoptionen erreicht werden. Die hohe Interaktivität erfordert einerseits eine kurze Nachrichtenlänge, um den Kommunikationsprozess nicht zu behindern [32]. Darüber hinaus ermöglicht eine direkte Einbindung der Kommunikationsoberfläche in die Arbeitsumgebung eine schnelle Interaktion ohne zusätzliche Navigation. Die beiden dargestellten Kommunikationsstrategien führen zu unterschiedlichen Bedürfnissen bezüglich des Formalisierungsgrads der Nachrichten. Dies soll nachfolgend durch einen hybriden Ansatz gelöst werden, in dem der Nachrichtenaufbau und die Nachrichtenlänge festgelegt werden, die Nachrichteninhalte aber an keinerlei Konventionen gebunden werden. 3 Implementierung des konzipierten Mikroblogging-Ansatzes Im Folgenden wird gezeigt, wie die dargelegten Kommunikationsstrategien, Medien- und Nachrichteneigenschaften mit einem Werkzeug realisiert werden können. Dieses basiert auf der Open Source Mikroblogging-Plattform status.net, um verfügbare Standardfunktionen nicht "wiedererfinden" zu müssen. Die nachfolgende Darstellung beschränkt sich auf die neuen Funktionen des Werkzeugs, also auf das Mitsenden von Quellcode, das Verknüpfen von Nachrichten im Quelltext und die Integration des Werkzeugs in die IDE. Als Zielumgebung, für die das Plug-ins bestimmt ist, wurde Eclipse ausgewählt. Der wichtigste Bestandteil des Eclipse-Plugins ist eine Benutzerschnittstelle zur Web-Anwendung. Nach erfolgreicher Installation und Konfiguration wird in einem neuen Reiter im unteren Bereich der IDE der private Nachrichtenstrom des Nutzers angezeigt (vgl. Bild 1). Dieser enthält die gleichen Informationen wie die Web-Anwendung, d.h. es werden der Nutzername des Absenders, die Nachricht, der Zeitpunkt des Absendens und die Nachrichtenquelle angezeigt. Zusätzlich wird die Klasse angezeigt, aus der die Nachricht abgeschickt wurde. Auf diese Funktion wird im Verlauf dieses Abschnitts eingegangen. Um die Datenlast zu reduzieren, werden 20 Nachrichten auf einmal geladen und angezeigt. Durch die beiden Pfeiltasten im oberen rechten Bereich kann zu älteren und neueren Nachrichten navigiert werden. Mit Hilfe der Home-Taste (das Haussymbol links von den Pfeiltasten) kann direkt zu den aktuellsten Nachrichten gesprungen werden. Auf welcher Seite dieser 20- Nachrichten-Blöcke man sich befindet, wird durch die Angabe der Seite links von der Home-Taste angezeigt (in Bild 1 wird dies durch Page: 1 kenntlich gemacht). Eine weitere Kernfunktion des Plug-ins ist das Versenden von Nachrichten aus der Arbeitsumgebung der Entwickler. Dadurch soll diesen die Kommunikation erleichtert und die Publikationsfrequenz gesteigert werden, um die Informiertheit der anderen Projektbeteiligten zu erhöhen. Wenn eine Nachricht aus dem Plug-in versendet wird, wird sowohl im integrierten Nachrichtenstrom als auch in der Web-Anwendung als Quelle (Source) der Name des verwendeten Werkzeugs angezeigt. Im Beispiel ist das Eclipse@home, um zu signalisieren, dass die Nachricht von einem Heimarbeitsplatz aus gesendet wurde. Auch diese zusätzlichen Meta-Informationen unterstützen die Kontextualisierung und verbessern den Informationsstand der verteilt arbeitenden Akteure, da so zum einen herausgestellt

132 1766 Lars Klimpke, Thomas Kude, Armin Heinzl wird, welches Medium zurzeit genutzt wird, und zum anderen gezeigt wird, dass der entsprechende Entwickler zurzeit an codebezogenen Aufgaben arbeitet. Durch die Integration der Mikroblogs in die IDE ist es für Entwickler möglich, ohne Medienbruch (d.h. ohne die übliche Arbeitsumgebung verlassen zu müssen) über die für sie relevanten Nachrichten im Unternehmen oder in ihren Projekten informiert zu bleiben bzw. selbst Nachrichten zu verfassen. Genauso wie in der Web-Anwendung ist es auch im Eclipse-Plug-in möglich, Nachrichten weiterzugeben oder auf Nachrichten zu antworten. Dazu genügt ein Rechtsklick auf die entsprechende Nachricht und die Auswahl der gewünschten Funktion. Dies ist ebenfalls in Bild 1 dargestellt. Auch die oben vorgestellte Konversationsansicht wird durch das Eclipse-Plug-in unterstützt. Diese wird in einem Pop-up dargestellt und kann durch einen Doppelklick auf eine der zur entsprechenden Konversation gehörenden Nachrichten aufgerufen werden. Oberhalb der Konversation wird auch der Avatar des Verfassers der ausgewählten Nachricht angezeigt (vgl. Bild 2). Bild 1: Darstellung des Nachrichtenstroms Bild 2: Konversation anzeigen Neben der Anzeige des Nachrichtenstroms und der vorgenannten Möglichkeit Nachrichten zu verfassen, bietet das Plug-in die Möglichkeit, Nachrichten direkt aus dem Code heraus zu versenden. Im Folgenden wird dies an einem einfachen Beispiel demonstriert. Bild 3 zeigt die Klasse DataHandler, die im Konstruktor ein Array mit drei Zahlen initialisiert. Dabei wird davon ausgegangen, dass der für diese Klasse zuständige Entwickler das Array "array1" aufsteigend sortieren möchte. Allerdings ist er sich nicht sicher, welcher Sortieralgorithmus für dieses Problem am geeignetsten ist. Zudem ist ihm nicht bekannt, wer der richtige Ansprechpartner für dieses Problem ist. Mittels des vorliegenden Plug-ins erhält er die Möglichkeit, eine Nachricht direkt aus dem Code an seine Abonnenten zu schicken. Dazu genügt ein Rechtsklick auf die Zeile, aus der die Nachricht gesendet werden soll. Anschließend kann die entsprechende Funktion im Kontextmenü ausgewählt werden (vgl. Bild 3). Daraufhin wird ein neues Fenster eingeblendet, in dem die Nachricht eingegeben werden kann (vgl. das Fenster im unteren Teil von Bild 4). Neben dem Eingabefeld wird darauf hingewiesen, wie viele

133 Multikonferenz Wirtschaftsinformatik Zeichen dem Verfasser der Nachricht noch zur Verfügung stehen. Zudem kann der Verfasser entscheiden, ob er Kontextinformationen in Form von Quellcodeausschnitten an die Nachricht anhängen möchte. Sollte dies nicht der Fall sein, dann kann die Nachricht direkt abgesendet werden. Anschließend wird die Nachricht an der entsprechenden Stelle im Quellcode angezeigt. Wenn der Verfasser der Nachricht jedoch einen Quellcodeausschnitt anhängen möchte, dann kann er den Haken auf der rechten Seite des Eingabefensters aktivieren und in den entsprechenden Feldern eintragen, wie viele Zeilen vor und wie viele Zeilen nach der entsprechenden Codezeile mitgesendet werden sollen. Bild 3: Kontextmenü Bild 4: Senden einer Nachricht aus dem Quellcode In der Eclipse IDE wird auf zwei Arten kenntlich gemacht, dass die Nachricht aus dem Code versendet wurde. Bild 5 zeigt beide Darstellungsformen. Zum einen wird in der entsprechenden Codezeile mit einem neuen Symbol angezeigt, dass von dieser Stelle aus eine Nachricht versendet wurde. In einem Mouseover-Menü wird die zugehörige Nachricht an dieser Stelle eingeblendet. Mögliche Antworten auf diese Nachricht werden ebenfalls an dieser Stelle angezeigt. Somit werden zum einen die Nachvollziehbarkeit erhöht und Begründungen (engl. rationales) der Entwickler dokumentiert. Zum anderen wird in der Zeitleiste eingeblendet, aus welcher Klasse die Nachricht verschickt wurde (vgl. die vierte Spalte in Bild 5). Dadurch können Entwickler im Projekt unmittelbar sehen, in welcher Klasse Diskussionsbedarf besteht. Sie sind in der Lage, sich ohne weitere Rückfragen bezüglich des Kontexts der Nachricht weitere Informationen zur Beantwortung der entsprechenden Frage einzuholen. Da die Nachrichten, die aus dem Quellcode versendet wurden, als Lesezeichen mit der

134 1768 Lars Klimpke, Thomas Kude, Armin Heinzl entsprechenden Codezeile verknüpft werden, kann über einen Doppelklick auf das Lesezeichen in der Eclipse IDE zur betroffenen Stelle im Code gesprungen werden. Bild 5: Nachricht im Code anzeigen Für Nachrichten, die aus dem Quellcode versendet wurden, wird diese Information ebenfalls in der Web-Anwendung eingeblendet. Dadurch wird es Mitarbeitern, die die Nachricht über diese Benutzerschnittstelle bekommen, erleichtert, informiert zu bleiben, an welchem Problem und in welcher Klasse zurzeit gearbeitet wird. Bild 6 zeigt die Darstellung dieser Information in der Web- Anwendung. Die Abbildung zeigt auch, wie mitgesendete Kontextinformationen eingebettet werden. Neben den bekannten Symbolen rechts von der Nachricht existiert bei jenen Nachrichten, bei denen Quellcodeausschnitte mitgesendet wurden, ein Button mit einem Raute-Zeichen. Mit diesem kann der Quellcode in einem Pop-up-Fenster über dem eigentlichen Nachrichtenstrom angezeigt werden. Bild 7 zeigt diese Anzeige für das oben angeführte Beispiel. Um die Lesbarkeit des mitgesendeten Quellcodes zu verbessern, wird der im Pop-up-Fenster eingeblendete Ausschnitt mittels Syntaxhervorhebungen (eng. syntax highlighting) formatiert. Mit Hilfe der so dargestellten Kontextinformationen ist es jenen Projektbeteiligten möglich, die nicht mit Implementierungsaufgaben beschäftigt sind, die konkrete Frage besser zu verstehen und zu beantworten. Bild 6: Nachricht im Kontext anzeigen

135 Multikonferenz Wirtschaftsinformatik Bild 7: Quellcodeauschnitt anzeigen 4 Vorläufige Evaluation des entwickelten Ansatzes Die Evaluation von Artefakten im Rahmen eines konstruktionsorientierten Forschungsansatzes hat nach Hevner et al. [12] das Ziel, die Qualität, Nützlichkeit und Wirksamkeit des entwickelten Artefakts einer Überprüfung zu unterziehen. Im Rahmen des hier vorgestellten Projekts konnten bisher die Qualität des Werkzeugs im Sinne der Funktionsfähigkeit und Bedienbarkeit sowie die grundsätzliche Nützlichkeit untersucht werden. Dies führte zu Erweiterungs- und Verbesserungsmöglichkeiten, die teilweise bereits umgesetzt werden konnten. Eine Evaluation der Wirksamkeit des vorgeschlagen integrierten Kommunikationsansatzes im Rahmen eines Experiments sowie der prototypische Einsatz im betrieblichen Umfeld steht derzeit noch aus. Um die Funktionsfähigkeit und Bedienbarkeit des Werkzeugs sicherzustellen, wurde eine frühe Version im Rahmen von studentischen Projekten einer Lehrveranstaltung zur globalen, verteilten Softwareentwicklung im Masterstudiengang Wirtschaftsinformatik testweise eingesetzt. Ziel war die Entwicklung einer Java-basierten Softwarelösung für einen Musikstreaming-Dienst. Mit den Erfahrungen der studentischen Entwickler konnten neue Anforderungen (beispielsweise in Bezug auf die Anordnung von Schaltflächen) identifiziert werden. Zudem konnten Fehler im Code gefunden und die Dokumentation in Form einer Installations- und Nutzungsanleitung verbessert werden. Um die Nützlichkeit des Werkzeugs zu ermitteln, wurde nach Abschluss der Entwicklung eine Befragung in einem mittelständischen Unternehmens durchgeführt, deren Tagesgeschäft die verteilte Softwareentwicklung ist. Das betreffende Unternehmen agiert als Nearshoring-Anbieter. Am deutschen Standort sind ca. 20 Mitarbeiter im Projektmanagement tätig, die anderen 100 Mitarbeiter arbeiten als Entwickler an drei verschiedenen Standorten in Osteuropa. Tabelle 1 gibt einen Überblick über die Interviewpartner. ID Position Ort Erfahrung in Jahren Abgeschlossene Projekte M1 Projektmanager D 5 >100 M2 Projektmanager D 4 50 M3 Leiter Operations D 7 30 M4 Projektmanager D 7 10 M5 Projektmanager D 2 35 M6 Creative Director OE1 10 >100 M7 Projektmanager D E1 Senior ios Developer OE2 6 >20 E2.net Developer OE Tabelle 1: Übersicht der Interviewpartner (D: Deutschland; OE1, OE2: Osteuropäische Standorte)