Research Report Series 187/2014

Transkript

1 Research Report Series 187/2014 Evaluierung des österreichischen Sicherheitsforschungsprogramms KIRAS Ex Post-Evaluation 2014 ISSN Stephan Heinrich, Daniel Riesenberg (Prognos AG) Michael Ploder (JOANNEUM RESEARCH) Im Auftrag Bundesministeriums für Verkehr, Innovation und Technologie (bmvit), Sektion III, Stabsstelle für Technologietransfer und Sicherheitsforschung Graz, Wien und Berlin, September 2014 JOANNEUM RESEARCH Forschungsgesellschaft mbh Forschungsgruppe Technologie, Innovation und Politikberatung Sensengasse 1, A-1090 Wien Tel Leonhardstraße 59, A-8010 Graz Tel Prognos AG Goethestraße 85 D Berlin Tel.: IFES Institut für empirische Sozialforschung GmbH Teinfaltstraße 8, A-1010 Wien Tel.:

2

3 Executive Summary Deutsch Das Programm Das österreichische Sicherheitsforschungsprogramm KIRAS ist das nationale Programm zur Förderung der Sicherheitsforschung in Österreich. KIRAS unterstützt nationale Forschungsvorhaben mit dem Ziel, die Sicherheit Österreichs und seiner Bevölkerung zu erhöhen. Die Programmverantwortung für das KIRAS-Programm liegt beim Bundesministerium für Verkehr, Innovation und Technologie (bmvit). Das bmvit hat die Österreichische Forschungsförderungsgesellschaft (FFG) mit dem Programmmanagement für das KIRAS-Programm beauftragt. Die strategischen Programmziele von KIRAS sind: 1. Erhöhung der Sicherheit und des Sicherheitsbewusstseins der Bürgerinnen und Bürger 2. Generierung sicherheitspolitisch erforderlichen Wissens 3. Erzielung von Wissens-, Verfahrens- und Technologiesprüngen 4. Wachstum der heimischen Sicherheitswirtschaft 5. Auf- und Ausbau von Exzellenz im Bereich Sicherheitsforschung Das Erreichen der strategischen Ziele erfordert einen integrativen Ansatz, der nicht ausschließlich auf technologische Lösungen setzt, sondern auch sozial- und geisteswissenschaftliche Herangehensweisen integriert. Dies soll durch das strategische Querschnittsziel, der Berücksichtigung gesellschaftlicher Fragestellungen in allen Aspekten der Sicherheitsforschung (Ziel 6), erreicht werden. Durch die verpflichtende Einbindung von Bedarfsträgern bei Verbundprojekten soll die Anwendungsorientierung der geförderten Sicherheitsforschungsprojekte gestärkt werden. Die im Rahmen des KIRAS-Programms geförderten Projekte sollen darüber hinaus auf längere Sicht dazu beitragen, qualifizierte Arbeitsplätze in Österreich zu schaffen bzw. zu sichern. Begleitende und Ex post-evaluation Das bmvit beauftragte im Jänner 2009 das Evaluationskonsortium, bestehend aus der Prognos AG, der JOANNEUM RESEARCH Forschungsgesellschaft mbh und IFES-Institut für empirische Sozialforschung, mit der begleitenden Wirkungsevaluation des Sicherheitsforschungsprogramms KIRAS. Für 2014 wurde eine Ex post-evaluierung beauftragt. Der vorliegende Bericht der Ex post-evaluierung stellt dem Auftraggeber eine Leistungsbilanz des Programms zur Verfügung. Eine Bewertung des KIRAS-Programmmanagements und der Entscheidungsprozesse lagen nicht im Aufgabenbereich der gegenständlichen Evaluation. Aspekte dieser Themenbereiche wurden nur dann berücksichtigt, wenn sie die Zielerreichung in nachvollziehbarer Weise beeinflussten. Die Ergebnisse der Evaluierung beruhen sowohl auf einer quantitativen als auch einer qualitativen Analyse der bisherigen Wirkungen und Ergebnisse von KIRAS. Den Evaluationstätigkeiten liegen eine Logic Chart Analyse, die programmspezifischen Auswertungen der Projekt- und Unternehmensdatenbank der FFG, Online-Befragungen der Projektteilnehmer zu Projektbeginn, Projektende und zwei Jahre nach Projektende, ein multi-regionales Input-Output Modell sowie Fallstudien zu ausgewählten KIRAS-Projekten und ein Peer Review der erarbeiteten Ergebnisse zugrunde. Die Durchführung der Ex post-evaluierung baut auf die Ergebnisse der begleitenden Evaluierung auf. PROGNOS AG JOANNEUM RESEARCH IFES I

4 Die Wirkungsmessung Das Ergebnis der Ex post-evaluation von KIRAS ist ein Wirkungsbild, das auf zwei Aspekte fokussiert: 1. Inwiefern konnten die in KIRAS durchgeführten Projekte einen Beitrag zu den strategischen Programmzielen von KIRAS leisten? 2. Welche durch die Vorgaben des Förderprogramms definierten Bedingungen waren für die Projektakteure hinderlich bzw. hilfreich zur Erfolgserreichung? Einen komprimierten Überblick über die mit KIRAS erreichten Erfolge und Zielbeiträge gibt die folgende Abbildung: ZIELE, ZIELWERTE UND ZIELERREICHUNG VON KIRAS Programmziel Zieldimension Zielwert Quantifizierung Ziel 1 Erhöhung Sicherheit und des Sicherheitsbewusstseins Von den Bedarfsträgern wahrgenommene positive Auswirkungen auf die Sicherheit im öffentlichen Raum >60% lt. Angaben der Bedarfsträger 78% der Bedarfsträger sehen positive Wirkung Ziel 2 Generierung des sicherheitspolitisch erforderlichen Wissens Beteiligung von Bedarfsträgern Die Anzahl der beteiligten Bedarfsträger soll größer sein als die Anzahl der geförderten Projekte im Instrument Kooperative F&E-Projekte An den 78 Projekten des Instruments sind 143 Bedarfsträger beteiligt, an den insgesamt 150 Projekten sind 219 Bedarfsträger beteiligt. Ziel 3 Erzielung von Wissens-, Verfahrens- und Technologiesprüngen Von den beteilligten Einrichtungen wahrgenommene Erschließung neuer Forschungsbereiche >50% der Respondenten 92% der Unternehmen bzw. 84% der Forschungseinrichtungen haben zumindest teilweise neue Forschungsbereiche erschlossen Ziel 4 Wachstum der heimischen Sicherheitswirtschaft Nachweis der Generierung von Wertschöpfung zumindest 120 Mio. durch direkte, indirekte und induzierte Effekte bei einer erreichten Gesamtförderhöhe von zumindest 60 Mio. Stand 2014 Förderbarwert: 51 Mio. Wertschöpfung: 102 Mio. Hochrechnung Förderbarwert: 60 Mio. Wertschöpfung: 120 Mio. Ziel 5 Auf- und Ausbau von Exzellenz im Bereich der Sicherheitsforschung Von den beteiligten Einrichtungen wahrgenommene Aneignung von neuen Kompetenzen > 50% der Respondenten 66% der Unternehmen und 74% der Forschungseinrichtungen haben neue Kompetenzen Ziel 6 Berücksichtigung gesellschaftlicher Fragestellungen in allen Aspekten der Sicherheitsforschung Beteiligung von GSK- Einrichtungen Anzahl der beteiligten GSK-Einrichtungen soll größer sein als die Anzahl der geförderten Projekte im Instrument Kooperative F&E-Projekte Seit 2009 sind an 49 Projekten des Instruments 57 GSK- Einrichtungen direkt beteiligt.* Insgesamt sind an mind. 120 Projekten GSK-Partner beteiligt (81% der Projekte). * Erfassung erfolgt erst seit 2009 Quelle: PROGNOS / JOANNEUM RESEARCH Durch ihre thematische Ausrichtung leisten die in der bisherigen Programmlaufzeit 150 geförderten Projekte (30 Prozent der beantragten Projekte) mit einem Kostenrahmen von durchschnittlich PROGNOS AG JOANNEUM RESEARCH IFES II

5 Euro je Projekt, durchgehend einen Beitrag zum Ziel, die öffentliche Sicherheit zu erhöhen (Ziel 1). Wie auch das Themenspektrum des Projektportfolios und die Ergebnisse der Fallstudien zeigen, adressierten die KIRAS-Projekte Themenbereiche, in denen ein konkretes Bedrohungspotential existiert. Im Programmverlauf hat, neben dem programmspezifischen Fokus auf den Schutz kritischer Infrastruktursektoren, das Thema Kriminalität eine hohe Bedeutung; damit und mit den weiterhin ausführlich behandelten Themen Terrorismus und Naturkatastrophen wurden gleichzeitig auch Bereiche angesprochen, die bestehende Ängste und Bedrohungswahrnehmungen in der Bevölkerung widerspiegeln. Die thematisch-inhaltlichen Breite der mit KIRAS geförderten Projekte ist groß. Dennoch lassen sich die fünf Schwerpunktthemenfelder Lagebild und Einsatzleitung/Entscheidungsunterstützung, Schutz Physischer Kritischer Infrastrukturen, Risiko- und Bedrohungsanalysen sowie Surveillance und Strategie- und Maßnahmenentwicklung als Stärkefelder der österreichischen Sicherheitsforschung identifizieren. Die thematische Offenheit der bisher erfolgten Förderung im Rahmen von KIRAS lässt sich insofern als exploratives Verfahren zur Identifikation von Forschungsstärken interpretieren. Es werden in den Ausschreibungsleitfäden bestimmte gewünschte Anforderungen und thematische Schwerpunktsetzungen relativ detailliert beschrieben und legen die Einbeziehung vorheriger KIRAS-Projekte nahe. Diese Anforderungsformulierungen können als weiches Pflichtenheft für einzureichende Projekte verstanden werden. Damit ist es möglich, Schwerpunktthemenfelder stärker zu fokussieren, ohne zugleich die prinzipielle thematische Offenheit des Programms einzuschränken. Die bisherige Anwendung dieser Anforderungsformulierung in den Ausschreibungsleitfäden hat nicht dazu geführt, dass nur Projekte gefördert werden, die diesen Anforderungen auch entsprechen; die thematische Offenheit von KIRAS ist weiterhin gegeben. Denn ausschlaggebend für den Erfolg oder Misserfolg eines Projektantrags ist noch immer die Beurteilung durch Gutachterinnen und Gutachter und Jury (zweistufiges Verfahren) und damit die Qualität der eingereichten Förderersuchen. Die Beiträge der bestehenden KIRAS-Projekte zur Erhöhung des Sicherheitsbewusstseins der Bevölkerung fielen im Vergleich dazu etwas moderater aus, da nur bei einem guten Drittel der Projekte Maßnahmen und Aktivitäten zur Bewusstseinsbildung für die allgemeine Öffentlichkeit vorgesehen waren; die durchgeführten Maßnahmen richteten sich vor allem an ausführende Organe und Experten, da diese die relevante Gruppe zur Umsetzung des generierten Wissens darstellen. Bei diesen Akteuren haben die Projekte aber dazu beigetragen, das Bewusstsein einer vernetzten Sicherheit zu stärken und den Diskurs unter den Experten zu stärken. Der Beitrag von KIRAS zur Generierung des sicherheitspolitisch erforderlichen Wissens bemisst sich unter anderem am Ausmaß, in dem das Programm Projekte zur Sicherheitsforschung ermöglichte, die sonst nicht hätten durchgeführt werden können. Die Befragungsergebnisse legen dazu einen tendenziell positiven Befund nahe: Einerseits bieten offensichtlich auch andere Förderprogramme Raum, um Forschung im Sicherheitsbereich zu betreiben so hätte rund die Hälfte der befragten Projektteilnehmer ihren (hypothetisch) abgelehnten KIRAS-Antrag bei einem anderen Förderprogramm eingereicht. Andererseits gab ein gutes Drittel aller Befragten und immerhin rund 44 Prozent der Unternehmen an, dass sie ihr Projekt ohne die KIRAS-Förderung nicht (auch nicht in ähnlicher Form in einem anderen Programm) durchgeführt hätten. Ein weiterer Hinweis darauf, dass sicherheitspolitisch erforderliches Wissen generiert wird, stellt die starke Beteiligung von Bedarfsträgern an den Projekten dar. Die Nachhaltigkeit der Wissensgenerierung im Rahmen von KIRAS ist aus derzeitiger Sicht gegeben: Mit Ende des KIRAS-Projektes wurden circa 60 Prozent der befragten Einrichtungen bereits an der PROGNOS AG JOANNEUM RESEARCH IFES III

6 Konzeption eines Folgeprojektes beteiligt und auch zwei Jahre nach Projektende blieb die Bereitschaft, sich an Projekten der Sicherheitsforschung zu beteiligen, hoch. Es existiert daher ein stabiler Kern an bedeutenden und aktiven Akteuren im Sicherheitsforschungebereich, der sich regelmäßig an KIRAS beteiligt. Darüber hinaus konnte im Verlauf der Jahre die Anzahl der Neueinreicher erhöht werden, d.h. das Programm ist darüber hinaus offen und attraktiv für neue Akteure im Bereich der Sicherheitsforschung. Das dritte strategische Programmziel das Erzielen von Wissens- Verfahrens- und Technologiesprüngen wird von den in KIRAS geförderten Projekten gut erfüllt. KIRAS-Projekte wiesen tendenziell eine höhere technische Komplexität auf, hatten eine höhere strategische Bedeutung und waren deutlich kooperationsintensiver als andere Innovations- und Forschungstätigkeiten der beteiligten Einrichtungen. Über 80 Prozent der Projekte führten zu Innovationen in unterschiedlichen Bereichen, im Instrument Kooperative F&E-Projekte erreichte dieser Wert 90 Prozent. So vermerkten jeweils rund ein Drittel der Einrichtungen zu Projektende Produkt- oder Dienstleistungsinnovationen. Auch zwei Jahre nach Projektende blieb diese Einschätzung bestehen, wenn sie sich auch etwa auf ein Viertel abschwächte. Der Anteil der Einrichtungen, die keine Innovationen hervorbrachten, blieb dagegen gering. Im Hinblick auf das Programmziel 4 das Wachstum der heimischen Sicherheitswirtschaft wurden durch die Bedarfsträger trotz der relativen Marktnähe und der direkten Beteiligung im Projekt bisher nur in geringem Ausmaß Beschaffungsmaßnahmen realisiert. Lediglich 16 Prozent der Bedarfsträger verweisen auf konkrete Verwertungspläne und bestehende Vereinbarungen zu deren Umsetzung. Aus Sicht der Unternehmen leisten die KIRAS-Projekte daher am ehesten Beiträge zur Sicherung von bestehenden Umsätzen, die über die Aneignung von zusätzlichen Kompetenzen realisiert werden. Erwähnenswert ist, dass einzelne Projekten bereits Produkte am Markt platzieren konnten, die über den Rahmen einer Umsetzung bei den beteiligten Bedarfsträgern hinausgehen. Auch in jenen Fällen, wo bisher keine direkte Beschaffung durch Bedarfsträger erfolgte, dienen diese oftmals als "Referenzträger" für die entwickelte Technologie und unterstützen damit die Vermarktungsaktivitäten. Die gesamtwirtschaftlichen Effekte der Förderung sind durchwegs positiv zu bewerten. Die Simulationsergebnisse des Input-Output-Modells zeigen, dass das Fördervolumen von 51 Millionen Euro bzw. die Projektvolumina von insgesamt 74 Millionen Euro über direkte, indirekte und induzierte Effekte etwa 102 Millionen Euro an Wertschöpfungsvolumen generierten. Weiters stehen den KIRAS-Fördervolumina 92 Millionen Euro an zusätzlichen Produktionswert gegenüber. Insgesamt wurden in Österreich mit den KIRAS-Projekten Personenjahre an Beschäftigung ausgelastet. Dabei wurden durch die Projektfördervolumina Sozialversicherungsabgaben in der Höhe von 24 Millionen Euro generiert. Weiters erzielte der öffentliche Haushalt zusätzliche Steuereinnahmen von insgesamt 22,1 Millionen Euro. Dem Auftrag, neue Arbeitsplätze zu schaffen, kam KIRAS bisher vor allem beim Forschungspersonal nach. Mit den zum Beobachtungszeitpunkt geförderten Projekten konnten insgesamt rund 680 hochqualifizierte Arbeitsplätze gehalten und fast 420 hochqualifizierte Arbeitsplätze geschaffen werden. Über 80 Prozent der befragten Einrichtungen gaben an, das im Rahmen des KIRAS-Projekts beschäftigte Personal nach Projektende gehalten zu haben. Neun Prozent der Einrichtungen haben das beschäftigte Personal reduziert, aber 5 Prozent haben es nach Projektende erweitert. Da sich das in KIRAS-Projekten beschäftigte Personal zum überwiegenden Teil in unbefristeten, angestellten Beschäftigungsverhältnissen befindet, kann davon ausgegangen werden, dass für einen Großteil des neu beschäftigten Personals nachhaltige Beschäftigung geschaffen wurde. PROGNOS AG JOANNEUM RESEARCH IFES IV

7 Beiträge zum fünften Ziel, dem Auf- und Ausbau von Exzellenz, scheinen teilweise gegeben, da es dem Gros der Fördernehmer gelang, sich neue Kompetenzen anzueignen und die Ergebnisse in weiterführende Forschungsprojekte zu überführen. Im Sinne von zählbaren wissenschaftlichen Outputs kann dies nur beschränkt festgestellt werden: Etwa 55 Prozent der beteiligten Einrichtungen haben ihre Projektergebnisse veröffentlicht. Der Anteil von Publikationen in einschlägigen wissenschaftlichen Zeitschriften als Indikator für relativ hochwertige Publikationen liegt bei bemerkenswerten 54 Prozent. Einen positiven Beitrag zum Programmziel 6, der Berücksichtigung gesellschaftlicher Fragestellungen in allen Aspekten der Sicherheitsforschung, stellt die Rolle der GSK-Partner (Einrichtungen aus den Geistes-, Sozial- und Kulturwissenschaften) in den Projekten dar. Die Einbeziehung von GSK- Partnern ist nur bei den Projekten des Instruments Kooperative F&E-Projekte verpflichtend, aber mittlerweile sind sie im gesamten Projektportfolio gut vertreten; so ist nur an 19 Prozent der Projekte kein GSK-Partner beteiligt. D.h. aber auch, dass an mindestens 120 Projekten und damit mehr als den Projekten des Instruments Kooperative F&E-Projekte ein GSK-Partner beteiligt ist. Die GSK-Partner wurden in einem hohen Ausmaß in die Projekte integriert. Hervorgehoben wurde generell die Berücksichtigung von Bedarfslagen in der Bevölkerung, von existierenden Bedrohungsbildern und generell das Eröffnen neuer Perspektiven im Projekt; aber auch was die wirtschaftlichen und technischen Aspekte der Projekte angeht, wurden die GSK-Partner durchaus hinzugezogen. Empfehlungen Über die Laufzeit der begleitenden Evaluation wurden in periodischen Berichten mehrere Handlungsempfehlungen zur Optimierung von KIRAS entwickelt. Die Empfehlungen richteten sich einerseits an den Programmträger (bmvit) und wurden von diesem größtenteils aufgegriffen und andererseits auch direkt an (potentielle) Projektpartner. Für die Ex post-evaluierung fallen aufgrund der laufenden Optimierung von KIRAS die zu konstatierenden Verbesserungspotenziale gering aus, KIRAS ist gut aufgestellt und wird genauso gut durchgeführt. Auch die Programmziele werden erreicht. Dennoch gibt es einen Punkt, der hinsichtlich der gesamten Programmwirkung verbessert werden könnte. Dieser liegt allerdings weitgehend außerhalb des direkten Interventionsrahmens eines FTI- Programms und damit auch von KIRAS. Bislang ist die ökonomische Verwertungsperspektive weitgehend auf die Gewinnung von nationalen Bedarfsträgern fokussiert, die dann auch von den Unternehmen als Referenzkunden genutzt werden könnten. Aufgrund deren Beschaffungsverhalten bzw. budget(rechtlichen) Restriktionen ist diese Konzentration bislang nicht von großem Erfolg gekrönt. Es könnte angeraten sein, anstatt einer flächendeckenden Beschaffung vielmehr das Augenmerk darauf zu richten, einzelne Funktionseinheiten der Bedarfsträger mit den aus KIRAS resultierenden Produkten auszustatten und so anstatt eines Referenzkunden einen Referenznutzer zu finden. Unterstützt würden damit (internationale) Vermarktungspotenziale bei Unternehmen, aber auch Forschungseinrichtungen. Flankiert werden sollte diese Erweiterung des Verwertungsansatzes durch die Fortführung und Intensivierung der bisherigen Tätigkeiten der Programmeigentümer bei der (internationalen) Kontaktanbahnung, Messeorganisationen etc. sowie einer Ergänzung als Multiplikator von anderen Förder- und Unterstützungsmöglichkeiten inkl. deren Akteure auch außerhalb von KIRAS. PROGNOS AG JOANNEUM RESEARCH IFES V

8 Executive Summary English The Programme The Austrian Security Research Programme KIRAS is the national programme for the support of security research in Austria. KIRAS supports national research endeavours aiming to improve the security of the nation and its citizens. The responsibility for the KIRAS Programme lies with the Federal Ministry for Transport, Innovation and Technology (bmvit). The operative programme management of KIRAS has been assigned to the Austrian Research Promotion Agency (FFG). The strategic objectives of KIRAS are: 1. to increase the security and security awareness of the population 2. to generate knowledge relevant to security policy 3. to obtain knowledge, process and technology innovation 4. to foster the growth of the domestic security industry 5. to establish and develop excellence in the field of security research The achievement of these strategic objectives requires an integrative approach that is not based solely on technological solutions, but also draws on approaches from the social sciences and the humanities. This will be achieved through an additional strategic cross-sectional objective to consider societal issues in all aspects of security research (objective 6). By bindingly involving potential end-users (companies and public agencies) in collaborative R&D projects, the programme seeks to strengthen the application orientation in the supported security R&D projects. Furthermore, KIRAS-supported R&D projects are to contribute to creating and securing high-quality jobs in Austria in the long term. Accompanying and Ex-Post Evaluation In January 2009, bmvit assigned a consortium consisting of Prognos AG, JOANNEUM RESEARCH Forschungsgesellschaft mbh and the Institute for Empirical Social Studies (IFES) the task of providing an accompanying impact evaluation of the security research programme KIRAS. An ex-post evaluation was commissioned for This ex-post evaluation report provides the client (bmvit) with a performance record of the programme. The evaluation of the KIRAS programme management and the decision-making processes within the programme was not included in the scope of this evaluation. Consequently, such aspects were only considered if they had a documented impact on the programme performance. The results of the evaluation are based on a combination of quantitative and qualitative evaluation methods to analyse the impact and outcome of KIRAS, including logic chart analysis, analysis of the programme and enterprise database of the FFG, online surveys of all programme participants at the beginning and end of the project as well as two years after the conclusion of the project, a multi-regional input-output model, a number of case studies on selected KIRAS projects, and a peer review of the findings generated. The ex-post evaluation builds on the results produced in the accompanying evaluation. PROGNOS AG JOANNEUM RESEARCH IFES VI

9 The Impact Assessment The results of the ex-post evaluation of KIRAS focus on two aspects: 1. To what extent were the projects able to contribute to the strategic objectives of KIRAS? 2. Which framework conditions of the R&D support programme constituted positive or negative factors for project participants in achieving project success? The following figure presents a concise overview of the successes generated by KIRAS and the contributions the programme has made: OBJECTIVES, TARGET VALUES AND TARGET ACHIEVEMENT OF KIRAS Programme objective Target dimension Target value Quantification Objective 1 Increase security and security awareness Positive effects on public security as perceived by end-users >60% according to endusers 78% of end-users see a positive effect Objective 2 Generate knowledge relevant to security policy Involvement of end-users The number of participating end-users should exceed the number of projects supported in the Cooperative R&D Projects instrument 143 end-users are involved in 78 projects of this instrument, a total of 219 endusers are involved in 150 projects. Objective 3 Obtain knowledge, process and technology innovation The development of new fields of research as perceived by the participating institutions >50% of respondents 92% of the companies and 84% of the research institutions have developed new fields of research, at least in part Objective 4 Foster the growth of the domestic security industry Evidence of generating added value At least 120 m via direct, indirect and induced effects with a total funding volume in excess of 60 m Status in 2014 Cash value of funding: 51 m Added value: 102 m Projection Cash value of funding: 60 m Added value: 120 m Objective 5 Establish and develop excellence in the field of security research Objective 6 Consider societal issues in all aspects of security research Acquisition of new competencies as perceived by the participating institutions Involvement of institutions from the social sciences and the humanities >50% of respondents 66% of the companies and 74% of the research institutions have acquired new competencies The number of participating institutions from the social sciences and the humanities should exceed the number of projects supported in the Cooperative R&D Projects instrument A total of 57 institutions from the social sciences and the humanities have been directly involved in 49 projects of the instrument since 2009.* Overall, institutions from the social sciences and the humanities are at least involveld in 120 projects (81% of the projects). * Has only been recorded since 2009 Source: PROGNOS / JOANNEUM RESEARCH PROGNOS AG JOANNEUM RESEARCH IFES VII

10 To date, the programme has supported 150 projects (30 per cent of total project applications) with an average funding of 498,000 per project; through their thematic orientation, the projects generally contribute to the objective of increasing public security (objective 1). A survey of the themes addressed in the project portfolio as well as the results of the case studies show that KIRAS projects typically addressed subject areas facing tangible threat potentials. In the course of the programme, the issue of crime played a major role in addition to the programme-specific focus on protecting critical infrastructure sectors; with this and the extensive number of projects in the areas of terrorism and natural disasters, the programme thus simultaneously addressed areas that reflect existing fears and perceived threats among the population. The projects cover a wide range of topics and content. Nevertheless, the five key issues situation and incident command/decision support, protection of critical infrastructures, risk and threat assessments, surveillance and strategy and action development can be identified as areas of strength in Austrian security research. The openness to all topics recognisable in the previous support provided under KIRAS can be interpreted as an explorative method for identifying research strengths. In the application guide, a number of desirable requirements and key topics are described in relative detail; however, they are not obligatory for application. In this way, a greater focus was placed on key issues without simultaneously restricting the programme s general openness to topics. Whether or not a project application is successful depends on the jury s decision and, hence, on the quality of the application. In comparison to that, the programme s contributions to the objective of increasing security awareness among citizens were moderate. Only about a third of the projects included measures and activities intended to raise awareness among the general public; the projects implemented focused rather on the implementing agencies and security experts because they constitute groups relevant for the implementation of the knowledge generated. With these stakeholders, however, the projects contributed to raising the awareness of cross-linked security and stimulating debate amongst experts. The programme s contribution to the generation of knowledge relevant to security policy can be assessed partly according to the number of projects which would not have been carried out without KIRAS funding. In this respect, the results of the online survey tend to suggest a positive result: on the one hand, other R&D programmes in Austria could potentially support research in the domain of security for example, about half of the project participants surveyed would have applied for other R&D support measures in the case of rejection. On the other hand, about a third of all KIRAS participants and around 44 per cent of all participating companies claimed that their project would not have been carried out without KIRAS funding (not even in a similar form within another programme). A further indication that knowledge relevant to security policy is generated, is the strong participation of end-users in the projects. The sustainability of knowledge generated in the course of the programme is also secured from the current standpoint: at the end of the KIRAS project, around 60 per cent of all participants had already begun planning follow-up projects, and two years after the end of the project, willingness to engage in security-related R&D projects remained high amongst project participants. Hence a solid core of important stakeholders is active in the area of security research, participating regularly in KIRAS. In addition, the number of new applicants increased over the years, meaning that the programme is additionally open and attractive for new players in the field of security research. PROGNOS AG JOANNEUM RESEARCH IFES VIII

11 The third strategic programme objective to achieve knowledge, process and technological innovation has been attained to a considerable extent by the projects. Supported KIRAS projects tended to have a higher complexity, a higher strategic relevance and a higher cooperation intensity than typical in-house R&D projects. Over 80 per cent of the projects led to innovations in different areas; this figure increased to 90 per cent in the Cooperative R&D Projects instrument. For example, around one third of all participants achieved product or service innovation in the course of the project. The same assessment is made two years after the completion of the project, albeit falling to around a quarter. In contrast, the number of organisations that have not produced innovation remained low. Despite a strong integration of potential customers (end-users) and the fact that projects are typically rather market-oriented in nature, the contribution to the growth of the domestic security industry (objective 4) was rather limited. Only 16 per cent of all end-users involved have adopted concrete implementation plans or have concluded agreements to implement them. From the point of view of companies, KIRAS projects therefore contribute mainly to securing existing sales, albeit realised via the acquisition of additional competencies. It is worth mentioning that a number of projects have already managed to go beyond the demonstration phase, even placing products on the market. Even in those cases where previously there was no direct procurement by end-users, these often serve as the "reference entity" for the developed technology and thus support the marketing activities. The overall economic effects of the support programme are positive. Simulation results from the input-output model show that the 51 million in KIRAS grants and total project volumes of 74 million have generated a value added of approximately 102 million via direct, indirect and induced effects. Furthermore, 92 million of additional production value was generated from the funding volumes. The KIRAS projects have created a total of 1,961 person years of employment in Austria. In this connection, the funding volumes generated social insurance contributions worth 24 million. Furthermore, the public budget generated additional taxes worth a total of 22.1 million. KIRAS particularly contributed to creating jobs for researchers. KIRAS projects supported at the time of observation sustained around 680 jobs for highly qualified personnel and created almost 420 new ones. Over 80 per cent of project participants indicated that the persons employed within the framework of the KIRAS Programme remained employed following the project completion. Nine per cent of participants decreased personnel after project completion; five per cent increased their number of staff. The majority of staff employed in KIRAS projects hold permanent work contracts, suggesting that sustainable jobs have indeed been created for most of the newly employed personnel. There seem to have been some contributions to the fifth objective, to establish and develop excellence in the field of security research, since the bulk of project participants managed to acquire new competencies in the course of the project and were able to translate the results into new research endeavours. For the creation of measurable scientific output, this conclusion holds true only to a limited extent: around 55 per cent of participants have published their project results. A remarkable 54 per cent of these articles were published in relevant scientific journals, an indicator of the relatively high quality of the publications. A positive contribution to objective 6, the consideration of societal issues in all aspects of security research, is achieved via the involvement of project partners from the social sciences and the hu- PROGNOS AG JOANNEUM RESEARCH IFES IX

12 manities. Although the inclusion of project partners from the social sciences and the humanities is only obligatory for projects within the Cooperative R&D Projects tool, these partners are now very well represented throughout the entire project portfolio; only 19 per cent of projects have no involvement of such partners. At least 120 projects, more than the projects of the instrument "Cooperative R&D Projects" involving a GSK-partner. These project partners from the social sciences and the humanities are firmly integrated into the projects. Project leaders generally emphasise that the integration of such partners allows them to take into account more effectively the needs of citizens and existing threat scenarios, as well as to open up new perspectives in general within the project; the partners are also by all means consulted in economic and technical aspects of the projects. Recommendations Several recommendations for action for optimising KIRAS were made in periodic reports over the course of the accompanying evaluation. The recommendations were targeted on the one hand towards the programme patron (bmvit) which has already picked up on many of them and (potential) project partners on the other. Thanks to the continuous optimisation of KIRAS, there is little potential for improvement to state in the ex-post evaluation KIRAS is well positioned and is implemented equally effectively. In addition, all of the objectives are achieved. Nevertheless, there is one point that could be improved with regard to the programme s overall impact. However, this point lies largely outside the direct intervention framework of an RTDI programme, and consequently also outside the reach of KIRAS. So far, the economic realisation perspective has focused largely on gaining national end-users, who can then also be used by companies as reference customers. Due to their purchasing behaviour and budget(ary law) restrictions, concentrating on national end-users has not so far proved particularly successful. It may be advisable to concentrate on equipping end-users individual functional units with the products resulting from KIRAS rather than comprehensive procurement, enabling reference users to be found instead of reference customers. This would support the (international) marketing potential in both companies and research institutions. This extension of the realisation approach should be flanked by the continuation and stepping up of programme owners previous activities in initiating (international) contacts, enhancing the participation in trade fairs, and so on. It should also be expanded, acting as a multiplier of other possibilities for funding and support, including their players beyond the realm of KIRAS. PROGNOS AG JOANNEUM RESEARCH IFES X

13 INHALTSVERZEICHNIS 1 EVALUATIONSKONZEPT AUFGABENSTELLUNG UND EVALUATIONSKONZEPT ERFOLGSMESSUNG METHODISCHE HERANGEHENSWEISE CHARAKTERISIERUNG VON KIRAS OUTCOME UND IMPACT ZIELGRUPPEN ABGRENZUNG ZU EXISTIERENDEN INITIATIVEN DARSTELLUNG DES BISHERIGEN PROGRAMMVERLAUFS PROGRAMMVERLAUF UND BETEILIGUNG PROJEKTPARTNER FÖRDERBILANZ RESÜMEE THEMATISCH-INHALTLICHE AUSRICHTUNG VON KIRAS-PROJEKTEN KRITISCHE INFRASTRUKTUREN ALS GEGENSTAND DER PROJEKTE THEMATISCHE SCHWERPUNKTE DER GEFÖRDERTEN PROJEKTE ANBINDUNG AN DAS EU-FORSCHUNGSRAHMENPROGRAMM RESÜMEE CHARAKTERISIERUNG DER BETEILIGTEN UNTERNEHMEN UND FORSCHUNGSEINRICHTUNGEN TYPOLOGIE DER BETEILIGTEN EINRICHTUNGEN THEMATISCHE FORSCHUNGSSCHWERPUNKTE DER BETEILIGTEN EINRICHTUNGEN LEISTUNGSSPEKTRUM UND KUNDENSTAMM DER BETEILIGTEN EINRICHTUNGEN FORSCHUNGSQUALITÄT UND LEISTUNGSSPEKTRUM DER BETEILIGTEN EINRICHTUNGEN ERFAHRUNG MIT FORSCHUNGSKOOPERATIONEN UND GEFÖRDERTEN F&E-PROJEKTEN WIRKUNGSANALYSE I: ERGEBNISSE DER ONLINE-BEFRAGUNG VERLAUF DER ONLINE BEFRAGUNG ZIEL 1: BEITRÄGE ZUR ERHÖHUNG DER ÖFFENTLICHEN SICHERHEIT UND DES SICHERHEITSBEWUSSTSEINS DER BEVÖLKERUNG ZIEL 2: BEITRÄGE ZUR GENERIERUNG SICHERHEITSPOLITISCH ERFORDERLICHEN WISSENS ZIEL 3: BEITRÄGE ZUR ERZIELUNG VON WISSENS-, VERFAHRENS- UND TECHNOLOGIESPRÜNGEN ZIEL 4: BEITRÄGE ZUM WACHSTUM DER HEIMISCHEN SICHERHEITSWIRTSCHAFT ZIEL 5: BEITRÄGE ZUM AUF- UND AUSBAU VON EXZELLENZ IM BEREICH DER SICHERHEITSFORSCHUNG PROGNOS AG JOANNEUM RESEARCH IFES A

14 6.7 ZIEL 6: BERÜCKSICHTIGUNG GESELLSCHAFTLICHER FRAGESTELLUNGEN IN ALLEN ASPEKTEN DER SICHERHEITSFORSCHUNG RESÜMEE FALLSTUDIEN FALLSTUDIE 1 (GEMEINSAMES ÖFFENTLICH-PRIVATES LAGEBILD) FALLSTUDIE 2 (SUSI) FALLSTUDIE 3 (STEGIT / STEGIT 2 / STEGIT 3) FALLSTUDIE 4 (AREA MUMOSIS / AREA MUMOSIS NEXT) FALLSTUDIE 5 (EMC²) FALLSTUDIE 6 (PUKIN / AIRWATCH) FALLSTUDIE 7 (IOBSERVE / IOBSERVENG) FALLSTUDIE 8 (GEDES) FALLSTUDIE 9 (NETWORKED MINISPOT) RESÜMEE IMPACTABSCHÄTZUNG DER KIRAS-FÖRDERVOLUMINA UNTERSUCHUNGSMETHODE SIMULATIONSERGEBNISSE RESÜMEE ABSCHLIEßENDE BEWERTUNG PROGRAMMVERLAUF BEITRÄGE ZU DEN PROGRAMMZIELEN INHALTLICH, STRATEGISCHE AUSRICHTUNG DES PROGRAMMS ENTWICKLUNGSBEDARF ANNEX: QUANTITATIVE INDIKATOREN REFERENZLISTE PROGNOS AG JOANNEUM RESEARCH IFES B

15 ABBILDUNGSVERZEICHNIS Abbildung 1: Evaluationskonzept... 2 Abbildung 2: Überblick über die Quantitativen Indikatoren der Wirkungsmessung... 3 Abbildung 3: Logic Chart von KIRAS... 9 Abbildung 4: Projektanträge in den bisher durchgeführten Ausschreibungen Abbildung 5: Beteiligte Einrichtungen nach KIRAS-Organisationstyp Abbildung 6: Programmbeteiligung nach Organisationstyp Abbildung 7: Durchschnittliche Konsortialgröße nach KIRAS-Organisationstyp Abbildung 8: Förderbilanz der geförderten KIRAS-Projekte (Euro) Abbildung 9: Fördervolumen in Mio. Euro und Prozent nach Organisationstyp Abbildung 10: Fördervolumen in Mio. Euro Abbildung 11: Sektoren der kritischen Infrastrukturen Abbildung 12: Sektoren der kritischen Infrastrukturen - Historische Entwicklung (prozentual) Abbildung 13: Sektoren der kritischen Infrastrukturen - Historische Entwicklung (absolut) Abbildung 14: Themensystematik der Instrumente Abbildung 15: Themenschwerpunkte der geförderten Projekte nach Themensystematik (Einfachzuordnung) Abbildung 16: Themenschwerpunkte der geförderten Projekte nach Schlagwörtern Abbildung 17: Zuordnung von ausgewählten Projekten zu Schwerpunktthemenfeldern Abbildung 18: Themenschwerpunktfelder der geförderten Projekte nach verdichteten Schlagwörtern (Mehrfachzuordnung) Abbildung 19: Zuordnung zu den Schwerpunkten des EU-Sicherheitsforschungsprogramms (geförderte Projekte) Abbildung 20: Zuordnung zu den Schwerpunkten des EU-Sicherheitsforschungsprogramms - Historische Betrachtung (Anzahl geförderte Projekte) Abbildung 21: Anzahl der geförderten Unternehmen und ausseruniversitären Forschungseinrichtungen (um Doppelnennungen bereinigt) Abbildung 22: Charakterisierung der geförderten Unternehmen Abbildung 23: Charakterisierung der geförderten Forschungseinrichtungen Abbildung 24: F&E-Aufwendungen der beteiligten Organisationen nach Art der Forschungstätigkeit (% der gesamten F&E-Aufwendungen) Abbildung 25: Forschungsschwerpunkte der beteiligten wissenschaftlichen Einrichtungen Abbildung 26: Forschungsschwerpunkte der wissenschaftlichen Einrichtungen aus den Sozialwissenschaften Abbildung 27: Aktivitätsschwerpunkte der beteiligten Unternehmen nach Instrumenten Abbildung 28: Patentanmeldungen, Schutz von geistigem Eigentum, Spin-Offs PROGNOS AG JOANNEUM RESEARCH IFES C

16 Abbildung 29: Anzahl an Patentanmeldungen, Spin-Offs und Eigentumsrechten Abbildung 30: Patentanmeldungen, Spin-Offs und Eigentumsrechten nach Themenfeldern Abbildung 31: Erfahrung mit kooperativen Forschungsprojekten Abbildung 32: Einschätzung der Erfahrung im Umgang mit Forschungskooperationen Abbildung 33: Strukturen früherer Forschungskooperationen Abbildung 34: Erfahrung mit Forschungsförderungsprogrammen Abbildung 35: Strategische Ziele von KIRAS und Berücksichtigung in der Befragung Abbildung 36: Rücklauf der Befragungen zu Projektbeginn, Projektende und 2 Jahre nach Projektende differenziert nach Instrumenten ( ) Abbildung 37: Erhebungsrunden der Online-Befragung Abbildung 38: Respondenten nach Organisationstyp und Instrumenten (Projektbeginn) Abbildung 39: Respondenten nach Organisationstyp und Instrumenten (Projektende) Abbildung 40: Rücklauf der Online-Befragung bezogen auf die Gesamtkosten nach Ausschreibungsrunden Abbildung 41: Adressierte Gefährdungspotentiale Abbildung 42: Bedrohungswahrnehmung in unterschiedlichen Akteursgruppen Abbildung 43: Durchführung bewusstseinsbildender Massnahmen Abbildung 44: Wirkungserwartungen (Projektbeginn) und wirkungserfüllungen (Projektende) bei den Bedarfsträgern Abbildung 45: Aufgabenerwartung und Aufgabenerfüllung für Bedarfsträger Abbildung 46: Wirkungserwartung und Wirkungserfüllung aus sicht des Bedarfsträgers Abbildung 47: Anderweitige Projektdurchführung bei (hypothetischer) Ablehnung des Projektantrags Abbildung 48: Förderalternativen Abbildung 49: Konzeption eines Nachfolgeprojekts Abbildung 50: Absicht zur Beteiligung an einem NachfolgeProjekte in KIRAS bzw. einem Folgeprogramm (Zwei Jahre nach Projektende) Abbildung 51: Gründe für erneute Beteiligung an KIRAS bzw. einem nachfolgeprogramm (Zwei Jahre nach Projektende) Abbildung 52: Innovationstätigkeiten im Zuge des KIRAS-Projekts zu Projektende und Zwei Jahre danach Abbildung 53: Verhältnis der KIRAS-Projekte gegenüber anderen Innovations- und Forschungstätigkeiten der beteiligten Einrichtungen Abbildung 54: Auswirkung auf kommerzielle Unternehmensaspekte: erwartung und Einschätzung zu Projektende Abbildung 55: Erfolg des KIRAS-Projekts bei Umsetzung der Ergebnisse PROGNOS AG JOANNEUM RESEARCH IFES D

17 Abbildung 56: Geförderte Projekte nach Instrumenten: Arbeitsplätze absolut Abbildung 57: Veränderung des mit dem KIRAS-Projekt Beschäftigten Personals Zwei Jahre nach Projektende Abbildung 58: Zielsetzungen und Zielerreichung des KIRAS-Projekts Abbildung 59: Mittelfristige Auswirkungen des KIRAS-Projekts: Erwartungen zu Projektbeginn und Einschätzung zu Projektende Abbildung 60: Aufgabenbereich des GSK-Partners Abbildung 61: Rolle des GSK-Partners im Projekt: Einschätzung zu Projektende Abbildung 62: Veröffentlichung der KIRAS-Projektergebnisse Abbildung 63: Veröffentlichungen nach Themenfeldern (Mehrfachzuordnungen) Abbildung 64: Fallstudien und erster Bearbeitungszeitpunkt Abbildung 65: Fallstudie 1 Übersicht über das Good Practice-Beispiel Abbildung 66: Fallstudie 2 Übersicht über das Good Practice-Beispiel Abbildung 67: Fallstudie 5 Übersicht über das Good Practice-Beispiel Abbildung 68: Modellstruktur MultiREG Abbildung 69: Projekt- und Fördervolumina nach Bundesland und MultiREG-Wirtschaftsbranche in [1000 ] Abbildung 70: Verteilung der Fördervolumina laut Beschluss nach Wirtschaftsbranche Abbildung 71: Szenario 1 - Makroökonomische Effekte der gesamten KIRAS Fördervolumina laut Beschluss auf Bundesländerebene Abbildung 72: Szenario 1 - Effekte der KIRAS Fördervolumina auf Bruttowertschöpfung und Produktionswert nach Wirtschaftssektor Abbildung 73: Beschäftigungseffekte der KIRAS Fördervolumina Abbildung 74: Szenario 2 - Volkswirtschaftliche Effekte der Projektbarwerte [Mio ] Abbildung 75: Quantitative Indikatoren zur Wirkungsmessung Abbildung 76: Zielwerttabelle (Zieldimensionen, angestrebte und Eingetretene Zielwerte)(Stand Mai 2014) PROGNOS AG JOANNEUM RESEARCH IFES E

18 1 Evaluationskonzept 1.1 Aufgabenstellung und Evaluationskonzept Das Bundesministerium für Verkehr, Innovation und Technologie (bmvit) beauftragte im Jänner 2009 das Evaluationskonsortium, bestehend aus der Prognos AG, der JOANNEUM RESEARCH Forschungsgesellschaft mbh und dem Institut für empirische Sozialforschung GmbH (IFES), mit der begleitenden Evaluation des Sicherheitsforschungsprogramms KIRAS. Zentrales Ziel von KIRAS ist die Erhöhung der Sicherheit Österreichs und seiner Bevölkerung. Durch die Unterstützung von nationalen Forschungs- und Entwicklungsprojekten soll die Sicherheitsforschung in Österreich gefördert werden. Im Zuge der begleitenden Evaluierung wurden über die gesamte Laufzeit von KIRAS hinweg Informationen über den Fortschritt der einzelnen Projekte, Kosteneffizienz, sowie Basisindikatoren zur Zielerreichung des Programms und Daten zur Gesamtbilanzierung für die Zwischen- und Endevaluation erhoben und vor dem Hintergrund spezifischer Fragestellungen analysiert. Die Wirkungsevaluierung von KIRAS umfasste den gesamten Zyklus einer Programmevaluation: Die begleitende Evaluierung über die gesamte Laufzeit von KIRAS lieferte Informationen über Struktur und den Fortschritt der einzelnen Projekte. Es wurden Basisindikatoren und notwendige Daten zur Gesamtbilanzierung des Programms erhoben. Die Ergebnisse wurden in jährlichen Statusberichten bzw. Call-Evaluationsberichte erfasst und damit als steuerungsrelevante Detailinfomationen dem bmvit bereitgestellt. Die Interims-Evaluationsberichte gaben zu bestimmten Zeitpunkten während der Programmlaufzeit einen vorwiegend quantitativen Überblick über den Beitrag der Projekte zu den Programmzielen. Die Analyse-Ergebnisse wurden vom bmvit als Hinweisgeber für die Gestaltung der darauf folgenden Programmlaufzeiten genutzt. Der Interimsbericht 2010 ist ausschließlich dem bmvit zugänglich, der Interimsbericht 2011/12 wurde publiziert. 1 Die 2014 durchgeführte Ex Post-Evaluation schätzt in einer vornehmlich wirkungsorientierten Art und Weise die erzielten mittel- bis langfristigen Effekte von KIRAS ab und bewertet diese. Eine Ableitung konkreter Aussagen zum Grad der Zielerreichung des Programms sowie frühzeitiger Information hinsichtlich etwaigen Anpassungsbedarfes basiert auf der Konzentration auf drei Analyselinien: 1. Analyse der Verschränkung der Programmziele und Instrumente, um wesentliche Beiträge, Komplementaritäten und gemeinsame Wirkung der Instrumente hinsichtlich der Ziele bei möglichst geringem Aufwand zu erfassen; 2. Erfassung des Programmkontextes, um die gesellschaftliche und ökonomische Einbettung und Wirkung des Programms umfassend zu erkennen; 1 Vgl. JOANNEUM RESEARCH, Prognos, Ifes (2010): Evaluierung des österreichischen Sicherheitsforschungsprogramms KIRAS. Interimsevaluation 2010, Wien/Berlin: JOANNEUM RESEARCH, Prognos, Ifes (2012): Evaluierung des österreichischen Sicherheitsforschungsprogramms KIRAS. Interimsevaluation 2011/12, Wien/Berlin. PROGNOS AG JOANNEUM RESEARCH IFES 1

19 3. Quantitative Erfolgsmessung entlang der geförderten Projekte, um damit eine möglichst detaillierte Erfassung von Effekten und Wirkungen zu generieren. ABBILDUNG 1: EVALUATIONSKONZEPT Verschränkung der Programminstrumente und -ziele Projektmonitoring (Datenerhebung, Fragebogendesign etc.) Berücksichtigung der Programmkontexte Bedarfserhebung bei Bevölkerung und Akteuren Erfolgsmessung Standardisierte Datenerhebung, Fallstudien, Wirkungsanalyse, Sicherheitsmonitoring Resultate Wirkungsbild KIRAS Quelle: PROGNOS / JOANNEUM RESEARCH Um ein möglichst umfassendes Wirkungsbild von KIRAS zu gewinnen, wurden für die begleitende sowie Ex post-evaluation unterschiedliche Methoden kombiniert. Hierzu zählen: Dokumentenanalyse (Auswertung der Projektanträge und -daten sowie Programmplanungsdokumente), vollstandardisierte Datenerhebung der Projekte mittels Online-Befragung zu unterschiedlichen Zeitpunkten, qualitative Interviews und Fallstudien, statistische Auswertungsverfahren (u.a. ein gesamtwirtschaftliches Input-Output Modell) sowie qualitative Experteninterviews zur Ergebnisvalidierung (Peer Review im Rahmen der Ex post-evaluation). 1.2 Erfolgsmessung Gemäß den Anforderungen an die Programmevaluation von KIRAS lag ein Schwerpunkt der Erfolgsmessung auf der Erhebung quantitativer Daten und Indikatoren. Sowohl in der Evaluation auf Projektebene als auch auf Ebene des Programmkontexts und des Gesamtprogramms wurden daher verstärkt quantitative Methoden eingesetzt. Dafür wurden unterschiedliche Datenbeständen genutzt: 1. Programmspezifische Informationen aus der bestehenden Projekt- und Unternehmensdatenbank der FFG, 2. selektive Erhebung relevanter Indikatoren über die standardisierte Online-Befragung, sowie 3. repräsentatives Sicherheitsmonitoring. PROGNOS AG JOANNEUM RESEARCH IFES 2

20 Um zu einem möglichst umfassenden Wirkungsbild zu gelangen, wird die Erreichung der Programmziele anhand einer spezifischen Indikatorenabfrage dargestellt. Den einzelnen Zielen können im Groben folgende Indikatoren zugeordnet werden: ABBILDUNG 2: ÜBERBLICK ÜBER DIE QUANTITATIVEN INDIKATOREN DER WIRKUNGSMESSUNG 2 Programmziel Ziel 1 Erhöhung Sicherheit und des Sicherheitsbewusstseins Sicherheitsbewußtsein Erhöhung der Sicherheit Indikatoren Ziel 2 Generierung des sicherheitspolitisch erforderlichen Wissens Aufgaben, die KIRAS-Projekte für die Organisation erfüllen sollen (z.b. Entwicklung technischer Konzepte, Einsatz neuer Systeme etc.) Ziel 3 Erzielung von Wissens-, Verfahrens- und Technologiesprüngen Innovationstätigkeiten der an KIRAS beteiligten Unternehmen und Forschungseinrichtungen Ziel 4 Wachstum der heimischen Sicherheitswirtschaft Ziel 5 Auf- und Ausbau von Exzellenz im Bereich der Sicherheitsforschung Auswirkungen der KIRAS-Projekte auf kommerzielle Aspekte der beteiligten Unternehmen Direkt induzierte Beschäftigungseffekte durch die KIRAS-Projekte Mittelfristige Auswirkung der KIRAS-Projekte auf beteiligte Unternehmen und Forschungseinrichtungen Ziel 6 Berücksichtigung gesellschaftlicher Fragestellungen in allen Aspekten der Sicherheitsforschung Aufgaben der GSK-Partner in KIRAS-Projekten Rolle des GSK-Partners im Projekt Quelle: PROGNOS / JOANNEUM RESEARCH 1.3 Methodische Herangehensweise Die vorliegende Evaluierung beruht sowohl auf einer quantitativen als auch einer qualitativen Analyse der bisherigen Wirkungen und Ergebnisse des Sicherheitsforschungsprogramms KIRAS. Den Evaluationstätigkeiten liegen die programmspezifischen Auswertungen der Projekt- und Unternehmensdatenbank der Österreichischen Forschungsförderungsgesellschaft (FFG) zu Grunde, die alle relevanten Informationen zu den geförderten KIRAS-Projekten beinhaltet. Um über diese grundlegenden Daten hinaus Informationen zu den Projekten zu erhalten, wurden die Projektteilnehmer mittels einer Online-Erhebung befragt. Ergänzend wurden Fallstudien zu ausgewählten KIRAS-Projekten durchgeführt. Das sich daraus ergebende Wirkungsbild soll den Schluss zulassen, inwiefern die in KIRAS durchgeführten Projekte einen Beitrag zu den Programmzielen von KIRAS leisten konnten, und welche Bedingungen in Bezug auf die Projektakteure und Vorgaben des För- 2 Eine detaillierte Aufstellung der Indikatoren zur Wirkungsmessung findet sich im Annex dieses Berichts (Abbildung 75 bzw. Abbildung 76). PROGNOS AG JOANNEUM RESEARCH IFES 3