Crowdtesting: Bessere Software-Qualität durch Schwarmintelligenz?

Größe: px

Ab Seite anzeigen:

Download "Crowdtesting: Bessere Software-Qualität durch Schwarmintelligenz?"

Karin Färber
vor 8 Jahren
Abrufe

1 Crowdtesting: Bessere Software-Qualität durch Schwarmintelligenz? Matthew Young Dr. Ivo Blohm , Bern

young@postfinance.ch) Dr. Ivo Blohm (ivo.

2 Was ist Crowdsourcing? Ursprung: Jeff Howe, Wired Magazine (2006) CROWDSOURCING OUTSOURCING Auslagerung von Tätigkeiten an undefinierte Masse von Internetnutzern Zentrale Bestandteile: OPEN CALL FREIWILLIGE MITWIRKUNG IWI-HSG St. Gallen / 2

3 Crowdsourcing als «Workforce-as-a-Service» IWI-HSG St. Gallen / 3

4 Crowdsourcing als «Wisdom of Crowds» Performance POTENZIAL VON CROWDSOURCING Unternehmen suchen oftmals in einem bestimmten Suchraster nach Problemlösungen Die besten Lösungen liegen jedoch oft ausserhalb des Suchfokus von Unternehmen IWI-HSG St. Gallen / 4

Suchraster nach Problemlösungen Die besten Lösungen liegen

5 Zunehmende Komplexität des Software-Testing Zunehmende Digitalisierung Mehr Nutzer KOMPLEXITÄT Mehr Devices Kostendruck für IT-Entwicklung IWI-HSG St. Gallen / 5

000 Tester) testcloud (Berlin, ca. 14.000 Tester) Applause (Berlin, ca. 150.000 Tester) PASS Technologies (Zürich, ca.

6 Crowdtesting-Anbieter Unternehmen Crowd Genehmigung Bugs 4 Dokumentation Bugs 3 1 Festlegen Anforderungen CROWDTESTING-ANBIETER Einladen Tester 2 Momentan > 25 Crowdtesting-Anbieter Testbirds (München, ca Tester) testcloud (Berlin, ca Tester) Applause (Berlin, ca Tester) PASS Technologies (Zürich, ca Tester) RapidUsertests (Berlin, ca Tester) Traditionelle Testing-Anbieter integrieren zunehmend Crowdtesting IWI-HSG St. Gallen / 6

7 POTENZIALE Potenziale von Crowdtesting QUALITY / SCOPE Entdeckung nahezu aller Fehler durch ausreichend grosse Crowd (Viele-Augen-Prinzip: «given enough eyeballs, all bugs are shallow») Mehr Systeme und Geräte können getestet werden Beliebige Skalierbarkeit des Testumfangs, der Anzahl der Tester, etc. ZEIT Testing «on demand» kurzfristiger und praktisch unbegrenzter Zugriff auf Testressourcen auch Wochenende und Overnight möglich Signifikante Verkürzung der Testzyklen und Ausgleichen von Spitzen möglich KOSTEN Einsparpotentiale ggü. klassischem In-House-Testing Keine Fixkosten keine Personalsuche Kostenkontrolle durch speziell definierte Leistungen und transparente Abrechnung IWI-HSG St. Gallen / 7

ZEIT Testing «on demand» kurzfristiger und praktisch unbegrenzter Zugriff auf Testressourcen auch Wochenende und Overnight möglich Signifikante Verkürzung der Testzyklen und

8 HOME- PLACEMENT Einsatzmöglichkeiten von Crowdtesting Carsharing (Car2Go) SmartTV (Samsung) 6 INTERNET OF THINGS 1 APPS Apps für Kunden, Mitarbeiter, etc. Kontext-sensitive Apps (Immobilienfinder) Selbstentwickelte Software (-module) (Telekom Entertain, Eutelsat) 5 2 Kundenportale (süddeutsche.de) Online-Shops (MediaMarkt.ch, immowelt.de) WEBSITE Webseiten aller Art Internes Crowdtesting (Allianz Webportal) 4 INTRANET ENTERPRISE SOFTWARE 3 Krankenhaus- Informationssysteme ERP-Integrationen Entwicklungsumgebungen IWI-HSG St. Gallen / 8

Kontext-sensitive Apps (Immobilienfinder) Selbstentwickelte Software (-module) (Telekom Entertain, Eutelsat) 5 2 Kundenportale

9 ZIELE NUTZEN Konsortialprojekt Crowdtesting Überblick Konsortialprojekt Erschliessung der Potenziale von Crowdtesting Enablement zum systematischen Einsatz von Crowdtesting Bilaterales Projekt Crowdtesting Entwickeln Good Practices in Konsortialworkshops Anbieterdatenbank und Anbieter-Benchmark Plattform für Erfahrungsaustausch Lernen von anderen Unternehmen Aufarbeiten aus verschiedenen Perspektiven State-of-the-Art Crowdsourcing Analyse Applikationsportfolio Analyse Entwicklungsund Testingprozess Crowdtesting- Philosophie Pilotprojekt Bilaterales Projekt Kosten- Nutzen- Analyse und Integration IWI-HSG St. Gallen / 9

Erfahrungsaustausch Lernen von anderen Unternehmen Aufarbeiten aus verschiedenen Perspektiven State-of-the-Art Crowdsourcing 1 2 3 4 5 Analyse

10 Ergebnisse der Konsortialforschung: Einführungs- & Management-Modell Change Management Organisation Testprozess Regelbetrieb Projektmanagement Crowdtesting-Projekt INITIIERUNG & PLANUNG DURCH- FÜHRUNG EVALUATION & CLOSING INTEGRATION Tools IWI-HSG St. Gallen / 10

Regelbetrieb Projektmanagement Crowdtesting-Projekt 1 2 3

11 Projektkonsortium Crowdtesting in der Breite Konsortialpartner Crowdtest Intranet Banking App B2B App Corporate Website Offen Banking App Online Shop IWI-HSG St. Gallen / 11

12 Crowdtesting Erfahrungen aus einem Pilotprojekt Öffentlicher Bereich einer App (Keine Authentisierung) Build intern bereits getestet Mittwoch Donnerstag Freitag Montag Uhr Uhr Uhr Uhr Uhr Uhr Uhr Uhr BRIEFING CROWDTESTING-ANBIETER Einladen der Tester Tester vollständig (26 Tester; 100 Anfragen) START CROWDTEST 9 Bugs 25 Bugs 46 Bugs ENDE CROWDTEST HAUPTERGEBNISSE 55 gemeldete Bugs in 3.5 Werktagen (5 kritische App Crashes), 39 approved durch Intermediär 26h Testzeit (ohne Dokumentation) Hoch diverse Crowd (Endnutzer und Testing-Experten) Hohe Testabdeckung (26 OS-Hardware-Kombinationen, 10 intern nicht verfügbar) IWI-HSG St. Gallen / 12

00 Uhr 20.00 Uhr 08.00 Uhr 08.00 Uhr 19.

13 HERAUSFORDERUNGEN Crowdtesting Erfahrungen aus einem Pilotprojekt TESTOBJEKT- EIGNUNG Testfälle welche Zugriff auf oder besonderes Wissen der Enterprise Applikationen verlangen, können nicht durch die Crowd getestet werden. INFORMATIONS- SICHERHEIT. AUTHENTI- SIERUNG TIMING Unreife Testobjekte müssen problemlos an Dritte gegeben werden können. So müssen beispielsweise Testdaten mit besonderer Sorgfalt erstellt werden, damit die Informationssicherheit nicht verletzt wird. PostFinance Produkte sind auch auf dem Testsystem hinter einem mehrstufigen Sicherheitssystem geschützt, dieses müsste entweder vereinfacht, oder die Crowdtester mit Credentials ausgestattet werden. Testiterationen optimal setzen: das Testsystem muss stabil und das Testobjekt reif genug sein. Die Bugs sollen zeitgemäss gemeldet werden, damit genügend Zeit für weitere Testiterationen bleiben. IWI-HSG St. Gallen / 13

So müssen beispielsweise Testdaten mit besonderer Sorgfalt erstellt werden, damit die Informationssicherheit nicht verletzt wird.

14 FAZIT Fazit NEUER ANSATZ Crowdtesting ist ein innovativer Ansatz um beispielsweise in Lastspitzen den Testing-Prozess zu entlasten. Es ist schnell, flexibel und liefert eine hohe Qualität. HERAUSFOR- DERUNGEN Um das gesamte Potenzial von Crowdtesting in Zukunft ausschöpfen zu können, müssen noch weitere Herausforderungen, wie Informationssicherheit oder Timing gelöst werden. LÖSUNG IN KONSORTIAL- FORSCHUNG Im Konsortialforschungsprojekt erarbeiten wir gemeinsam mit unseren Partnern Lösungsansätze zur Überwindung dieser Herausforderungen. IWI-HSG St. Gallen / 14

HERAUSFOR- DERUNGEN Um das gesamte Potenzial von Crowdtesting in Zukunft ausschöpfen zu können, müssen noch weitere Herausforderungen, wie

Ähnliche Dokumente

Wir testen mobile Apps und Webseiten. Wir nennen das Crowdtesting. Mobile Strategie Deutscher Unternehmen 2014 Zusammenfassung der Studienergebnisse

Wir testen mobile Apps und Webseiten. Wir nennen das Crowdtesting. Mobile Strategie Deutscher Unternehmen 2014 Zusammenfassung der Studienergebnisse München, Dezember 2014 1 Über die Studie Mobile Strategien