Software Qualitätssicherung durch systematischen Softwaretest

Größe: px
Ab Seite anzeigen:

Download "Software Qualitätssicherung durch systematischen Softwaretest"

Transkript

1 Software Qualitätssicherung durch systematischen Softwaretest Innovative Techniken und aktuelle Herausforderungen Dr. Bernhard Peischl Softnet Austria Institut für Softwaretechnologie Technische Universität Graz 1/18

2 Sichten auf Software Qualität Die Gesamtheit und Ausprägung von Eigenschaften und Merkmalen eines SW-Produktes bezüglich seiner Eignung, festgelegte und vorausgesetzte Interne Metriken Erfordernisse zu erfüllen. Externe Metriken Quality in Use Metriken ISO /18

3 Softwarequalität und Fehlerraten Möglichst wenige Post-Release Bugs Übliche Fehlerraten Applikationssoftware: 25 Bugs / LOC Gute Software: 2 Bugs / LOC Sicherheitsrelevante Software < 1 Bug / LOC Fehlerreduktion notwendig um Qualität zu erhöhen Kosten zu senken Kundenzufriedenheit zu erhöhen Allgemein akzeptiert Fehler möglichst früh finden (Kosten) 3/18

4 Kosten der Fehlerbehebung 4/18

5 Wie findet man Software Fehler? Inspektionen und Reviews Automatische Statische Analysen Syntaktische Analyse (Regeln) Semantische e Analysen (erweiterte e Typ-Prüfung) üu Formale Techniken Verifikation Theoretisch sehr leistungsfähig, praktisch eingeschränkt In der Praxis derzeit nur sehr punktuell verwendbar Eher eng definierte Anwendungsgebiete Hazard Analysen, Eventbaum Analysen 5/18

6 Qualitätsattribute und Software Test (1) Testen SW erfüll Qualitätsattribut wenn Test durchgeht Welche Teile des Systems werden getestet? Unit-Tests Komponententests Integrationstests Systemtests In welcher Phase des Entwicklungsprozesses? Validierung durch Abnahmetest Verifikation durch Unit-Tests, Regressions-Tests, etc. 6/18

7 Qualitätsattribute und Software Test (2) Welches Qualitätsattribut wird überprüft? Lasttests (Antwortzeit, Datendurchsatz) Usability Test (Benutzbarkeit) Robustheitstest Funktionale Korrektheit Welche Techniken sind anzuwenden? Standards entscheiden im Zweifelsfall, welche Verfahrensweisen, Methoden und Techniken als Stand der Technik bzw. als Stand von Wissenschaft und Technik zu betrachten sind. 7/18

8 Notwendige, minimale Anforderungen Absolut notwendig entspr. aller maßgeblichen Standards: Funktionsorientierte Testplanung für alle Testphasen Reproduzierbarkeit von Testergebnissen => automatische Regressionstests Weitgehender Konsens Ergänzende strukturorientierte ti t Abdeckung (mindestens Zweigüberdeckungstest) In kritischen Anwendungsbereichen gründliche struktur- orientierte Tests (z.b. RTCA DO 178-B, MCDC Abdeckung) 8/18

9 Testautomatisierung - Was ist machbar? Disziplinierte Bewertung des Testprozesse z.b. TPI (Test Process Improvement) Automatische Testausführung End-to-End d Test bei Benutzerschnittstellen e ttste e Hardware in the Loop (HiL) Testautomatisierung Testportfolio Management Generierung von Testabläufen und zugehörigen Testdaten aus Modellen Bereitstellung der (Ingenieurs)Modelle Teststrategie bzw. Festlegen des Testzieles (Fokussierung) Toolbox Unterstützung (z.b. CADP) 9/18

10 Herausforderung GUI Testing (1) End-to-End Test einer Applikationssoftware Unterschiedliche Benutzeroberflächen Robustheit gegenüber konkrete Positionen von UI Elementen ( Makro-Rekorder ) Dynamisches Auftreten von UI Elementen Schwerwiegende UI-relevante Post-Release Bugs Smart Monkey Wissen über User Interface (Modell) Einfache Modellierung damit ROI gegeben Automatische Modellerstellung (Capture Tool) Random Walk durch Modell 10/18

11 Herausforderung GUI Testing (2) 11/18

12 Herausforderung Konformitäts-Test (1) Überprüfung der Konformität der Implementierung gegenüber einer Spezifikation Welche Konformitätsrelation? Isomorphismus? IOCO, SIOCO? Input-Output Conformance (IOCO) Ausgangsevents der Implementierung Ausgangsevents der Spezifikation Fokussierung der Testfallerstellung t Test Purpose Verschiedene Teststrategien 12/18

13 Tools - Konformitäts-Test (2) Prototypisches Tool / Sprache Modell / Test Generation Engine Methode Lutess Lustre - Lurette Lustre - GATeL Lustre CLP Autofocus Autofocus CLP Conformance Kit - FSM Phact - FSM TVEDA SDL, Estelle FSM AsmL AsmL FSM Cooper Basic LOTOS LTS TGV LOTOS, SDL, UML LTS TorX LOTOS, Promela, FSP LTS STG NTIF LTS AGEDIS UML/AML LTS Test Composer SDL LTS, FSM AutoLink SDL - 13/18

14 Herausforderung Teststrategie Umsetzung über Test Purpose Notwendige Teile (LTS, on the fly ) Verschiedene Strategien (Szenarien, Abdeckung, Fehler) Umgesetzte Strategien Szenarien-basiert (Lastenheft) Fehler-basiert (Error Seeding) Abdeckungs-basiert (Abdeckung der Spezifikation) Random (TorX, längere Testfälle) Strategiet Länge Anzahl Coverage [%] Produkt A Produkt B Zeit Testfalls Testfälle Funktion CD Decision Random Sek. Szenario-b Sek. Fehler-b b Min. 14/18

15 Herausforderung Eingebettetes System Quellen für Nicht-Determinismus Abstraktion bzw. Modellierung Technisch, h Physikalisch h 15/18

16 Konsequenzen für Testautomatisierung Automatische Generierung Komplexität der Suche ist hoch Testtheorie muss baum-artige Testfälle unterstützen Input Output Conformance (IOCO) Automatisierung der Testausführung Unterstützung baum-artiger Testfälle durch Testtreiber Praktisch: Modell läuft als Beobachter mit Test Recovery Oft werden nur lineare Sequenzen unterstützt Eingriff in operative Testumgebung 16/18

17 Ingenieursdenke und Modelle Domänenexperten und Modellierung Eindeutiges Wording Hier entstehen viele Missverständnisse Testmodell Verhaltensmodell Testfallgenerierung, Herausforderung Modelltransformation Ausgangsbasis UML Statechart Statechart Umgebungsmodelle Symbolisch (STS, EFSM) vs. Enumerativ (LTS) 17/18

18 Schlussfolgerung Test ist essentiell in SW-Qualitätssicherung Weitestgehender Konsens Funktionsorientierte Testplanung Strukturorientierte tu t e te Abdeckung und Reproduzierbarkeit (Regression) Test von Software ist komplexes Gebiet Innovatives, heterog. Feld (Ausführung, Generierung) Automatisierung der Testfallgenerierung (heute machbar) Reife Research Prototypen, t aber keine durchgängige Toolchain No one size fits all solution (Teststrategie) Anzahl der Post-Release Bugs reduzierbar 18/18

19 Fragen? Danke für Ihre Aufmerksamkeit k! 19/18

Automatische Testfallgenerierung aus Modellen. 8. Neu-Ulmer Test-Engineering-Day 2013 06.06.2013 Martin Miethe

Automatische Testfallgenerierung aus Modellen. 8. Neu-Ulmer Test-Engineering-Day 2013 06.06.2013 Martin Miethe Automatische Testfallgenerierung aus Modellen 8. Neu-Ulmer Test-Engineering-Day 2013 06.06.2013 Martin Miethe Über sepp.med Über 30 Jahre Erfahrung im industriellen Umfeld Medizintechnik Pharmazie Automotive

Mehr

Einsatz automatischer Testdatengenerierung im modellbasierten Test

Einsatz automatischer Testdatengenerierung im modellbasierten Test Einsatz automatischer Testdatengenerierung im modellbasierten Test Sadegh Sadeghipour sadegh.sadeghipour@itpower.de Gustav-Meyer-Allee 25 / Gebäude 12 13355 Berlin www.itpower.de Modellbasierte Software-Entwicklung

Mehr

Automatic Generation of Testcases for System Level Tests. Dr. Martin Beißer, sepp.med gmbh

Automatic Generation of Testcases for System Level Tests. Dr. Martin Beißer, sepp.med gmbh Automatic Generation of Testcases for System Level Tests Dr. Martin Beißer, sepp.med gmbh Systemtest Der Systemtest ist die Teststufe, bei der das gesamte System gegen die gesamten Anforderungen (funktionale

Mehr

Softwaretechnik. Vertretung von Prof. Dr. Blume Fomuso Ekellem WS 2011/12

Softwaretechnik. Vertretung von Prof. Dr. Blume Fomuso Ekellem WS 2011/12 Vertretung von Prof. Dr. Blume WS 2011/12 Inhalt Test, Abnahme und Einführung Wartung- und Pflegephase gp Vorlesung Zusammenfassung Produkte und Recht (Folien von Prof. Blume) 2 , Abnahme und Einführung

Mehr

Testautomatisierung. Lessons Learned. qme Software. Gustav-Meyer-Allee 25 13355 Berlin. Telefon 030/46307-230 Telefax 030/46307-649

Testautomatisierung. Lessons Learned. qme Software. Gustav-Meyer-Allee 25 13355 Berlin. Telefon 030/46307-230 Telefax 030/46307-649 Testautomatisierung Lessons Learned qme Software GmbH Gustav-Meyer-Allee 25 13355 Berlin Telefon 030/46307-230 Telefax 030/46307-649 E-Mail qme Software info@qme-software.de GmbH Testautomatisierung Lessons

Mehr

Testmanagement in IT-Projekten

Testmanagement in IT-Projekten Teil 1: Projektmagazin 05/20009 Teil 2: Projektmagazin 06/2009 1 Test: Prozess, bei dem ein Programm oder ein Software-System ausgeführt wird, um Fehler zu finden Teil 1: Projektmagazin 05/20009 Teil 2:

Mehr

Qualitätssicherung im Lebenszyklus des itcs. Anspruch und Wirklichkeit.

Qualitätssicherung im Lebenszyklus des itcs. Anspruch und Wirklichkeit. Qualitätssicherung im Lebenszyklus des itcs. Anspruch und Wirklichkeit. BEKA: Frankfurt, 25. Oktober 2012 T-Systems Angebot Umsetzung des globalen Telematikprojekts für den ÖPNV im Großherzogtum Luxemburg.

Mehr

Diplomarbeit. Konzeption und Implementierung einer automatisierten Testumgebung. Thomas Wehrspann. 10. Dezember 2008

Diplomarbeit. Konzeption und Implementierung einer automatisierten Testumgebung. Thomas Wehrspann. 10. Dezember 2008 Konzeption und Implementierung einer automatisierten Testumgebung, 10. Dezember 2008 1 Gliederung Einleitung Softwaretests Beispiel Konzeption Zusammenfassung 2 Einleitung Komplexität von Softwaresystemen

Mehr

Testen Prinzipien und Methoden

Testen Prinzipien und Methoden Testen Prinzipien und Methoden ALP 2 SS2002 4.7.2002 Natalie Ardet Definition Im folgenden gilt: Software = Programm + Daten + Dokumentation Motivation Software wird immer mehr in Bereichen eingesetzt,

Mehr

Medizinprodukt 1.0. Lehren aus der Neuentwicklung von Medizinprodukte-Software. Matthias Hölzer-Klüpfel

Medizinprodukt 1.0. Lehren aus der Neuentwicklung von Medizinprodukte-Software. Matthias Hölzer-Klüpfel Medizinprodukt 1.0 Lehren aus der Neuentwicklung von Medizinprodukte-Software Matthias Hölzer-Klüpfel Medizinprodukt 4.2 Weiterentwicklung bestehender Produkte Funktionserweiterungen Fehlerkorrekturen

Mehr

T1 - Fundamentaler Testprozess

T1 - Fundamentaler Testprozess AK 2 am Armin Beer, Support Center Test der Software- Entwicklung 1 für einen erfolgreichen Test? Projektteam strebt nach Qualität Aufwände sind eingeplant (Richtwerte) 20 bis 30% des Gesamtaufwandes In

Mehr

Qualitätsmanagement. Grundlagen

Qualitätsmanagement. Grundlagen Grundlagen Historie: Mit industriellen Massenproduktion erforderlich geworden (Automobilindustrie, Anfang des letzten Jahrhunderts); Qualitätsmanagement zunächst nur in der Fertigung Mitte des letzten

Mehr

Kompetenz. rund um. Ihren. Entwicklungsprozess. Über uns. Technische Software. Modellbasierter Test. Prüfplätze. Automatisierung.

Kompetenz. rund um. Ihren. Entwicklungsprozess. Über uns. Technische Software. Modellbasierter Test. Prüfplätze. Automatisierung. Kompetenz rund um Ihren Entwicklungsprozess Modellieren für den Test - Segen oder Fluch? Firmenpräsentation auf der embeddedworld 2010 Dipl. Ing. (Univ) Gerhard Baier Bereichsleiter Marketing und Vertrieb

Mehr

Thomas Freitag achelos GmbH SmartCard-Workshop. 1 2012 achelos GmbH

Thomas Freitag achelos GmbH SmartCard-Workshop. 1 2012 achelos GmbH Thomas Freitag achelos GmbH SmartCard-Workshop 2012 1 2012 achelos GmbH Übersicht 1. 2. 3. 4. 5. 6. 7. Einführung / Motivation Historie des Testens Schnittstellen im Testbereich Eclipse Plugins Automatisierung,

Mehr

T2 Fundamentaler Testprozess

T2 Fundamentaler Testprozess T2 Fundamentaler Siemens AG Österreich 2005 All Rights Reserved Institut f. Software Technology, TU-Graz Armin Beer, PSE Support-Center Test Overview der Software- Entwicklung 2 1 Wasserfall-Modell Analyse

Mehr

Hauptseminar Automotive Software Engineering Testen, Rapid Prototyping und x in the loop

Hauptseminar Automotive Software Engineering Testen, Rapid Prototyping und x in the loop Hauptseminar Automotive Software Engineering Testen, Rapid Prototyping und x in the loop Christoph Niedermayr 20.01.2005 Überblick 1 2 X in the loop Rapid Prototyping Begriffe Was versteht man unter statischem

Mehr

Testphase. Das Testen

Testphase. Das Testen Testphase VIS Projekt Freie Universität Berlin N.Ardet - 17.4.2001 Das Testen Testen ist das Ausführen eines Software- (Teil)systems in einer definierten Umgebung und das Vergleichen der erzielten mit

Mehr

Softwaretechnikpraktikum SS 2004. Qualitätsmanagement I. 1. Überblick. Qualität. Qualitätsmerkmal

Softwaretechnikpraktikum SS 2004. Qualitätsmanagement I. 1. Überblick. Qualität. Qualitätsmerkmal Softwaretechnikpraktikum SS 2004 Qualitätsmanagement I 5. Vorlesung 1. Überblick Planungsphase Definitionsphase Entwurfsphase Implem.- phase Fragen Was ist Qualität? Wie kann man Qualität messen? Wie kann

Mehr

your engineering partner boost your development

your engineering partner boost your development boost development Individuelle Lösungen von Ihrem Engineering Partner Luft- und Raumfahrt Wir realisieren Ihre Visionen und setzen unser ganzes Know-How ein, damit Ihre Ziele praxisgerecht, zeitnah und

Mehr

Modellbasierte Softwareentwicklung

Modellbasierte Softwareentwicklung CD OCL OD Statechart SD Modellbasierte Softwareentwicklung 7. Evolutionäre Methodik 7.1. Vorgehensmodell Vorlesungsnavigator: Prof. Dr. Bernhard Rumpe Sprache Codegen. http://www.se-rwth.de/ Testen Evolution

Mehr

Effiziente Testautomatisierung in agilen Projekten

Effiziente Testautomatisierung in agilen Projekten Effiziente Testautomatisierung in agilen Projekten Neue Software-Trends, Wien 15.9.2011 DI Manfred Baumgartner ANECON Software Design und Beratung G.m.b.H. Alser Str. 4/Hof 1 A-1090 Wien Tel.: +43 1 409

Mehr

Programmiertechnik II

Programmiertechnik II Modultests Ziele Überprüfung der Korrektheit eines Moduls Korrektheit: Übereinstimmung mit (informaler) Spezifikation Modul: kleine testbare Einheit (Funktion, Klasse) Engl.: unit test White box testing

Mehr

Softwarequalitätssicherung

Softwarequalitätssicherung Softwarequalitätssicherung Seminarvortrag Peter Winkelhane 1 Agenda Motivation Taxonomie zur Einordnung von Verfahren im Bereich kontraktbasiertem Testen Drei kontraktbasierte Verfahren Vergleich der drei

Mehr

Notwendigkeit der Testautomatisierung? Neue Ideen, Konzepte & Werkzeuge

Notwendigkeit der Testautomatisierung? Neue Ideen, Konzepte & Werkzeuge i.s.x. Software GmbH & Co. KG Notwendigkeit der Testautomatisierung? Neue Ideen, Konzepte & Werkzeuge i.s.x. Software GmbH & Co. KG Dresden, 19. Februar 2013 Karin Eisenblätter Die i.s.x. Software GmbH

Mehr

Einführung von Testautomatisierung reflektiert. Erkenntnisse eines Linienmanagers zu Herausforderungen und Fallgruben

Einführung von Testautomatisierung reflektiert. Erkenntnisse eines Linienmanagers zu Herausforderungen und Fallgruben Einführung von Testautomatisierung reflektiert Erkenntnisse eines Linienmanagers zu Herausforderungen und Fallgruben Matt Young Leiter Test Acquiring Inhaltsverzeichnis Einleitung Testautomatisierung PostFinance

Mehr

Vector Software. Test Automation mit VectorCAST während der gesamten Softwareentwicklung W H I T E P A P E R

Vector Software. Test Automation mit VectorCAST während der gesamten Softwareentwicklung W H I T E P A P E R Vector Software W H I T E P A P E R Test Automation mit VectorCAST während der gesamten Softwareentwicklung VectorCAST Produktfamilie Die VectorCAST Produktfamilie automatisiert Testaktivitäten über den

Mehr

Testen im Software- Entwicklungsprozess

Testen im Software- Entwicklungsprozess Technologie-Event 2006 Testen im Software- Entwicklungsprozess W.Lukas, INGTES AG Was nicht getestet wurde, funktioniert nicht. -- R.Güdel (ca. 1998) Seite 2 Was sollen wir tun? Anomalien & Defekte von

Mehr

Telling TestStories Modellbasiertes Akzeptanz Testen Serviceorientierter Systeme

Telling TestStories Modellbasiertes Akzeptanz Testen Serviceorientierter Systeme Telling TestStories Modellbasiertes Akzeptanz Testen Serviceorientierter Systeme Michael Felderer Workshop Requirements Engineering meets Testing Bad Honnef, 5. Juni 2008 1 Überblick Grundbegriffe Motivation

Mehr

Qualitätsmanagement im Projekt

Qualitätsmanagement im Projekt Software-Engineering Qualitätsmanagement im Projekt Vorlesung im Wintersemester 2008/2009 Fakultät Wirtschaftsinformatik Klaus Mairon, M.Sc. Inhalte Messen und Bewerten: Metriken in der Qualitätssicherung

Mehr

Testen heute und in der Zukunft Ergebnisse der ersten unabhängigen Marktstudie für 6 Länder

Testen heute und in der Zukunft Ergebnisse der ersten unabhängigen Marktstudie für 6 Länder Testen heute und in der Zukunft Ergebnisse der ersten unabhängigen Marktstudie für 6 Länder Rudolf van Megen, CEO SQS Software Quality Systems AG Hamburg, 15. November 2007 SQS Software Quality Systems

Mehr

Systematisches Testen von Software

Systematisches Testen von Software Programmierung Systematisches Testen von Software Markus Eckstein Systematika Information Systems GmbH Kurfürsten-Anlage 36 69115 Heidelberg markus.eckstein@systematika.com Zusammenfassung Die wichtigsten

Mehr

Prozessbewertung und -verbesserung nach ITIL im Kontext des betrieblichen Informationsmanagements. von Stephanie Wilke am 14.08.08

Prozessbewertung und -verbesserung nach ITIL im Kontext des betrieblichen Informationsmanagements. von Stephanie Wilke am 14.08.08 Prozessbewertung und -verbesserung nach ITIL im Kontext des betrieblichen Informationsmanagements von Stephanie Wilke am 14.08.08 Überblick Einleitung Was ist ITIL? Gegenüberstellung der Prozesse Neuer

Mehr

Jens Borchers. Kritische Erfolgsfaktoren beim Abnahmetest in Redevelopment- Projekten Erfahrungen aus einem Großprojekt

Jens Borchers. Kritische Erfolgsfaktoren beim Abnahmetest in Redevelopment- Projekten Erfahrungen aus einem Großprojekt Chemnitz 24.11.2006 Jens Borchers Kritische Erfolgsfaktoren beim Abnahmetest in Redevelopment- Projekten Erfahrungen aus einem Großprojekt Vortrag bei der RePro2006 in Chemnitz am 24. November 2006 Kritische

Mehr

Quality Point München

Quality Point München Quality Point München Aktuelle Tendenzen auf dem Gebiet Test und QS Paul, was gibt es Neues auf unserem Gebiet? Kleine Schritte in bekannte Richtungen aber kein echter neuer Trend 1 1 Produkte (1) Verschiedene

Mehr

Testen. SEPR Referat: Testen - Oliver Herbst

Testen. SEPR Referat: Testen - Oliver Herbst Testen Inhalt 1. Grundlagen des Testens 2. Testen im Softwarelebenszyklus 3. Statischer Test 4. Dynamischer Test 5. Besondere Tests 2 1. Grundlagen des Testens 3 Grundlagen des Testens Motivation erfüllt

Mehr

Komponententest. Testen von Software Systemen. Übung 02 SS 2009 Version: 1.0 09.06.2009

Komponententest. Testen von Software Systemen. Übung 02 SS 2009 Version: 1.0 09.06.2009 Testen von Software Systemen Übung 02 SS 2009 Version: 1.0 09.06.2009 Komponententest Kunde: Dr. Reinhold Plösch Dr. Johannes Sametinger Kundenreferenz: 259.019 Team 19 Mitarbeiter: Christian Märzinger

Mehr

Tester als Coach ein Erfolgsmodell

Tester als Coach ein Erfolgsmodell Tester als Coach ein Erfolgsmodell Ein Praxisbericht aus dem Leben eines Testers in Scrum-Projekten - Michael Egli bbv Software Services AG www.bbv.ch 03.09.2015 Q-Event 2015 Erfolgsfaktor Testing 1 Inhaltsverzeichnis

Mehr

Projektmanagement und Softwarequalität

Projektmanagement und Softwarequalität Projektmanagement und Softwarequalität Validierung in der pharmazeutischen Industrie Fakultät für Wirtschaftswissenschaften Martin Stange E-Mail: martin.stange@ichlerneonline.de www.hs-wismar.de Projektmanagement

Mehr

Probeklausur. Lenz Belzner. January 26, 2015. Lenz Belzner Probeklausur January 26, 2015 1 / 16

Probeklausur. Lenz Belzner. January 26, 2015. Lenz Belzner Probeklausur January 26, 2015 1 / 16 Probeklausur Lenz Belzner January 26, 2015 Lenz Belzner Probeklausur January 26, 2015 1 / 16 Definieren Sie Software Engineering in Abgrenzung zu Individual Programming. Ingenieursdisziplin professionelle

Mehr

,$ -. "+0 *+*+ ! / -#$%$. #$%'' $ () 1 2$ #$%$! 1 2$3 )!

,$ -. +0 *+*+ ! / -#$%$. #$%'' $ () 1 2$ #$%$! 1 2$3 )! *+*+ *,$ -.! / -#$%$. #$%'' $ () "+0 *+*+ 4 *+*+ 1 2$ #$%$! 1 2$3 )! 1 *+*+ $& #$%'!' '!' 5 1! 1 4$5%! 1 63$ 1 $7$! 1 3! 1 77 8'7 1 /!$' 1 83% *+*+ 0 #$%'' '' #$%'' ''$' )%! $' #$% 5 87 $ 8$! 7$+ 1 #$%9$

Mehr

Systematische Software-Qualität mittels einer durchgängigen Analyse- und Teststrategie

Systematische Software-Qualität mittels einer durchgängigen Analyse- und Teststrategie Insert picture and click Align Title Graphic. Systematische Software-Qualität mittels einer durchgängigen Analyse- und Teststrategie Dr. Dieter Lederer, Geschäftsführer Vector Consulting Services GmbH

Mehr

Validierung und Verifikation!

Validierung und Verifikation! Martin Glinz Thomas Fritz Software Engineering Kapitel 7 Validierung und Verifikation 2005-2013 Martin Glinz. Alle Rechte vorbehalten. Speicherung und Wiedergabe für den persönlichen, nicht kommerziellen

Mehr

Qualitätssicherung. Was ist Qualität?

Qualitätssicherung. Was ist Qualität? Ein Überblick Methoden und Werkzeuge zur Softwareproduktion Was ist Qualität? "Als Qualität eines Gegenstandes bezeichnen wir die Gesamtheit seiner charakteristischen Eigenschaften" Hesse et al. 2 Was

Mehr

Testmanagement. Q-Day. Frank Böhr Fraunhofer IESE frank.boehr@iese.fraunhofer.de

Testmanagement. Q-Day. Frank Böhr Fraunhofer IESE frank.boehr@iese.fraunhofer.de Frank Böhr Fraunhofer IESE frank.boehr@iese.fraunhofer.de Agenda Warum Testmanagement? Was sind die wichtigsten Schritte beim Testmanagement? Wie funktioniert Testmanagement Toolunterstützung Page 1/15

Mehr

Projektmanagement. Vorlesung von Thomas Patzelt 9. Vorlesung

Projektmanagement. Vorlesung von Thomas Patzelt 9. Vorlesung Projektmanagement Vorlesung von Thomas Patzelt 9. Vorlesung 1 Pläne Kein Plan überlebt die erste Feindberührung - Feldmarschall Helmuth von Moltke Prognosen sind schwierig, besonders wenn sie die Zukunft

Mehr

FUTURE NETWORK 20.11.2013 REQUIREMENTS ENGINEERING

FUTURE NETWORK 20.11.2013 REQUIREMENTS ENGINEERING 18/11/13 Requirements Engineering 21 November 2013 DIE GRUNDFRAGEN Wie erhält der Kunde den größten Nutzen? Wie kann der Kunde am besten spezifizieren, was er haben will? Welchen Detailierungsgrad braucht

Mehr

Auswahl alter Klausuraufgaben aus einer ähnlichen Vorlesung Maßgeblich für die Prüfung sind die Vorlesungsinhalte!

Auswahl alter Klausuraufgaben aus einer ähnlichen Vorlesung Maßgeblich für die Prüfung sind die Vorlesungsinhalte! Auswahl alter Klausuraufgaben aus einer ähnlichen Vorlesung Maßgeblich für die Prüfung sind die Vorlesungsinhalte! Aufgabe 1: Grundlagen (5 Punkte) a) Definieren Sie kurz Usability und User Experience.

Mehr

Entwicklungsbegleitender Test mechatronischer Systeme

Entwicklungsbegleitender Test mechatronischer Systeme Entwicklungsbegleitender Test mechatronischer Systeme Dr. Olaf Maibaum Folie 1 Übersicht Test von Regelungssoftware Testansätze MiL SiL PiL HiL Vergleich der Testansätze Testautomatisierung Testfälle Simulation

Mehr

Qualitätssicherung (Testen) im Application Life Cycle

Qualitätssicherung (Testen) im Application Life Cycle Qualitätssicherung (Testen) im Application Life Cycle Metriken im Test Michael Wagner Triton Unternehmensberatung GmbH www.triton.at www.tritonqs.at Copyright by Triton Technologie Consulting GmbH, all

Mehr

Durchgängiger Software- und Systemtest einer hochdynamischen Antriebsregelung

Durchgängiger Software- und Systemtest einer hochdynamischen Antriebsregelung Durchgängiger Software- und Systemtest einer hochdynamischen Antriebsregelung mit Hilfe des Testwerkzeuges Time Partition Testing (TPT) Norbert Büttner PikeTec GmbH Übersicht Integration von TPT in den

Mehr

Software-Qualität im Rahmen modellgetriebener Softwareentwicklung

Software-Qualität im Rahmen modellgetriebener Softwareentwicklung Software-Qualität im Rahmen modellgetriebener Softwareentwicklung OFFIS Technologiecluster Enterprise Application Integration niels.streekmann@offis.de 09.07.2008 Seite 1 / 13 Software-Qualität: Unterschiedliche

Mehr

Aufbau und Betrieb eines Testcenters

Aufbau und Betrieb eines Testcenters Aufbau und Betrieb eines Testcenters Kaiserslautern, 4. März 2009 Volker Asmus Wer sind wir? ist ein unabhängiges Beratungsunternehmen für Informationstechnologie und Managementberatung mit ca. 200 Mitarbeitern

Mehr

Prozess-Modelle für die Softwareentwicklung

Prozess-Modelle für die Softwareentwicklung Prozess-Modelle für die Softwareentwicklung Prof. Dr. Andreas Spillner Institut für Informatik und Automation Hochschule Bremen Übersicht Softwareentwicklungs-Modelle Wasserfall-Modell Vorgehensmodell

Mehr

Der frühe Tester fängt den Bug

Der frühe Tester fängt den Bug Der frühe Tester fängt den Bug Kein Teststress am Entwicklungsende dank Webtest-First André Petry (Kühne + Nagel) SEACON 2013 16. / 17.05.2013 Agenda Vorstellung Persönlich Projekt Warum Testen oft schwierig

Mehr

Teststrategie festlegen und Teststufen aufeinander abstimmen

Teststrategie festlegen und Teststufen aufeinander abstimmen Testen Teststrategie festlegen und Teststufen aufeinander abstimmen Bereich Projektplanung und -steuerung Aktivität Projekt planen Ziele Effiziente Testausführung Vermeidung von doppelter Arbeit schnell

Mehr

Agilität und systematischer Test

Agilität und systematischer Test Agilität und systematischer Test Wie können die Vorteile der agilen Softwareentwicklung mit einem systematischen Test kombiniert werden? Prof. Dr.-Ing. Andreas Spillner Hochschule Bremen Acceptance Café,

Mehr

Software- Qualitätsmanagement

Software- Qualitätsmanagement Software- Qualitätsmanagement Thomas Kugel Brandenburg, den 10.12.2002 Agenda Einleitung Was heißt Softwarequalitätssicherung und Test Die Rolle von Test und QS in Softwareprojekten Wie wird getestet Statische

Mehr

Bringing Software Engineering Science into Practice

Bringing Software Engineering Science into Practice Bringing Software Engineering Science into Practice Dr. Bernhard Peischl Institut für Softwaretechnologie Technische Universität Graz 1/18 Outline Motivation und Abgrenzung Industrielle und akademische

Mehr

Wieviel Usability Engineering braucht das Software Engineering?

Wieviel Usability Engineering braucht das Software Engineering? Wieviel Usability Engineering braucht das Software Engineering? Prof. Dr. Institut für Informatik Neuenheimer Feld 348 69120 Heidelberg http://www-swe.uni-heidelberg.de paech@informatik.uni-heidelberg.de

Mehr

Senior Consulting. Senior Consulting Strategical, Conceptual and Technical Consulting. 30.01.2011 Seite 1

Senior Consulting. Senior Consulting Strategical, Conceptual and Technical Consulting. 30.01.2011 Seite 1 30.01.2011 Seite 1 This flyer is exclusively for the use of client personnel. No part of it may be distributed, quoted or reproduced outside the client organisation without the prior written approval of

Mehr

Softwarequalität: Einführung. 15. April 2015

Softwarequalität: Einführung. 15. April 2015 Softwarequalität: Einführung 15. April 2015 Überblick Warum ist Softwarequalität wichtig? Was ist Softwarequalität? Wie erreicht man Softwarequalität? Taentzer Softwarequalität 2015 8 Berühmte Software-Fehler

Mehr

Einführung von Test-Prozessen laut TMMi. Egon Valentini 1. März 2010

Einführung von Test-Prozessen laut TMMi. Egon Valentini 1. März 2010 Einführung von Test-Prozessen laut TMMi Egon Valentini 1. März 2010 Agenda NXP Testumfeld CMMi, TMMi TMMi QualityPolicy, TestPolicy, TestStrategy, TestPlan Lessons Learned 2 Warum brauchen wir Testmethoden

Mehr

Modellierung von Echtzeitsystemen mit dem UML CASE Tool Telelogic Tau G2 Developer

Modellierung von Echtzeitsystemen mit dem UML CASE Tool Telelogic Tau G2 Developer Modellierung von Echtzeitsystemen mit dem UML CASE Tool Telelogic Tau G2 Developer Holger Sinnerbrink Einführung Firmenentwicklung Gründung von Telelogic 1983 als Forschungs- und Entwicklungsabteilung

Mehr

IIBA Austria Chapter Meeting

IIBA Austria Chapter Meeting covalgo consulting GmbH IIBA Austria Chapter Meeting ITIL und Business Analyse 20. März 2012 Dr. Gerd Nanz 1040 Wien, Operngasse 17-21 Agenda Ein Praxisbeispiel Was ist Business Analyse? Was ist ein Service

Mehr

Agile Software-Entwicklung im Kontext der EN50128 Wege zum Erfolg

Agile Software-Entwicklung im Kontext der EN50128 Wege zum Erfolg Herzlich willkommen Agile Software-Entwicklung im Kontext der EN50128 Wege zum Erfolg Heike Bickert Software-/Systemingenieurin, Bereich Quality Management Braunschweig // 17.11.2015 1 Agenda ICS AG Fragestellungen

Mehr

Automatisierte GUI Tests in fachlichen Teststufen. 07.09.2011 Patrick Möller

Automatisierte GUI Tests in fachlichen Teststufen. 07.09.2011 Patrick Möller Automatisierte GUI Tests in fachlichen Teststufen 07.09.2011 Patrick Möller Inhaltsangabe Vorstellung und Situation BITMARCK BITMARCK und iskv_21c Testautomatisierung - warum? Teststufen bei BITMARCK Testautomatisierung

Mehr

Senior Consulting. Senior Consulting Strategical, Conceptual and Technical Consulting. 30.01.2011 Seite 1

Senior Consulting. Senior Consulting Strategical, Conceptual and Technical Consulting. 30.01.2011 Seite 1 30.01.2011 Seite 1 This flyer is exclusively for the use of client personnel. No part of it may be distributed, quoted or reproduced outside the client organisation without the prior written approval of

Mehr

Projektmanagement Vorlesung 14/ 15: Wiederholung ausgewählter Themen zur Klausurvorbereitung. Prof. Adrian Müller, PMP, PSM-1, CSM FH Kaiserslautern

Projektmanagement Vorlesung 14/ 15: Wiederholung ausgewählter Themen zur Klausurvorbereitung. Prof. Adrian Müller, PMP, PSM-1, CSM FH Kaiserslautern Projektmanagement Vorlesung 14/ 15: Wiederholung ausgewählter Themen zur Klausurvorbereitung Prof. Adrian Müller, PMP, PSM-1, CSM FH Kaiserslautern phone: +49 631/3724-5329 http://www.hs-kl.de/~amueller

Mehr

Semantik von Formeln und Sequenzen

Semantik von Formeln und Sequenzen Semantik von Formeln und Sequenzen 33 Grundidee der Verwendung von Logik im Software Entwurf Syntax: Menge von Formeln = Axiome Ax K ist beweisbar Formel ϕ beschreiben Korrektkeit Vollständigkeit beschreibt

Mehr

9001 weitere (kleinere) Änderungen

9001 weitere (kleinere) Änderungen 6.2 Ziele: SMARTE Ziele: was, Ressorucen, Verantwortung, Termin, Bewertung der Ergebnisse (für ecco nicht nue, wurde aber betont) 6.3 Änderungen: Der Einfluss von Änderungen am QMS uss bewertet werden

Mehr

Professionelles Software-Testing Hilfreiches Tool bei Konflikten

Professionelles Software-Testing Hilfreiches Tool bei Konflikten Tilo Linz, imbus AG 8. Karlsruher IT-Tag 09.04.2011 imbus AG Spezialisierter Lösungsanbieter für Software-Qualitätssicherung und Software-Test Seit 1992 am Markt Erfahrung und Know-how aus über 3.000 erfolgreichen

Mehr

Standard Inhaltsverzeichnis für Testvorschrift

Standard Inhaltsverzeichnis für Testvorschrift Standard Inhaltsverzeichnis für Testvorschrift Inhaltsverzeichnis 1. Zweck, Veranlassung... 1 2. Allgemeines... 1 2.1 Zweck der Testvorschrift... 1 2.2 Freigabe und Änderungen... 1 2.3 Prinzipien... 2

Mehr

Testanalyse und Testautomation bei der ImmobilienScout24

Testanalyse und Testautomation bei der ImmobilienScout24 www.immobilienscout24.de Testanalyse und Testautomation bei der ImmobilienScout24 Stuttgart 02.10.2009 Katrin Jähn / Eric Hentschel Inhalt Ausgangssituation Motivation Projekt Ganzheitliche Teststrategie

Mehr

Softwarequalität: Zusammenfassung und Ausblick. 17. Juli 2013

Softwarequalität: Zusammenfassung und Ausblick. 17. Juli 2013 Softwarequalität: Zusammenfassung und Ausblick 17. Juli 2013 Überblick Rückblick: Qualitätskriterien Qualitätsmanagement Qualitätssicherungsmaßnahmen Thesen zur Softwarequalität Ausblick: Lehrveranstaltungen

Mehr

Lean Modeling - Datenmodelle und Geschäftsregeln einfach und präzise mit natürlicher Sprache spezifizieren

Lean Modeling - Datenmodelle und Geschäftsregeln einfach und präzise mit natürlicher Sprache spezifizieren Lean Modeling - Datenmodelle und Geschäftsregeln einfach und präzise mit natürlicher Sprache spezifizieren Mirko Seifert, DevBoost GmbH 12. November 2013, ASQF Modeling Day 2013, Nürnberg Agenda 1. Der

Mehr

AUFBAU EINER TESTORGANISATION

AUFBAU EINER TESTORGANISATION AUFBAU EINER TESTORGANISATION ODER DIE GEISTER, DIE ICH RIEF... Software-Tester Forum Mittwoch, 16. November 2005 SWX Swiss Exchange, Convention Point Zürich Robin Heizmann, CS IT Quality Management 14.11.2005

Mehr

Comparison of Software Products using Software Engineering Metrics

Comparison of Software Products using Software Engineering Metrics Comparison of Software Products using Software Engineering Metrics Alexander Bätz Fakultät EIM Universität Paderborn 23. Juli 2009 1 / 28 Motivation Qualitätsbewertung von Software Vergleichbarkeit von

Mehr

Software Test- und Analyse-Tools für Produktivität und Qualität. www.verifysoft.com

Software Test- und Analyse-Tools für Produktivität und Qualität. www.verifysoft.com Software Test- und Analyse-Tools für Produktivität und Qualität www.verifysoft.com TEST- UND ANALYSE-TOOLS Conformiq Test Generator Das Erstellen von Testfällen ist der größte Aufwandsblock bei Softwaretests:

Mehr

Erhebung von Anforderungen an den Einsatz von ebusiness-standards in kleinen und mittleren Unternehmen

Erhebung von Anforderungen an den Einsatz von ebusiness-standards in kleinen und mittleren Unternehmen Erhebung von Anforderungen an den Einsatz von ebusiness-standards in kleinen und mittleren Unternehmen Experteninterview Das Projekt in Kürze: Was nutzen ebusiness-standards? Wie können kleine und mittlere

Mehr

Machbar? Machbar! 07.10.2010

Machbar? Machbar! 07.10.2010 TANNER AG 2010 TANNER AG Kemptener Straße 99 D-88131 Lindau (B) Telefon +49 8382 272-0 Fax +49 8382 272-900 www.tanner.de info@tanner.de Agile Softwareentwicklung im regulativen Umfeld. Machbar? Machbar!

Mehr

Solvency II. Komplexität bewältigen

Solvency II. Komplexität bewältigen Solvency II Komplexität bewältigen Der Service Solvency II schafft die Voraussetzung für wertorientiertes Risikomanagement. Die regulatorischen Anforderungen im Bereich Risikomanagement provozieren einen

Mehr

Informationssystemanalyse Problemstellung 2 1. Trotz aller Methoden, Techniken usw. zeigen Untersuchungen sehr negative Ergebnisse:

Informationssystemanalyse Problemstellung 2 1. Trotz aller Methoden, Techniken usw. zeigen Untersuchungen sehr negative Ergebnisse: Informationssystemanalyse Problemstellung 2 1 Problemstellung Trotz aller Methoden, Techniken usw. zeigen Untersuchungen sehr negative Ergebnisse: große Software-Systeme werden im Schnitt ein Jahr zu spät

Mehr

Seamless Model-based Engineering of a Reactive System

Seamless Model-based Engineering of a Reactive System Seamless Model-based Engineering of a Reactive System Seminar im Wintersemester 2013/2014 Andreas Vogelsang, Sebastian Eder, Georg Hackenberg, Maximilian Junker http://www4.in.tum.de/lehre/seminare/ws1314/seamless/

Mehr

Whitebox-Tests: Allgemeines

Whitebox-Tests: Allgemeines -Tests: Allgemeines Andere Bezeichnungen Logic driven, Strukturelles Der Tester entwickelt Testfälle aus einer Betrachtung der Ablauflogik des Programms unter Berücksichtigung der Spezifikation Intuitiv

Mehr

Software-Entwicklung

Software-Entwicklung Software-Entwicklung SEP 96 Geschichte der Programmierung Aufgaben von, Anforderungen an Programme mit der Zeit verändert 1 Programmierung über Lochkarten z.b. für Rechenaufgaben 2 maschinennahe Programmierung

Mehr

Institut für Computational Engineering ICE. N ä h e r d ra n a m S ys t e m d e r Te c h n i k d e r Z u ku n f t. w w w. n t b.

Institut für Computational Engineering ICE. N ä h e r d ra n a m S ys t e m d e r Te c h n i k d e r Z u ku n f t. w w w. n t b. Institut für Computational Engineering ICE N ä h e r d ra n a m S ys t e m d e r Te c h n i k d e r Z u ku n f t w w w. n t b. c h Rechnen Sie mit uns Foto: ESA Das Institut für Computational Engineering

Mehr

9001 Kontext der Organisation

9001 Kontext der Organisation 1. Strategische Ausrichtung der Organisation Die oberste Leitung muss zeigen, dass die Qualitätspolitik und die Qualitätsziele mit der strategischen Ausrichtung und dem Kontext der Organisation vereinbar

Mehr

Testplan. Hochschule Luzern Technik & Architektur. Software Komponenten FS13. Gruppe 03 Horw, 16.04.2013

Testplan. Hochschule Luzern Technik & Architektur. Software Komponenten FS13. Gruppe 03 Horw, 16.04.2013 Software Komponenten FS13 Gruppe 03 Horw, 16.04.2013 Bontekoe Christian Estermann Michael Moor Simon Rohrer Felix Autoren Bontekoe Christian Studiengang Informatiker (Berufsbegleitend) Estermann Michael

Mehr

Dr. Klaus Lamberg, Michael Beine

Dr. Klaus Lamberg, Michael Beine $6,0)DFKWDJXQJ 6LPXODWLRQV XQG7HVWPHWKRGHQI U6RIWZDUH LQ)DKU]HXJV\VWHPHQ 7HVWPHWKRGHQXQG±WRROV WRROV LQ GHUPRGHOOEDVLHUWHQ )XQNWLRQVHQWZLFNOXQJ Dr. Klaus Lamberg, Michael Beine $JHQGD Modellbasierte Funktionsentwicklung

Mehr

Automatisiertes End-to-end Testen von Enterprise Applikationen

Automatisiertes End-to-end Testen von Enterprise Applikationen Automatisiertes End-to-end Testen von Bernhard Trummer bernhard.trummer@gmx.at 9. April 2011 Automatisiertes End-to-end Testen von Überblick Automatisiertes End-to-end Testen von Über mich Überblick TU

Mehr

MappingTestTool. Werkzeug für automatisierte Mappingtests auf SAP PI / PO

MappingTestTool. Werkzeug für automatisierte Mappingtests auf SAP PI / PO MappingTestTool Werkzeug für automatisierte Mappingtests auf SAP PI / PO Regressionstests mit Integrationen (Non)SAP SAP PI / PO (Non)SAP Testfall erstellen Nachricht übertragen Routing Mapping Nachricht

Mehr

Test-Strategien. Grundsätzliches Blackbox-Testen Whitebox-Testen Graybox-Testen Ablauf von Tests Zusammenfassung. HS Mannheim

Test-Strategien. Grundsätzliches Blackbox-Testen Whitebox-Testen Graybox-Testen Ablauf von Tests Zusammenfassung. HS Mannheim Test- Grundsätzliches - - - Ablauf von Tests Grundsätzliche Test- -Tests Äquivalenzklassenbildung Randwertanalyse -Tests Man unterscheidet verschiedene Überdeckungsgrade: Statement Coverage Decision Coverage,

Mehr

WIE WIRKLICH IST DIE WIRKLICHKEIT WIE SCHNELL WERDEN SMART GRIDS WIRKLICH BENÖTIGT? DI Dr.techn. Thomas Karl Schuster Wien Energie Stromnetz GmbH

WIE WIRKLICH IST DIE WIRKLICHKEIT WIE SCHNELL WERDEN SMART GRIDS WIRKLICH BENÖTIGT? DI Dr.techn. Thomas Karl Schuster Wien Energie Stromnetz GmbH WIE WIRKLICH IST DIE WIRKLICHKEIT WIE SCHNELL WERDEN SMART GRIDS WIRKLICH BENÖTIGT? DI Dr.techn. Thomas Karl Schuster Wien Energie Stromnetz GmbH Agenda Einleitung Historisches zum Thema Smart Definitionen

Mehr

Die Welt der SW-Qualität Ein Streifzug in 30 Minuten! Johannes Bergsmann Eigentümer

Die Welt der SW-Qualität Ein Streifzug in 30 Minuten! Johannes Bergsmann Eigentümer Die Welt der SW-Qualität Ein Streifzug in 30 Minuten! Johannes Bergsmann Eigentümer Inhalt Top Themen Requirements Testen Testautomatisierung Change-Management Risiko-Management Agile Methoden Traceability

Mehr

intence automotive electronics Ausführbare Spezifikation Der Weg zu besseren Anforderungen

intence automotive electronics Ausführbare Spezifikation Der Weg zu besseren Anforderungen intence automotive electronics Ausführbare Spezifikation Der Weg zu besseren Anforderungen Kurzvorstellung intence Agenda KURZVORSTELLUNG intence automotive electronics Wurde 2007 gegründet und ist Entwicklungspartner

Mehr

Social Media. Marketing und Kommunikation mit Facebook, Twitter, Xing & Co.

Social Media. Marketing und Kommunikation mit Facebook, Twitter, Xing & Co. Social Media. Marketing und Kommunikation mit Facebook, Twitter, Xing & Co. Social Media w Leistungspakete Leistungspaket 1: Social Media Workshop Um Social Media Werkzeuge in der Praxis effizient nutzen

Mehr

PRÜFUNG FÜR ELEKTROINGENIEURE. Softwaretechnik I. Musterlösung SS 12. - Ohne Gewähr -

PRÜFUNG FÜR ELEKTROINGENIEURE. Softwaretechnik I. Musterlösung SS 12. - Ohne Gewähr - PRÜFUNG FÜR ELEKTROINGENIEURE Softwaretechnik I Musterlösung SS 12 - Ohne Gewähr - LfdNr. Thema Punkte Zeitbedarf in min 1 Analyse und Entwurf 15 30 2 Basistechniken und Test 15 30 3 Projektmanagement

Mehr

Universität Paderborn Die Universität der Informationsgesellschaft. Validierung und Verifikation (inkl. Testen, Model-Checking, Theorem Proving)

Universität Paderborn Die Universität der Informationsgesellschaft. Validierung und Verifikation (inkl. Testen, Model-Checking, Theorem Proving) Universität Paderborn Die Universität der Informationsgesellschaft Analyse, Entwurf und Implementierung zuverlässiger Software und (inkl., Model-Checking, Theorem Proving) Torsten Bresser torbre@uni-paderborn.de

Mehr

Testfälle und Anderes aus Modellen generieren. Dr. Martin Beißer, sepp.med gmbh

Testfälle und Anderes aus Modellen generieren. Dr. Martin Beißer, sepp.med gmbh Testfälle und Anderes aus Modellen generieren Dr. Martin Beißer, sepp.med gmbh Wozu werden UML/BPMN-Tools verwendet Graphische Darstellung von Zusammenhängen, Abläufen, Prozessen, Daten Beispiele: Prozesse

Mehr

IT OUTSOURCING. Wie die IT durch Transparenz zum internen Dienstleister wird. Herford, 13.09.2012, Steffen Müter

IT OUTSOURCING. Wie die IT durch Transparenz zum internen Dienstleister wird. Herford, 13.09.2012, Steffen Müter IT OUTSOURCING Wie die IT durch Transparenz zum internen Dienstleister wird Herford, 13.09.2012, Steffen Müter Vorurteile gegenüber IT Abteilungen...ihr seid zu langsam...es gibt immer Ausreden, wenn etwas

Mehr