Test automation for database management systems and database applications

Transkript

1 Research Collection Doctoral Thesis Test automation for database management systems and database applications Author(s): Lo, Chi Lik Eric Publication Date: 2007 Permanent Link: Rights / License: In Copyright - Non-Commercial Use Permitted This page was generated automatically upon download from the ETH Zurich Research Collection. For more information please consult the Terms of use. ETH Library

2 Diss. ETHNo Test Automationfor Database ManagementSystemsand Database Applications A dissertation submitted to the ETH ZÜRICH for the degree of Doctor of Sciences presented by CHI LIK ERIC LO Master of Philosophy (The University of Hong Kong) born 26th January 1978 Citizen of Hong Kong accepted on the recommendation of Professor Donald Kossmann, examiner Professor M. Tamer Özsu, co-examiner 2007

3 Zusammenfassung(Abstract in German) Testen ist ein Prozess, um die Korrektheit, Vollständigkeit,Sicherheit und Qualität einer Software zu überprüfen. Aus der stetig wachsenden Bedeutung des Testens folgt, dass auch immer mehr Testfälle im Laufe des kompletten Produktzyklus einer An wendung durchgeführt werden müssen. Da für größeresoftwareanwendungen täglich mehrere Tausende bzw. Millionen von Tests auszuführensind, steigt die Notwendigwendigkeit die verschiedenentestaufgabenzu automatisieren bzw. zu optimieren. Die vorliegende Dissertation behandelt verschiedene Problemstellungen im Bereich des Testens von Datenbankanwendungen bzw. Datenbankmanagementsystems. Die erste Problemstellung liegt im Bereich des Tests von Datenbankanwendungen. Testen ist aktuell der aufwändigste Abschnitt im Softwareentwicklungszyklus. Daher ist es notwendig, die vorhandenen Ressourcen zur Testausführung so gut wie möglich auszunutzen, um die Testausführungszeit zu minimieren. Aus diesem Grund, wird ein Test-Frameworkpräsentiert, welches die vorhandenen Testfälle möglichst effizient ausführt. Die zweite Problemstellung behandelt die Generierung von Testdaten für den funk tionalen Test einer Datenbankanwendung. Die vorhandenen Testdatenbank-Generatoren erzeugen ihre Testdaten meist ohne die zu testende Anwendung in Betracht zu ziehen. Daher erfüllen die generierten Testdaten kaum die Anforderungen, die für einen Test der Anwendung notwendigsind. Die vorliegende Dissertation stellt einen neuen Ansatz zur Generierung von Testdatenbanken vor, der auf der Basis der Datenbankanfragen der Anwendung und weiteren Testanforderungen bedeutsametestdaten erzeugt. den Test von Datenbankanwendun den Test zu verbessern. Hierzu Während die ersten beiden Problemstellungen gen adressieren, zielt die dritte Problemstellung darauf ab die Methodenfür einzelnerkomponenten eines Datenbankmanagementsystems XI

4 wird der vorhandene Testprozess für einzelne Komponenten eines Datenbankman agementsystems (z.b. des Anfrage- Optimierers, Algorithmen einzelner Operatoren) auf mögliche Verbesserungen hin analysiert. Als weiteres Ergebnis wird ein Daten bankgeneratorvorgestellt,der eine Testdatenbankindividuell für jeden Testfall erzeugt. Das hierbei vorgestellte Test-Paradigma erleichtert eine große Anzahl der Aufgaben im Test von Datenbankmanagementsystem. XII

5 Abstract Testing is the process of checking the correctness,completeness, security,and quality of a piece of Computer Software. With the increasing importance and prevalence of testing, many tests have to be carried throughout the whole product cycle. With possibly thousands or even millions of tests to be executed, it is necessary to devise tools or techniques to automate and optimize the testing process. This dissertation examines several issues related to testing database applications and database Systems. The first issue is related to the efficiency of testing database applications. Given that testing is the most expensivepart of the Software development cycle, it is necessaryto fully utilize the available resources so as to minimize the testing time. The first part of this dissertation presents a framework for efficient test execution. The second issue is related to the generation of test data to test functional features of database applications. Today, all database generators generate test data without considering the application queries; therefore, the generateddata hardly return meaningful query results which could be used to test different code paths of an application. In order to solve this problem, the second part of this dissertation presents a database generator that accepts an application query and the expected query results as input, and generates a test database that meets the test requirements as Output. The last part of this dissertation focuses on testing database Systems. In order to test individual componentsof a database System (e.g., query optimizer, Operators' algorithms), it is necessaryto execute the same test query on differentdatabase instances to obtain different query results. However, it is indeed difficult to obtain differentquery on the database results for the same test query because it requires manual tuning content. To this end, this dissertation presents a query-aware database generator to automate this task. XIII