ITG-Fachtagung Mobilkommunikation 2009 Gegenüberstellung und Anwendung verschiedener Testverfahren zur Sicherstellung der Interoperabilität von Netzelementen in Next Generation Networks Matthias Bormann Daniel Hartmann Diederich Wermser Osnabrück, 14. Mai 2009
Einleitung Testverfahren mit kontrollierter Anregung Konformitätstest Interoperabilitätstest Vergleich der Testverfahren Datenbankgestützte Post-hoc-Analyse Zuordnung von Testverfahren im Entwicklungsprozess Zusammenfassung und Ausblick Gliederung - 2 -
Quelle: Data Connection Warum testen? - 3 -
Definition 1 (Wikipedia): Als Interoperabilität bezeichnet man die Fähigkeit zur Zusammenarbeit von verschiedenen Systemen, Techniken oder Organisationen. Dazu ist in der Regel die Einhaltung gemeinsamer Standards notwendig. Wenn zwei Systeme miteinander vereinbar sind, nennt man sie auch kompatibel. Definition 2 (Wikipedia): Interoperabilität ist die Fähigkeit unabhängiger, heterogener Systeme, möglichst nahtlos zusammen zu arbeiten, um Informationen auf effiziente und verwertbare Art und Weise auszutauschen bzw. dem Benutzer zur Verfügung zu stellen, ohne dass dazu gesonderte Absprachen zwischen den Systemen notwendig sind. Definition 3 (IEEE): Interoperability is the ability of two or more systems or components to exchange information and to use the information that has been exchanged. Definition 4 (ETSI TISPAN): Interoperability is the ability of equipment from different manufacturers (or different systems) to communicate together on the same infrastructure (same system), or on another while roaming. Definition 5 (ETSI TIPHON): Interoperability is the ability of two systems to interoperate using the same protocol. Definition 6 (3GPP): Interoperability is the ability of two or more systems or components to exchange data and use information. Definition Interoperabilität - 4 -
Quelle: ETSI Aufbau von Konformitätstests - 5 -
Protocol Specification Test Development (set of test cases) Test Environment in TTCN-3 Abstract Test Suite Test Case Implementation Executable Test Suite Exchange of Messages Protocol Implementation System Under Test (SUT) Test Analysis Test Result - pass - fail - inconclusive Entwicklung von Konformitätstests Bormann, M., Hartmann, Wermser, D., Wermser, D.; Sandhaus, D.: Gegenüberstellung V.; Lingner, S.: und IMS Anwendung Signalling von & Control Testverfahren Enable New zur Sicherstellung Classes of Services; der Interoperabilität ZVEI Wireless in Congress NGNs, 14. 2005 ITG-Fachtagung "Mobilfunk" - 6 --
Protokollinstanzen können auf Einhaltung ihrer Spezifikation überprüft werden -> leistungsstarker Pattern Matcher SUT kann auf valides und invalides Verhalten geprüft werden SUTs mit mehreren Schnittstellen können mit Hilfe von PTCs überprüft werden Für die Überprüfung von Konformitätstests werden Referenzimplementierungen benötigt, die oft nicht verfügbar sind. Möglichkeiten mit Konformitätstests - 7 -
"Interoperabilitätstests überprüfen, ob eine Funktion zwischen zwei oder mehreren Netzelementen Ende-zu-Ende erwartungsgemäß umgesetzt ist." Was ist ein Interoperabilitätstest? - 8 -
Quelle: ETSI Aufbau von Interoperabilitätstests - 9 -
Interoperabilitätstestfall - 10 -
Interoperabilitätstests überprüfen, ob Netzelemente - auch unterschiedlicher Hersteller - miteinander arbeiten Es wird überprüft, ob eine Funktion Ende-zu-Ende korrekt umgesetzt wird. Es wird nicht kontrolliert, ob die implementierten Protokolle korrekt bedient werden. Interoperabilitätstests sind nicht limitiert auf ein Protokoll. Möglichkeiten Interoperabilitätstests - 11 -
A IUT B IUT C IUT D IUT SUT A B C D EUT Test Coverage of Conformance Test Suites Test Coverage of Interoperability Test Suite Protocol Specifications implemented by SUT Protocol Specifications implemented by EUT Quelle: ETSI Vergleich von Konformitäts- und Interoperabilitätstests (1) Quelle: ETSI - 12 -
Kriterium Testaufbau Interoperabilität? Fokus des Tests SUT Testarten Testdurchführung Testauswertung Konformitätstest Test zwischen dediziertem Testsystem und einer Protokollinstanz nicht gewährleistet Unit Testing - der Fokus ist gezielt gerichtet auf eine Protokollinstanz, ob diese das Protokoll korrekt bedient Protokollinstanz (IUT - Implementation under Test) eines Netzelementes Valides und invalides Verhalten kann getestet werden. Durch invalide Testfälle kann die Robustheit einer Protokollinstanz überprüft werden. Hohes Maß an Kontrolle Hohe Transparenz durch leistungsstarken Pattern Matcher Interoperabilitätstest Test zwischen mehreren Netzelementen unterschiedlicher Hersteller von Ende-zu-Ende nur zwischen getesteten Netzelementen System Testing - der Fokus weiter. Es wird nicht nur eine Protokollinstanz, sondern mehrere Protokollinstanzen, betrachtet sowie deren Interaktion (z.b.: Telefonie: Rufaufbau und Sprache) Vernetzung mehrer Netzelemente (EUTs - Equipments under Test) Nur valides Verhalten kann getestet werden. Nur Eingabemöglichkeit an den Terminals (Tasten, Hörer, usw.) Zur Bestimmung der Fehlerursache muss Trace untersucht werden Vergleich von Konformitäts- und Interoperabilitätstest (2) - 13 -
IP-based Multi Protocol Post-hoc Analyzer and Conformance Tester IMPACT wird am Labor für KS entwickelt (bis jetzt ca. 2 PJ Entwicklungszeit) Datenbankgestützte Speicherung und Analyse von PDUs Suche von fehlerhaften Protokollabläufen in PDUs aus operativem Betrieb Abbildung von Konformitäts- und Interoperabilitätstests mit SQL-Anfragen Post-hoc-Analyse mit IMPACT - 14 -
Logging / Parsing von PDUs mit IMPACT - 15 -
Datenbank-Struktur von IMPACT - 16 -
Oberfläche von IMPACT - 17 -
Gegenüberstellung kontrollierter Anregung und post-hoc Analyse - 18 -
TPId: Status: Ref: Purpose: SIP_CC_TE_CE_V_001 mandatory RFC 3261 sections 8, 8.2, and 13.3.1.1 Ensure that the IUT on receipt of an INVITE request, sends a Success (200 OK) or a provisional (101-199) response. Test Purpose für RFC 3261-19 -
Vergleich von TTCN-3 (gekürzt) und SQL - 20 -
Vorteile: Fachhochschule durch die Verwendung einer Datenbank mit einem DBMS ist es erst möglich, große Traces nach fehlerhaften Protokollabläufen zu durchsuchen. Ein Indizierung steigert die Geschwindigkeit immens. in IMPACT lassen sich Konformitäts- und Interoperabilitätstests mit SQL-Anfragen abbilden Test von Systemen mit vielen Netzelementen im operativem Betrieb möglich Nachteile: für jedes Protokoll muss die Datenbankstruktur und der Parser erweitert werden evtl. können nicht alle Konformitätstestfälle umgesetzt werden Vergleich von IMPACT gegenüber Testverfahren mit kontrollierter Anregung - 21 -
Zeit Systemanforderungsanalyse Abnahme und Nutzung Systemarchitektur Systemintegration Systementwurf Integrationstest Software- Architektur Unit-Test Detaillierung Software- Design Wasserfallmodell Quelle: Wikipedia Quelle: Wikipedia V-Modell Spiralmodell - 22 -
Zeit Systemanforderungsanalyse Abnahme und Nutzung Testgegenstand Testgegenstand (Beispiel) Angewandtes Testverfahren Systemarchitektur Systemintegration Komplettes Netzwerk im operativem Betrieb Funktion (z.b. Telefonie im IMS) Post-hoc Analyse im operativem Betrieb Detaillierung Systementwurf Software- Architektur Software- Design Unit-Test Integrationstest Einzelne Protokollinstanz Telefonie zwischen zwei Netzelementen (z.b. Rufaufbau und Sprache) SIP-Instanz Test von mehreren Netzelementen mit mehreren Protokollinstanzen Interoperabilitätstests Konformitätstest Zuordnung von Testverfahren zu Phasen des V-Modells - 23 -
Gegenüberstellung von Testverfahren mit kontrollierter Anregung und Analyse von Protokollabläufen aus dem operativem Betrieb Verbesserung der Testabdeckung durch kombinierten, systematischen Einsatz der Testverfahren Erweiterung von IMPACT: Datenbank von IMPACT wurde um Presence-Header ergänzt Umsetzung mit IMPACT gefundener Interoperabilitätsprobleme in Konformitätstestfälle mit TTCN-3 Bewertung und Gegenüberstellung der Testabdeckung: bei Einsatz eines einzelnen Testverfahrens bei kombinertem Einsatz von Testverfahren Zusammenfassung und Ausblick - 24 -
ITG-Fachtagung Mobilkommunikation 2009 Gegenüberstellung und Anwendung verschiedener Testverfahren zur Sicherstellung der Interoperabilität von Netzelementen in Next Generation Networks Matthias Bormann Daniel Hartmann Diederich Wermser Osnabrück, 14. Mai 2009
Section of the Protocol Specification (RFC 3265) - 26 -
Testcase: Description - 27 -
Testcase: TTCN-3 Code (simplified) - 28 -
Demonstration eines Presence-Konformitätstests Bormann, M., Hartmann, Wermser, D., Wermser, D.; Sandhaus, D.: Gegenüberstellung V.; Lingner, S.: und IMS Anwendung Signalling von & Control Testverfahren Enable New zur Sicherstellung Classes of Services; der Interoperabilität ZVEI Wireless in Congress NGNs, 14. 2005 ITG-Fachtagung "Mobilfunk" - 29 - -
Ausführung eines Testfalls mit zwei Testkomponenten - 30 -
SIP_EVNT_NOT_V_004-31 -