Gegenüberstellung und Anwendung verschiedener Testverfahren zur Sicherstellung der Interoperabilität von Netzelementen in Next Generation Networks

Größe: px

Ab Seite anzeigen:

Download "Gegenüberstellung und Anwendung verschiedener Testverfahren zur Sicherstellung der Interoperabilität von Netzelementen in Next Generation Networks"

Hede Martin
vor 8 Jahren
Abrufe

1 ITG-Fachtagung Mobilkommunikation 2009 Gegenüberstellung und Anwendung verschiedener Testverfahren zur Sicherstellung der Interoperabilität von Netzelementen in Next Generation Networks Matthias Bormann Daniel Hartmann Diederich Wermser Osnabrück, 14. Mai 2009

Interoperabilität von Netzelementen in Next Generation Networks

2 Einleitung Testverfahren mit kontrollierter Anregung Konformitätstest Interoperabilitätstest Vergleich der Testverfahren Datenbankgestützte Post-hoc-Analyse Zuordnung von Testverfahren im Entwicklungsprozess Zusammenfassung und Ausblick Gliederung - 2 -

Testverfahren Datenbankgestützte Post-hoc-Analyse Zuordnung von

3 Quelle: Data Connection Warum testen? - 3 -

4 Definition 1 (Wikipedia): Als Interoperabilität bezeichnet man die Fähigkeit zur Zusammenarbeit von verschiedenen Systemen, Techniken oder Organisationen. Dazu ist in der Regel die Einhaltung gemeinsamer Standards notwendig. Wenn zwei Systeme miteinander vereinbar sind, nennt man sie auch kompatibel. Definition 2 (Wikipedia): Interoperabilität ist die Fähigkeit unabhängiger, heterogener Systeme, möglichst nahtlos zusammen zu arbeiten, um Informationen auf effiziente und verwertbare Art und Weise auszutauschen bzw. dem Benutzer zur Verfügung zu stellen, ohne dass dazu gesonderte Absprachen zwischen den Systemen notwendig sind. Definition 3 (IEEE): Interoperability is the ability of two or more systems or components to exchange information and to use the information that has been exchanged. Definition 4 (ETSI TISPAN): Interoperability is the ability of equipment from different manufacturers (or different systems) to communicate together on the same infrastructure (same system), or on another while roaming. Definition 5 (ETSI TIPHON): Interoperability is the ability of two systems to interoperate using the same protocol. Definition 6 (3GPP): Interoperability is the ability of two or more systems or components to exchange data and use information. Definition Interoperabilität - 4 -

Definition 2 (Wikipedia): Interoperabilität ist die Fähigkeit unabhängiger, heterogener Systeme, möglichst nahtlos zusammen zu arbeiten, um Informationen auf effiziente und verwertbare Art und Weise

5 Quelle: ETSI Aufbau von Konformitätstests - 5 -

6 Protocol Specification Test Development (set of test cases) Test Environment in TTCN-3 Abstract Test Suite Test Case Implementation Executable Test Suite Exchange of Messages Protocol Implementation System Under Test (SUT) Test Analysis Test Result - pass - fail - inconclusive Entwicklung von Konformitätstests Bormann, M., Hartmann, Wermser, D., Wermser, D.; Sandhaus, D.: Gegenüberstellung V.; Lingner, S.: und IMS Anwendung Signalling von & Control Testverfahren Enable New zur Sicherstellung Classes of Services; der Interoperabilität ZVEI Wireless in Congress NGNs, ITG-Fachtagung "Mobilfunk"

Konformitätstests Bormann, M., Hartmann, Wermser, D., Wermser, D.; Sandhaus, D.: Gegenüberstellung V.; Lingner, S.

7 Protokollinstanzen können auf Einhaltung ihrer Spezifikation überprüft werden -> leistungsstarker Pattern Matcher SUT kann auf valides und invalides Verhalten geprüft werden SUTs mit mehreren Schnittstellen können mit Hilfe von PTCs überprüft werden Für die Überprüfung von Konformitätstests werden Referenzimplementierungen benötigt, die oft nicht verfügbar sind. Möglichkeiten mit Konformitätstests - 7 -

Schnittstellen können mit Hilfe von PTCs überprüft werden Für die Überprüfung von Konformitätstests

8 "Interoperabilitätstests überprüfen, ob eine Funktion zwischen zwei oder mehreren Netzelementen Ende-zu-Ende erwartungsgemäß umgesetzt ist." Was ist ein Interoperabilitätstest? - 8 -

9 Quelle: ETSI Aufbau von Interoperabilitätstests - 9 -

10 Interoperabilitätstestfall

11 Interoperabilitätstests überprüfen, ob Netzelemente - auch unterschiedlicher Hersteller - miteinander arbeiten Es wird überprüft, ob eine Funktion Ende-zu-Ende korrekt umgesetzt wird. Es wird nicht kontrolliert, ob die implementierten Protokolle korrekt bedient werden. Interoperabilitätstests sind nicht limitiert auf ein Protokoll. Möglichkeiten Interoperabilitätstests

Es wird nicht kontrolliert, ob die implementierten Protokolle korrekt bedient werden.

12 A IUT B IUT C IUT D IUT SUT A B C D EUT Test Coverage of Conformance Test Suites Test Coverage of Interoperability Test Suite Protocol Specifications implemented by SUT Protocol Specifications implemented by EUT Quelle: ETSI Vergleich von Konformitäts- und Interoperabilitätstests (1) Quelle: ETSI

implemented by SUT Protocol Specifications implemented by EUT Quelle: ETSI

13 Kriterium Testaufbau Interoperabilität? Fokus des Tests SUT Testarten Testdurchführung Testauswertung Konformitätstest Test zwischen dediziertem Testsystem und einer Protokollinstanz nicht gewährleistet Unit Testing - der Fokus ist gezielt gerichtet auf eine Protokollinstanz, ob diese das Protokoll korrekt bedient Protokollinstanz (IUT - Implementation under Test) eines Netzelementes Valides und invalides Verhalten kann getestet werden. Durch invalide Testfälle kann die Robustheit einer Protokollinstanz überprüft werden. Hohes Maß an Kontrolle Hohe Transparenz durch leistungsstarken Pattern Matcher Interoperabilitätstest Test zwischen mehreren Netzelementen unterschiedlicher Hersteller von Ende-zu-Ende nur zwischen getesteten Netzelementen System Testing - der Fokus weiter. Es wird nicht nur eine Protokollinstanz, sondern mehrere Protokollinstanzen, betrachtet sowie deren Interaktion (z.b.: Telefonie: Rufaufbau und Sprache) Vernetzung mehrer Netzelemente (EUTs - Equipments under Test) Nur valides Verhalten kann getestet werden. Nur Eingabemöglichkeit an den Terminals (Tasten, Hörer, usw.) Zur Bestimmung der Fehlerursache muss Trace untersucht werden Vergleich von Konformitäts- und Interoperabilitätstest (2)

gerichtet auf eine Protokollinstanz, ob diese das Protokoll korrekt bedient Protokollinstanz (IUT - Implementation under Test) eines Netzelementes Valides und invalides Verhalten kann getestet werden.

14 IP-based Multi Protocol Post-hoc Analyzer and Conformance Tester IMPACT wird am Labor für KS entwickelt (bis jetzt ca. 2 PJ Entwicklungszeit) Datenbankgestützte Speicherung und Analyse von PDUs Suche von fehlerhaften Protokollabläufen in PDUs aus operativem Betrieb Abbildung von Konformitäts- und Interoperabilitätstests mit SQL-Anfragen Post-hoc-Analyse mit IMPACT

2 PJ Entwicklungszeit) Datenbankgestützte Speicherung und Analyse von PDUs Suche von

15 Logging / Parsing von PDUs mit IMPACT

16 Datenbank-Struktur von IMPACT

17 Oberfläche von IMPACT

18 Gegenüberstellung kontrollierter Anregung und post-hoc Analyse

19 TPId: Status: Ref: Purpose: SIP_CC_TE_CE_V_001 mandatory RFC 3261 sections 8, 8.2, and Ensure that the IUT on receipt of an INVITE request, sends a Success (200 OK) or a provisional ( ) response. Test Purpose für RFC

receipt of an INVITE request, sends a Success (200 OK) or a

20 Vergleich von TTCN-3 (gekürzt) und SQL

21 Vorteile: Fachhochschule durch die Verwendung einer Datenbank mit einem DBMS ist es erst möglich, große Traces nach fehlerhaften Protokollabläufen zu durchsuchen. Ein Indizierung steigert die Geschwindigkeit immens. in IMPACT lassen sich Konformitäts- und Interoperabilitätstests mit SQL-Anfragen abbilden Test von Systemen mit vielen Netzelementen im operativem Betrieb möglich Nachteile: für jedes Protokoll muss die Datenbankstruktur und der Parser erweitert werden evtl. können nicht alle Konformitätstestfälle umgesetzt werden Vergleich von IMPACT gegenüber Testverfahren mit kontrollierter Anregung

22 Zeit Systemanforderungsanalyse Abnahme und Nutzung Systemarchitektur Systemintegration Systementwurf Integrationstest Software- Architektur Unit-Test Detaillierung Software- Design Wasserfallmodell Quelle: Wikipedia Quelle: Wikipedia V-Modell Spiralmodell

23 Zeit Systemanforderungsanalyse Abnahme und Nutzung Testgegenstand Testgegenstand (Beispiel) Angewandtes Testverfahren Systemarchitektur Systemintegration Komplettes Netzwerk im operativem Betrieb Funktion (z.b. Telefonie im IMS) Post-hoc Analyse im operativem Betrieb Detaillierung Systementwurf Software- Architektur Software- Design Unit-Test Integrationstest Einzelne Protokollinstanz Telefonie zwischen zwei Netzelementen (z.b. Rufaufbau und Sprache) SIP-Instanz Test von mehreren Netzelementen mit mehreren Protokollinstanzen Interoperabilitätstests Konformitätstest Zuordnung von Testverfahren zu Phasen des V-Modells

24 Gegenüberstellung von Testverfahren mit kontrollierter Anregung und Analyse von Protokollabläufen aus dem operativem Betrieb Verbesserung der Testabdeckung durch kombinierten, systematischen Einsatz der Testverfahren Erweiterung von IMPACT: Datenbank von IMPACT wurde um Presence-Header ergänzt Umsetzung mit IMPACT gefundener Interoperabilitätsprobleme in Konformitätstestfälle mit TTCN-3 Bewertung und Gegenüberstellung der Testabdeckung: bei Einsatz eines einzelnen Testverfahrens bei kombinertem Einsatz von Testverfahren Zusammenfassung und Ausblick

25 ITG-Fachtagung Mobilkommunikation 2009 Gegenüberstellung und Anwendung verschiedener Testverfahren zur Sicherstellung der Interoperabilität von Netzelementen in Next Generation Networks Matthias Bormann Daniel Hartmann Diederich Wermser Osnabrück, 14. Mai 2009

26 Section of the Protocol Specification (RFC 3265)

27 Testcase: Description

28 Testcase: TTCN-3 Code (simplified)

29 Demonstration eines Presence-Konformitätstests Bormann, M., Hartmann, Wermser, D., Wermser, D.; Sandhaus, D.: Gegenüberstellung V.; Lingner, S.: und IMS Anwendung Signalling von & Control Testverfahren Enable New zur Sicherstellung Classes of Services; der Interoperabilität ZVEI Wireless in Congress NGNs, ITG-Fachtagung "Mobilfunk"

30 Ausführung eines Testfalls mit zwei Testkomponenten

31 SIP_EVNT_NOT_V_

Ähnliche Dokumente

Auswirkungen von Sicherungsmechanismen auf Entwicklung und Anwendung von Testverfahren am Beispiel von Voice over IP

Auswirkungen von Sicherungsmechanismen auf Entwicklung und Anwendung von Testverfahren am Beispiel von Voice over IP 15. ITG-Fachtagung Mobilkommunikation Annika Renz Daniel Hartmann Diederich Wermser