Ichhabe mir immergewünscht, dassmein Computer so leicht zubedienen ist wie mein Telefon; mein Wunsch ging in Erfüllung: meintelefon kann ich jetzt auch nicht mehr bedienen. BjarneStroustrup Über funktionale und nicht-funktionale Tests von VoIP-Systemen
Übersicht Anforderungen Funktionale Tests Nicht funktionale Tests Testergebnisse 23.04.2010 2
Pferde fressen keinen Gurkensalat. Über Anforderungen
Tests in Telekommunikation Hohe Komplexität der Systeme Geringe Toleranz 500 400 inakzeptabel Delay [ms] 300 200 100 0 akzeptabel sehr gut 1 2 3 4 5 6 7 8 9 Paketverlust [%] 23.04.2010 4
Allgemeine Architektur PSTN PLMN Public Gateway (3) Admin Sess.Bord.Contr. (3*2) Monitoring Call-Routing SIP-Server (2) IVR (1) Reporting CTI-Appl. (5) Call-Manager (5) PBX (1) System under Test VoIP PSTN 23.04.2010 TDM VoIP 5
Funktionale Requirements VoIP-Telefonie Anrufe aus/ins Fest- und Mobilfunknetz Vermitteln mit und ohne Rückfrage Konferenzen intern und extern mit max. drei Teilnehmern Makeln Steuerung am CTI-Control und am Hardphone Screen Pop in fünf Applikationen 23.04.2010 6
Nicht-funktionale Requirements VoIP-Systeme Unterschiedliche Quellen System RequirementSpecification 44000 Busy Hour Call Completions 160000 Busy Hour Call Attempts Mean Opinion Score > = 4,0 99,99 % Verfügbarkeit Key Performance Indicators Rufaufbauzeit 95 % <= 1s Call Acceptance Rate >= 99,9 % Softwareergonomie Gleichmäßiger Speicherverbrauch 23.04.2010 7
Hauptsache, es klingelt? Über funktionale Tests in der Telekommunikation
Nachrichtensequenzen nach SIP Hangup-Auslöser(Quellen) Hardphone, Softphone Anrufer Hangup-Empfänger SBC, SIP-Server, Call Manager IVR, TK-Anlage CTI-Applikationen Softphone, Hardphone Routing Hangup-Zeitpunkte Wählen Klingeln Gespräch 23.04.2010 9
Funktionale Tests Rufaufbau CTI -Controls und Hardphones Gesprächsannahme Gesprächsaufbau Konferenzen Makeln Rufnummernübertragung Rückruf bei Besetzt Anklopfen 23.04.2010 10
Funktionale Tests Sonderfunktionen VoIP und CTI DTMF-Versand und DTMF-Empfang Anruf von internen und externen IVR-Systemen Anruf von internen und externen Spracherkennungssystemen SynchronitätFunktionen CTI-Control/Softphone/Hardphone Schnittstellen Telefonbuch Screenpop 23.04.2010 11
Testautomatisierung und Werkzeuge Wireshark SIPP Empirix Hammer Audioeditor QuickTap zur Aufzeichnung am Endgerät 23.04.2010 12
Wir haben hier nur m Law Über nicht-funktionale Tests von VoIP-Systemen
Welche Last wird im Test gefahren? Redundante Systeme sind nicht immer gleich verteilt 3 redundante SBC-Standorte mit redundanten Systemen und Loadbalancing 2 SIP-Server in Cold-Standby 2 redundante Call-Manager SBC SBC SBC Routing SIP SIP IVR CTI CCM SIP PBX VoIP PSTN 23.04.2010 14
Nicht-funktionale Tests Performance Testszenarien Spitzenlaststunde Durchschnittslast für vier Stunden Langläufer für 36 Stunden Varianten Verwendung von Spitzen Lauf als Szenario Anfahrzeiten berücksichtigen 23.04.2010 15
Nicht-funktionale Tests Robustheit Stoßfestigkeit Bursttest Call Initiations per Second Mehrere Iterationen Kanalbelegung In erster Linie Audioqualität ConcurrentChannels Gesörächsdauer Redundanz Ausfalltest Wiederanfahrtest 23.04.2010 16
Das Netzwerk ist erprobte Technik Über Testergebnisse
Rufaufbauzeit 30% 25% Anzahl von Calls 24% 23% BHCC 1200 20% 15% 10% 5% 0% 1% 200-299 300-399 11% 11% 4% 5% 2% 2% 2% 2% 1% 400-499 500-599 600-699 700-799 800-899 900-999 1000-1099 1100-1199 1200-1299 1300-1399 7% 1400-1499 3% 1% 1% 1% 1% 0% 1500-1599 1600-1699 1700-1799 1800-1899 2100-2199 2200-2299 Anrufe 250 Reihenfelder hierher ziehen Zwei Ausreißer bei 800/900 ms und 1400/1500 ms Requirement nicht getroffen: 90 % < 1s 70% 60% 50% 40% 30% 20% 10% 0% Anzahl Calls 0-99 100-199 200-299 300-399 400-499 500-599 BHCC 2800 Anrufe 11500 Keine Ausreißer 99,8 % in 200 ms T4Timer 23.04.2010 18
Anruflängen als Lastparameter Längenvorgabe: 45 s, KPI definieren: akzeptabel: 44,5-46,5 Vorzeitiges Ende: SUT löst zu früh aus, weil Last zu hoch Nachträgliches Ende: SUT kam mit Verarbeitung nicht nach 120 100 80 60 40 20 0 Anrufe 37000-38000- 44000-45000- 46000-47000- 48000-49000- 37999 38999 44999 45999 46999 47999 48999 49999 23.04.2010 19
Robustheit Sprachqualität Original Aufnahme TDM Endgerät Aufnahme VoIP 23.04.2010 20
Robustheit Call Initiationsper Second Verschliffene Peaks Anrufe nicht komplett abgebaut Unterschiedliche Anruflängen Verlängerte Rufaufbauzeiten Anrufe identisch auf-und abgebaut Längen entsprechend Vorgabe Rufaufbauzeiten in Ordnung 23.04.2010 21
Vielen Dank für Ihre Aufmerksamkeit Diethelm Dahms dd@speech-and-phone.de Speech & Phone GmbH Bredereckstr. 4 12621 Berlin Telefon: 030-91 68 59 14 23.04.2010 22