Automatic verification of RF equipment with off-the-shelf hardware

Transkript

1 Automatic verification of RF equipment with off-the-shelf hardware Abschlussvortrag Lukas M. Märdian 11. April 2016 Lehrstuhl für Netzarchitekturen und Netzdienste Fakultät für Informatik Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 1

2 Einleitung: Rohde & Schwarz Motivation Problemstellung Vorgehen Ergebnisse Projekt-Status Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 2

3 Einleitung: Rohde & Schwarz Externe Masterarbeit Rohde & Schwarz, München Abteilung für mobile Kommunikation Testautomatisierung Hardware: R&S CMW500 HF-Tester Simulation von Mobilfunk Technologien: GSM, WCDMA, LTE,... Verwendet in Entwicklung und Produktion von Smartphones Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 3

4 Motivation: Test Equipment testen CMW500 implementiert unterschiedlichste Protokoll-Stacks Ständige Weiterentwicklung, um neuste Standards zu unterstützen Entwicklung von 5G Chipset-Prototypen Selftests & Unittests sind nicht genug Black-Box Tests (Full-Stack) über die Mobilfunk-Schnittstelle Ziele Verwende Standardhardware (Smartphones) zum Testen der CMW500 GSM/WCDMA/LTE Implementierungen. Herstellerunabhängigkeit und Wiederverwendbarkeit der Testfälle. Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 4

5 Problemstellung: Anforderungen Voll automatisierte Tests über die Luftschnittstelle des CMW500 Unterschiedliche Geräte: Android Smartphones, Mobilfunk-USB-Sticks, Prototypen Unterschiedlichste Hersteller Welche Eigenschaften können mit Standardhardware getestet werden? Reicht die Leistung einfacher Smartphones aus? Performanceengpässe finden und analysieren Integration in bestehende Infrastruktur Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 5

6 Problemstellung: State of the Art Messtechnik Hersteller: Keysight, Anritsu, Spirent, W2BI Enge Integration zwischen HF-Equipment und Automatisierung der Testgeräte Benötigen spezifische Treiber je Testgerät (Semi-) Automatische Tools zur Ansteuerung von Smartphones AT-Befehle Android Debug Bridge UI-Automatisierung Proprietäre Schnittstellen zum Modem (Qcom) Projekt vmobile Abstraktion der Testgeräte (Plug n Play) Automatisierung unabhängig von Produkten/Infrastruktur Offene SCPI-Schnittstelle Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 6

7 Vorgehen: Setup von vmobile & Testautomatisierung vmobile Server Neu implementieren Ansteuerung der Mobile Devices Mobile Device Originalzustand bewahren (nicht rooten) Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 7

8 Vorgehen: Implementierung VXI-11 Server Portmapper (auto discovery) SCPI Befehle interpretieren UE Abstraction Layer Allgemeine Basisklassen (Android, AT,...) Plugins zum handling konkreter Geräte (Samsung Galaxy S5) Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 8

9 Vorgehen: Implementierung SCPI Standard Commands for Programmable Instruments 13 x Generic Commands (*IDN?, SYSTem:ERRor?,...) 2 x Device Commands (MOBile:DEVice:*) 4 x Network Commands (MOBile:NETWork:*) 4 x Call Commands (MOBile:CALL:*) 3 x Message Commands (MOBile:MESSage:*) 8 x Data Commands (MOBile:DATA:*) Command Description Return Values MOBile:DEVice:STATe? Return the UE s access state. OK or ERROR MOBile:DEVice:IMEi? Return the UE s IMEI, if available. <IMEI No.> or UNKNOWN MOBile:NETWork:STATe? Return the UE s network state. IN_SERVICE, OUT_OF_SERVICE, EMERGENCY_ONLY, POWER_OFF or UNKNOWN MOBile:NETWork:SQUality? Return the UE s received network <Signal Quality> signal quality. MOBile:NETWork:ENABle Enable the UE s connection to the RF network (Airplane mode off). MOBile:NETWork:DISable Disable the UE s connection to the RF network (Airplane mode on). Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 9

10 Vorgehen: Performanceengpässe finden Metriken: UL & DL Durchsatz, Delay & Jitter, Paketverlust Eigenschaften des LTE Stacks untersuchen Werkzeug: Distributed Internet Traffic Generator (D-ITG) Hohe Funktionalität, Genauigkeit, Android Komptaibilität Netperf, Netcat, Iperf 2/3 Patch für bessere Leistung auf Mobile Devices eingereicht Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 10

11 Ergebnisse: LTE Downlink Durchsatz Samsung Galaxy S5 schafft nur bzw (ROHC) pps. Netgear AirCard 810s schafft pps. Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 11

12 Ergebnisse: LTE Uplink Durchsatz Multi-Threading auf Samsung Galaxy S5 Dynamic Voltage and Frequency Scaling Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 12

13 Ergebnisse: Delay Sehr linear und geringer Jitter Durchschnittliche Abweichung von 20.2 ms Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 13

14 Ergebnisse: Jitter Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 14

15 Ergebnisse: Error Unacknowledged Mode: Linear, HARQ verbessert um ca. 15% Acknowledged Mode: 0% Packet Loss, großer Jitter Verbindung bricht zwischen 30% und 60% ab Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 15

16 Ergebnisse: LTE Demo Testfall 1 # ***************************************************************************** 2 # Test: Connect/Attach the UE 3 4 MOBILE.write("MOBile:NETWork:ENABle") 5 while "IN_SERVICE" not in MOBILE.ask("MOB:NETW:STAT?"): 6 time.sleep(1) 7 time.sleep(3) #give some time for the signalling to finish 8 9 if "ATT" in CMW.ask("FETC:LTE:SIGN1:PSW:STAT?") or \ 10 "CEST" in CMW.ask("FETC:LTE:SIGN1:PSW:STAT?"): 11 Reporting.write_passfail(r Mobile\Connect\Test, Reporting.PASSED, ) 12 else: 13 Reporting.write_passfail(r Mobile\Connect\Test, Reporting.FAILED, ) 14 TEST_RESULT = Reporting.FAILED LTE Connect/Attach Test Aktive LTE Zelle (Basisstation) ist am CMW500 vorkonfiguriert. Verbindung zum Mobilfunknetz wird am Smartphone aktiviert. CMW500 prüft auf erfolgreiche Anmeldung in der Zelle. Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 16

17 Projekt-Status: Fazit vmobile ermöglicht automatisierte Black-Box Tests von HF Equipment Ansteuerung über gebräuchliche SCPI Befehle Unterstützt unterschiedliche Mobile Devices Erweiterbar durch Device Plugins Integrierbar in Test Automatisierung oder unabhängig Standardhardware ist zu schwach um Benchmarks durchzuführen Manche Aspekte können getestet werden (Delay, Jitter) Engpass der Paketrate und CPU bei Durchsatz Tests Paketverluste können bedingt getestet werden (40% - 50%) Stärken liegen bei funktionalen Tests Bewertung von Rohde & Schwarz: Positiv Entwicklung des vmobile wird weitergeführt Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 17

18 Projekt-Status: Future Work vmobile Integration in Test Automatisierung (Device Groups) Entkopplung der Device Plugins (Plugin Store) Generalisierung der Device Plugins (mehrere IDs/Plugin) Benchmarking CMW500 Limits mittels Hochleistungs-SDR-Hardware testen (Prisma Telecom UeSIM) Parallelbetrieb mehrerer Mobile Devices, um höhere Paketraten zu erreichen Günstiger SDR Aufbau (Gnu Radio) Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 18

19 Projekt-Status: Demo vmobile Demo Video SMS Senden Mobilfunk Netz deaktivieren Mobilfunk Netz aktivieren Anruf starten Anruf beenden Mobile Daten deaktivieren Mobile Daten aktivieren Anruf 2 Lukas M. Märdian Automatic verification of RF equipment with off-the-shelf hardware 19