BelWü Landeshochschulnetz Baden-Württemberg Tim Kleefass, Juni 2014 BelWü 100G Ausbau 2013/2014 BelWü hat 100G Verbindungen zwischen allen Universitätsstädten in Baden-Württemberg geschaltet. Im Juni 2013 ist die erste 100G Wellenlänge im BelWü Netz in den produktiven Betrieb übergegangen. War diese noch eine dedizierte Kopplung für das landesweite Speichersystem LSDF (Large Scale Data Facility) zwischen den Standorten Heidelberg und Karlsruhe, wurde nun die nächste Runde eingeläutet. Im ersten Quartal 2014 hat BelWü eine 100G Infrastruktur zwischen allen Universitätsstädten aufgebaut. Dazu wurden auf das vorhandene optische DWDM (Dense Wavelength Division Multiplexing) System von BelWü 100G Wellenlängen dazu geschaltet. Diese sind in der Übersicht in der Abbildung 1 in lila abgebildet. Ebenso ist die 100G Verbindung für LSDF in grün zu sehen. An jedem Standort werden die 100G Wellenlängen in 10 mal 10G Bandbreiten geteilt, die über eine schaltbare Matrix weitergeschaltet werden. Damit können zwischen sämtlichen Universitätsstandorten 10G Bandbreiten z.b. zur Erweiterung des Backbones oder als Projektlambdas flexibel bereitgestellt werden: BelWü Netzwerk für Innovation und Forschung. Abbildung 1: BelWü 100G Infrastruktur Im Folgenden soll ein kurzer Blick auf das 100G Setup im BelWü Netzwerk geworfen werden. Allgemeine und weitere Informationen zu BelWü und dem BelWü Netzwerk finden Sie auch unter: https://www.belwue.de Seite 1 von 7
Das BelWü Backbone BelWü hat zwischen allen Universitäten in Baden-Württemberg Glasfaserleitungen angemietet. Allerdings waren in den letzten Jahren nicht in allen Regionen Glasfasern zu bekommen, daher sind die "Ringschlüsse" zur Bildung der Redundanz mit angemieteten 10G Bandbreiten realisiert. Glasfaser sind in Betrieb auf den Hauptstrecken Freiburg - Karlsruhe - Mannheim - Heidelberg, Karlsruhe - Stuttgart - Ulm sowie Stuttgart - Tübingen - Konstanz. Die Ringschlüsse Freiburg - Konstanz sowie Heidelberg - Ulm sind mit angemieteten 10G Bandbreiten realisiert. Die Städte mit Hochschulen sind entweder in den Pfad mit Glasfasern integriert oder über weitere Spangen mit dem Backbone an den Universitätsstädten verbunden. Die Faserplattform mit den Glasfaserleitungen ergibt zusammen mit den angemieteten Bandbreiten die Leitungsplattform von BelWü. Basierend auf der Faserplattform betreibt BelWü ein statisch eingerichtetes, optisches DWDM Netzwerk (Dense Wavelength Division Multiplexing). Passive Bandsplitter und Filter teilen die Glasfasern auf in optische Bereiche und Wellenlängen. Für den Transport auf längeren Strecken kommen optische EDFA Verstärker (Erbium Doped Fibre Amplifier) sowie Einheiten zur Dispersionskompensation zum Einsatz. Über dieses Netzwerk sind 1G, 10G und 100G Wellenlängen geschaltet. Während die 1G Wellenlängen für kleinere Einrichtungen oder Managementzugänge benutzt werden, sind die 10G Wellenlängen die Hauptverbindungen zwischen den BelWü IP/MPLS- Routern sowie vereinzelt als Punkt-zu-Punkt Bandbreiten für BelWü-Teilnehmer geschalten. Alle Universitäten sind an jeweils zwei Standorten redundant an das IP Netzwerk angebunden. Im Juni 2013 wurde eine 100G Wellenlänge für die Kopplung des landesweiten Speichersystems LSDF (Large Scale Data Facility) zwischen den Standorten Heidelberg und Karlsruhe geschaltet. Dies war die erste 100G Verbindung im Produktionsnetz von BelWü und ist eine der wenigen Wellenlängen, die über mehrere Standorte im Backbone geleitet wird. Die meisten Wellenlängen sind zwischen zwei Städten, die direkt nebeneinander liegen. Das Weiterleiten über mehrere Standorte bedeutet, dass auch mehrere optische Verstärker auf dem Pfad sind, was es schwieriger macht, alle Wellenlängen auf dem gleichen optischen Level zu halten. An beiden Enden der 100G Wellenlänge für LSDF sind Ekinops 100G Transponder im Einsatz, die auf der Klientenseite 100 Gigabitethernet an die Einrichtungen Kit und Universität Heidelberg übergeben. Auf der Lineseite sind kohärente Laser eingebaut. Diese leuchten mit einer optischen Wellenlänge und sind daher direkt auf das optische System von BelWü geschalten und werden durch das bestehende DWDM System an den jeweils anderen Standort transportiert. Anfang 2014 wurde das Netzwerk für Innovation und Forschung, kurz, aufgebaut. Dazu wurden zehn neue 100G Wellenlängen parallel zu den bestehenden 10G Wellenlängen mit Optelian Muxpondern geschalten. Die 100G Wellenlängen sind Punkt-zu-Punkt zwischen je zwei benachbarten Universitätsstädten und werden jeweils in 10 mal 10G Bandbreiten geteilt. Die 10G Bandbreiten sind an eine konfigurierbare Schaltmatrix angeschlossen und können so flexibel zwischen sämtlichen Universitätsstandorten in Baden-Württemberg geschaltet werden. Ein Überblick über die 100G Infrastruktur und die 10G Schaltmatrizen ist in Abbildung 2 abgebildet. Seite 2 von 7
Abbildung 2: 100G Wellenlängen und 10G Schaltmatrizen Seite 3 von 7
100G BelWü Nun wollen wir einen Blick auf den Aufbau der 100G BelWü- werfen und die Eigenschaften erörtern. Abbildung 3: Bsp. Aufbau einer Universitätsstadt mit zwei Standorten und 100G Wellenlängen In der Abbildung 3 werfen wir einen Blick auf den Aufbau eine Universitätsstadt mit den beiden Standorten der Universität und die Integration der BelWü-. Auf dem Campus der Universität hat BelWü zwei Standorte, hier Standort A und Standort B. Diese liegen in der Regel ca. einen Kilometer auseinander. Zwischen den beiden Standorten sind genügend Glasfasern vorhanden. BelWü betreibt an beiden Standorten einen IP/MPLS-Router. Diese Backbonerouter sind mit mehrfach 10G untereinander verbunden, hier im Bild sehen wir die gelben und orangenen Linien. Nach Norden, Osten und Westen sind die 10G Wellenlängen auf das optische DWDM System geschalten und werden zur nächsten Stadt transportiert. Es ist sichergestellt, dass mindestens zwei der ausgehenden Glasfaserleitungen kantendisjunkt, also leitungsredundant sind. Die Universität ist mit (mehrfach) 10G an beide Router redundant angeschlossen. Neu sind die 100G Wellenlängen in der Abbildung in rot und etwas dicker. Diese sind parallel zu den vorhandenen 10G Wellenlängen auf die optische DWDM System geschaltet. Jede 100G terminiert an beiden Enden auf einem Muxpondern ("Mux"), welcher 10 mal 10G Verbindungen an die Schaltmatrix ("Matrix") übergibt. Neben den 10G Ports, die an die 100G Muxponder angeschlossen sind, sind weitere 10G Ports für den lokalen Abzweig. Mit diesem Setup hat BelWü mit dem vorhandenen, statischen DWDM System kurzfristig die Bandbreite auf dem optischen Layer drastisch erhöht. Die gewonnene Bandbreite kann für verschiedene Anwendungen benutzt werden. Die Bandbreite steht unabhängig vom IP/MPLS- Netzwerk zur Verfügung, kann aber für dieses benutzt werden. Zum jetzigen Zeitpunkt müssen allerdings noch keine teuren 100G Interfaces auf den IP/MPLS-Routern angeschafft werden. Sollten kurzfristig 100G auf den IP/MPLS-Router notwendig werden, können die Muxponder auf den Transpondermodus umgeschaltet werden und die IP/MPLS-Router mit 100G Interfaces nachgerüstet werden. Ob dies so oder mit einem größeren optischen DWDM System realisiert wird, wird im laufenden Jahr von der BelWü-Koordination erörtert. Sollten zum Beispiel in der Zukunft ein durchgehendes, redundanten Glasfasernetzwerk zur Verfügung stehen, könnten bei der Unterbrechung einer Glasfaserstrecke Wellenlängen auf dem optischen Layer auf einen anderen Weg umgeschaltet werden. Seite 4 von 7
Anwendungsmöglichkeiten Es sollen drei Anwendungsmöglichkeiten dargestellt werden: Erhöhung der Bandbreite im BelWü Backbone, dedizierte Verbindungen zwischen Hosts in den LANs der Universitäten sowie Verbindungen für bw-projekte. Abbildung 4: Bsp. Router-Router Verbindung In der Abbildung ist beispielhalf eine 10G Verbindungen zur Erhöhung der Bandbreite der Backbonerouter genutzt. Die durchgehenden blauen Linien sind 10G Verbindungen mit Standartoptiken zwischen den IP/MPLS-Router und der Schaltmatrix. Auf der Schaltmatrix werden die Verbindungen auf eine der 100G Wellenlägen geschaltet. Zwischen dem linken und rechten Standort können sich weitere Standorte befinden, an denen die 10G Bandbreite einfachdurchgeschaltet wird. So kann auf den Glasfasern mit 100G Wellenlängen die Bandbreite im IP/MPLS-Backbone einfach und schnell erhöht werden. Abbildung 5: Bsp. Campus-Campus Verbindung Ein weiteres Beispiel ist die Verbindung von zwei Hosts, z.b. Server, im LAN der Universitäten. Diese Hosts werden wieder per Standardoptik an die lokale Schaltmatrix angebunden und zum entsprechenden Zielstandort durchgeschaltet. Der Host kann weiterhin im LAN der Universitäten sein und die hochbandbreitige direkte Verbindung für dedizierte Aufgaben benutzten. Beispiele wären die Verbindung von Backupservern an ein größeres Speichersystem oder der dedizierte Zugriff auf entfernte Ressourcen. Seite 5 von 7
Als dritte Möglichkeit können Bandbreiten für Projekte allokiert werden. Je nach Charakter des Projektes sind verschiedene Faktoren relevant. So kann mit dedizierten Bandbreiten sichergestellt werden, dass genau diese Bandbreite zur Verfügung steht, es gibt keine Änderungen an der Latenzzeiten und keine Nebenwirkungen mit unterschiedlichen Pufferfüllungen. Außerdem können die Projekte unabhängig vom LAN der Universität betrieben werden. Allgemeine Informationen zu BelWü Das Landeshochschulnetz Baden-Württemberg BelWü vernetzt heute insbesondere die neun Landesuniversitäten, die 23 Hochschulen für Angewandte Wissenschaften, die acht Standorte der Dualen Hochschule, die sechs Pädagogischen Hochschulen, die acht Musik- und Kunsthochschulen, zahlreiche Schulen, Bibliotheken, weitere Einrichtungen des Landes, sowie andere Einrichtungen und stellt darüber hinaus deren Internet-Konnektivität sicher. Als Pionier der Nutzung von Internet- Protokollen für die Vernetzung von Universitäten bereits in den 1980er Jahren ist das BelWü -Netz seither konsequent hinsichtlich Bandbreite und Ausfallsicherheit erweitert worden. Ausgehend von 34 Mbit/s in 1994, über 1 Gbit/s in 2001 und 10 Gbit/s in 2006 sind mit 100 Gbit/s in 2013 die Voraussetzungen für den nächsten Technologieschritt geschaffen worden. BelWü betreibt eine landesweite Leitungsplattform. So weit wie möglich werden zwischen den Universitäts- und Hochschulstandorten Glasfasern gemietet (Faserplattform). In Fällen, in denen keine Glasfasern zur Verfügung stehen, wird (i.d.r.) eine 10GE Bandbreite gemietet. Damit werden sämtliche Universitäts- und Hochschulstandorten erschlossen, die Universitäten sind leitungsredundant angebunden. Basierend auf der Faserplattform betreibt BelWü ein statisch eingerichtetes DWDM-Netzwerk. Über dieses Netzwerk sind 1G, 10G und 100G Wellenlängen geschaltet. Während die 1G Wellenlängen für kleinere Einrichtungen benutzt werden, sind die 10G Wellenlängen als Verbindungen zwischen den BelWü IP-Router sowie vereinzelt als Punkt-zu-Punkt Bandbreiten für BelWü-Teilnehmer geschalten. Im Juni 2013 wurde eine 100G Wellenlänge für die Kopplung des landesweiten Speichersystems LSDF (Large Scale Data Facility) zwischen den Standorten Heidelberg und Karlsruhe geschaltet. Über das DWDM-Netzwerk und die Bandbreiten betreibt BelWü ein IP/MPLS-Netzwerk mit IP- Routern (Cisco ASR 9000 und 1000), welche über mehrere 10GE Wellenlängen und den angemieteten Bandbreiten als Backbone miteinander verbunden sind. Über das IP-Netzwerk werden IPv4 und IPv6 nativ und im Dualstack geroutet. Auf den Backbonelinks ist parallel dazu MPLS aktiviert, so dass Layer 2-VPNs als Punkt-zu-Punkt und Mehrpunkt-zu- Mehrpunkt Verbindungen in Form von Ethernet Over MPLS angeboten werden können. Weitere Informationen auf https://www.belwue.de Kontakt: info@belwue.de Seite 6 von 7
DE-CIX Telia Frankfurt MANDA fradecix-1 RLP-Net diverse Peerings RLP-Net Mannheim Heidelberg hdl2 mos Mosbach Netztopologie Uni Man manschl-1 manrz-1 100G Uni Hdl URZ LSDF hdlrz-1 hlb Heilbronn shl kue Schw. Hall Künzelsau aal Aalen KIT Campus Nord KIT LSDF Stuttgart S-IX Ludwigsburg lbgph-1 PH lbg-fa FA sgd Schw. Gmünd Heidenheim hdh Karlsruhe DFN karrz-1 karbib-1 KIT Pforzheim pfo Level3 Uni Stu stual30-1 Uni Hoh stunwz-1 Hohenheim HS Ess Cogent ess Esslingen goe Göppingen Uni Ulm ulmn26-1 ulmn25-1 Ulm diverse Peerings Rastatt Baden- Baden OSIRIS ras bad Straßburg boe Böblingen DFN nue gei Nürtingen Geislingen Kehl keh ofg fds Freudenstadt hor Horb Rottenburg Uni Tue rot Tübingen tuewae-1 tuemor-1 reu Reutlingen Offenburg fuw vil Furtwangen tro Villingen - Schwenningen Trossingen tut Tuttlingen alb Albstadt sig Sigmaringen bib Biberach wei Weingarten frbrz-1 Uni Frb konrz-1 rav Ravensburg loe frbkg-1 Freiburg Uni Kon Konstanz konbib-1 fdh Friedrichshafen diverse Peerings SWITCH Kreuzlingen 100GE DWDM 10GE DWDM, Uni/Core-Netz (potentiell 100GE) 10GE DWDM, Uni/Core-Netz 10GE DWDM oder LWL, Hochschulen 10GE Bandbreite 10GE opt. Fenster über Versatel/RLP-Net 1GE LWL, 1GE Bandbreite, 155Mbit/s POS in Planung aal fra1 Telia S-IX DFN Router (Name und Cisco Modell) Router (ggf. mit full-routing) Netzwerk für Innovation und Forschung kommerzieller Upstream Seite 7 von 7 Internet Exchange wissenschaftlicher Upstream FA Filmakademie PH Pädagogische Hochschule MANDA, RLP, SWITCH: Wissenschaftsnetze Darmstadt, Rheinland-Pfalz, Schweiz BelWü-Koordination Universität Stuttgart http://www.belwue.de Fri May 09 2014