OpenBSD Multipath NAT Routing

Transkript

1 OpenBSD Multipath NAT Routing Inhaltsverzeichnis Voraussetzungen... 2 Schematische Darstellung... 3 Rahmenbedingungen des Setups... 4 Vorbereitung des Servers Inbetriebnahme... 9 Konfiguration eines einfachen NAT Gateway Inbetriebnahme von Equal- Cost Multipath Routing Anpassung der Firewall- Regeln Geschwindigkeitstest Ausfallsicherheit durch ifstated Probleme Single Routing von Netzwerken Fazit Impressum und rechtliche Hinweise Seite 1

2 Voraussetzungen Benötigt werden mindestens 2 funktionierende Internetverbindungen. In der Testumgebung soll eine SunFire v210 als zentraler Multipath Router arbeiten. Definiert sind: bge0 = (eth0) = ISP1 bge1 = (eth1) = ISP2 bge2 = (eth2) = nichts angeschlossen bge3 = (eth3) = unser lokales Netzwerk mit Clients Der zukünftige Multipath Router (mit der Abkürzung MR) ist mit einer lauffähigen OpenBSD 5.2 Version vorinstalliert. Die Kernkomponenten für ein erfolgreiches Equal- Cost Multipath Routing bestehen im Wesentlichen aus: 1. Der Anpassung der Kernelmodule (/etc/sysctl.conf) Die ab Werk gelieferten Kernel bsd sowie bsd.mp werden mit den notwendigen Komponenten standartmäßig bestückt 2. Der Konfigurationsanpassung des sehr leistungsfähigen PF OpenBSD Paket Filter (/etc/pf.conf) 3. Sowie dem Einrichten von Netzwerkredundanzmechanismen mit Hilfe von ifstated (interface state daemon) (/etc/ifstated.conf) Seite 2

3 Schematische Darstellung Seite 3

4 Rahmenbedingungen des Setups Router von ISP1 übernimmt selbstständig die Einwahl ins Internet, stellt als Gateway das Netz / zur Verfügung und hat ein aktiven DHCP- Serverdienst laufen. Router von ISP2 übernimmt selbstständig die Einwahl ins Internet, stellt als Gateway das Netz / zur Verfügung und hat ein aktiven DHCP- Serverdienst laufen. Die Netzwerkschnittstelle 4 (bge3) bekommt vom MR die statische IP- Adresse / zugewiesen. Alle Netzwerkkarten der Geräte sind 1000 Mbit kompatibel, die Switches unterstützen Gigabit Netzwerk sowie alle Kabel unterliegen dem CAT7 Standard. Seite 4

5 Vorbereitung des Servers Die folgenden Zeilen veranschaulichen lediglich den bootvorgang nach einer Sparc64 Netboot Installation: CONGRATULATIONS! Your OpenBSD install has been successfully completed! To boot the new system, enter 'reboot' at the command prompt. When you login to your new system the first time, please read your mail using the 'mail' command. # reboot syncing disks... done rebooting SC Alert: Host System has Reset Probing system devices Probing memory Probing I/O buses Sun Fire V210, No Keyboard Copyright 2010 Sun Microsystems, Inc. All rights reserved. OpenBoot a, 1024 MB memory installed, Serial # Ethernet address AA:BB:CC:DD:EE:FF, Host ID: Rebooting with command: boot Boot device: disk:a File and args: OpenBSD IEEE 1275 Bootblock 1.3..>> OpenBSD BOOT 1.4 Trying bsd... Booting /pci@1c,600000/scsi@2/disk@0,0:a/bsd @0x @0x164ca @0x @0x182a558 0xfecce2c start=0x [ using bytes of bsd ELF symbol table ] console is /pci@1e,600000/isa@7/serial@0,3f8 Copyright (c) 1982, 1986, 1989, 1991, 1993 The Regents of the University of California. All rights reserved. Copyright (c) OpenBSD. All rights reserved. Seite 5

6 OpenBSD 5.2 (GENERIC.MP) #236: Mon Jul 30 16:38:18 MDT 2012 real mem = (1024MB) avail mem = (995MB) mainbus0 at root: Sun Fire V210 cpu0 at mainbus0: SUNW,UltraSPARC-IIIi (rev 1002 MHz cpu0: physical 32K instruction (32 b/l), 64K data (32 b/l), 1024K external (64 b/l) cpu1 at mainbus0: SUNW,UltraSPARC-IIIi (rev 1002 MHz cpu1: physical 32K instruction (32 b/l), 64K data (32 b/l), 1024K external (64 b/l) "memory-controller" at mainbus0 not configured "memory-controller" at mainbus0 not configured schizo0 at mainbus0: "Tomatillo", version 4, ign 7c0, bus B 0 to 0 schizo0: dvma map c dfffffff pci0 at schizo0 bge0 at pci0 dev 2 function 0 "Broadcom BCM5704C" rev 0x00, BCM5704 A1 (0x2001): ivec 0x7c8, address AA:BB:CC:DD:EE:FF brgphy0 at bge0 phy 1: BCM /100/1000baseT PHY, rev. 0 bge1 at pci0 dev 2 function 1 "Broadcom BCM5704C" rev 0x00, BCM5704 A1 (0x2001): ivec 0x7c9, address AA:BB:CC:DD:EE:FF brgphy1 at bge1 phy 1: BCM /100/1000baseT PHY, rev. 0 schizo1 at mainbus0: "Tomatillo", version 4, ign 780, bus A 0 to 0 schizo1: dvma map c dfffffff pci1 at schizo1 ebus0 at pci1 dev 7 function 0 "Acer Labs M1533 ISA" rev 0x00 "flashprom" at ebus0 addr 0-fffff, not configured rtc0 at ebus0 addr 70-71: m5819p pcfiic0 at ebus0 addr ivec 0x2e iic0 at pcfiic0 "SUNW,i2c-imax" at iic0 addr 0xb not configured "SUNW,i2c-imax" at iic0 addr 0xc not configured spdmem0 at iic0 addr 0x5b: 512MB DDR SDRAM registered ECC PC2300CL2.5 spdmem1 at iic0 addr 0x5c: 512MB DDR SDRAM registered ECC PC2300CL2.5 "ds1307" at iic0 addr 0x68 not configured "pca9555" at iic0 addr 0x22 not configured "pca9555" at iic0 addr 0x23 not configured "pca9555" at iic0 addr 0x34 not configured "pca9556" at iic0 addr 0x38 not configured power0 at ebus0 addr f ivec 0x20 com0 at ebus0 addr 3f8-3ff ivec 0x2c: ns16550a, 16 byte fifo com0: console com1 at ebus0 addr 2e8-2ef ivec 0x2c: ns16550a, 16 byte fifo "rmc-comm" at ebus0 addr 3e8-3ef ivec 0x2c not configured alipm0 at pci1 dev 6 function 0 "Acer Labs M7101 Power" rev 0x00: 223KHz clock iic1 at alipm0 ohci0 at pci1 dev 10 function 0 "Acer Labs M5237 USB" rev 0x03: ivec Seite 6

7 0x7a7, version 1.0, legacy support pciide0 at pci1 dev 13 function 0 "Acer Labs M5229 UDMA IDE" rev 0xc4: DMA, channel 0 configured to native-pci, channel 1 configured to native- PCI pciide0: using ivec 0x798 for native-pci interrupt atapiscsi0 at pciide0 channel 0 drive 0 scsibus0 at atapiscsi0: 2 targets cd0 at scsibus0 targ 0 lun 0: <TEAC, DV-28E-N, 1.6A> ATAPI 5/cdrom removable cd0(pciide0:0:0): using PIO mode 4, Ultra-DMA mode 2 pciide0: channel 1 disabled (no drives) usb0 at ohci0: USB revision 1.0 uhub0 at usb0 "Acer Labs OHCI root hub" rev 1.00/1.00 addr 1 schizo2 at mainbus0: "Tomatillo", version 4, ign 700, bus A 0 to 0 schizo2: dvma map c dfffffff pci2 at schizo2 siop0 at pci2 dev 2 function 0 "Symbios Logic 53c " rev 0x01: ivec 0x729, using 8K of on-board RAM scsibus1 at siop0: 16 targets, initiator 7 sd0 at scsibus1 targ 0 lun 0: <FUJITSU, MAN0000M SUN18G, 1804> SCSI2 0/direct fixed serial.fujitsu_man0000m_sun18g_ _ sd0: 17274MB, 512 bytes/sector, sectors sd1 at scsibus1 targ 1 lun 0: <SEAGATE, ST000000LSUN36G, 0238> SCSI3 0/direct fixed serial.seagate_st000000lsun36g_3fp0mgxn000000g0y0 sd1: 34732MB, 512 bytes/sector, sectors siop1 at pci2 dev 2 function 1 "Symbios Logic 00c " rev 0x01: ivec 0x728, using 8K of on-board RAM scsibus2 at siop1: 16 targets, initiator 7 schizo3 at mainbus0: "Tomatillo", version 4, ign 740, bus B 0 to 0 schizo3: dvma map c dfffffff pci3 at schizo3 bge2 at pci3 dev 2 function 0 "Broadcom BCM5704C" rev 0x00, BCM5704 A1 (0x2001): ivec 0x75c, address AA:BB:CC:DD:EE:FF brgphy2 at bge2 phy 1: BCM /100/1000baseT PHY, rev. 0 bge3 at pci3 dev 2 function 1 "Broadcom BCM5704C" rev 0x00, BCM5704 A1 (0x2001): ivec 0x75d, address AA:BB:CC:DD:EE:FF brgphy3 at bge3 phy 1: BCM /100/1000baseT PHY, rev. 0 hifn0 at pci3 dev 1 function 0 "Hifn 7955/7954" rev 0x00: LZS 3DES ARC4 MD5 SHA1 RNG AES PK, 32KB dram, ivec 0x744 siop0: target 0 now using tagged DT 16 bit 80.0 MHz 62 REQ/ACK offset xfers vscsi0 at root scsibus3 at vscsi0: 256 targets softraid0 at root scsibus4 at softraid0: 256 targets siop0: target 1 now using tagged DT 16 bit 80.0 MHz 62 REQ/ACK offset xfers bootpath: /pci@1c,600000/scsi@2,0/disk@0,0 root on sd0a ( a) swap on sd0b dump on sd0b Seite 7

8 Automatic boot in progress: starting file system checks. /dev/rsd0a: file system is clean; not checking setting tty flags pf enabled net.inet6.icmp6.rediraccept: 0 -> 1 net.inet6.ip6.accept_rtadv: 0 -> 1 starting network DHCPDISCOVER on bge0 to port 67 interval 1 DHCPDISCOVER on bge0 to port 67 interval 2 DHCPOFFER from (AA:BB:CC:DD:EE:FF) DHCPREQUEST on bge0 to port 67 DHCPOFFER from (AA:BB:CC:DD:EE:FF) DHCPACK from (AA:BB:CC:DD:EE:FF) bound to renewal in 1800 seconds. DHCPDISCOVER on bge1 to port 67 interval 1 DHCPDISCOVER on bge1 to port 67 interval 2 DHCPOFFER from (AA:BB:CC:DD:EE:FF) DHCPREQUEST on bge1 to port 67 DHCPREQUEST on bge1 to port 67 DHCPACK from (AA:BB:CC:DD:EE:FF) bound to renewal in 1800 seconds. IPv6 autoconf: bge0 bge1 bge2 bge3 openssl: generating isakmpd/iked RSA key... done. ssh-keygen: generating new host keys: RSA1 RSA DSA ECDSA starting early daemons: syslogd pflogd ntpd. starting RPC daemons:. savecore: /dev/sd0b: Device not configured checking quotas: done. clearing /tmp starting pre-securelevel daemons:. setting kernel security level: kern.securelevel: 0 -> 1 creating runtime link editor directory cache. preserving editor files. starting network daemons: sshd sendmail inetd sndiod. fw_update: No devices found which need firmware files to be downloaded. starting local daemons: cron. Sat Dec 8 01:14:34 CET 2012 OpenBSD/sparc64 (conf2-dd-de.plitc.eu) (console) login: Seite 8

9 Inbetriebnahme des Servers Zunächst erfolgt der Login per SSH und die Betrachtung des Netzwerkinterface: # ifconfig lo0: flags=8049<up,loopback,running,multicast> mtu priority: 0 groups: lo inet6 ::1 prefixlen 128 inet6 fe80::1%lo0 prefixlen 64 scopeid 0x6 inet netmask 0xff bge0: flags=8843<up,broadcast,running,simplex,multicast> mtu 1500 lladdr AA:BB:CC:DD:EE:FF priority: 0 groups: egress media: Ethernet autoselect (1000baseT full-duplex,rxpause,txpause) status: active inet6 fe80::0000%bge0 prefixlen 64 scopeid 0x1 inet netmask 0xffffff00 broadcast inet6 2001::0000 prefixlen 64 autoconf pltime 3553 vltime bge1: flags=8843<up,broadcast,running,simplex,multicast> mtu 1500 lladdr AA:BB:CC:DD:EE:FF priority: 0 groups: egress media: Ethernet autoselect (1000baseT full-duplex,rxpause,txpause) status: active inet6 fe80::0000%bge1 prefixlen 64 scopeid 0x2 inet netmask 0xffffff00 broadcast inet6 2001::0000 prefixlen 64 autoconf pltime 3461 vltime bge2: flags=8843<up,broadcast,running,simplex,multicast> mtu 1500 lladdr AA:BB:CC:DD:EE:FF priority: 0 media: Ethernet autoselect (none) status: no carrier inet6 fe80::0000%bge2 prefixlen 64 scopeid 0x3 bge3: flags=8843<up,broadcast,running,simplex,multicast> mtu 1500 lladdr AA:BB:CC:DD:EE:FF priority: 0 media: Ethernet autoselect (1000baseT full-duplex,rxpause,txpause) status: active inet netmask 0xffffff00 broadcast inet6 fe80::0000%bge3 prefixlen 64 scopeid 0x4 enc0: flags=0<> priority: 0 groups: enc status: active pflog0: flags=141<up,running,promisc> mtu priority: 0 groups: pflog Seite 9

10 Das setzen des Default- Gateway gestattet es zunächst den Internetzugang zu testen: # echo " " > /etc/mygate # reboot Per traceroute kann man den Datenpaketverlauf beobachten: # traceroute openbsd.org traceroute to openbsd.org ( ), 64 hops max, 40 byte packets ( ) ms ms ms ( ) ms ms ms ( ) ms ms ms ( ) ms ms ms 5 hh-ea4-i.hh.de.net.dtag.de ( ) ms ms ms ( ) ms ( ) ms ( ) ms 7 hbg-bb1-link.telia.net ( ) ms hbg-bb1-link.telia.net ( ) ms hbg-bb2-link.telia.net ( ) ms 8 nyk-bb1-link.telia.net ( ) ms nyk-bb1-link.telia.net ( ) ms ms 9 chi-bb1-link.telia.net ( ) ms chi-bb1-link.telia.net ( ) ms ms 10 chi-eqx-i1-link.telia.net ( ) ms chi-eqx-i1- link.telia.net ( ) ms chi-eqx-i1-link.telia.net ( ) ms 11 shawbusiness-ic chi-eqx-i1.c.telia.net ( ) ms ms shawbusiness-ic chi-eqx-i1.c.telia.net ( ) ms 12 rd2cs-tge1-1-2.ok.shawcable.net ( ) ms ms ms 13 rc1so-pos4-0-0.cg.shawcable.net ( ) ms ms ms 14 ra2so-tge2-1.cg.shawcable.net ( ) ms ms ms 15 rx0so-electronics-recycling-association.cg.bigpipeinc.com ( ) ms ms ms 16 pf.openbsd.org ( ) ms ms ms 17 cvs.openbsd.org ( ) ms ms ms # Seite 10

11 Ein einfaches NAT Gateway bauen Zuerst wird Routing auf IPv4 Ebene überhaupt erlaubt: # vi /etc/sysctl.conf # $OpenBSD: sysctl.conf,v /05/31 15:04:03 sthen Exp $ # # This file contains a list of sysctl options the user wants set at # boot time. See sysctl(3) and sysctl(8) for more information on # the many available variables. # ### ### ### PLITC ### ### ### # einfaches Routing # IPv4 net.inet.ip.forwarding=1 # net.inet.icmp.rediraccept=1 # ### ### ### PLITC ### ### ### # #net.inet.ip.forwarding=1 # 1=Permit forwarding (routing) of IPv4 packets #net.inet.ip.mforwarding=1 # 1=Permit forwarding (routing) of IPv4 multicast packets #net.inet.ip.multipath=1 # 1=Enable IP multipath routing #net.inet.icmp.rediraccept=1 # 1=Accept ICMP redirects net.inet6.icmp6.rediraccept=1 # 1=Accept IPv6 ICMP redirects (for hosts) #net.inet6.ip6.forwarding=1 # 1=Permit forwarding (routing) of IPv6 packets #net.inet6.ip6.mforwarding=1 # 1=Permit forwarding (routing) of IPv6 multicast packets #net.inet6.ip6.multipath=1 # 1=Enable IPv6 multipath routing net.inet6.ip6.accept_rtadv=1 # 1=Permit IPv6 autoconf (forwarding must be 0) #net.inet.tcp.always_keepalive=1 # 1=Keepalives for all connections (e.g. hotel/airport NAT) #net.inet.tcp.keepidle=100 #net.inet.tcp.rfc1323=0 tcp is slow) #net.inet.tcp.rfc3390=0 increasing #net.inet.esp.enable=0 # 100=send TCP keepalives every 50 seconds # 0=Disable TCP RFC1323 extensions (for if # 0=Disable RFC3390 for TCP window # 0=Disable the ESP IPsec protocol Seite 11

12 #net.inet.ah.enable=0 # 0=Disable the AH IPsec protocol #net.inet.esp.udpencap=0 # 0=Disable ESP-in-UDP encapsulation #net.inet.ipcomp.enable=1 # 1=Enable the IPCOMP protocol #net.inet.etherip.allow=1 # 1=Enable the Ethernet-over-IP protocol #net.inet.tcp.ecn=1 # 1=Enable the TCP ECN extension #net.inet.carp.preempt=1 # 1=Enable carp(4) preemption #net.inet.carp.log=3 # log level of carp(4) info, default 2 #ddb.panic=0 # 0=Do not drop into ddb on a kernel panic #ddb.console=1 # 1=Permit entry of ddb from the console #fs.posix.setuid=0 # 0=Traditional BSD chown() semantics #vm.swapencrypt.enable=0 # 0=Do not encrypt pages that go to swap #vfs.nfs.iothreads=4 # Number of nfsio kernel threads #net.inet.ip.mtudisc=0 # 0=Disable tcp mtu discovery #kern.usercrypto=1 # 1=Enable userland use of /dev/crypto #kern.userasymcrypto=1 # 1=Permit userland to do asymmetric crypto #kern.splassert=2 # 2=Enable with verbose error messages #kern.nosuidcoredump=2 # 2=Put suid coredumps in /var/crash #kern.watchdog.period=32 # >0=Enable hardware watchdog(4) timer if available #kern.watchdog.auto=0 # 0=Disable automatic watchdog(4) retriggering #kern.pool_debug=0 # 0=Disable pool corruption checks (faster) #hw.allowpowerdown=0 # 0=Disable power button shutdown #machdep.led_blink=1 # 1=On sparc64, make led(s) blink #machdep.allowaperture=1 # See xf86(4) Seite 12

13 Anschließend werden die Netzwerkschnittstellen im Paket Filter definiert und NAT auf dem bge0 Interface freigeschaltet: # vi /etc/pf.conf # $OpenBSD: pf.conf,v /04/28 00:19:42 mikeb Exp $ # # See pf.conf(5) for syntax and examples. # Remember to set net.inet.ip.forwarding=1 and/or net.inet6.ip6.forwarding=1 # in /etc/sysctl.conf if packets are to be forwarded between interfaces. set skip on lo # filter rules and anchor for ftp-proxy(8) #anchor "ftp-proxy/*" #pass in quick inet proto tcp to port ftp divert-to port 8021 # anchor for relayd(8) #anchor "relayd/*" pass # to establish keep-state # rules for spamd(8) #table <spamd-white> persist #table <nospamd> persist file "/etc/mail/nospamd" #pass in on egress proto tcp from any to any port smtp \ # rdr-to port spamd #pass in on egress proto tcp from <nospamd> to any port smtp #pass in log on egress proto tcp from <spamd-white> to any port smtp #pass out log on egress proto tcp to any port smtp #block in quick from urpf-failed to any # use with care # By default, do not permit remote connections to X11 block in on! lo0 proto tcp to port 6000:6010 ### ### ### PLITC ### ### ### ### Netz-Definitionen lan_net = " /24" int_if = "bge3" ext_if1 = "bge0" ext_if2 = "bge1" Seite 13

14 ext_gw1 = " " ext_gw2 = " " ### einfaches NAT Gateway pass out on $ext_if1 from $int_if:network to any nat-to ($ext_if1) ### ### ### PLITC ### ### ### # EOF Sofern keine Fehler in der PF Konfiguration vorhanden sind erfolgt jetzt der obligatorische Systemneustart: # pfctl -nf /etc/pf.conf # reboot Connection to closed by remote host. Connection to closed. Den Clients im Netzwerk werden zunächst manuell statische Netzwerkeinträge vergeben wie z.b.: Admin- Rechner: IP- Adresse: Teilnetzmaske: Router: DNS: Seite 14

15 Ping & Traceroute- Test vom Admin- Rechner: MacBook1-DanielPlominski:~ daniel$ ping -c4 openbsd.org PING openbsd.org ( ): 56 data bytes 64 bytes from : icmp_seq=0 ttl=236 time= ms 64 bytes from : icmp_seq=1 ttl=236 time= ms 64 bytes from : icmp_seq=2 ttl=236 time= ms 64 bytes from : icmp_seq=3 ttl=236 time= ms --- openbsd.org ping statistics packets transmitted, 4 packets received, 0.0% packet loss round-trip min/avg/max/stddev = / / /1.270 ms MacBook1-DanielPlominski:~ daniel$ traceroute openbsd.org traceroute to openbsd.org ( ), 64 hops max, 52 byte packets ( ) ms ms ms ( ) ms ms ms ( ) ms ms ms ( ) ms ms ms ( ) ms ms ms 6 hh-ea4-i.hh.de.net.dtag.de ( ) ms ms ms ( ) ms ( ) ms ( ) ms 8 hbg-bb1-link.telia.net ( ) ms hbg-bb2-link.telia.net ( ) ms ms 9 nyk-bb2-link.telia.net ( ) ms ms ms 10 chi-bb1-link.telia.net ( ) ms chi-bb1-link.telia.net ( ) ms chi-bb1-link.telia.net ( ) ms 11 chi-eqx-i1-link.telia.net ( ) ms chi-eqx-i1-link.telia.net ( ) ms chi-eqx-i1-link.telia.net ( ) ms 12 shawbusiness-ic chi-eqx-i1.c.telia.net ( ) ms shawbusiness-ic chi-eqx-i1.c.telia.net ( ) ms shawbusiness-ic chi-eqx-i1.c.telia.net ( ) ms 13 rd2cs-tge1-1-2.ok.shawcable.net ( ) ms ms ms 14 rc2so-pos cg.shawcable.net ( ) ms * ms 15 ra2so-tge2-1.cg.shawcable.net ( ) ms ms ms 16 rx0so-electronics-recycling-association.cg.bigpipeinc.com ( ) ms ms ms 17 pf.openbsd.org ( ) ms ms ms 18 cvs.openbsd.org ( ) ms ms ms MacBook1-DanielPlominski:~ daniel$ Fertig ist ein sehr rudimentärer NAT Router. Seite 15

16 Den einfachen NAT Gateway mit Multipath erweitern (Equal- Cost Multipath Routing) Zuerst wird Multipath in der sysctl.conf freigeschaltet, anschließend werden den Netzwerkinterfaces statische IP- Adressen vergeben und zusätzlich mit einer Multipathroute ergänzt: # vi /etc/sysctl.conf ### ### ### PLITC ### ### ### # einfaches Routing # IPv4 net.inet.ip.forwarding=1 # multipath Routing # IPv4 net.inet.ip.multipath=1 # net.inet.icmp.rediraccept=1 # ### ### ### PLITC ### ### ### # Eine Umstellung der bge0/bge1 Schnittstelle lässt sich mit den folgenden Einträgen bewerkstelligen: # cat /etc/hostname.bge0 dhcp up rtsol # cat /etc/hostname.bge1 dhcp up rtsol Seite 16

17 Abgeändert werden müssen die Inhalte wie folgt: # vi /etc/hostname.bge0 inet !route add -mpath default up rtsol # vi /etc/hostname.bge1 inet !route add -mpath default up rtsol Da /etc/mygate aktuell kein Multipath unterstützt wird es kurzerhand einfach gelöscht: # rm /etc/mygate Dazu muss noch die vorhandene NAT Regel wieder aus der /etc/pf.conf entfernt oder deaktiviert werden: ### einfaches NAT Gateway # pass out on $ext_if1 from $int_if:network to any nat-to ($ext_if1) # ausgeschaltet! OpenBSD Neustarten: # reboot Connection to closed by remote host. Weiterführende Lektüre: bin/man.cgi?query=ifconfig&sektion=8 bin/man.cgi?query=hostname.if&sektion=5 Seite 17

18 Multipath Routing per lokalem Traceroute testen Der Befehl netstat liefert einen Auszug der aktuellen Default Route: # netstat -rnf inet grep default default UGSP bge0 default UGSP bge1 # Traceroute eigenet sich hervorangend für Tests. Vom OpenBSD MR werden 2 unterschiedliche Ziele angepeilt. Der Kernel verteilt dabei automatisch per Round- Robin Prinzip die Routingpfade. Seite 18

19 Traceroute über ISP1: # traceroute -n openbsd.org traceroute to openbsd.org ( ), 64 hops max, 40 byte packets ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms # Traceroute über ISP2: # traceroute -n freebsd.org traceroute to freebsd.org ( ), 64 hops max, 40 byte packets ms ms ms ms ms ms ms 8.20 ms 8.25 ms ms ms ms ms ms ms ms 8.19 ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms # Seite 19

20 Multipath NAT Routing mit PF (Paket Filter) Dies ist ein Auszug einer grundlegend funktionierenden /etc/pf.conf: (die wichtigsten Änderungen sind wie gehabt mit gelber Schrift verdeutlicht) # vi /etc/pf.conf # $OpenBSD: pf.conf,v /04/28 00:19:42 mikeb Exp $ # # See pf.conf(5) for syntax and examples. # Remember to set net.inet.ip.forwarding=1 and/or net.inet6.ip6.forwarding=1 # in /etc/sysctl.conf if packets are to be forwarded between interfaces. set skip on lo # filter rules and anchor for ftp-proxy(8) #anchor "ftp-proxy/*" #pass in quick inet proto tcp to port ftp divert-to port 8021 # anchor for relayd(8) #anchor "relayd/*" pass # to establish keep-state # rules for spamd(8) #table <spamd-white> persist #table <nospamd> persist file "/etc/mail/nospamd" #pass in on egress proto tcp from any to any port smtp \ # rdr-to port spamd #pass in on egress proto tcp from <nospamd> to any port smtp #pass in log on egress proto tcp from <spamd-white> to any port smtp #pass out log on egress proto tcp to any port smtp #block in quick from urpf-failed to any # use with care # By default, do not permit remote connections to X11 block in on! lo0 proto tcp to port 6000:6010 Seite 20

21 ### ### ### PLITC ### ### ### ### Netz-Definitionen lan_net = " /24" int_if = "bge3" ext_if1 = "bge0" ext_if2 = "bge1" ext_gw1 = " " ext_gw2 = " " ### einfaches NAT Gateway deaktiviert ### ### pass out on $ext_if1 from $int_if:network to any nat-to ($ext_if1) # ausgeschaltet! ### Multipath NAT Gateway - START ### # default deny block in block out # nat outgoing connections on each internet interface match out on $ext_if1 from $lan_net nat-to ($ext_if1) match out on $ext_if2 from $lan_net nat-to ($ext_if2) # pass all outgoing packets on internal interface pass out on $int_if to $lan_net # pass in quick any packets destined for the gateway itself pass in quick on $int_if from $lan_net to $int_if # load balance outgoing traffic from internal network pass in on $int_if from $lan_net \ route-to { ($ext_if1 $ext_gw1), ($ext_if2 $ext_gw2) } \ round-robin # general "pass out" rules for external interfaces pass out on $ext_if1 pass out on $ext_if2 # route packets from any IPs on $ext_if1 to $ext_gw1 and the same for # $ext_if2 and $ext_gw2 pass out on $ext_if1 from $ext_if2 route-to ($ext_if2 $ext_gw2) pass out on $ext_if2 from $ext_if1 route-to ($ext_if1 $ext_gw1) ### Multipath NAT Gateway - END ### ### ### ### PLITC ### ### ### # EOF Seite 21

22 Konfigurationsüberprüfung & Systemneustart: # pfctl -nf /etc/pf.conf # reboot Connection to closed by remote host. Connection to closed. MacBook1-DanielPlominski:~ daniel$ Den Clients sollte jetzt ein funktionierender Multipath- Router zur Verfügung stehen: Last login: Sat Dec 8 21:16:48 on ttys001 MacBook1-DanielPlominski:~ daniel$ traceroute -n openbsd.org traceroute to openbsd.org ( ), 64 hops max, 52 byte packets ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms Seite 22

23 ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms MacBook1-DanielPlominski:~ daniel$ Seite 23

24 Geschwindigkeitstest Getestet wurde auf einem MacBook (late 2008 / MacOS / GBit LAN) Auf den 2 ISP- Routern ist QoS (Quality of Service) mit der Priorität http low eingestellt. ISP1 ist ein Kabel Deutschland 100Mbit Business Anschluss. ISP2 eine Telekom VDSL 50Mbit Business Leitung. Getestet wurde mit: - Luxembourg Seite 24

25 Ausfallsicherheit durch ifstated Der OpenBSD Kernel übernimmt nun durch Load Balancing den Lastenausgleich über jede eingetragene Schnittstelle. Wenn jedoch eines der Schnittstellen ausfallen sollte, versucht der Kernel weiterhin Daten über diesen nicht funktionierenden Pfad zu schicken, die Daten landen somit irgendwo im Nirwana (die Netzanbindung wird inkonsistent). Um dieser Problematik entgegen wirken zu können, setzt man ifstated ein. ifstated automatisch beim booten starten lassen: # vi /etc/rc.conf.local ntpd_flags= ifstated_flags="" # enabled during install Jetzt müssen nur noch die Interfaces definiert werden: Die Standardeinstellungen für CARP werden zunächst deaktiviert, desweiteren wird die Config mit den notwenigen Multipath Checks ergänzt. # $OpenBSD: ifstated.conf,v /02/07 06:08:10 david Exp $ # This is a sample config for a pair of firewalls with two interfaces # # carp0 and carp1 have ip addresses on /24 and /24 # respectively. # net.inet.carp.preempt must be enabled (set to 1) for this to work correctly. # Uncomment one of the following lines to force primary/backup status. Seite 25

26 # init-state primary # init-state backup ### ### ### CARP deaktiviert ### ### ### carp_up = "carp0.link.up && carp1.link.up" ### carp_down = "!carp0.link.up &&!carp1.link.up" ### carp_sync = "carp0.link.up && carp1.link.up \ ###!carp0.link.up &&!carp1.link.up" ### ### # The "net" addresses are other addresses which can be used to determine ### # whether we have connectivity. Make sure the hosts are always up, or ### # test multiple ip's, 'or'-ing the tests. ### net = '( "ping -q -c 1 -w > /dev/null" every 10 && \ ### "ping -q -c 1 -w > /dev/null" every 10)' ### ### # The peer addresses below are the real ip addresses of the OTHER firewall ### peer = '( "ping -q -c 1 -w > /dev/null" every 10 && \ ### "ping -q -c 1 -w > /dev/null" every 10)' ### ### state auto { ### if $carp_up ### set-state primary ### if $carp_down ### set-state backup ### } ### ### state primary { ### init { ### run "ifconfig carp0 advskew 10" ### run "ifconfig carp1 advskew 10" ### } ### if! $net ### set-state demoted ### } ### ### state demoted { ### init { ### run "ifconfig carp0 advskew 254" ### run "ifconfig carp1 advskew 254" ### } ### if $net ### set-state primary ### } ### ### state promoted { ### init { Seite 26

27 ### run "ifconfig carp0 advskew 0" ### run "ifconfig carp1 advskew 0" ### } ### if $peer! $net ### set-state backup ### } ### ### state backup { ### init { ### run "ifconfig carp0 advskew 100" ### run "ifconfig carp1 advskew 100" ### } ### # The "sleep 5" below is a hack to dampen the $carp_sync when we come ### # out of promoted state. Thinking about the correct fix... ### if! $carp_sync && $net && "sleep 5" every 10 ### if! $carp_sync && $net ### set-state promoted ### } ### ### ### CARP deaktiviert ### ### ### ### PLITC ### ### ### ### Multipath Status Check net0 = '"ping -q -c1 -w >/dev/null" every 3' net1 = '"ping -q -c1 -w >/dev/null" every 3' init-state one state zero { init { run "route delete default" run "route add default " } if! $net0 set-state one if $net1 set-state one } state one { init { run "route delete default" run "route add default " } if! $net1 { if $net0 set-state zero Seite 27

28 } } ### Multipath Status Check ### ### ### PLITC ### ### ### # EOF Der Konfigurationscheck erfolgt mit: # ifstated -n ifstated: configuration OK # Server- Reboot tut gut # reboot Seite 28

29 Ausfallsicherheit durch ifstated mit externer Host Prüfung Da der Ping zu den internen ISP Routern nicht zwangsläufig eine Aussagekraft für ein defektes Netz ist, können auch externe Hosts als Referenzmaschine verwendet werden: Als Fixpunkte dienen uns die Google DNS Server: / Zunächst werden den 2 hostname.interfaces feste Routen, zu diesen Hosts, definiert - > um diese anschließend mit ifstated verwenden zu können: # vi /etc/hostname.bge0 inet !route add host !route add -mpath default up rtsol # vi /etc/hostname.bge1 inet !route add host !route add -mpath default up rtsol Seite 29

30 In der /etc/ifstated.conf müssen nur noch die (zu überprüfenden) Hosts ausgetauscht werden: # vi /etc/ifstated.conf net0 = '"ping -q -c1 -w >/dev/null" every 3' net1 = '"ping -q -c1 -w >/dev/null" every 3' Seite 30

31 Problembereiche VPN Netzwerke: Bauen die ISP Router eigenständig Tunnel auf, können Probleme beim Routing hinter dem OpenBSD MR entstehen Geräte die eine eindeutige IP zur Authentifizierung voraussetzen, können Schwierigkeiten machen (in meinem Test betraf es die AVM Fritzbox) https hat es nicht so gerne wenn Anfragen, mit dem selben Zweck, von unterschliedlichen Netzen kommen (wer IPv4 und IPv6 im Dualstack betreibt, seine Webserver mit DNS Einträgen (im Mischbetrieb) von A & AAAA mit der selben Priorität am laufen hat - > wird derzeit gerne mal aus dem Typo3 Backend minütlich heraus geschmissen, dass selbe gilt bei Multipath) - > Abhilfe schafft: das setzen in der localconf.php von $TYPO3_CONF_VARS['BE']['lockIP'] = '0'; Allgeine Problemlösung: - > Klares definieren einer einzelnen Schnittstelle für den Trafficverkehr # vi /etc/pf.conf # keep https traffic on a single connection; some web applications, # especially "secure" ones, don't allow it to change midsession pass in on $int_if proto tcp from $lan_net to port https \ route-to ($ext_if1 $ext_gw1) Seite 31

32 Single Routing von Netzwerken Das kommende Beispiel zeigt single routing für SSH/HTTPS & VPN Netze über Leitung 2: # vi /etc/pf.conf # OneWAY Routing # # oneway ssh pass in on $int_if proto tcp from $lan_net to port ssh route-to ($ext_if2 $ext_gw2) # oneway https pass in on $int_if proto tcp from $lan_net to port https route-to ($ext_if2 $ext_gw2) # oneway vpn pass in on $int_if proto tcp from $lan_net to /24 route-to ($ext_if2 $ext_gw2) pass in on $int_if proto udp from $lan_net to /24 route-to ($ext_if2 $ext_gw2) pass in on $int_if proto tcp from $lan_net to /24 route-to ($ext_if2 $ext_gw2) pass in on $int_if proto udp from $lan_net to /24 route-to ($ext_if2 $ext_gw2) ### Multipath NAT Gateway - END ### Seite 32

33 Fazit Man darf keine Wunder erwarten. Für einen technisch einwandfreien Betrieb müssen die Internet Service Provider Multipath unterstützen, zum Einsatz sollte dann auch BGP (Border Gateway Protokoll) kommen (siehe OpenBGPD). Die hier beschriebene Lösung ermöglich aber zumindest auf herkömmlichen Leitungen (unter gewissen umständen) ein Geschwindigkeitszuwachs. Maßgebend für einen schnelleren Download ist die Anbindung der jeweiligen Quelle. Subjektiv empfunden erlauben die Apple Server, aus dem Akamei CDN (Content Distribution Network), kein Multipath. Lädt man sich per Apple App Store ein Software- Paket herunter, wurde immer nur über eine Leitung geladen, z.b. 5 MB über die Telekomleitung. Wenn man kurzzeitig den Download pausiert und anschließend erneut aktiviert, wurde der Pfad wieder über die KabelDeutschland Leitung verwendet wo Downloadraten bis zu 12 MB möglich waren. Seite 33

34 Als Test diente mir ebenso eine World of Warcraft Download Installation, erstaunlicherweise waren hier 15.4 MB (123,2 Mbit) möglich (multipath über http/bittorrent). Weitaus komplexere Lösungen lassen sich mit CARP/pfsync und arpbalance/relayd bewerkstelligen. siehe: bin/man.cgi?query=carp carp/ Seite 34

35 PDF Changelog Informationen zusammengetragen Kleine Korrekturen Word of Warcraft Downloadspeed Picture ergänzt PDF Version Seite 35

36 Impressum und rechtliche Hinweise Der Autor stellt dieses Dokument der Öffentlichkeit unentgeltlich zur Verfügung. Die Nutzung und Verwendung geschieht auf eigene Gefahr, für Schäden die aus der Nutzung der hier beschriebenen Informationen resultieren wird keine Haftung übernommen. Abdruck bzw. Vervielfältigung im Ganzen oder in Teilen ist mit einer Quellenangabe gestattet. Konzept / Konfiguration / Test: Daniel Plominski Deutschland Service@PLITC.eu Seite 36

37 Trademark Legend Cisco Systems, Inc. and its affiliates ( Cisco ) have a reputation for providing high-quality products and services. Cisco s trademarks are important corporate assets and Cisco requires that they be used properly. To preserve its reputation and protect its trademarks, Cisco diligently guards against any violation of its trademarks. Cisco acknowledges the desire of third parties to show affiliation with Cisco. Without written permission from Cisco, however, you should not use Cisco s trademarks, service marks, or names in a manner that suggests affiliation or association with Cisco. Only parties with written permission from Cisco are allowed to use Cisco s trademarks in accordance with applicable terms. Cisco Trademarks Cisco maintains a large portfolio of trademarks, which take various forms and may include letters, words, logos, designs, images, slogans, colors, product shapes, product packaging, and sound. Please refer to the Trademarks link at the bottom of any Cisco.com webpage for a listing of Cisco trademarks. Please note, however, that this listing is not all-inclusive and the absence of any mark on this list does not mean that it is not a Cisco trademark. Certain activities may constitute infringement or dilution of Cisco s trademarks, and are not permitted. Please review the following list of ways to avoid unauthorized use of Cisco s trademarks: rademark.pdf Seite 37

38 FreeBSD is a registered trademark of The FreeBSD Foundation. The FreeBSD Logo is a trademark of The FreeBSD Foundation. See The FreeBSD Foundation's Trademark Usage Terms and Conditions page for information on use of the FreeBSD marks. Apple, FireWire, Mac, Macintosh, Mac OS, Quicktime, and TrueType are trademarks of Apple Computer, Inc., registered in the United States and other countries. Linux is a registered trademark of Linus Torvalds in the United States. Sparc, Sparc64, SPARCEngine, and UltraSPARC are trademarks of SPARC International, Inc in the United States and other countries. Products bearing SPARC trademarks are based upon architecture developed by Sun Microsystems, Inc. Sun, Sun Microsystems, SunOS, Solaris, and Java are trademarks or registered trademarks of Sun Microsystems, Inc. in the United States and other countries. Many of the designations used by manufacturers and sellers to distinguish their products are claimed as trademarks. Where those designations appear on this website, and the FreeBSD Project was aware of the trademark claim, the designations have been followed by the ' ' or the ' ' symbol. Seite 38