Bandbreitenmanagement mit Freier Software

Transkript

1 Shape it Baby! Bandbreitenmanagement mit Freier Software Frank Becker Linux-Info-Tag Dresden

2 Agenda Ressourcen Begriffe Netzwerkverkehrspriorisierung Klassenlose Bandbreitenlimitierung Klassenbasierte Bandbreitenlimitierung Servicekurven Seite: 2

3 Ressourcen Zeit Autos auf Straßen Prozessor Bandbreite Ressourcen sind immer begrenzt! db.stanford.edu/pub/voy/museum/pictures/display/3 2 Modem.jpg Seite: 3

4 Beispiel: DSL mit und ohne Traffic Shaping vorher nachher Min 10 to 8 8 to 6 6 to 4 4 to 2 2 to 0 kein Netzwerkverkehr nur Download Download und upload nur Upload kein Netzwerkverkehr Seite: 4

5 Begriffe Netzwerkbandbreite / Durchsatz / Leitungskapazität Paketlaufzeit (Latenz, Latency) Priorisierung / IP Pakete Type of Service (Dienstemarkierung im IP Header) Warteschlange (Puffer, Queue) Seite: 5

6 Netzwerkbandbreite aka Leitungskapazität 1500 Byte/Paket s =0, Byte/s Paket Seite: 6

7 Paketlaufzeit / Latenz Seite: 7

8 IP Pakete früher Type of Service (TOS) jetzt: Differentiated Services Code Point Expedited Forwarding (EF) unmittelbares Weiterleiten vor allen anderen Paketen Assured Forwarding (AF) garantiertes Weiterleiten (ohne Verwerfen) Default Forwarding (DF) Weiterleiten ohne besondere Bedingungen Seite: 8

9 Puffer / Warteschlange / Queue Leaky Bucket Algorithmus Seite: 9

10 Ingress / Egress QDisc (Queueing Discipline) Warteschlangen Richtlinie Ingress: eingehende QDisc Egress: ausgehende QDisc QDisc Ingress Forwarding Queue QDisc Egress Programme Seite: 10

11 Token Bucket Algorithmus Token Token fallen mit konstanter Rate in den Eimer /dev/null Netzwerkpaket Netzwerk Für jedes gesendete Netzwerkpaket wird ein Token aus dem Eimer genommen. Ist der Eimer alle, wird nicht mehr gesendet. > Vorteil: Bursts (kurzzeitiges Überziehen des Bandbreitenlimits) Seite: 11

12 Servicekurve S(t) Datenmenge Service (Arbeit): gesendete Daten zu einem Zeitpunkt t Anstieg: Senderate verschiedene Datenströme Zeit Seite: 12

13 stückweise lineare Servicekurve stückweise lineare Servicekurve gesendete Pakete Datenmenge Datenmenge lineare Servicekurve Datenmenge Datenmenge Datenstrom umax t t dmax t dmax t -[~:] tc qdisc add dev eth1 root handle 1: hfsc default 10 tc class add dev eth1 parent 1: classid 1:1 hfsc sc rate 1000kbit ul rate 1000kbit tc class add dev eth1 parent 1: classid 1:10 hfsc sc umax 1500b dmax 53ms \ rate 400kbit ul rate 1000kbit Seite: 13

14 Klassenlose Warteschlangen Seite: 14

15 First In First Out (Fifo) wie Straße mit Busspur und Motorrädern Linux: Queueing Discipline (QDisc): pfio_fast 3 priorisierte Bänder zuerst Band 0, dann Band 1, zuletzt Band 2 Priorität kann missbraucht werden (alle sind VIPs)... wird im Internet kaum beachtet -[~:] tc -s qdisc show dev eth1 qdisc pfifo_fast 0: bands 3 priomap Sent bytes pkts (dropped 0, overlimits 0) Seite: 15

16 Token Bucket Filter Bsp: DSL Modem mit großer Warteschlange Warteschlange voll > interaktive Anwendungen hängen z. B. große E Mail abschicken und parallel chatten, ssh... besser: selbst Bandbreite steuern tc qdisc add dev ppp0 root tbf rate 128kbit latency 50ms burst 1540 Seite: 16

17 Stochastic Fairness Queueing (SFQ) ausgewogene/faire Verteilung der Bandbreite bei vielen parallelen Verbindungen 127 fifo Warteschlangen, in Zeitscheibenverfahren abgearbeitet Zuteilung durch Hashfunktion, wird oft wiederholt Warteschlangenzuweisung aller X Sekunden Bytes pro queue die am Stück gesendet werden Queue Größe in Bytes -[~:] sudo tc qdisc add dev eth1 root sfq perturb 128 quantum 1514 limit 128 -[~:] tc -s qdisc show dev eth1 qdisc sfq 8003: limit 128p quantum 1514b perturb 128sec Sent 0 bytes 0 pkts (dropped 0, overlimits 0) Seite: 17

18 Random Early [Detection Drop] (RED) Tail Drop bei Backbone Routern Pakete in Warteschlange anstauen, wenn voll Pakete verwerfen führt zu Bursts von Retransmits bei Erreichung des Limits RED verwirft einige Pakete bevor das Bandbreitenlimit erreicht ist. Pakete werden statistisch ausgewählt kein Session Tracking 3 Parameter: Min, Max und Burst Seite: 18

19 Beispiel in Linux: Ingress Ingress Begrenzung auf 64 KBps, 512 kbps Filter: alle IP Pakete, Prio 50, max. Rate 512 kbps gemessen in 10 kbyte, Rest verwerfen -[~:] sudo tc qdisc add dev eth1 handle ffff: ingress -[~:] sudo tc filter add dev eth1 parent ffff: protocol ip prio 50 \ u32 match ip src /0 police rate 512kbit burst 10k drop flowid :1 -[~:] tc -s qdisc sh qdisc ingress ffff: dev eth Sent bytes 4656 pkts (dropped 352, overlimits 0) -[~:] tc -s filter sh dev eth1 root... zum selbst ausprobieren ;-) Seite: 19

20 klassenbasierte Warteschlangen Seite: 20

21 Klassen Aufgabe: VoIP, ssh, Jabber und Silc: wenig Latenz, hohe Priorität angemessene Bandbreite Web, ftp viel Bandbreite, Latenz unwichtig ACKs nicht stauen (geringe Latenz) viele parallele Verbindungen Seite: 21

22 Klassen (2) QDisc 1 QDisc Ingress Forwarding Queue Programme QDisc Egress Filter QDisc 2 QDisc 3 (Default) Seite: 22

23 Klassen (3) root QDisc 1: Wurzelklasse 5 Mbps 1:1, default 1:32 Admin 1:10 pfifo 1 Mbps geringe Latenz 1:20 0,5 Mbps 1:21 ssh, Chat pfifo 256 kbps 1:22 ACKs 1:23 ICMP 128 kbps hohe Bandbreite 1:30 3,5 Mbps 1:31 Web, ftp 1:32 Rest sfq 3 Mbps sfq 0,5 Mbps pfifo 128kbs Seite: 23

24 Beispiel: Linux Ingress root QDisc 1: Wurzelklasse 5 Mbps 1:1, default 1:32 Admin 1:10 pfifo 1 Mbps geringe Latenz 1:20 0,5 Mbps 1:21 ssh, Chat pfifo 256 kbps 1:22 ACKs pfifo 128 kbps 1:23 ICMP pfifo 128kbs hohe Bandbreite 1:30 3,5 Mbps 1:31 Web, ftp 1:32 Rest sfq 3 Mbps sfq 0,5 Mbps Seite: 24

25 Beispiel Linux: Egress -[~:] tc qdisc add dev eth1 root handle 1: htb default 32 -[~:] tc class add dev eth1 parent 1: classid 1:1 htb rate 5120kbit burst 6k -[~:] tc class add dev eth1 parent 1:1 classid 1:20 htb rate 512kbit \ ceil 1024kbit burst 6k prio 3 -[~:] tc qdisc add dev eth1 parent 1:20 handle 22: pfifo -[~:] tc -s qdisc sh dev eth1 qdisc ingress ffff: Sent bytes 4698 pkts (dropped 352, overlimits 0) qdisc htb 1: r2q 10 default 32 direct_packets_stat 29 Sent 9946 bytes 29 pkts (dropped 0, overlimits 0) qdisc pfifo 21: parent 1:20 limit 1000p Sent 0 bytes 0 pkts (dropped 0, overlimits 0) Seite: 25

26 Filter tc Filter tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32\ match ip protocol 6 0xff \ match u8 0x05 0x0f at 0 \ match u16 0x0000 0xffc0 at 2 \ match u8 0x10 0xff at 33 \ flowid 1:10 besser in iptables iptables -t mangle -A PREROUTING -p tcp --tcp-flags ALL ACK -m state \ --state ESTABLISHED -m length --length 40:100 -j MARK --set-mark 20 tc filter add dev eth0 parent 1:0 prio 0 protocol ip handle 20 \ fw flowid 1:22 Seite: 26

27 htb.init Einfache Konfigurationsdateien werden in tc Kommandos übersetzt. eth1 das Interface eth1 eth1 2.root die Root Klasse auf eth1, mit Namen "root" eth1 2:10.www Die Unterklasse 10 in der Rootklasse 2 auf dem Interface eth1, mit der (optionalen) Bezeichnung "www" -[~:] cat eth1 DEFAULT=30 -[~:] cat eth1-2.root RATE = 4Mbit #BURST = 15k -[~:] cat eth1-2\:10.www RATE=1Mbit CEIL=4Mbit # comming _from_ port 80 is matched. RULE=*:80, Seite: 27

28 tcng einfache Konfig Dateien werden übersetzt in tc/netlink C/Kernelmodule Code für Hardware Beschleuniger tcsim (Simulator) Makros Seite: 28

29 Beispiel: Two Rate 3 Colour in tcng Control tcng HTB HOWTO/examples.shtml magazin.de/artikel/ausgabe/2005/02/tcng/tcng.html Demo ip.net/gl/tcng/node57.html Seite: 29

30 Priorisierung und Limitierung mit OpenBSD auf IT Sicherheit optimiertes *BSD (Berkley Software Distribution) excellent für Netzwerkaufgaben Firewalls Packet scrubbing State Synchronisation VPN IPSec Failover pf auch in NetBSD und FreeBSD BLLUE CBQ (Class Based Queueing) FIFOQ (First In First Out Queue) HFSC (Hierarchical Fair Service Curve) PRIQ (Priority Queueing) RED (Random Early Detection) RIO (RED with IN/OUT) WFQ (Weighted Fair Queueing) CDNR (Diffserv Traffic Conditioner) Seite: 30

31 Priorisierung und Limitierung mit OpenBSD Klassenbasierte Queue #rate limiting altq on ne3 cbq bandwidth 1Mb queue { bulk, www, ssh } Bandbreitenlimitierung / Priorisierung queue bulk bandwidth 10% cbq(default) queue www bandwidth 60% priority 2 cbq(borrow red) queue ssh bandwidth 20% cbq(borrow) { ssh_interactive, ssh_bulk } queue ssh_interactive bandwidth 100% priority 7 queue ssh_bulk bandwidth 100% priority 0 Filter pass out quick on ne3 proto tcp from any to any port 22 tos 0x10 keep state queue ssh_interactive # high priority for interactivity pass out quick on ne3 proto tcp from any to any port 22 tos 0x08 keep state queue ssh_bulk #less priority for scp/sftp/... pass out quick on ne3 proto tcp from any to any port 80 queue www pass out on ne3 from any to any queue bulk Seite: 31

32 Priorisierung und Limitierung mit OpenBSD -[~:] pfctl -sq queue root_ne3 bandwidth 1Mb priority 0 cbq( wrr root ) {bulk, www, ssh} queue bulk bandwidth 100Kb cbq( default ) queue ssh bandwidth 200Kb cbq( borrow ) {ssh_interactive, ssh_bulk} queue queue queue www bandwidth 600Kb priority 2 cbq( red borrow ) ssh_interactive bandwidth 200Kb priority 7 ssh_bulk bandwidth 200Kb priority voip.html Seite: 32

33 Testaufbau Quelle (Datenquelle) Router Traffic Shaper /24 Ziel (Datensenke) /24 Seite: 33

34 Demo Seite: 34

35 zum Weiterlesen info.org/tiki index.php?page=qos+linux+with+hfsc Linux Magazin 02/05 freex 4' pf HowTo: index.netbsd.org/netbsd users/2005/02/05/0008.html altq Seite: 35

36 Bandbreitenmanagement mit freier Software: konfigurieren, einschalten und loslegen! Seite: 36