UNIX Devices Übung aus Systemprogrammierung & Systemnahme Programmierung. Armin Wasicek

Transkript

1 UNIX Devices Übung aus Systemprogrammierung & Systemnahme Programmierung Armin Wasicek 1

2 Inhalt UNIX Kernel Dateisystemverwaltung Geräteverwaltung Networking Security 2

3 UNIX Kernel Struktur System call interface Process management component Memory management component IO and networking component Virtual file system Signal handling Virtual memory Terminals File systems Sockets Process/Thread creation/termination CPU Scheduling Paging page replacement Page cache line discipline Character devices drivers Generic block layer IO scheduler Block device drivers Network stacks Network device drivers Interrupts Dispatcher 3

4 Inhalt UNIX Kernel Dateisystemverwaltung Geräteverwaltung Networking Security 4

5 Aufbau des Filesystems Hierarchische Struktur von Dateien Verschiedenste Dateitypen in einer gemeinsamen Verzeichnisstruktur everything is a file /bin /dev /etc /usr /var commands devices startup and configuration files /lib /man /local plain files (stream of characters) directories (Interpretation durch das OS) character-, block special files (Geräte; z.b. Terminal, Festplatte) named pipes sockets (z.b. TCP/IP sockets, UNIX domain sockets) symbolic links (Verweise) / 5

6 Mounten von Filesystemen Zusammenfassen mehrerer File-Systeme in einer Directorystruktur Eingebundenes Filesystem ist entweder: lokal verfügbar (z.b. untersch. Partition oder Festplatte, Wechseldatenträger), verfügbar via Netzwerk (z.b. über NFS), oder befindet sich selbst in einem File (loop device für ISO-Images) Vorteil: untersch. Filesysteme gleichzeitig verwendbar 6

7 Virtuelles Filesystem (VFS) > 15 physikalische Filesysteme unter Linux in Verwendung Kompatibilität zu anderen Systemen (z.b. NTFS, FAT) Sicherheit, Zuverlässigkeit der Daten (z.b. Ext3, ReiserFS) Performance (z.b. XFS) Einführung einer zusätzlichen Abstraktionsebene einheitliche Schnittstelle (super block, i-node, directories, files) transparentes Mounten verschiedener physikalischer Filesysteme in eine Directory-Struktur 7

8 Inodes Jede Partition enthält ein Dateisystem, dieses Dateisystem wiederum enthält eine Art Inhaltsverzeichnis, die Inode Liste. Die einzelnen Elemente der Inode-Liste sind die Dateiköpfe, also die Orte wo Dateiattribute, Größe usw. gespeichert sind. Der Superblock enthält die grundlegenden Informationen zum Dateisystem. 8

9 Second extended filesystem Ext2 Lange Zeit das Standard-Filesystem unter Linux Organisation des Filesystems in Ext2-Superblock beschreibt Größe und Struktur des Filesystems beinhaltet Versionsinformation (magic number, revision number), Anzahl der freien Blöcke sowie i-nodes, Blockgröße und Anzahl der Blöcke insgesamt Ext2-i-node ähnliche Information wie in VFS i-nodes (Zugriffsrechte, Größe, Besitzer, ) zusätzlich Zeiger auf Datenblöcke der Files (direkte Zeiger, indirekte Zeiger und zweifach indirekte Zeiger Performanceeinbußen) 9

10 Inhalt UNIX Kernel Dateisystemverwaltung Geräteverwaltung Networking Security 10

11 Was ist ein Gerät in Unix? Jedes Gerät hat einen Repräsentanten im Dateisystem, der (zusammen mit den Pfad) eindeutige Name. Character devices Operieren auf einem Datenstrom Block devices Operieren auf einem oder mehreren Datenblöcken Network devices Transaktionen von Datenpaketen 11

12 Datenstrukturen zur Geräteverwaltung Kernel hat eine Liste aller Geräte von Typ device_struct. Jedes Gerät hat eine Tabelle mit Sprungadressen von Treiberfunktionen. struct device_struct { const char * name; struct file_operations * fops; }; struct file_operations {... ssize_t (*read) (struct file *, char *, size_t, loff_t *); ssize_t (*write) (struct file *, const char *, size_t, loff_t *); int (*readdir) (struct file *, void *, filldir_t); unsigned int (*poll) (struct file *, struct poll_table_struct *); int (*ioctl) (struct inode *, struct file *, unsigned int, unsigned long); int (*open) (struct inode *, struct file *); int (*flush) (struct file *); int (*release) (struct inode *, struct file *);... }; static struct device_struct chrdevs[max_chrdev] = {{ NULL, NULL },}; static struct device_struct blkdevs[max_blkdev] = {{ NULL, NULL },}; 12

13 Device Driver (1) Major Device Number spezifiziert den Typ des Devices und damit den zu verwendenden device driver möglich für verschiedene Devicetypen den gleichen device driver zu verwenden (/dev/mem und /dev/kmem) Minor Device Number spezifiziert genau das zu verwendende Gerät möglich nur Teile eines Geräts durch die minor device number anzusprechen (z.b. Partitionen einer Festplatte) brw-rw---- crw-rw root disk 8, 1 May 8 05:20 sda1 1 root uucp 4, 64 May 8 05:20 ttys0 13

14 Device Driver (2) Device driver sind typischerweise zweigeteilt: Top Half u. Bottom Half Top Half läuft im Kontext des aufrufenden Prozesses wird durch System Call aktiviert und initiiert Datentransfer vom/zum Gerät bei Lese- oder synchroner Schreiboperation wird auf Beendigung des Transfers gewartet (sleep_on()) Bottom Half läuft asynchron zum Benutzerprozess in einem eigenen Kontext wird durch Interrupt vom Gerät nach Beendigung des Datentransfers aufgerufen nach Abarbeitung des Interrupts wird Top Half geweckt (wake_up()) 14

15 Lesezugriff auf Device 15

16 Lesezugriff auf Device (verzögert) 16

17 Schreibzugriff auf Device (asynchron) 17

18 Character Device Driver (1) Raw Devices wahlfreier Zugriff auf Peripheriegeräte (ohne Block Buffer Cache) keine Organisation in fixe Blockgrößen notwendig oftmals auch raw Zugriff über Block Devices (z.b. Harddisk) Character Oriented Devices zeichen- bzw. zeilenorientierter Zugriff z.b. Terminal Devices, Drucker, etc. Wichtigste Routinen eines Character Device Drivers (außer open(), release() und ioctl()) read(), write(): einzeln oder blockweises Lesen/Schreiben von Daten select(): Überprüfung ob Daten zum Lesen bzw. Platz zum Schreiben vorhanden ist (für character oriented devices) 18

19 Character Device Driver (2) Line Disciplines Implementierung von generellen Routinen, die weder vom Device Driver noch vom verwendeten Programm abhängig sind (zw. SysCall und Treiber) z.b. Behandlung der Meta-Zeichen erase und kill (strg+c) bei Terminals einstellen der Line Discipline mittels ioctl() Kommunikation über uio-struktur ermöglicht scatter gather I/O Lesen/Schreiben von Daten von/in unterschiedliche Adressbereiche mit einer atomic action 19

20 Block Device Driver Wahlweiser Zugriff auf Blöcke fixer Größe (über Block Buffer Cache) Bsp.: Festplatte, Magnetbänder, etc. Wichtigste Routinen eines Block Device Drivers open(): Vorbereitung auf spätere Zugriffe (Init. der Datenstrukturen) release(): Gerät wird momentan von keinem Prozess genutzt strategy(): Festlegung der Ordnung der Lese-/Schreibzugriffe ioctl(): Einstellen Device-spezifischer Parameter (z.b. Position des Magnetbandes) Minimierung der Suchzeit von Blöcken durch Zugriffsstrategie Elevator Algorithmus: Aufzugprinzip C-SCAN Algorithmus: Requests nur in festgelegter Richtung abgehandelt 20

21 Elevator & C-SCAN Algorithmus Algorithmen um die Bewegung des Lese-/Schreibkopfes auf der Platte zu bestimmen: C-SCAN: keine Benachteiligung von inneren und äußeren Blöcken. 21

22 Inhalt UNIX Kernel Dateisystemverwaltung Geräteverwaltung Networking Systemüberwachung Security 22

23 Networking Überblick Internet Protokolle (kurzer Überblick) IP (RFC 791) UDP (RFC 768) TCP (RFC 793) UNIX Data Streams Netzwerk-Filesysteme NFS RFS Packet Filter 23

24 Network Interface Interface kann ein reales (Netzwerkkarte) oder ein rein softwaretechnisches (Loopback) Gerät sein. Ein Network Interface liest und schreibt Datenpakete, ohne zu wissen wie einzelne Pakte tatsächlich transferiert werden. Viele Netzwerkverbindungen arbeiten stream-orientiert, der Treiber jedoch kennt nur Pakete, keine Verbindungen. " In many Unix operating systems the network devices have appearances in the /dev directory. This is not so in Linux. In Linux the network devices are created dynamically in software and do not require device files to be present. " NET-3-HOWTO 24

25 Internet Protokolle Protokolle zur Datenübertragung über paket-orientierte Netzwerke RFCs unter Aufsicht der DARPA des US DoD IP (Internet Protocol) ungesichertes Datagram Service baut auf untergelagerten Netzwerkprotokollen (Ethernet, Token Ring, etc.) auf aufbauend auf IP UDP: ungesichertes Datagram Service TCP: verbindungs-orientiertes, zuverlässiges Stream Service 25

26 UNIX Data Streams (1) Wichtiger Mechanismus um konzeptionelle Schwäche von Unix- Systemen bei Netzwerk-Kommunikation auszubessern Character Devices behandeln Datenstrom zeichenweise für Netzwerk- Protokolle ist Nachrichten-basierte Behandlung oft notwendig Mehrfachimplementierung eines selben Konzepts wird durch Line Disciplines umgangen diese sind jedoch nicht mehrfach hintereinander anwendbar (Netzwerkprotokolle bauen oft auf einem ganzen Stack von Protokollen auf) Streams scheinen im Filesystem als Character Special File auf Stream ist bidirektionale Verbindung zwischen einem Prozess und einem Treiber 26

27 UNIX Data Streams (2) Streams bestehen aus mehreren Modulen (ioctl-push, ioctl-pop) Stream Head und Device Driver sind immer vorhanden jedes Modul besitzt eine Eingabeund eine Ausgabe-Queue Queues behandeln Daten Nachrichtenbasiert und unterstützen Prioritäten Module unterstützen nach außen vier Prozeduren open() und close() put(): Übergabe einer Nachricht an ein Modul service(): Bearbeitung der Nachrichten in der lokalen Queue des Moduls 27

28 UNIX Data Streams (3) Multiplexen von Streams 28

29 Inhalt UNIX Kernel Geräteverwaltung Dateisystemverwaltung Networking Security 29

30 Security Measures User Groups Discretionary access control Permissions Everything is a file : dadurch kann auch der Zugriff auf Ressourcen gesteuert werden. Firewall Regeln Security wird nicht nur durch mächtige Mechanismen erreicht, sondern auch durch eine sicherheitsbewusste Verwendung des Systems. 30

31 Firewall Packet filter Stateless/stateful Z.B. netfilter/iptables Circuit Relay works on the transport layer and relays TCP connections z.b. SOCKS Application Proxy On application layer z.b. http, smtp 31

32 Zusammenfassung Aufbau des Dateisystems in UNIX Inodes Character Devices Zeichenorientiert, line disciplines Block Devices Blockorientiert Network interfaces Paketorientiert, stackable modules Firewall 32

33 Weiterführende Literatur J.Corbet, A. Rubini, Linux Device Drivers, O Reilly, 2005 A.S. Tanenbaum, Modern Operating Systems, Prentice Hall, 2008 W. Stallings, Operating Systems, Prentice Hall,

34 ENDE Danke für die Aufmerksamkeit! 34