Übung aus Systemprogrammierung & Systemnaher Programmierung

Transkript

1 UNIX Devices Übung aus Systemprogrammierung & Systemnaher Programmierung Armin Wasicek WS 2010/11 UNIX Devices 1

2 Inhalt UNIX Kernel Dateisystemverwaltung Geräteverwaltung Networking 2

3 UNIX Kernel Struktur line discipline 3

4 Inhalt UNIX Kernel Dateisystemverwaltung Geräteverwaltung Networking 4

5 Aufbau des Filesystems Hierarchische Struktur von Dateien Verschiedenste Dateitypen in einer gemeinsamen Verzeichnisstruktur: everything is a file /bin /dev /etc /usr /var commands devices startup and configuration files /lib /man /local / plain files (stream of characters) directories (Interpretation durch das OS) character, block special files (Geräte; z.b. Terminal, Festplatte) named pipes sockets (z.b. TCP/IP sockets, UNIX domain sockets) symbolic links (Verweise) 5

6 Mounten von Dateisystemen Zusammenfassen mehrerer File Systeme in einer Verzeichnisstruktur Eingebundenes Dateisystem ist entweder: lokal verfügbar (z.b. untersch. Partition oder Festplatte, Wechseldatenträger), verfügbar via Netzwerk (z.b. über NFS), oder befindet sich selbst in einem File (z.b. loop device für ISO Images) Vorteil: untersch. Filesysteme gleichzeitig verwendbar 6

7 Virtuelles Filesystem (VFS) > 15 physikalische Filesysteme unter Linux in Verwendung Kompatibilität zu anderen Systemen (z.b. NTFS, FAT) Sicherheit, Zuverlässigkeit der Daten (z.b. Ext3, ReiserFS) Performance (z.b. XFS) Einführung einer zusätzlichen Abstraktionsebene einheitliche Schnittstelle (super block, inode, Verzeichnisse, Dateien) transparentes Mounten verschiedener physikalischer Dateisysteme (Partitionen) in eine Directory Struktur 7

8 Struktur einer Partition Jede Partition (Festplatte) enthält ein Dateisystem, dieses Dateisystem wiederum enthält eine Art Inhaltsverzeichnis, die Inode Liste. Die einzelnen Elemente der Inode Liste sind die Dateiköpfe, also diese Strukturen enthalten Dateiattribute, Größe usw. gespeichert sind. Der Superblock enthält die grundlegenden Informationen zum Dateisystem. Die einzelnen Inodes verweisen direkt bzw. indirekt auf die Speicherblöcke im Datenbereich. 8

9 Inodes und stat Der Systemcall stat ruft den Inodeinformation einer Datei ab (man [1 2] stat) struct inode { struct super_block struct list_head struct file_operations unsigned long umode_t unsigned int uid_t gid_t... } *i_sb; i_list; *i_fop; i_ino; i_mode; i_nlink i_uid; i_gid; Die Struktur (struct stat) enthält nur einen Teil des Inodes (struct inode) Aufruf der Inode Nummer: ls i struct stat { dev_t st_dev; /* device */ ino_t st_ino; /* inode */ mode_t st_mode; /* protection */ nlink_t st_nlink; /* number of hard links */ uid_t st_uid; /* user ID of owner */ gid_t st_gid; /* group ID of owner */ dev_t st_rdev; /* device type (if inode device) */ off_t st_size; /* total size, in bytes */ blksize_t st_blksize; /* blocksize for filesystem I/O */ blkcnt_t st_blocks; /* number of blocks allocated */ time_t st_atime; /* time of last access */ time_t st_mtime; /* time of last modification */ time_t st_ctime; /* time of last status change */ }; UNIX Devices

10 Beispiel: Ext2 Inode ähnliche Information wie in VFS i nodes (Zugriffsrechte, Größe, ) zusätzlich Zeiger auf Datenblöcke der Datei direkte Zeiger, indirekte Zeiger und zweifach indirekte Zeiger 10

11 Inhalt UNIX Kernel Dateisystemverwaltung Geräteverwaltung Networking 11

12 Wie repräsentiert Unix Geräte? Jedes Gerät hat einen Repräsentanten im Dateisystem, der (zusammen mit den Pfad) eindeutige Name. Character devices Operieren auf einem Datenstrom Block devices Operieren auf einem oder mehreren Datenblöcken Network devices Transaktionen von Datenpaketen 12

13 Datenstrukturen zur Geräteverwaltung Kernel hat eine Liste aller Geräte (device_struct) Jedes Gerät hat eine Tabelle mit Sprungadressen von Treiberfunktionen (struct file_operations) Erinnerung: Jeder Inode definiert ebenfalls so eine Tabelle! struct device_struct { const char * name; struct file_operations * fops; }; struct file_operations {... ssize_t (*read) (struct file *, char *, size_t, loff_t *); ssize_t (*write) (struct file *, const char *, size_t, loff_t *); int (*readdir) (struct file *, void *, filldir_t); unsigned int (*poll) (struct file *, struct poll_table_struct *); int (*ioctl) (struct inode *, struct file *, unsigned int, unsigned long); int (*open) (struct inode *, struct file *); int (*flush) (struct file *); int (*release) (struct inode *, struct file *);... }; static struct device_struct chrdevs[max_chrdev] = {{ NULL, NULL },}; static struct device_struct blkdevs[max_blkdev] = {{ NULL, NULL },}; 13

14 Device Drivers Major Device Number spezifiziert den Typ des Devices und damit den zu verwendenden device driver möglich für verschiedene Devicetypen den gleichen device driver zu verwenden (/dev/mem und /dev/kmem) Minor Device Number spezifiziert genau das zu verwendende Gerät möglich nur Teile eines Geräts durch die minor device number anzusprechen (z.b. Partitionen einer Festplatte) brw-rw---- crw-rw root disk 8, 1 May 8 05:20 sda1 1 root uucp 4, 64 May 8 05:20 ttys0 14

15 Exkurs: Interruptroutinen Interruptroutinen sollten möglichst kurz und schnell abarbeitbar sein, daraus folgt: Keine umfangreichen Berechnungen innerhalb der Interruptroutine. Keine langen Programmschleifen. Obwohl es möglich ist, während der Abarbeitung einer Interruptroutine andere oder sogar den gleichen Interrupt wieder zuzulassen (nested interrupts), wird davon ohne genaue Kenntnis der internen Abläufe dringend abgeraten. Unterschied zu Signalen: Interrupts werden meist von externen Ereignissen ausgelöst (z.b. Empfangen einer Nachricht) 15

16 Device Driver Implementierung Device driver sind typischerweise zweigeteilt: Top Half läuft im Kontext (nicht im Userspace!) des aufrufenden Prozesses wird durch System Call aktiviert und initiiert Datentransfer vom/zum Gerät bei Lese oder synchroner Schreiboperation wird auf Beendigung des Transfers gewartet (sleep_on()) Bottom Half läuft asynchron zum Benutzerprozess in einem eigenen Kontext wird durch Interrupt vom Gerät nach Beendigung des Datentransfers aufgerufen nach Abarbeitung des Interrupts wird Top Half geweckt (wake_up()) 16

17 Lesezugriff auf Device (blockierend) 1 Systemcall wird 17

18 Lesezugriff auf Device (verzögert) 18

19 Schreibzugriff auf Device (asynchron) 19

20 Character Device Driver (1) Raw Devices wahlfreier Zugriff auf Peripheriegeräte (ohne Block Buffer Cache) keine Organisation in fixe Blockgrößen notwendig oftmals auch raw Zugriff über Block Devices (z.b. Harddisk) Character Oriented Devices zeichen bzw. zeilenorientierter Zugriff z.b. Terminal Devices, Drucker, etc. Wichtigste Routinen eines Character Device Drivers (außer open(), release() und ioctl()) read(), write(): einzeln oder blockweises Lesen/Schreiben von Daten poll(), select(): Überprüfung ob Daten zum Lesen bzw. Platz zum Schreiben vorhanden ist (für character oriented devices) 20

21 Character Device Driver (2) Line Disciplines Implementierung von generellen Routinen, die weder vom Device Driver noch vom verwendeten Programm abhängig sind (zw. SysCall und Treiber) z.b. Behandlung der Meta Zeichen erase und kill <strg+c> bei Terminals einstellen der Line Discipline mittels ioctl() Kommunikation über uio Struktur ermöglicht scatter gather I/O Lesen/Schreiben von Daten von/in unterschiedliche Adressbereiche mit einer atomic action 21

22 Block Device Driver Wahlweiser Zugriff auf Blöcke fixer Größe (über Block Buffer Cache) Bsp.: Festplatte, Magnetbänder, etc. Wichtigste Routinen eines Block Device Drivers open(): Vorbereitung auf spätere Zugriffe (Init. der Datenstrukturen) release(): Gerät wird momentan von keinem Prozess genutzt strategy(): Festlegung der Ordnung der Lese /Schreibzugriffe ioctl(): Einstellen Device spezifischer Parameter (z.b. Position des Magnetbandes) Beispiel: Algorithmus zur Minimierung der Suchzeit von Blöcken Elevator Algorithmus: Aufzugprinzip gehe immer zum nächsten Request C SCAN Algorithmus: Requests nur in festgelegter Richtung abgehandelt 22

23 Elevator & C SCAN Algorithmus Algorithmen um die Bewegung des Lese /Schreibkopfes auf der Platte zu bestimmen: C SCAN: keine Benachteiligung von inneren und äußeren Blöcken. 23

24 Inhalt UNIX Kernel Dateisystemverwaltung Geräteverwaltung Networking 24

25 Network Interface Interface kann ein reales (Netzwerkkarte) oder ein rein softwaretechnisches (Loopback) Gerät sein. Ein Network Interface liest und schreibt Datenpakete, ohne zu wissen wie einzelne Pakte tatsächlich transferiert werden. Viele Netzwerkverbindungen arbeiten stream orientiert, der Treiber jedoch kennt nur Pakete, keine Verbindungen. " In many Unix operating systems the network devices have appearances in the /dev directory. This is not so in Linux. In Linux the network devices are created dynamically in software and do not require device files to be present. " NET 3 HOWTO 25

26 Internet Protokolle Protokolle zur Datenübertragung über paket orientierte Netzwerke RFCs unter Aufsicht der DARPA des US DoD IP (Internet Protocol) ungesichertes Datagram Service baut auf untergelagerten Netzwerkprotokollen (Ethernet, Token Ring, etc.) auf aufbauend auf IP UDP: ungesichertes Datagram Service TCP: verbindungs orientiertes, zuverlässiges Stream Service 26

27 UNIX Data Streams (1) Wichtiger Mechanismus um konzeptionelle Schwäche von Unix Systemen bei Netzwerk Kommunikation auszubessern Character Devices behandeln Datenstrom zeichenweise für Netzwerk Protokolle ist Nachrichten basierte Behandlung oft notwendig Mehrfachimplementierung eines selben Konzepts wird durch Line Disciplines umgangen diese sind jedoch nicht mehrfach hintereinander anwendbar (Netzwerkprotokolle bauen oft auf einem ganzen Stack von Protokollen auf) Streams scheinen im Filesystem als Character Special File auf Stream ist bidirektionale Verbindung zwischen einem Prozess und einem Treiber 27

28 UNIX Data Streams (2) Streams bestehen aus mehreren Modulen (ioctl PUSH, ioctl POP) Stream Head und Device Driver sind immer vorhanden jedes Modul besitzt eine Eingabeund eine Ausgabe Queue Queues behandeln Daten Nachrichtenbasiert und unterstützen Prioritäten Module unterstützen nach außen vier Prozeduren open() und close() put(): Übergabe einer Nachricht an ein Modul service(): Bearbeitung der Nachrichten in der lokalen Queue des Moduls Mehr unter: /6mb1p1qv3?l=en&a=view Inode des device files 28

29 UNIX Data Streams (3) Multiplexen von Streams 29

30 Zusammenfassung Aufbau des Dateisystems in UNIX inodes, mount, stat Operationen auf Dateien, Geräte Interruptroutinen Character Devices & Block Devices Network interfaces 30

31 UNIX Kernel Struktur noch Fragen? line discipline 31

32 Bonusbeispiel Kernel Module Vortrag Bonusbeispiel h Inf.HS Inhalt: Erstellen eines Kernel-Makefiles Erstellen eines Kernel Moduls Programmieren eines Character Device Loopback Device für das sichere Ablegen von Daten Beginn: Ab Abgabe: 25. & , TI-Lab 32

33 Weiterführende Literatur J.Corbet, A. Rubini, Linux Device Drivers, O Reilly, 2005 A.S. Tanenbaum, Modern Operating Systems, Prentice Hall, 2008 W. Stallings, Operating Systems, Prentice Hall,

34 ENDE Danke für die Aufmerksamkeit! 34