UNIX Mechanismen Übung aus Systemprogrammierung & Systemnahe Programmierung. Armin Wasicek SS 2010

Transkript

1 UNIX Mechanismen Übung aus Systemprogrammierung & Systemnahe Programmierung Armin Wasicek SS 2010

2 Inhalt Kernel Struktur Prozessverwaltung Interprozesskommunikation Speicherverwaltung 2

3 UNIX Kernel Structure System call interface Process management component Memory management component IO and networking component Virtual file system Signal handling Virtual memory Terminals File systems Sockets Process/Thread creation/termination CPU Scheduling Paging page replacement Page cache line discipline Character devices drivers Generic block layer IO scheduler Block device drivers Network stacks Network device drivers Interrupts Dispatcher 3

4 Prozessverwaltung Erstellt, terminiert und verwaltet Prozesse Verbindet Prozesse untereinander (pipes, signals, IPC) Verbindet Prozesse mit der Außenwelt (I/O) Kontrolliert den Zugriff auf den Prozessor 4

5 Speicherverwaltung Hauptspeicher ist eine wesentliche Ressource Kernel bildet einen virtuellen Adressraum für jeden Prozess Prozesse können Speicher anfordern oder zurückgeben Wird dabei von der memory management unit (MMU) unterstützt 5

6 IO und Networking Virtual file system: abstrahiert über die Peripherie Everything is a file Der Kernel bildet unstrukturierte Hardware auf ein strukturiertes Dateisystem ab Neue Dateisysteme, Treiber und Geräte werden einfach in das virtuelle Dateisystem eingehängt. Dadurch werden Operationen read/write definiert 6

7 Inhalt Kernel Struktur Prozessverwaltung Interprozesskommunikation Speicherverwaltung 7

8 Prozessverwaltung Erstellung eines Ablaufplanes der Prozessen zeitlich begrenzt Ressourcen zuweist. Lernziele: Prozesserzeugung Prozessverwaltung Scheduling in Linux 8

9 Erschaffung neuer Prozesse Erstellen eines neuen leeren Prozesses: Prozess startet ohne zugeordnete Ressourcen Existierender Prozess beliefert neuen Prozess mit Daten und Anweisungen via Speicherseiten Kopieren eines bestehenden Prozesses erstellt eine Kopie von sich und seinem aktuellen Zustand Kopie arbeitet unabhängig vom Original, teilt ev. Ressourcen Ersetzen eines vorhandenen Prozesses setzt einen vorhandenen Prozess auf einen neuen Zustand 9

10 Prozesserzeugung Der Systemcall fork erstellt einen neuen Prozess: pid_t pid=fork(); if(pid<0) { handle_error(); } else if(pid>0) { /* program code for parent */ } else { /* program code for child */ } 1. Ein neuer Eintrag (task_struct) wird in die Taskliste eingefügt 2. Duplizieren der task_struct Struktur des Elterprozesses (Außer: PID) 3. Erzeugen einer Referenz auf die Ressourcen des Elternprozesses 4. Ein identes Speicherabbild des aufrufenden Prozesse wird erstellt 5. Anlegen von Wait Queue (wait_chldexit) 6. Scheduling des Kindprozesses 10

11 Prozesshierachien (pstree) init acpid ahc_dv_0 ahc_dv_1 bash clock-applet crond cups-config-dae cupsd 2*[dbus-daemon-1] dbus-launch dhcpd gdm-binary gdm-binary X gdmgreeter gdm-binary gnome-session ssh-agent 2*[sendmail] sesam_server sesam_server sesam_server 9*[sesam_server] smbd 5*[smbd] sshd sshd sshd bash pine-secure.sh pine sshd sshd bash pine 3*[sshd sshd bash] sshd sshd bash xterm bash pstree 11

12 Datenstrukturen zur Prozessverwaltung Prozesstabelle in Linux besteht aus Einträgen der task_struct Struktur Tabelle hat einen Eintrag pro laufendem Prozess Immer resident Verkettet Prozesse in Queues (z.b. run queue) Eltern Kind Hierachien struct task_struct { volatile long state; /* 1 unrunnable,... 0 runnable, >0 stopped */ struct list_head run_list; struct task_struct *next_task, *prev_task;... /* task state */ int exit_code, exit_signal; pid_t pid;... /* pointers to (original) parent process, etc.*/ struct task_struct *p_opptr, *p_pptr,... *p_cptr, *p_ysptr, *p_osptr; /* open file information */ struct files_struct *files;... /* signal handlers */ struct signal_struct *sig; } 12

13 Elemente der task_struct Struktur (1) Scheduling Identifikation Speicherverwaltung Synchronisation Signale Priorität, CPU Zeit, PID, Owner, Gruppe, Pointer auf MMU Info Wait Queue Mask, Pending Berechtigungen 13

14 Elemente der task_struct Struktur (2) Accounting Information Quotas, Timerverwaltung Process Control Block Register, PC, Statuswort, Segmentregister, Page Table Info Deskriptorentabelle Kernelstack System Calls, Traps 14

15 Scheduling: terms Processes can be either: I/O-bound: heavy use of I/O devices and spend much time waiting for I/O operations to complete CPU-bound: computationintensive applications that require a lot of CPU time Real-time processes are explicitly by the scheduler Quantum: time slice Kernel : 250 Hz = 4 ms UNIX Scheduling policy: fast process response time, good throughput for background jobs, avoidance of process starvation, reconciliation of the needs of low- and high-priority processes, etc. Linux (like all Unix kernels) implicitly favors I/O-bound processes over CPU-bound ones. 15

16 Scheduling in Linux prä 2.6 Nachteile Linux Prä 2.6 Scheduler: O(n) Aufwand, dh. die Rechenzeit des Schedulers war abhängig von der Anzahl der Tasks, dh. skaliert nicht Einzelnes runqueue lock sperrt bei Zugriff alle Prozessoren in einem SMP System Keine Task Preemption, dh. niedrigpriore Tasks können höherpriore Tasks verzögern 16

17 Linux O(1) Scheduler Scheduler: Wählt den höchstprioren Task In einer Bitmap (5x32bit) wird eine Prioritätsstufe markiert, wenn Tasks vorhanden sind Migration Thread priorities task c task d priorities task a task b task e Die Zeit um einen Task auszuwählen hängt somit von der Anzahl der Prioritätsstufen (=140) und nicht mehr von der Anzahl der Tasks ab. PRIO = MAX_RT_PRIO + NICE task f CPU bound Tasks erhalten Penalty [+5 ], I/O bound Tasks erhalten Bonus [ 5 ] 17

18 Linux Scheduler Comparison 18

19 Kontextwechsel Zwischen Prozessen Freiwillig durch sleep_on(), System Call Unfreiwillig durch Ende der Zeitscheibe (Kernel ruft schedule auf), Scheduler wählt nächsten Prozess aus Durch Interrupts Kontextwechsel durch Hardware und Interrupthandler (asynchron) Austausch der task_struct Struktur 19

20 Kontextsicherung Sicherung der Zustandsinformation des alten Prozesses in der task_struct Struktur User Mode Kontext auf Kernel Stack bei Eintritt in Kernel Mode Kernel Mode Kontext in PCB der task_struct Struktur bei freiwilliger Abgabe des Prozessors durch den Prozess mit sleep_on() 20

21 Zusammenfassung Prozessverwaltung Prozess ist ein laufendes Programm Prozesserzeugung (bspw. fork) Prozesstabelle task_struct Scheduling in Linux Kontextwechsel freiwillig/erzwungen Freigabe der Ressourcen bei Terminierung Prozessstatus muss abgeholt werden 21

22 Inhalt Kernel Struktur Prozessverwaltung Interprozesskommunikation Speicherverwaltung 22

23 Interprozesskommunikation (IPC) Wozu? Synchronisation Datenaustausch von Prozessen, entweder verwandt (fork), auf gleichem Rechner/Prozessor, oder auf verschiedenen Rechnern/Prozessoren. 23

24 IPC Mechanismen Signale Sockets Semaphore Shared Memory Message Queues 24

25 Signale Behandlung von Ausnahmezuständen Aktionen beim Eintreffen Ignorieren Terminieren des Prozesses Erzeugen eines Speicherabbildes Anhalten des Prozesses Ausführen einer Behandlungsroutine 25

26 Implementierung von Signalen in task_struct Struktur Bitfelder signal und blocked Array von Zeigern auf benutzerdefinierte Signalbehandlungsroutinen Senden eines Signals send_sig und generate Ausführung bei Prozessscheduling Check für eingetroffene und nicht ignorierte Signale Festlegen der auszuführenden Aktion (Terminierung, Signalbehandlungsroutine) 26

27 Sockets Endpunkte einer Kommunikation Netzwerkfähig Transparent Kompatibilität zu UNIX I/O (read, write) Parameter Domain (UNIX, Internet) Typ (Stream, Datagram, Raw) Protokoll (TCP/IP, UDP/IP) 27

28 System V IPC Semaphore binäre, counting Semaphore Semaphorfelder Shared Memory Mapping in Adressbereich der Prozesse Message Queues Prioritäten Eventnachrichten 28

29 Zusammenfassung Interprozesskommunikation Signale Sockets Semaphores Shared Memory Message Queues Rechner Netzwerk Synchronisation Datenaustausch 29

30 Inhalt Kernel Struktur Prozessverwaltung Interprozesskommunikation Speicherverwaltung 30

31 Speicherverwaltung Effektive Aufteilung und Verwaltung des Hauptspeichers für OS und Programme. Lernziele: Virtueller Speicher & MMU Swapping & Paging Heap & Stack 31

32 Speicherverwaltung Ausreichend Speicher 0x00 RAM Image1 CPU 0x0F Image2 Image3 Alle drei Prozessabbilder passen in den vorhandenen physikalischen Speicher Keine Speicherverwaltung nötig (ausser für Speicherschutz) 32

33 Speicherverwaltung Speicher zu klein 0x00 RAM Image1 CPU 0x0F Image2 Image3 Mehr Speicher benötigt als vorhanden Zusätzlich Festspeicher (Harddisk) Genug Speicher, inkohärente Adressen 0xA0 0xFF Festspeicher Image3 33

34 Speicherverwaltung Virtueller Speicher 0x00 0x00 RAM Image1 CPU load/store load/store Virtueller Speicher Abstraktion: verschiedene Speichertypen kohärenten Addressraum MMU Memory Management Unit (MMU) übersetzt virtuelle in physische Adressen Virtual memory 0xFF 0x0F 0xFF Image2 Festspeicher Image3 34

35 Zusammenfassung: Virtueller Speicher Homogener virtueller Speicher für verschiedene Speichertypen Anforderungen an virtuellen Speicher Größer als physikalischer Speicher Mehr Prozesse gleichzeitig aktiv als Hauptspeicher erlaubt o Zugriffschutz auf Prozessspeicherbereich Zugriff nicht langsamer als Hauptspeicher Transparente Erweiterung (unsichtbar für Nutzer) 35

36 Swapping 0x00 0x00 RAM CPU load/store MMU Swapping Auslagerung von ganzen Prozessen + Einfach zu implementieren - Zeitaufwändig - Nicht alle Anforderungen an virtuellen Speicher erfüllt Virtual memory 0xFF 0x0F 0xFF Image1 Image2 Image3 Festspeicher Image2 Image3 36

37 Paging CPU load/store MMU Paging Speicher in gleich große Seitenrahmen unterteilt, Seiten werden vom Swap Space in den Speicher eingelesen und zurückgeschrieben + nicht alle Seiten müssen gleichzeitig im Hauptspeicher liegen - Spezialhardware MMU 0x00 Virtual memory 0xFF x00RAM p6, img3 0x0F Swapspeicher 0xFF p1, img1 p3, img2 p2, img1 p4, img2 p5, img3 p9, img3 37

38 Memory Management Unit (MMU) Übersetzt von virtuellen Adressen in physische Adressen Jeder Speicherreferenz wird in der MMU ersetzt MMU verfügt über speziellen Cache Speicher, den Translation LookasideBuffer (TLB) CPU Virtual address MMU Translation Table Physical address Memory TLB 38

39 Adressraum und Umsetzung Unterteilung des Speicherbereichs Kernel: evt. physikalischen Adressmodus Userprozesse: virtueller Adressmodus Adressumsetzung Prozessorabhängig Makros verdecken: Anzahl der Seitentabellen Struktur eines Seitentabelleneintrags Struktur einer virtuellen Adresse 39

40 Zusammenfassung: Virtueller Speicher Homogener virtueller Speicher für verschiedene Speichertypen Anforderungen an virtuellen Speicher Größer als physikalischer Speicher Mehr Prozesse gleichzeitig aktiv als Hauptspeicher erlaubt o Zugriffschutz auf Prozessspeicherbereich Zugriff nicht langsamer als Hauptspeicher Transparente Erweiterung (unsichtbar für Nutzer) 40

41 Stack und Heap Text segment Progammcode Data segment: Konstanten Stack segment: Speicher für Variablen in Funktionen Stack Overflow Heap segment: Dynamisch zugewiesener Speicher Heap Overflow Memory Leak 0xFFFF Endadresse Adressraum Stack pointer Program Counter 0x0000 Startadresse Stack Heap Data Text grows down grows up 41

42 Stack 1. Vor dem Funktionsaufruf: 2. Während dem Funktionsaufruf: Argumente werden auf den Stack gepusht 3. Nach dem Funktionsaufruf: Ergebnis (return Wert) gespeichert Stack pointer Stack pointer Argumente Stack pointer Ergebnis 42

43 Verwaltung des Hauptspeicher Liste von mem_map_t (aka page ) Einträgen Anzahl der Referenzen auf Seitenrahmen Alter des Seitenrahmens (letzter Zugriff) Nummer des physikalischen Eintrags Info: Page Größe bei x86 Systemen beträgt 4 KB free_area Struktur Doppelt verkettete Liste von freien Einträgen Bitmap von Blockallokationsstatus 43

44 Verwaltung des Hauptspeichers (2) Buddy Verfahren: Seitenrahmen der Größe 2 n 44

45 Buddy Verfahren Der Speicher wird in Bereiche der Länge 2 n aufgeteilt. Zu Beginn gibt es nur einen Block, der möglichst den gesamten Speicher abdeckt Fordert nun ein Prozess eine bestimmte Menge Speicher an, so wird zur nächsthöheren Zweierpotenz aufgerundet und ein entsprechender Block gesucht. Falls es noch keinen Block dieser Größe gibt, wird nach einem Block doppelter Größe gesucht, der dann in zwei Hälften (bzw. Buddies) aufgeteilt wird, und einer dieser Blöcke wird dem Prozess zugewiesen. 45

46 Erzeugen eines Prozesses Aufruf von fork Anlegen des Swap Space für Kindprozess Neuer task_struct Tabelleneintrag Anlegen der Seitentabellen Duplizieren des gesamten (!) Adressraums Effizienter: nur Seitentabellen kopieren Fill on Demand Seiten Copy on Write nur bei Schreibzugriff Seiten kopieren 46

47 ENDE Danke für die Aufmerksamkeit! 47