UNIX Mechanismen Übung aus Systemprogrammierung & Systemnahe Programmierung. Armin Wasicek SS 2011

Transkript

1 UNIX Mechanismen Übung aus Systemprogrammierung & Systemnahe Programmierung Armin Wasicek SS 2011

2 Inhalt Kernel Struktur Prozessverwaltung Interprozesskommunikation Speicherverwaltung 2

3 UNIX Kernel Structure System call interface Process management component Memory management component IO and networking component Virtual file system Signal handling Virtual memory Terminals File systems Sockets Process/Thread creation/termination CPU Scheduling Paging page replacement Page cache line discipline Character devices drivers Generic block layer IO scheduler Block device drivers Network stacks Network device drivers Interrupts Dispatcher 3

4 Prozessverwaltung Erstellt, terminiert und verwaltet Prozesse Verbindet Prozesse untereinander (pipes, signals, IPC) Verbindet Prozesse mit der Außenwelt (I/O) Kontrolliert den Zugriff auf den Prozessor 4

5 Speicherverwaltung Hauptspeicher ist eine wesentliche Ressource Kernel bildet einen virtuellen Adressraum für jeden Prozess Prozesse können Speicher anfordern oder zurückgeben Wird dabei von der memory management unit (MMU) unterstützt 5

6 IO und Networking Virtual file system: abstrahiert über die Peripherie Everything is a file Der Kernel bildet unstrukturierte Hardware auf ein strukturiertes Dateisystem ab Neue Dateisysteme, Treiber und Geräte werden einfach in das virtuelle Dateisystem eingehängt. Dadurch werden Operationen read/write definiert 6

7 Inhalt Kernel Struktur Prozessverwaltung Interprozesskommunikation Speicherverwaltung 7

8 Prozessverwaltung Erstellung eines Ablaufplanes, der Prozessen zeitlich begrenzt Ressourcen zuweist. Lernziele: Prozesserzeugung Prozessverwaltung Scheduling in Linux 8

9 Erschaffung neuer Prozesse Erstellen eines neuen leeren Prozesses: Prozess startet ohne zugeordnete Ressourcen Existierender Prozess beliefert neuen Prozess mit Daten und Anweisungen via Speicherseiten Kopieren eines bestehenden Prozesses erstellt eine Kopie von sich und seinem aktuellen Zustand Kopie arbeitet unabhängig vom Original, teilt ev. Ressourcen Ersetzen eines vorhandenen Prozesses setzt einen vorhandenen Prozess auf einen neuen Zustand 9

10 Prozesserzeugung Der Systemcall fork erstellt einen neuen Prozess: pid_t pid=fork(); if(pid<0) { handle_error(); } else if(pid>0) { /* program code for parent */ } else { /* program code for child */ } 1. Ein neuer Eintrag (task_struct) wird in die Taskliste eingefügt 2. Duplizieren der task_struct-struktur des Elterprozesses (Außer: PID) 3. Erzeugen einer Referenz auf die Ressourcen des Elternprozesses 4. Ein identes Speicherabbild des aufrufenden Prozesse wird erstellt 5. Anlegen von Wait Queue (wait_chldexit) 6. Scheduling des Kindprozesses 10

11 Prozesshierachien (pstree) init acpid ahc_dv_0 ahc_dv_1 bash clock-applet crond cups-config-dae cupsd 2*[dbus-daemon-1] dbus-launch dhcpd gdm-binary gdm-binary X gdmgreeter gdm-binary gnome-session ssh-agent 2*[sendmail] sesam_server sesam_server sesam_server 9*[sesam_server] smbd 5*[smbd] sshd sshd sshd bash pine-secure.sh pine sshd sshd bash pine 3*[sshd sshd bash] sshd sshd bash xterm bash pstree 11

12 Datenstrukturen zur Prozessverwaltung Prozesstabelle in Linux besteht aus Einträgen der task_struct Struktur Tabelle hat einen Eintrag pro laufendem Prozess Immer resident Verkettet Prozesse in Queues (z.b. run queue) Eltern-Kind Hierachien struct task_struct { volatile long state; /* -1 unrunnable,... 0 runnable, >0 stopped */ struct list_head run_list; struct task_struct *next_task, *prev_task;... /* task state */ int exit_code, exit_signal; pid_t pid;... /* pointers to (original) parent process, etc.*/ struct task_struct *p_opptr, *p_pptr,... *p_cptr, *p_ysptr, *p_osptr; /* open file information */ struct files_struct *files;... /* signal handlers */ struct signal_struct *sig; } 12

13 Elemente der task_struct Struktur (1) Scheduling Identifikation Speicherverwaltung Synchronisation Signale Priorität, CPU-Zeit, PID, Owner, Gruppe, Pointer auf MMU Info Wait Queue Mask, Pending Berechtigungen 13

14 Elemente der task_struct Struktur (2) Accounting Information Quotas, Timerverwaltung Process Control Block Register, PC, Statuswort, Segmentregister, Page Table Info Deskriptorentabelle Kernelstack System-Calls, Traps 14

15 Scheduling Der Scheduler teilt den Prozessor zwischen den Prozessen in einem System auf UNIX Scheduling policy: fast process response time, good throughput for background jobs, avoidance of process starvation, reconciliation of the needs of low- and high-priority processes, etc. Diese Aufteilung kann verschiedene Ziele haben (Scheduling Kriterien) Prozessorauslastung, Performance, Energieverbrauch, etc. Rechenzeit des Prozessors wird in Zeitscheiben eingeteilt Z.B. Kernel : 250 Hz = 4 ms Quantum (= time slice) Scheduling Algorithmus berechnet Zuteilung der Prozesse zu den Zeitscheiben 15

16 Klassifizierung Prozesse Prozesse sind entweder I/O-bound: starker Gebrauch von I/O Geräten und viel Wartezeit bis I/O Operationen fertig sind CPU-bound: Berechnungsintensive Anwendungen, die viel Rechenzeit der CPU benötigen Linux (like all Unix kernels) implicitly favors I/O-bound processes over CPU-bound ones. 16

17 Scheduling in Linux prä-2.6 Nachteile Linux Prä-2.6 Scheduler: O(n) Aufwand, dh. die Rechenzeit des Schedulers war abhängig von der Anzahl der Tasks, dh. skaliert nicht Einzelnes runqueue lock: sperrt bei Zugriff alle Prozessoren in einem SMP System Keine Task-Preemption, dh. niedrigpriore Tasks können höherpriore Tasks verzögern 17

18 Linux O(1) Scheduler Migration Thread RunQueue Expired priorities task c task d Active priorities task a task b task e task f Scheduler: Wählt den höchstprioren Task In einer Bitmap (5x32bit) wird eine Prioritätsstufe markiert, wenn Tasks vorhanden sind Die Zeit um einen Task auszuwählen hängt somit von der Anzahl der Prioritätsstufen (=140) und nicht mehr von der Anzahl der Tasks ab. PRIO = MAX_RT_PRIO + NICE + 20 CPU-bound Tasks erhalten Penalty [+5 ], I/O-bound Tasks erhalten Bonus [-5 ] 18

19 Linux Scheduler Comparison 19

20 Kontextwechsel Zwischen Prozessen Freiwillig durch sleep_on(), System-Call Unfreiwillig durch Ende der Zeitscheibe (Kernel ruft schedule auf), Scheduler wählt nächsten Prozess aus Durch Interrupts Kontextwechsel durch Hardware und Interrupthandler (asynchron) Austausch der task_struct-struktur 20

21 Kontextsicherung Sicherung der Zustandsinformation des alten Prozesses in der task_struct-struktur User-Mode Kontext auf Kernel Stack bei Eintritt in Kernel-Mode Kernel-Mode Kontext in PCB der task_struct-struktur bei freiwilliger Abgabe des Prozessors durch den Prozess mit sleep_on() 21

22 Zusammenfassung - Prozessverwaltung Prozess ist ein laufendes Programm Prozesserzeugung (bspw. fork) Prozesstabelle task_struct Scheduling in Linux Kontextwechsel freiwillig/erzwungen Freigabe der Ressourcen bei Terminierung Prozessstatus muss abgeholt werden 22

23 Inhalt Kernel Struktur Prozessverwaltung Interprozesskommunikation Speicherverwaltung 23

24 Interprozesskommunikation (IPC) Wozu? Synchronisation Datenaustausch von Prozessen, entweder verwandt (fork), auf gleichem Rechner/Prozessor, oder auf verschiedenen Rechnern/Prozessoren. 24

25 IPC Mechanismen Signale Sockets Semaphore Shared Memory Message Queues 25

26 Signale Behandlung von Ausnahmezuständen Aktionen beim Eintreffen Ignorieren Terminieren des Prozesses Erzeugen eines Speicherabbildes Anhalten des Prozesses Ausführen einer Behandlungsroutine 26

27 Implementierung von Signalen in task_struct Struktur Bitfelder signal und blocked Array von Zeigern auf benutzerdefinierte Signalbehandlungsroutinen Senden eines Signals send_sig und generate Ausführung bei Prozessscheduling Check für eingetroffene und nicht ignorierte Signale Festlegen der auszuführenden Aktion (Terminierung, Signalbehandlungsroutine) 27

28 Sockets Endpunkte einer Kommunikation Netzwerkfähig Transparent Kompatibilität zu UNIX I/O (read, write) Parameter Domain (UNIX, Internet) Typ (Stream, Datagram, Raw) Protokoll (TCP/IP, UDP/IP) 28

29 System V IPC Semaphore binäre, counting Semaphore Semaphorfelder Shared Memory Mapping in Adressbereich der Prozesse Message Queues Prioritäten Eventnachrichten 29

30 Zusammenfassung - Interprozesskommunikation Signale Sockets Semaphores Shared Memory Message Queues Rechner Netzwerk Synchronisation Datenaustausch 30

31 Inhalt Kernel Struktur Prozessverwaltung Interprozesskommunikation Speicherverwaltung 31

32 Speicherverwaltung Effektive Aufteilung und Verwaltung des Hauptspeichers für OS und Programme. Lernziele: Virtueller Speicher & MMU Swapping & Paging Heap & Stack 32

33 Speicherverwaltung Ausreichend Speicher 0x00 RAM Image1 CPU 0x0F Image2 Image3 Alle drei Prozessabbilder passen in den vorhandenen physikalischen Speicher Keine Speicherverwaltung nötig (ausser für Speicherschutz) 33

34 Speicherverwaltung Speicher zu klein 0x00 RAM Image1 CPU 0x0F Image2 Image3 Mehr Speicher benötigt als vorhanden Zusätzlich Festspeicher (Harddisk) Genug Speicher, inkohärente Adressen 0xA0 0xFF Festspeicher Image3 34

35 Virtual memory Speicherverwaltung Virtueller Speicher 0x00 0x00 RAM Image1 CPU load/store load/store MMU Image2 Virtueller Speicher Abstraktion: verschiedene Speichertypen kohärenten Addressraum Memory Management Unit (MMU) übersetzt virtuelle in physische Adressen 0xFF 0x0F 0xFF Festspeicher Image3 35

36 Zusammenfassung: Virtueller Speicher Homogener virtueller Speicher für verschiedene Speichertypen Anforderungen an virtuellen Speicher Größer als physikalischer Speicher Mehr Prozesse gleichzeitig aktiv als Hauptspeicher erlaubt o Zugriffschutz auf Prozessspeicherbereich Zugriff nicht langsamer als Hauptspeicher Transparente Erweiterung (unsichtbar für Nutzer) 36

37 Virtual memory Swapping 0x00 0x00 RAM Image1 CPU load/store MMU Image2 Image3 Swapping Auslagerung von ganzen Prozessen + Einfach zu implementieren - Zeitaufwändig - Nicht alle Anforderungen an virtuellen Speicher erfüllt 0xFF 0x0F 0xFF Festspeicher Image2 Image3 37

38 Virtual memory Paging 0x00 1 0x00 RAM CPU load/store MMU p1, img1 p3, img2 p2, img1 p4, img2 Paging Speicher in gleich große Seitenrahmen unterteilt, Seiten werden vom Swap Space in den Speicher eingelesen und zurückgeschrieben + nicht alle Seiten müssen gleichzeitig im Hauptspeicher liegen - Spezialhardware MMU 0xFF p6, img3 0x0F Swapspeicher 0xFF p5, img3 p9, img3 38

39 Memory Management Unit (MMU) Übersetzt von virtuellen Adressen in physische Adressen Jeder Speicherreferenz wird in der MMU ersetzt MMU verfügt über speziellen Cache-Speicher, den Translation Lookaside Buffer (TLB) CPU Virtual address MMU Translation Table Physical address Memory TLB 39

40 Adressraum und Umsetzung Unterteilung des Speicherbereichs Kernel: evt. physikalischen Adressmodus Userprozesse: virtueller Adressmodus Adressumsetzung Prozessorabhängig Makros verdecken: Anzahl der Seitentabellen Struktur eines Seitentabelleneintrags Struktur einer virtuellen Adresse 40

41 Zusammenfassung: Virtueller Speicher Homogener virtueller Speicher für verschiedene Speichertypen Anforderungen an virtuellen Speicher Größer als physikalischer Speicher Mehr Prozesse gleichzeitig aktiv als Hauptspeicher erlaubt o Zugriffschutz auf Prozessspeicherbereich Zugriff nicht langsamer als Hauptspeicher Transparente Erweiterung (unsichtbar für Nutzer) 41

42 Stack und Heap Text segment Progammcode Data segment: Konstanten Stack segment: Speicher für Variablen in Funktionen Stack Overflow Heap segment: Dynamisch zugewiesener Speicher Heap Overflow Memory Leak 0xFFFF Endadresse Adressraum Stack pointer Program Counter 0x0000 Startadresse Stack Heap Data Text grows down grows up 42

43 Stack 1. Vor dem Funktionsaufruf: 2. Während dem Funktionsaufruf: Argumente werden auf den Stack gepusht 3. Nach dem Funktionsaufruf: Ergebnis (return Wert) gespeichert Stack pointer Stack pointer Argumente Stack pointer Ergebnis 43

44 Verwaltung des Hauptspeicher Liste von mem_map_t (aka page ) Einträgen Anzahl der Referenzen auf Seitenrahmen Alter des Seitenrahmens (letzter Zugriff) Nummer des physikalischen Eintrags Info: Page-Größe bei x86 Systemen beträgt 4 KB free_area Struktur Doppelt verkettete Liste von freien Einträgen Bitmap von Blockallokationsstatus 44

45 Verwaltung des Hauptspeichers (2) Buddy Verfahren: Seitenrahmen der Größe 2 n 45

46 Buddy Verfahren Der Speicher wird in Bereiche der Länge 2 n aufgeteilt. Zu Beginn gibt es nur einen Block, der möglichst den gesamten Speicher abdeckt Fordert nun ein Prozess eine bestimmte Menge Speicher an, so wird zur nächsthöheren Zweierpotenz aufgerundet und ein entsprechender Block gesucht. Falls es noch keinen Block dieser Größe gibt, wird nach einem Block doppelter Größe gesucht, der dann in zwei Hälften (bzw. Buddies) aufgeteilt wird, und einer dieser Blöcke wird dem Prozess zugewiesen. 46

47 Erzeugen eines Prozesses Aufruf von fork Anlegen des Swap Space für Kindprozess Neuer task_struct Tabelleneintrag Anlegen der Seitentabellen Duplizieren des gesamten (!) Adressraums Effizienter: nur Seitentabellen kopieren Fill-on-Demand Seiten Copy-on-Write nur bei Schreibzugriff Seiten kopieren 47

48 ENDE Danke für die Aufmerksamkeit! 48