Rechnerarchitektur und Betriebssysteme (CS201): Speicherverwaltung II, dyn. Linking + Loading, Microkernel, Virtualisierung

Transkript

1 Rechnerarchitektur und Betriebssysteme (CS201): Speicherverwaltung II, dyn Linking + Loading, Microkernel, Virtualisierung 11 Dezember 2012 Prof Dr Christian Tschudin Departement Informatik, Universität Basel Wiederholung / Diskussion 1 Erkläre den Unterschied zwischen Swapping und Paging 2 Was ist die Aufgabe einer Memory Management Unit? 3 Erkläre den Unterschied zwischen Page und Frame 4 Warum mehrstufige Pagetables? c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 2/35

2 Memory Management: mehrstufige Pagetables 0 outer-page table page of page table page table memory c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 3/35 Copy-On-Write (COW) Prozess-Start unter UNIX fork(): Erzeugt neben dem Eltern- ein Kind-Prozess Dabei wird nur die Speicher-Map kopiert, nicht der Inhalt: Page Tables beider Prozesse zeigen auf selben Speicher Zusätzlich: das RW-Flag wird weggenommen (dh readonly page) Beim nächsten Page-Fault: dem Kind-Prozess eine eigene Kopie anfertigen beim Eltern-Prozess das RW-Flag wieder setzen c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 4/35

3 On-Demand Paging Seiten werden nur geladen, wenn sie benötigt werden Prozess starten: Speicher-Map initialisieren Data-Bereich füllen nur erste (Code-) Seite laden Kontrolle an Prozess übergeben Weitere (Code-) Seiten werden bedarfsweise (on demand) geholt c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 5/35 Zitat am Anfang der Veranstaltung vorgestellt The Linux memory manager implements demand paging with a copy-on-write strategy relying on the 386 s paging support A process acquires its page tables from its parent (during a fork()) with the entries marked as read-only or swapped Then, if the process tries to write to that memory space, and the page is a copyon-write page, it is copied, and the page is marked read-write An exec() results in the reading in of a page or so from the executable The process then faults in any other pages it needs Linux Kernel Hacker s Guide 05 c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 6/35

4 On Demand Paging Seiten-Ersetzung Multi-Programming: Wettstreit um freie Frames Falls mehrere Programme aktiv sind: wer bekommt wieviele Frames? welche Pages werden auf HD ausgelagert? Aktivität und Alter eine Seite: welche Seiten wurden angetastet (ACCESSED Bit)? least recently used (LRU)-Seite bestimmen Verschiedene Algorithmen, um sich LRU anzunähern (volles LRU wäre zu aufwendig) c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 7/35 Thrashing Pageing funktioniert wegen der Lokalität ein Prozess arbeitet meistens mit wenigen Seiten diese Seiten verschieben sich langsam Falls ein Prozess zuwenig Seiten im Hauptspeicher hat: hohe page-fault Rate niedrige CPU-Nutzung Trashing: ein Prozess ist mit Paging (in und out) beschäftigt, tangiert auch andere Prozesse (weniger CPU und IO-Bandbreite) c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 8/35

5 Thrashing (Fortsetz) CPU utilization thrashing degree of multiprogramming Dieses Verhalten kann durch simples Programm provoziert werden: definiere grosses Array (> physikalischer Hauptspeicher) randomisierter Zugriff auf einzelne Elemente des Arrays c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 9/35 Compiling, Linking, Loading Compiling: erzeugt Objektcode gewisse Adressen noch festzulegen (externe Funktionen) gewisse Adressen noch anzupassen (Relokation) Linking: erzeugt ein Binary löst noch offene externe Referenzen auf klassisch: static linking Loading: laden des Programms in den Hauptspeicher Memory-Allokation (ev nur wenige Seiten, falls demand paging) Relokation c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 10/35

6 Shared Libraries, Uebersicht Varianten Vorteile von shared libraries (*so): gleicher (phys) Speicher für mehrere Prozesse, systemweiter Upgrade einfach (1 Datei ändern, kein re-compilieren oder re-linken) Zusätzliche Definitionen nach Compiling, Linking und Loading : Dynamic Loading Dynamic Linking c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 11/35 Optimierung: Dynamic Loading Binaries können sehr gross werden wegen Libraries: verzögertes Laden bessere Speicherausnutzung: nicht benutzte Subroutinen nie laden Implementierung: Aufrufer überprüft zuerst, ob Routine schon geladen falls nein wird der run-time loader aufgerufen run-time loader aktualisiert interne Adress-Tabelle der Aufruf kann gemacht werden Keine OS-Unterstützung nötig: Linker kann dies implementieren c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 12/35

7 Optimierung: Dynamic Linking Mehrere Programme nutzen gleiche Subroutinen, deshalb nur einmal im Hauptspeicher ablegen: verzögertes Linken OS muss Unterstützung geben (getrennte Adressräume): führt Liste aller Libraries, die geladen sind Zu Link-Time Vorkehrungen treffen: Library-Aufruf geht an eine Ersatz-Routing ( Stub ) Stub muss Subroutine lokalisieren oder zuerst noch laden anschliessend ersetzt sich der Stub ab dann direkter Sprung in die Routine c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 13/35 Dynamic Linking Implementierung Linux: OS muss den Ort der Libraries kennen: ldconfig, und /etc/ldsoconf Siehe auch ldso (dynamic linker/loader) Um den Auflösungsprozess zu analysieren: ldd Windows: DLL (dynamically linked library) c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 14/35

8 Abschluss Speicherverwaltung: Memory Mapping Weitere Tricks mittels Memory Mapping Shared Memory: schnelle Interprozess-Kommunikation (IPC) kein Umkopieren wie bei Pipes Memory Mapped Files ganze Datei in Speicher abbilden Paging sorgt dafür, dass nur benötigte Blöcke geladen werden c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 15/35 Microkernel Monolithisch Betriebssysteme: ein grosses Programm, das alle Kernelfunktionen umfasst Micro-Kernel: kleine Softwareschicht über der Hardware, diese erlaubt den OS-Teilen zusammenzuarbeiten Vorteil (und Herausforderung): Kernel wird kleiner, modular, portabler Nachteil: Geschwindigkeitsverlust wegen der Modul-Grenzen c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 16/35

9 Microkernel (Forts) OSF/1 OS/2 43 BSD HPUX database system tasks and threads IPC virtual memory scheduling Mach Mehrere grosse OS-Kerne parallel ausführen! (OS-Personality) c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 17/35 The MACH Microkernel (1983 ) Ziele: Unterstützung für SMP (parallels UNIX) Modularisierung von UNIX UNIX-Varianten gleichzeitig fahren können Kommunikation zwischen Komponenten via ports und Meldungdsaustausch: Betriebssystem-Aufruf = sende Meldung an Kernel Exception = sende Meldung an task Tasks können auf unterschiedlichen CPUs laufen, ev sogar durch ein Netzwerk gekoppelt c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 18/35

10 MACH (Fortsetzung) UNIX-Hauptkern läuft als Modul (Prozess) ausserhalb des Mikrokernels! Daneben: Datei-System Server-Modul Zugriff auf UNIX Filesystem Memory Manager (!) zuständig für Paging und Swapping UNIX server zuständig für Prozesse, Rechte, Libraries etc Benutzer-Prozesse c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 19/35 MACH: System-Aufruf für Unix Trampolin -Technik: Library kann selbst entscheiden, wie sie den SVC abarbeiten will c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 20/35

11 Verteiltes OS vs Netzwerk-OS Annahme: Netzwerk (dh hier nicht SMP) Verteiltes OS: (Mach, Chorus) die OS-Funktionalität selbst ist verteilt Illusion eines einzigen Computers (single login) Netzwerk-OS: jeder Rechner hat eigene Kopie des OS Login auf jeder Maschine nötig gemeinsames Dateisystem, Passwort-File etc anderer Name: Cluster c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 21/35 Virtualisierung Virtualisierung = Rahmen, in dem Rechenressourcen kombiniert oder geteilt werden, um ein einheitliches Bild von einer oder mehrerer Umgebungen zu geben Bsp: Time sharing Virtual memory (Partielle) Simulation, oder Emulation, einer CPU Allgemein: M reale Ressourcen auf N virtuelle Ressourcen abbilden c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 22/35

12 Anwendungen von Virtualisierung Verwaltung von Serverpools, Applikationspools Sandboxing (Isolation, kontrollierte Ausführungsumgebung) Entwicklung (virtuelle HW) Ersatz fehlender HW Debugging Softwaremigration (Mobilität) SW-Test, SW-Evaluation, SW-Qualitätskontrolle c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 23/35 Virtualisierungsansätze, -Ebenen (Vorschau) 1 ISA Ebene jeder CPU-Befehl wird interpretiert, oder übersetzt 2 Hardware Abstraction Layer (HAL) Ebene nur Teile der HW werden emuliert 3 OS Ebene virtuelle Supervisory Calls, parallele OS-Kerne 4 Library je nach Applikation wird ein anderes Subsystem angeboten 5 Applikation (Programmiersprache): Java c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 24/35

13 1) Virtualisierung auf ISA-Ebene Beispiele: Bochs (Intel x86 Emulator) ganze x86 CPU, aber auch VGA, Disk, Keyboard, portabel: läuft unter x86, PowerPC, Alpha, MIPS etc Crusoe-Chip (Transmeta) code morphing zur Laufzeit QEMU volle CPU Implementierungen (x86, ARM, PowerPC, Sparc) unterstützt selbst-modifizierenden Code simuliert auch Memory Management Unit c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 25/35 Virtualisierung Grundkonzepte VMM (Virtual Machine Monitor) ist zentrale Kontrollinstanz, wird auch Hypervisor genannt Host/Guest: Ev ist auch ein Host-OS vorhanden (Frage lautet: wessen Treiber werden verwendet?) c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 26/35

14 Beispiel VMware Beispiel für I/O-Virtualisierung: VMM hat keinen Zugriff auf I/O-HW! c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 27/35 I/O-Virtualisierung von VMware I/O wird in der Host-Welt durchgeführt Alle low-level-instruktionen, die von der Gastmaschine ausgeführt werden wollen, werden zu I/O-Systemaufrufen verwandelt (spezielle Treiber) Spezielle VM-Applikation führt den I/O aus Eigenschaften: Gast-OS wird nicht verändert Kontrolle über existierende I/O-Hardware, Vortäuschen nicht vorhandener I/O-Hardware c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 28/35

15 Paravirtualisierung Ansatz: I/O-Virtualisierung langsam, zweifache Treiber Deshalb Gast-OS verändern (!), nur teilweise Virtualisierung Applikationen benutzen ia weiterhin einen Supervisory Call, der vom Gast-OS verarbeitet wird Zusätzlich: Hypercall dies erlaubt, direkt das Host-OS anzusprechen Bedingt (a) Umschreiben der Applikationen, oder (b) Spezialinstruktionen im ISA Intel-VT (Vanderpool), AMD-V (Pacifica) c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 29/35 XEN etc Linux wird zum VMM gemacht XEN ein erfolgreiches Paravirtualisierungs-Projekt, von Citrix aufgekauft, weiterhin GPL-Version KVM kernel based virtual machine native virtualization (benötigt HW-support) keine ISA-Emulation - ev externe Progrmme Lguest Linux unter Linux und (sehr) viele mehr c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 30/35

16 3) Virtualisierung auf OS-Ebene Klassiker: chroot() UNIX-Systemaufruf chroot(char *path) Ersetzt im aufrufenden Programm das Root-Verzeichnis, dh Prozess sieht ab sofort nur noch einen Teilbaum (plus das aktuelle Verzeichnis) Kann für ein chroot-jail verwendet werden c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 31/35 chroot c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 32/35

17 4) Virtualisierung auf Library-Ebene Aufrufe an Libraries werden abgefangen (zb Ersatz-DLL), anderst implementiert Beispiele: WINE wickelt Windows-Aufrufe in einem Linuxprogramm ab muss alle (Windows NT) core DLL implementieren, plus WINE server andere DLLs können 1:1 eingesetzt werden WABI Windows Application Binary Interface ähnliche wie WINE, von Sun c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 33/35 5) Virtualisierung auf Applikations-Ebene Alte Tradition: fiktive Maschine, spezielle ISA p-code (frühe 70er-Jahre), eingesetzt beim Pascal-Compiler Z-machine (Zork-machine) für portable Adventure-Computerspiele, 1979 Java Parrot (Perl 6) NET CLI c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 34/35

18 Rootkits Angenommen, ein Virus kann eine Maschine befallen und könnte sich als unsichtbaren Hypervisor installieren Drama! Das (Haupt)-OS wird zu einer virtuellen (Gast-) Maschine, ohne es zu merken und je merken zu können Ca 2006: erste Demos unter dem Namen: SubVirt und Blue Pill (in Anlehnung an den Matrix-Film) Blue Pill -Frage: kann das gehostete Betriebssystem (Opfer) feststellen, ob es in einer virtuellen Umgebung läuft? Viel Polemik, abgesagte Demo Vollständiges Verstecken scheint sehr schwierig wegen Clockzähler bzw Bedarf an Zusatzzeit c Christian Tschudin CS201 Rechnerarchitektur und Betriebssysteme, , 35/35