Linux-Kernel- Handbuch Leitfaden zu Design und Implementierung von Kernel 2.6

Transkript

1 Robert Love Linux-Kernel- Handbuch Leitfaden zu Design und Implementierung von Kernel 2.6 Übersetzt von Erik Keller An imprint of Pearson Education München Boston San Francisco Harlow, England Don Mills, Ontario Sydney Mexico City Madrid Amsterdam

2 Inhaltsverzeichnis Vorwort Einleitung Vorstellung des Linux-Kernels Und dann kam Linus: Eine Einführung in Linux Ein Überblick über Betriebssysteme und Kernel Linux versus klassische Unix-Kernel Linux-Kernel-Versionen Die Linux Kernel Development Community (Linux-Kernel-Entwicklergemeinschaft) Bevor wir anfangen Der Einstieg in den Kernel Wie bekommt man die Kernel-Sourcen? Installation der Kernel-Sourcen Verwendung von Patches Der Kernel-Source-Tree Kompilieren des Kernels Begrenzen der Meldungen Kompilieren auf Mehrprozessor-Systemen Installation des Kernels Eine ungewöhnliche Lebensform Keine libc GNU C Keine Memory Protection Keine (einfache) Benutzung von Floating-Point-Routinen Ein kleiner Stack mit fester Größe Synchronisation und Concurrency (Gleichzeitigkeit) Portabilität ist wichtig Da wären wir nun... 52

3 Inhaltsverzeichnis 3 Prozessmanagement Der Prozessdeskriptor und die Task-Struktur Belegen des Prozessdeskriptors Speicherung des Prozessdeskriptors Prozess-Status Bearbeitung des aktuellen Prozess-Status Der Prozesskontext Der Prozess-Stammbaum Erzeugen eines Prozesses Copy-on-write fork() vfork() Die Linux-Implementierung von Threads Kernel-Threads Beenden von Prozessen Die Entfernung des Prozessdeskriptors Das Dilemma der»elternlosen«tasks Zusammenfassung Prozesse Prozess-Scheduling Policy I/O-bound versus prozessorgebundene Prozesse Prozesspriorität Timeslice Prozess-Preemption Die Scheduling-Policy in Aktion Der Linux-Scheduling-Algorithmus Runqueues Die Priority-Arrays Neuberechnung der Timeslices schedule() Berechnung von Priorität und Timeslice

4 Inhaltsverzeichnis Sleeping und Waking Up Der Load-Balancer Preemption und Context-Switching User-Preemption Kernel-Preemption Realtime Systemcalls des Schedulers Scheduling-Policy und priority-related (prioritätsbezogene) Systemcalls Processor Affinity Systemcalls (Systemcalls zur Prozessoraffinität) Prozessorzeit freigeben Zusammenfassung Scheduler Systemcalls APIs, POSIX und die C-Library Syscalls Systemcall-Nummern Systemcall-Performance Systemcall-Handler Angabe des gewünschten Systemcalls Parameterübergabe Systemcall-Implementierung Überprüfung der Parameter Systemcall-Kontext Abschließende Schritte beim Binding eines Systemcalls Zugriff auf den Systemcall aus dem Userspace Warum kein Systemcall implementiert werden sollte Zusammenfassung Systemcalls Interrupts und Interrupt-Handler Interrupts Interrupt-Handler

5 Inhaltsverzeichnis Top-Halves vs. Bottom-Halves Registrieren eines Interrupt-Handlers Freigabe eines Interrupt-Handlers Schreiben eines Interrupt-Handlers Shared-Handler Ein»echter«Interrupt-Handler Interrupt-Kontext Implementierung des Interrupt-Handlings /proc/interrupts Kontrolle von Interrupts Aktivieren und Deaktivieren von Interrupts Deaktivieren eines bestimmten Interrupts Status des Interrupt-Systems Unterbrechen Sie mich nicht, wir haben s gleich! Bottom-Halves und das Zurückstellen der Arbeit Bottom-Halves Warum Bottom-Halves? Eine Welt voller Bottom-Halves Softirqs Implementierung von Softirqs Benutzung von Softirqs Tasklets Implementierung von Tasklets Benutzung von Tasklets ksoftirqd Der alte BH-Mechanismus Work-Queues Implementierung von Work-Queues Benutzung von Work-Queues Der alte Task-Queue-Mechanismus Welchen Bottom-Half sollte ich benutzen?

6 Inhaltsverzeichnis 7.6 Locking zwischen Bottom-Halves Deaktivierung von Bottom-Halves The Bottom of Bottom Halve Processing (Zusammenfassung Bottom-Halves) Einführung in die Kernel-Synchronisierung Critical Regions und Race-Conditions Warum brauchen wir den Schutz? Locking Was bewirkt Concurrency (Gleichzeitigkeit)? Woher weiß ich, was geschützt werden sollte? Deadlocks Contention (Auseinandersetzung) und Skalierbarkeit Locking und Ihr Code Methoden der Kernel-Synchronisierung Atomare Operationen Atomare Integer-Operationen Atomare Bit-Operationen Spin-Locks Andere Spin-Lock-Methoden Spin-Locks und Bottom-Halves Reader-Writer-Spin-Locks Semaphore Erzeugen und Initialisieren von Semaphoren Benutzung von Semaphoren Reader-Writer-Semaphore Spin-Locks vs. Semaphore Completion-Variablen BKL: Der Big Kernel Lock Seq-Locks Preemption Disabling (Deaktivierung der Preemption)

7 Inhaltsverzeichnis 9.10 Ordering und Barriers Zusammenfassung Synchronisation Timer und Time-Management Was der Kernel unter Zeit versteht Die Tick-Rate: HZ Der optimale HZ-Wert Jiffies Die interne Darstellung von Jiffies Jiffies-Wraparound User-Space und HZ Hardware-Clocks und Timer Real-Time-Clock System-Timer Der Timer-Interrupt-Handler Time of Day (aktuelle Uhrzeit) Timer Benutzung von Timern Timer-Race-Conditions Die Timer-Implementierung Die Ausführung verzögern Busy Looping Small Delays (Kurze Verzögerungen) schedule_timeout() Zusammenfassung Timer Memory-Management (Speicherverwaltung) Pages Zones Pages belegen Zeroed Pages belegen Pages freigeben

8 Inhaltsverzeichnis 11.4 kmalloc() gfp_mask-flags kfree() vmalloc() Slab-Layer Das Design des Slab-Layers Das Slab-Allocator-Interface Beispiel für die Benutzung des Slab-Allocators Statische Belegung auf dem Stack Wie man sich fair auf dem Stack verhält High-Memory-Mappings Permanente Mappings Temporäre Mappings Per-CPU-Allocations Das neue percpu-interface Pro-CPU-Daten während des Compiler-Laufs Pro-CPU-Daten zur Laufzeit Gründe dafür, Pro-CPU-Daten zu verwenden Welche Allocation-Methode sollte ich benutzen? Das virtuelle File-System (VFS) Common Filesystem Interface (allgemeines Filesystem-Interface) Filesystem-Abstraction-Layer (Filesystem-Abstraktionsschicht) Unix-Filesysteme VFS-Objekte und ihre Datenstrukturen Andere VFS-Objekte Das Superblock-Objekt Superblock-Operationen Das Inode-Objekt Inode-Operationen

9 Inhaltsverzeichnis 12.7 Das Dentry-Objekt Dentry-Status Der Dentry-Cache Dentry-Operationen Das File-Objekt File-Operationen Datenstrukturen im Zusammenhang mit File-Systemen Datenstrukturen im Zusammenhang mit Prozessen File-Systeme in Linux Der Block-I/O-Layer Anatomie eines Block-Device Buffer und Buffer-Heads Die bio-struktur Alt gegen neu Request-Queues Requests (Anforderungen) I/O-Schedulers Die Aufgaben eines I/O-Schedulers Der Linus-Elevator Der Deadline-I/O-Scheduler Der Anticipatory-I/O-Scheduler Der Complete-Fair-Queueing-I/O-Scheduler Der Noop-I/O-Scheduler Auswahl des I/O-Schedulers Zusammenfassung Der Process Address Space (Prozess-Adressraum) Der Memory-Deskriptor (Speicherdeskriptor) Belegen (Allocating) eines Memory-Deskriptors Freigeben (Destroying) eines Memory-Deskriptors Die mm_struct und Kernel-Threads

10 Inhaltsverzeichnis 14.2 Memory-Areas (Speicherbereiche) VMA-Flags VMA-Operationen Listen und Trees der Memory-Areas Memory-Areas im wirklichen Leben Manipulation von Memory-Areas find_vma() find_vma_prev() find_vma_intersection() mmap() und do_mmap(): Erzeugen eines Adressbereichs Der mmap()-systemcall munmap() und do_munmap(): Entfernen eines Adressbereichs Der munmap()-systemcall Page-Tables (Paging-Tabellen) Schlussfolgerungen Der Page-Cache und Page-Writeback Page-Cache Das address_space-objekt Radix-Tree Die alte Page-Hash-Table Der Buffer-Cache Der pdflush-daemon (Hintergrundprozess) Laptop-Mode bdflush und kupdated Vermeidung von Drängeleien: Warum wir mit mehreren Threads arbeiten Zusammenfassung Module Hello World!

11 Inhaltsverzeichnis 16.2 Erzeugen von Modulen Innerhalb des Source-Trees Externes Erzeugen Installation von Modulen Erzeugen der Module Dependencies (Modul-Abhängigkeiten) Module laden Verwaltung der Konfigurationsoptionen Modul-Parameter Exportierte Symbole Zusammenfassung Module kobjects und sysfs kobjects ktypes ksets Subsysteme Struktur-Durcheinander Verwaltung und Manipulation von kobjects Reference-Counts (Referenzzähler) krefs sysfs Hinzufügen und Entfernen von kobjects aus dem sysfs Dateien zum sysfs hinzufügen Der Kernel Events Layer kobjects und sysfs kurz und bündig Debugging Was Sie für den Anfang brauchen Bugs im Kernel printk() printk() ist stabil! Loglevel

12 Inhaltsverzeichnis Der Log-Buffer syslogd und klogd Eine Bemerkung zu printk und Kernel-Hacking Oops ksymoops kallsyms Kernel-Debugging-Optionen Atomicity Debugging Bestätigen von Bugs und Ausgabe (Dump) von Informationen Die magische SysRq-Taste Die Legende vom Kernel-Debugger gdb kgdb kdb Im System herumstochern Eine UID als Conditional (Bedingung) verwenden Condition-Variablen verwenden Statistiken verwenden Rate-Limiting beim Debuggen Binäre Suche, um die verantwortliche Änderung zu finden Wenn alle Stricke reißen: Die Community Portabilität Die Geschichte der Portabilität in Linux Word-Größe und Datentypen Opake Typen Special Types Explicitly Sized Types (Datentypen mit festgelegter Größe) Signedness von Chars (Chars mit Vorzeichen) Data-Alignment (Anordnung der Daten)

13 Inhaltsverzeichnis Vermeidung von Data-Alignment-Problemen Alignment von Nicht-Standard-Typen Struktur-Padding Byte-Order (Byte-Reihenfolge) Die Geschichte von Big- und Little Endian Byte-Ordering im Kernel Time (Zeitangaben) Page-Size Prozessor-Ordering SMP, Kernel-Preemption und High-Memory Portabilität macht Spaß Patches, Hacking und die Community Die Community Der Linux Coding Style Indention (Einrückungen) Braces (Klammern) Line Size (Zeilenlänge) Naming (Benennung) Functions (Funktionen) Comments (Kommentare) Typedefs Benutzung von schon Vorhandenem Keine ifdefs im Sourcecode Structure Initializers Säubern von Code Chain of command (Wer ist für was zuständig?) Submitting Bug Reports (Bug-Reports einreichen) Generating Patches (Erzeugen von Patches) Submitting Patches (Patches einreichen) Zum Schluss

14 Inhaltsverzeichnis A Linked-Lists A.1 Circular-Linked-Lists A.1.1 Wie man sich durch eine Linked-List bewegt A.2 Die Implementierung im Linux-Kernel A.2.1 Die Linked-List-Struktur A.3 Manipulation von Linked-Lists A.4 Linked-Lists durchlaufen B Der Kernel-Zufallszahlen-Generator B.1 Design und Implementierung B.1.1 Das Dilemma des System-Startups B.2 Schnittstellen, um Entropie zu erzeugen B.3 Schnittstellen zur Entropie-Ausgabe C Algorithmische Komplexität C.1 Algorithmen C.2 Die Big-O-Notation C.3 Big-Theta-Notation C.4 Wie alles zusammengehört C.5 Die Gefahr beim Optimieren Literaturverzeichnis Stichwortverzeichnis Über den Autor