Studienbücher Informatik. Reihe herausgegeben von W. Hower, Albstadt-Ebingen, Deutschland

Transkript

1 Studienbücher Informatik Reihe herausgegeben von W. Hower, Albstadt-Ebingen, Deutschland

2 Die Reihe Studienbücher Informatik wird herausgegeben von Prof. Dr. Walter Hower. Die Buchreihe behandelt anschaulich, systematisch und fachlich fundiert Themen innerhalb einer großen Bandbreite des Informatikstudiums (in Bachelor- und Masterstudiengängen an Universitäten und Hochschulen für Angewandte Wissenschaften), wie bspw. Rechner-Architektur, Betriebssysteme, Verteilte Systeme, Datenbanken, Software-Engineering, Interaktive Systeme, Multimedia, Internet-Technologie oder Sicherheit in Informations-Systemen, ebenso Grundlagen und Operations Research. Jeder Band zeichnet sich durch eine sorgfältige und moderne didaktische Konzeption aus und ist als Begleitlektüre zu Vorlesungen sowie zur gezielten Prüfungsvorbereitung gedacht. Weitere Bände in der Reihe

3 Markus Nebel Sebastian Wild Entwurf und Analyse von Algorithmen Eine Einführung in die Algorithmik mit Java 2., vollständig überarbeitete Auflage

4 Markus Nebel Universität Bielefeld Bielefeld, Deutschland Sebastian Wild University of Waterloo Waterloo, ON, Kanada ISSN ISSN (electronic) Studienbücher Informatik ISBN ISBN (ebook) Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar. Springer Vieweg Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2012, 2018 Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung des Verlags. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichenund Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Der Verlag, die Autoren und die Herausgeber gehen davon aus, dass die Angaben und Informationen in diesem Werk zum Zeitpunkt der Veröffentlichung vollständig und korrekt sind. Weder der Verlag noch die Autoren oder die Herausgeber übernehmen, ausdrücklich oder implizit, Gewähr für den Inhalt des Werkes, etwaige Fehler oder Äußerungen. Der Verlag bleibt im Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten und Institutionsadressen neutral. Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier Springer Vieweg ist ein Imprint der eingetragenen Gesellschaft Springer Fachmedien Wiesbaden GmbH und ist ein Teil von Springer Nature Die Anschrift der Gesellschaft ist: Abraham-Lincoln-Str. 46, Wiesbaden, Germany

5 Vorwort Vorwort zur 2. Auflage Die wesentliche Geschichte zur Entstehung dieses Buches habe ich bereits im Vorwort zur 1. Auflage erzählt. Seit deren Erscheinen im Jahr 2012 diente das Buch jährlich als Grundlage der gleichnamigen Vorlesung an der Technischen Universität Kaiserslautern. Über die Zeit erhielt ich so vielfältiges Feedback, einige Fehler wurden entdeckt, aber auch Wünsche an mich herangetragen. Insbesondere die Bitte nach der Verwendung von Java anstelle der an Pascal bzw. Modula-2 angelehnten Modell-Programmiersprache der ersten Auflage wurde immer lauter. Als ich im Jahr 2016 an die Universität Bielefeld wechselte und seitdem dort Algorithmen und Datenstrukturen bereits im ersten Semester parallel zur Programmierausbildung (unter anderem in Java) unterrichte, stand mein Entschluss fest: Sollte es eine zweite Auflage geben, so müsste diese entsprechend überarbeitet werden. Doch warum nicht einfach auf eines der vielen anderen Werke zurückgreifen, die entsprechende Inhalte im Kontext von Java diskutieren? Auch diese Frage habe ich mir vielfach gestellt und mit meinem damaligen Doktoranden Sebastian Wild diskutiert. Wir sind letztlich zu der Überzeugung gekommen, dass das vorliegende Werk einige Besonderheiten besitzt, auf die ich für meine eigene Lehre auch in Zukunft nicht verzichten möchte. So waren Herr Wild und ich uns letztlich einig, dass es die Mühe wert sei, das Buch komplett zu überarbeiten, und ich bin froh, dass er mich dabei als Koautor massiv unterstützt hat. Dabei haben wir neben der ursprünglich geplanten Übersetzung der Codebeispiele zu Java die Gelegenheit ergriffen, auch unzählige Detailpolituren vorzunehmen. Wir haben in der Überarbeitung den Charakter der ersten Auflage beibehalten: Wir präsentieren die Inhalte in einer induktiven Art und Weise, bei der wir ausgehend von einer ersten Lösungsidee, unter Verwendung von Beispielen Erkenntnisse über das behandelte algorithmische Problem erarbeiten, mit deren Hilfe wir dann zu einer verbesserten Lösung gelangen. Wir zeigen so auf, wie in der Praxis gute Algorithmen iterativ entstehen v

6 vi Vorwort können, anstatt eine fertige Lehrbuchlösung vom Himmel fallen zu lassen, bei der sich Studierende oft fragen, wie man denn auf diese selbst nur kommen soll. Für unsere Beschreibungen und Definitionen verwenden wir auch weiterhin viel mathematische Formelsprache. Die damit einhergehende Präzision ist ein großer Vorteil: sie beugt Missverständnissen vor, erlaubt formale Beweise und gestattet es nicht zuletzt dem Studierenden, sich am Formalisieren zu üben auch wenn und gerade weil das eine typische Hürde für Studienanfänger darstellt. Wo möglich, leiten wir in den Analysen exakte Ergebnisse her und geben nicht nur Schranken in asymptotischer Notation an. Die dafür teils notwendigen längeren Rechnungen werden in allen Details dargestellt und bleiben so einfach nachvollziehbar. Entsprechend legen wir auch die meisten Beweise in allen Details dar und begnügen uns nicht nur mit Skizzen. Insgesamt bietet das Buch so dem Studierenden eine Möglichkeit, entsprechende formale Konzepte zu erlernen. Dabei ist das natürlich kein Selbstzweck; es ist eine Kernkompetenz, die etwa bei der Arbeit an immer komplexeren Softwaresystemen für die präzise Spezifikation von Schnittstellen einen großen Gewinn darstellt. Aus praktischer Sicht unterscheidet sich der vorliegende Text darin von etlichen anderen Werken, dass meist ausführbarer Java- anstelle von Pseudocode benutzt wird, um die behandelten Algorithmen zu beschreiben. Die Breite der behandelten Inhalte ist unverändert geblieben, wenige Themen wie Approximation, randomisierte Algorithmen oder das Lineare Programmieren werden dabei mit dem Ziel kurz angerissen, einen Ausblick zu liefern, was die Algorithmik neben den hier vertieft behandelten Inhalten sonst noch zu bieten hat. Bei der Überarbeitung waren die Erfahrungen aus dem langjährigen Einsatz der ersten Auflage als Begleitbuch zur Vorlesung Entwurf und Analyse von Algorithmen an der TU Kaiserslautern unerlässlich. Unser Dank gilt allen Betreuern, Tutoren und Hörern der Vorlesung, die geholfen haben, Unklarheiten aufzudecken und Verbesserungsvorschläge zu dokumentieren; in besonderem Maße hat sich Raphael Reitzig um die Verbesserung der Vorlesung und dieses Buches verdient gemacht. Bielefeld im Dezember 2017 Waterloo im Dezember 2017 Markus E. Nebel Sebastian Wild

7 Vorwort Vorwort zur 1. Auflage vii Kenntnisse über effiziente Algorithmen und Datenstrukturen sind eine der zentralen Voraussetzungen für die Entwicklung leistungsfähiger Programme. Insofern ist es wichtig, für grundlegende Probleme der Informatik gute algorithmische Lösungen zu kennen und zu verstehen, wie diese zu Lösungen komplexerer Aufgaben kombiniert werden können. Entsprechend behandelt dieses Buch wie für Lehrbücher zu diesem Themenkomplex üblich eine Vielzahl bekannter Datenstrukturen und Algorithmen zu so elementaren Aufgaben wie das Sortieren von Daten, das Unterhalten eines Wörterbuchs und viele mehr. Doch nicht für alle Probleme, denen wir in unserer beruflichen oder akademischen Praxis begegnen, gelingt eine Lösung nur aus bereits bekannten Bausteinen; in diesem Fall ist der Weg zu einem Algorithmus deutlich steiniger. Über die Jahre haben sich jedoch verschiedene Herangehensweisen Entwurfsmethoden genannt bewährt, mit deren Hilfe die Auseinandersetzung mit einem neuen Problem strukturiert und entlang vorgezeichneter Pfade erfolgen kann. Auch solche Konzepte werden wir behandeln. Mit diesem Standardinhalt themenverwandter Werke wäre der im Titel genannte Entwurf von Algorithmen abgedeckt. Doch in diesem Buch wollen wir weitergehen, und dies aus gutem Grund. Stehen uns verschiedene Algorithmen (und/oder Datenstrukturen) zur Lösung desselben Problems zur Verfügung und das ist eigentlich der Regelfall für welchen sollen wir uns entscheiden? Sie werden mir sofort begegnen Natürlich für den Besten, doch genau da fängt die Crux an, denn es ist keinesfalls offensichtlich, wie wir die Güte einer Lösung bewerten sollen. Aus diesem Grunde ist ein zweiter, wesentlicher Aspekt der Abhandlung in diesem Buch die Analyse von Algorithmen und Datenstrukturen und die dafür notwendigen mathematischen Methoden. Die dabei erzielen Ergebnisse gestatten es uns nicht nur, verschiedene Algorithmen miteinander zu vergleichen, sie liefern uns auch Einsichten, warum bestimmte Lösungen nicht besser sein können als sie es sind und zeigen uns auf, welche Änderungen am Algorithmus notwendig werden, um seine Leistungsfähigkeit zu steigern. Bei all diesen Betrachtungen findet der sog. Average-Case, d.h. eine Betrachtung der gemittelten Kosten unter Annahme einer möglichst realistischen Verteilung der Eingaben, in diesem Buch besondere Berücksichtigung. Dies trägt dem Umstand Rechnung, dass die üblicherweise für den Vergleich von Algorithmen herangezogene Betrachtung des schlechtesten Falls (Worst-Case) aus Sicht der praktischen Anwendung oft ein verzerrtes Bild zeichnet, da er meist höchst unwahrscheinlich ist und in der Praxis entsprechend kaum vorkommt. Bei alledem lassen wir Details der Implementierung nicht außer Acht, denn auch diese können für die Effizienz und damit für unsere Analyse wesentlich sein. Entsprechend präsentieren wir neben den genannten theoretischen Betrachtungen meist auch eine ausformulierte Implementierung der Algorithmen und Datenstrukturen. An diesem Punkt könnte man eigentlich zufrieden sein, wäre da nicht ein Dorn im Auge der Informatik: Nicht für alle Probleme existieren effiziente

8 viii Vorwort Lösungen, ja es ist sogar möglich, dass wir einem Problem begegnen, für das ein Computer gar nicht in der Lage ist, eine Lösung zu berechnen, unabhängig davon, wie viele Ressourcen (Zeit, Platz) wir ihm dafür zur Verfügung stellen. Für den studierten Informatiker ist es wichtig, sich der Existenz solcher Situationen bewusst zu sein und entsprechende Probleme zu erkennen. Deshalb rekapitulieren wir essentielle Erkenntnisse aus dem Bereich der Algorithmentheorie (eine weiterführende Betrachtung würde den Rahmen sprengen und ist Gegenstand unseres Lehrbuchs Formale Grundlagen der Programmierung [20]), und behandeln ausführlich das Thema der sog. NP-Vollständigkeit. Letzteres ist ein Konzept der theoretischen Informatik, das Einsichten in die Welt der (vermutlich) nicht effizient lösbaren Probleme liefert. Wir beschließen das Buch mit einer Betrachtung verschiedener Methoden, mit deren Hilfe wir versuchen können, uns solchen Problemen dennoch zu stellen. * * * Dieses Werk ist über viele Jahre gewachsen und hat seinen Ursprung in der Vorlesung Theoretische Informatik 1, die ich im Wintersemester 2003/2004 an der Universität Frankfurt gehalten habe. Damals konnte ich die entsprechenden Vorlesungs-Skripte von Prof. Dr. Rainer Kemp sowie von Prof. Dr. Georg Schnitger und Maik Weinard als Vorlagen verwenden und deren Inhalte nach meinen Vorstellungen ergänzen und kombinieren. Seit meinem Wechsel an die Technische Universität Kaiserslautern im Jahr 2005 halte ich dort regelmäßig die inhaltlich verwandte Vorlesung Entwurf und Analyse von Algorithmen. Entsprechend entwickelte ich das Material weiter und Inhalte wie die String-Algorithmen und die Komplexitätstheorie wurden ergänzt. Die zahlreichen und durchweg positiven Rückmeldungen meiner Studentinnen und Studenten zum letztlich so entstanden Manuskript haben mich schließlich dazu bewogen, das Ganze nach einer erneuten Überarbeitung als Buch zu veröffentlichen. Herausgekommen ist ein Werk, das im Umfang sicher die in einer einzelnen Vorlesung vermittelbare Stoffmenge übersteigt. Es ist jedoch einfach möglich, eine sinnvolle Stoffauswahl zu treffen und dabei unterschiedliche, der Hörerschaft angepasste Akzente zu setzen. Alle Kapitel sowie die zugehörigen Aufgaben sind dabei so gehalten, dass sie im Bachelor-Bereich unterrichtet werden können. Auch kann das gesamte Werk problemlos für ein autodidaktisches Studium herangezogen werden und interessierte Studierende können so die in einer Vorlesung nicht behandelten Kapitel oder Sektionen eigenständig erarbeiten. Selbstverständlich hatte ich auch Unterstützung bei der Erstellung dieses Buches, und ich möchte nicht versäumen, den beteiligten Personen (in chronologischer Reihenfolge ihrer Beiträge) zu danken. Es sind dies mein Lehrer und Mentor Prof. Dr. Rainer Kemp, der inzwischen leider verstorben ist, sowie Prof. Dr. Georg Schnitger, denen ich für die Unterstützung bei der Erstellung der Urform dieses Werkes sowie letztgenanntem für der Überlassung mancher Materialien danke. Herrn Uli Laube gilt mein Dank für die Erzeugung verschiedener Grafiken. Frank Weinberg und Hannah Fudeus trugen während der

9 Vorwort ix Betreuung meiner Vorlesungen in Kaiserslautern dazu bei, manchen Fehler zu entdecken und ersannen Übungsaufgaben zu dem Stoff. Als letztes möchte ich Herrn Prof. Dr. Walter Hower danken, der als Herausgeber dieser Reihe die fast finale Form des Buches Korrektur las. Allen Studenten wünsche ich viel Vergnügen beim Studium dieses Werkes, den notwendigen Fleiß, um den behandelten Stoff zu vertiefen, und letztlich viel Freude an den dabei gewonnenen Erkenntnissen und ihrer Anwendung. Allen Dozenten wünsche ich, dass ihnen das vorliegende Buch eine Hilfe dabei sein möge, den spannenden Stoff zum Entwurf und der Analyse von Algorithmen zu unterrichten, und letztlich dieselbe Freude die ich verspüre, wenn ihn meine Studentinnen und Studenten schließlich verinnerlicht haben. Kaiserslautern im April 2012 Markus E. Nebel

10 Inhaltsverzeichnis 1 Einleitung Ziele und Überblick Algorithmentheorie eine kurze Einführung Grundlagen der Analyse von Algorithmen Grundlagen aus der Stochastik Erzeugendenfunktionen Kostenmaße für Laufzeit Asymptotische Notationen Amortisierte Kosten Rekursion Beispiel für Algorithmenentwurf: Subarrays mit maximaler Summe Naiver Algorithmus Optimierung: Teilsummen wiederverwerten Ein subquadratisches Verfahren Eine untere Schranke Ein optimaler Algorithmus Abstrakte Datentypen Beispiel: Felder (Arrays) Sequentielle Repräsentation mehrdimensionaler Arrays Dreiecksmatrizen Nicht-konsekutive Speicherung Quellenangaben und Literaturhinweise Aufgaben Elementare Datenstrukturen Lineare Listen Abgeleitete Operationen Sequentielle Repräsentation Linearer Listen Verkettete Repräsentation Linearer Listen Doppelt verkettete Lineare Listen Vergleich von sequentieller und verketteter Repräsentation Anwendung 1: Speicherverwaltung selbstgemacht Anwendung 2: Dünn besetzte Matrizen xi

11 xii INHALTSVERZEICHNIS 2.2 Stacks und Queues Stacks Queues Anwendung: Topologisches Sortieren Mengen Bit-Vektor-Repräsentation Sortierte-Listen-Repräsentation Graphen und Bäume: Definitionen Ungerichtete Graphen Gerichtete Graphen Gewichtete Graphen Bäume Ungerichtete Bäume Binäre Bäume Datenstrukturen für Graphen Inzidenzmatrix Adjazenzmatrix Adjazenzlisten Datenstrukturen für Bäume Repräsentation durch Vater-Array Vater-Zeiger Sohn-Listen Mehrfache Verkettung Kind-Geschwister-Darstellung Traversieren von Bäumen Inorder in binären Bäumen Berechnung von In-, Pre- und Postorder Analyse Gefädelte Darstellung Partitionen Einfach verkettete Listen: Schnelles Find Baumdarstellung: Schnelles Union Quellenangaben und Literaturhinweise Aufgaben Das Wörterbuchproblem Konventionen für die Implementierungen Ordnungs- und Äquivalenzrelationen in Java Wörterbuch-ADT in Java Primitive Implementierungen Binäre Suchbäume Einfügen Löschen Analyse der Suchzeit in binären Suchbäumen Einsatz als geordnetes Wörterbuch

12 INHALTSVERZEICHNIS xiii 3.4 Balancierte Bäume Höhenbalancierte Bäume Einschub: Lineare Rekursionsgleichungen Analyse höhenbalancierter Suchbäume AVL-Bäume Splay-Trees B-Bäume Gewichtsbalancierte Suchbäume Digitale Suchbäume und Tries Hashing Hash-Funktionen Kollisionsbeseitigung Wörterbuch mit Indirect Chaining Wörterbuch mit offenem Hashverfahren Analyse des Linear Probing Analyse des Indirect Chaining Universelles Hashing Datenstrukturen für das Information Retrieval Quellenangaben und Literaturhinweise Aufgaben Sortieren Konventionen für die Implementierungen Primitive Sortier-Algorithmen Bubble-Sort Insertion-Sort Selection-Sort Analyse der primitiven Sortierverfahren Perspektive primitiver Verfahren Shell-Sort Untere Schranke für vergleichsbasiertes Sortieren Quicksort Analyse von Quicksort Das Auswahlproblem Bessere Pivots Insertion-Sort für kleine Teilprobleme Logarithmisch beschränkter Stack Quickselect Heapsort Binäre Heaps Analyse von Heapsort Priority-Queues Binäre Heaps als Priority-Queue Mergesort Wege-Mergesort

13 xiv INHALTSVERZEICHNIS Analyse von 2-Wege-Mergesort Merge mit kleinerem Puffer Direkter 2-Wege-Mergesort Natürlicher Mergesort Externes Sortieren Sortieren ohne Schlüsselvergleiche Distribution Counting Radix-Exchange Radixsort Sortiernetzwerke Primitive Sortierverfahren als Netzwerk Odd-Even-Merge Sortiernetzwerke Quellenangaben und Literaturhinweise Aufgaben Graph-Algorithmen Konventionen für die Implementierungen Traversieren von Graphen Tiefensuche Tiefensuche in gerichteten Graphen Breitensuche Tiefensuche ohne Rekursion Kürzeste Wege Dijkstras Algorithmus Implementierung mit Arrays Dijkstras Algorithmus mit Priority Queues Kürzeste Wege zwischen allen Knotenpaaren Negative Kantengewichte Minimale Spannbäume Kruskals Algorithmus Korrektheitsbeweis von Kruskals Algorithmus Laufzeitanalyse von Kruskals Algorithmus Prims Algorithmus Quellenangaben und Literaturhinweise Aufgaben String-Algorithmen Notation und Konventionen für die Implementierungen Allgemeine Notation für Strings Alphabete Problemgrößen String-Matching Brute-Force Algorithmus String-Matching mit endlichen Automaten Der Knuth-Morris-Pratt-Algorithmus (KMP)

14 INHALTSVERZEICHNIS xv Vergleich der mittleren Laufzeit von KMP und dem naiven Algorithmus Der Boyer-Moore-Algorithmus Weitere Verfahren Suffix-Bäume Tries und einfache Suffix-Bäume String-Matching mit Suffix-Baum Patricia-Tries und Kompakte Suffix-Bäume Ukkonen-Algorithmus Anwendungen Quellenangaben und Literaturhinweise Aufgaben Entwurfsmethoden für Algorithmen Brute Force Stumpfes Durchprobieren Induktion Subarrays mit maximaler Teilsumme Weitere Beispiele Divide and Conquer Multiplikation zweier n-bit-zahlen Multiplikation zweier Matrizen Dynamisches Programmieren Auswertungsreihenfolge von Matrixproduktketten Baseline: Brute-Force Ansatz Mit Teilproblemen und lokalem Brute-Force zur Rekursionsgleichung Memoization Bottom-Up Table-Filling Backtracing Retrospektive Greedy-Algorithmen Die Algorithmen von Prim und Kruskal Huffman-Codes Das Binpacking-Problem Matroide Lineares Programmieren Beispiel: Optimale Produktion Maximale Matchings als lineares Programm Transformationen Die diskrete Fourier-Transformation und ihre Inverse Die schnelle Fourier-Transformation Die schnelle Fourier-Transformation mit Bit-Operationen Produkte von Polynomen Der Schönhage-Strassen-Algorithmus Quellenangaben und Literaturhinweise

15 xvi INHALTSVERZEICHNIS 7.9 Aufgaben Komplexitätstheorie Formales Berechnungsmodell: Turing-Maschinen NP-Vollständigkeit Verifizierer und Zertifikate: P und NP ohne Turingmaschinen Nein-Zertifikate und co-np VP und NP Wichtige NP-vollständige Probleme Quellenangaben und Literaturhinweise Aufgaben Entwurfsmethoden für schwere Optimierungsprobleme Formales Modell Backtracking und Branch & Bound Backtracking Branch & Bound Beispiel: Ein Branch & Bound-Algorithmus für TSP Approximations-Algorithmen und Heuristiken Online-Algorithmen Das Paging-Problem Multiprozessor-Scheduling Randomisierte Algorithmen Probability Amplification Ein randomisierter Primzahltest Monte-Carlo Methode zur Bestimmung von π Quellenangaben und Literaturhinweise Aufgaben Anhang 523 Notationsverzeichnis 525 Formelsammlung 529 B.1 Binomialkoeffizienten B.2 Reihen Sachverzeichnis 533 Literaturverzeichnis 541