Online-Algorithmen: Einführung

Transkript

1 Online-lgorithmen: Einführung rne Priewe Seminar Online-lgorithmen im SS 98 Leitung: Prof Dr Torben Hagerup

2 blauf Definitionen und Beispiele für Online- lgorithmen, Kompetitivitätsfaktor und amortisierte nalyse Selbstanordnende Listen: amortisierte nalyse für MF Paging: amortisierte nalyse für LRU Diskussion

3 Online-lgorithmen werden im Kontext von Optimierungsproblemen definiert Bei Optimierungsproblemen ist eine Menge von Eingaben I und eine Menge von usgaben O gegeben und für jedes gegebene I I soll eine usgabe O O berechnet werden Jedem Tupel ( I, O) ist ein Wert zugeordnet, der die damit verbundenen Kosten (bzw den Profit) beschreibt Das Ziel ist es, die Kosten zu minimieren (bzw den Profit zu maximieren) Def Online-lgorithmen Geg: Sequenz von Eingaben i = i i 2 i n Online-lgorithmus: muß zu jeder Eingabe i m sofort eine usgabe om, m [ : n] Ergebnis: Sequenz von usgaben o = o o 2 o n berechnen 2 Def optimale Offline-Kosten Die optimalen Offline-Kosten sind die Kosten der bestmöglichen usgabe für jede Eingabesequenz: Cost OPT inf{ Cost ( ) B i } B Cost B ( i ) bezeichnet die Kosten, die der lgorithmus B erzeugt, um eine usgabe zu der Eingabesequenz i zu liefern Seite

4 3 Def Kompetitivitätsfaktor Ein lgorithmus ON ist c-kompetitiv, wenn eine Konstante a 0 existiert, so daß für jede Eingabesequenz i gilt: Cost ON ( i) c Cost ( i) + a OPT Wenn a = 0 ist, dann ist der Online-lgorithmus strikt c-kompetitiv nmerkung Dies ist äquivalent zu der ussage a 0: i DV Cost ( i) c DV ( i) + a OBL ON OBL wobei DV OBL für einen Gegner steht, der versucht c zu maximieren, wogegen der Online-lgorithmus versucht, c zu minimieren Der Gegner ist ein Offline-lgorithmus und versucht dies, indem er Eingabefolgen wählt, die zu möglichst hohen Kosten führen, wobei er die Entscheidungen und usgaben des Online-lgorithmus bei seiner Wahl nicht berücksichtigt (engl: oblivious adversary) Diese Sichtweise ist insbesondere bei der Bewertung von randomisierten lgorithmen nützlich, wobei für diesen Zweck noch weitere Gegnertypen (adaptive online adversary, adaptive offline adversary) definiert werden, die in ihrer Mächtigkeit eine Hierarchie bilden Seite 2

5 3 Bsp: Mieten vs Kaufen Für ein Projekt muß eine spezielle Software benutzt werden Entweder kann diese zu einem Tagessatz gemietet oder für einen einmaligen Betrag gekauft werden (der selbstverständlich höher ist als die Miete pro Tag) Der Projektleiter weiß nicht, wie lange diese Software benötigt wird und muß deshalb jeden Tag aufs Neue entscheiden, ob er sie weiter mietet oder endgültig kauft Seien T die nzahl der gemieteten Tage zu je einem Tagessatz und B die Kosten für den Kaufbetrag in Tagessätzen Der optimale Offline-lgorithmus ist, die Software am ersten Tag zu kaufen, wenn B mieten Dann ist ( B T ) Cost min, OPT = < T ist, bzw sie andernfalls zu Ein allgemeiner Online-lgorithmus mietet die Software für i Tage und kauft sie, wenn T Cost ON = T, wenn T i i + B, wenn T > i > i Seite 3

6 Satz : Der optimale Online-lgorithmus ist mit i hat einen Kompetitivitätsfaktor c = 2 B = B gegeben und Bew: Zunächst berechnen wir den Kompetitivitätsfaktor: 2B Cost Cost Cost = 2 B B ON OPT OPT Bleibt zu zeigen, daß i Fall: Sei i < B Der Gegner wählt dann T = B den bestmöglichen Kompetitivitätsfaktor ergibt: = i +, weil dies der Worst-case für den Online-lgorithmus ist: Cost ON i + B i = = + B > Cost min, i + OPT ( i + B) i + i + = 2 > 2 i + i + B Fall: Sei i > B Wieder wählt der Gegner T = i +: Cost ON i + B = Cost min, OPT ( i + B) i = + B > B B + B B = 2 B Seite 4

7 4 Def mortisierte nalyse mortisierte nalyse: bschätzen der durchschnittlichen Kosten pro Operation für eine beliebige Folge von Operationen Versucht zu berücksichtigen, daß sich Investitionen in teure Operationen über den Gesamtverlauf amortisieren können Ziel: Realistischere bschätzung als mit einer klassischen Worst-case-nalyse, bzw robustere als verage-case-nalyse Für einen lgorithmus mit einer Sequenz von Operationen o o 2 o n gilt: ( i ) Worst-case-Kosten: wc ( o ) =max Cost Gesamtkosten: tc ( o ) i i = Cost i mortisierte Kosten: ac tc = n Seite 5

8 4 Bsp: Mieten vs Kaufen Für den im vorherigen Beispiel unter Satz vorgestellten optimalen Online-lgorithmus gilt dann: wc ON = 2 B tc ON T, wenn T B = 2B, wenn T > B ac ON, wenn T B = 2B 2B < = 2 +, wenn T > B T B B Seite 6

9 5 Oft benutzte Beweistechniken in der amortisierten nalyse 5 Bankkonto-Paradigma Idee: Für den lgorithmus wird ein Konto geführt, das anfangs leer ist Jede Operation hat einen festen Betrag von a DM zur Verfügung Wenn die Operation weniger kostet als dieser Betrag, so wird der Rest auf dem Konto gutgeschrieben Für Operationen, die mehr kosten, wird dementsprechend der fehlende Betrag vom Konto abgezogen Wenn das Konto nie negativ wird, dann ist a eine obere Grenze für die amortisierten Kosten 52 Potentialfunktion Idee: Jede Operation bringt ein gewisses Maß an Energie mit Diese wird als potentielle Energie des Gesamtsystems gespeichert und dann ausgenutzt, wenn Operationen mehr Energie verbrauchen als sie in das System einbringen Das Potential mißt dann die Fähigkeit, spätere Verzögerungen zu verursachen Formal definieren wir dazu eine Potentialfunktion Φ, die die jeweilige Konfiguration zu einer Operation auf eine reelle Zahl abbildet Weiterhin definieren wir die amortisierten Kosten einer Operation als die Summe der tatsächlichen Kosten dieser Operation plus der Erhöhung Φ des Potentials, die durch diese verursacht wurde Seite 7

10 Gegeben sei eine Sequenz von n Operationen o o 2 o n Für die Operation om, m [: n] direkt nach der usführung von o m lso ist a seien die tatsächlichen Kosten t m, die amortisierten Kosten a m und Φ m das Potential m = tm + Φ mit Φ= Φ Φ m m ußerdem sei Φ 0 das initiale Potential direkt vor der usführung von o (dh der ersten Operation) Dann gilt nach der Definition der amortisierten Kosten: n n ( ) a = t + Φ Φ = Φ Φ + t m m m m n 0 m m= m= m= Meistens werden Potentialfunktionen so gewählt, daß Φ Dann folgt: Φ n n Φ 0 0 und damit gilt: tm a n n m= m= m Φ m 0 () ist für alle m n und daß Φ 0 = 0 ist lso sind die tatsächlichen Gesamtkosten nicht größer als die totalen amortisierten Kosten Um zu beweisen, daß a m nach oben begrenzt ist, können wir zeigen, daß t Weiterhin folgt aus () direkt: t = Φ Φ + a n m 0 n m= m= n m (2) m a m Φ gilt Damit können wir dann die gesamten tatsächlichen Kosten zur usführung der Sequenz mit n Operationen nach oben abschätzen, wenn wir Φ 0 und Φ n kennen Seite 8

11 2 Selbstanordnende Listen Es soll eine Menge von Elementen verwaltet werden, denen jeweils ein eindeutiger Schlüssel zugeordnet ist (engl: dictionary problem) Dabei müssen folgende Operationen unterstützt werden: access(x): Suche das Element mit dem Schlüssel x aus der Menge heraus (Zugriff auf x) insert(x): Füge das Element mit dem Schlüssel x in die Menge ein delete(x): Lösche das Element mit Schlüssel x aus der Menge Eine einfache Datenstruktur, um dieses Problem zu lösen, ist die Liste Wir beschränken unsere Betrachtungen auf die Operation access(x) Zusätzlich lassen wir als Operationen paarweise Vertauschungen zu, durch die Elemente in der Liste an eine andere Position bewegt werden können Seite 9

12 2 Kostenmodell Wir definieren folgende Kosten: Zugriff auf das Element x, das an der i -ten Stelle der Liste steht, kostet i Direkt nach dem Zugriff auf das Element x kann dieses kostenfrei zu jeder Position näher an den Listenanfang bewegt werden Diese nennen wir kostenfreie Vertauschungen Jede andere kostet jeweils und wir bezeichnen sie mit zahlungspflichtige Vertauschungen 22 lgorithmen für selbstanordnende Listen Die ufgabe ist, einen lgorithmus zu finden, der die Gesamtkosten einer Sequenz von Operationen minimiert Drei lgorithmen sind auf dieses Ziel hin intensiv untersucht worden: Move-to-front (MF): Nach dem Zugriff oder Einfügen des Elements x wird dieses an den Listenanfang bewegt Die relative nordnung der anderen Elemente bleibt unverändert Transpose (T): Nach dem Zugriff oder Einfügen des Elements x wird dieses mit seinem Vorgänger vertauscht und dadurch um eine Position näher an den Listenanfang bewegt Die relative nordnung der anderen Elemente bleibt unverändert Frequency-count (FC): Für jedes Element der Liste wird ein Zähler verwaltet, der anfangs 0 ist Bei jedem Zugriff auf ein Element wird dessen Zähler um erhöht Nach jeder Operation wird die Liste nach absteigender Zugriffshäufigkeit sortiert Seite 0

13 23 Bsp: Vergleich von Listenanordnung und Kosten Gegeben sei eine Liste L=, 2, 3, 4, 5 und eine Folge s=,2,3,4,5,5,5,,,2,2,3,3,4,4 mit 5 Zugriffen El i von s L MF Cost MF (i) L T Cost T (i) L DF Cost DF (i) -, 2, 3, 4, 5 -, 2, 3, 4, 5 -, 2, 3, 4, 5 -, 2, 3, 4, 5, 2, 3, 4, 5, 2, 3, 4, 5 2 2,, 3, 4, 5 2 2,, 3, 4, , 2,, 4, 5 3 2, 3,, 4, , 3, 2,, 5 4 2, 3, 4,, , 4, 3, 2, 5 2, 3, 4, 5, , 4, 3, 2, 2, 3, 5, 4, , 4, 3, 2, 2, 5, 3, 4, 3 5, 5, 4, 3, 2 5 2, 5, 3,, 4 5, 5, 4, 3, 2 2, 5,, 3, , 3, 2,, 5 2, 3, 4, 5, 4, 2, 3, 4, 5 4 tc MF = 4 tc T = 49 tc DF = 45 ac MF = 2,73 ac T = 3,26 ac DF = 3 Seite

14 24 nalyseergebnisse im Vergleich Worst-case Für Zugriffe auf Listen mit n Elementen gilt: wcmf = wct = wcfc = n varage-case Ist die Wahrscheinlichkeit des Zugriffs auf jedes Element bekannt, so wurde für sehr lange Sequenzen bewiesen: FC ist optimal MF ist schlechter als T Experimentell ermittelte Ergebnisse für reale Daten: T ist schlechter als FC FC und MF sind vergleichbar gut, MF aber manchmal besser Seite 2

15 25 mortisierte nalyse Satz 2: Für jeden deterministischen lgorithmus für selbstanordnende Listen und MF gilt für jede beliebige Sequenz s mit m Zugriffsoperationen, wenn beide mit identischen Listen beginnen: Cost ( s) 2 Cost ( s) + X ( s) F ( s) m MF F ( s ) sei dabei die nzahl der kostenfreien Vertauschungen und X ( s ) die nzahl der zahlungspflichtigen Vertauschungen bei usführung von s durch Dh MF ist 2-kompetitiv Seite 3

16 Bew: Gegeben seien zwei anfangs identische Listen L und L MF, wobei L durch einen beliebigen deterministischen lgorithmus und L MF von MF verwaltet wird Beide lgorithmen arbeiten dann dieselbe Sequenz s mit m Zugriffsoperationen ab Nach der usführung jeder weiteren Operation sind die beiden Listen im llgemeinen verschieden Dieses Paar von Listen charakterisiert den jeweils erreichten Bearbeitungszustand Um den Beweis zu führen, arbeiten wir mit einer Potentialfunktion wie sie vorhin 52 eingeführt wurde Dazu müssen wir einem Paar von Listen ein Potential zuordnen: Sei ( ) bal L, L :=nzahl der Inversionen von Elementen von L bezüglich L 2 2 wobei ein Paar i, j von Elementen eine Inversion in L 2 bezüglich L heißt, wenn i in L 2 vor j und i in L nach j auftritt ls Beispiel seien folgende Listen gegeben: L = 5, 4, 3, 2 und L 2 = 3, 4, 2, 5 Dann steht 3 vor 4, 3 vor 5, 4 vor 5 und 2 vor 5 in L 2, aber in L jeweils danach Somit ist bal( L L ), = 2 4 Zu einem Paar von Listen können wir immer durch Umbenennen der Elemente ein anderes Paar bilden, das die gleiche nzahl von Inversionen aufweist Insbesondere können wir dabei L immer in eine Liste der Gestalt 2,, 3,, N bringen Für das eben gegebene Beispiel also: L = 5, 2 4, 3 3, 4 2 und = 3 2 4,,, mit bal( L, L ) bal( L, L ) L = 2 2 Seite 4

17 Vor usführung der l -ten Zugriffsoperation sei der Bearbeitungsstand durch die Listen L und L MF gegeben Wie oben gezeigt können wir ohne Beschränkung der llgemeinheit annehmen, daß L eine Liste der Gestalt, 2, 3,, N ist Die l -te Operation fordert nun das Element i an und damit auch das i -te Element in L In der Liste L MF stehe dieses Element an der Position k Das Potential vor der usführung der Operation sei bal( L L ), Sei x i die nzahl der Elemente, die i in L MF vorangehen und i in L folgen Jedes dieser Elemente ist an einer Inversion beteiligt und trägt zu dem Wert von bal( L L ) vorangehen, MF bei Dann folgt, daß k x i die nzahl der Elemente ist, die i in L MF und in L MF nschaulich ergibt sich folgende Situation: L : 2 i x i L MF : i x i k N Seite 5

18 Der Zugriff auf i in L MF kostet dann tl = k MF zieht dann i an den Listenanfang vor, wodurch die neue Liste L MF entsteht Dadurch wird die nzahl der Inversionen um x i verringert und um k erhöht x i Der Zugriff auf i in L ohne Vertauschungen kostet i führt anschließend F ( i ) kostenfreie und ( i) zahlungspflichtige Vertauschungen durch, wodurch die neue Liste L entsteht X Führt kostenfreie Vertauschungen durch, so verringert sich die nzahl der Inversionen pro Vertauschung um Insgesamt können höchstens i viele kostenfreie Vertauschungen durchgeführt werden Für jede zahlungspflichtige Vertauschung gilt entsprechend, daß die nzahl der Inversionen pro Vertauschung um erhöht wird Insgesamt ergibt sich dadurch: (, ) = (, ) + ( ) F ( ) + X ( ) bal L L bal L L x k x i i MF MF i i Daraus folgen die amortisierten Kosten a l für die l -te Zugriffsoperation auf das Element i mit MF im Vergleich zu : (, ) (, ) i ( i ) F ( ) X ( ) ( k x ) F ( i) X ( i) a = t + bal L L bal L L l l MF MF = k x + k x i + i = 2 + i Seite 6

19 Da k die nzahl der Elemente ist, die i in L MF und in L vorangehen, können dies höchstens i viele x i sein Daraus folgt, daß k x i ist und damit: a i ( i) ( i) l 2 F + X i Da i die Kosten ohne Vertauschungen nach der Regel sind, folgt für die gesamte Sequenz s mit m Zugriffen: m a ( s) m ( s) ( s) l 2 Cost F + X l= Die Potentialfunktion ist anfangs gleich 0 und wird nie negativ Nach usführung der gesamten Sequenz s ergeben sich die Listen L und L MF Daraus folgt die bschätzung: ( ) Cost s a + bal( L, L ) bal( L, L ) MF m l= l MF ( ) ( ) ( ) 2 Cost s + X s F s m MF Weiterhin halten wir fest, daß F ( s) Cost ( s) m gilt, weil nach dem Zugriff auf das i -te Element dieses höchstens mit allen ( i ) vorangehenden Elementen kostenfrei vertauscht werden kann Damit ist gezeigt, daß der additive Term des Satzes größer oder gleich 0 sein muß und damit der Definition des Kompetitivitätsfaktors genügt Seite 7

20 Satz 22: Für jede Konstante c gilt: T ist nicht c-kompetitiv Bew: Wir beweisen die ussage durch die Konstruktion eines Gegenbeispiels: = 2 n n Für T sei eine Liste L x x x x L gegeben und die folgende Sequenz von Zugriffen: ( x x ) + n n Es ist sofort klar, daß T für diese Sequenz nicht kompetitiv ist, weil bei jedem Zugriff die Kosten n entstehen und c nicht nach oben begrenzt werden kann nmerkung uch für FC und DF kann man durch Konstruktion entsprechender Gegenbeispiele zeigen, daß diese nicht c-kompetitiv sind Seite 8

21 3 Paging Es soll ein Speicher verwaltet werden, der aus zwei Teilen besteht und Speicherseiten fester einheitlicher Größe (engl pages) aufnehmen kann Ein Teil ist der schnellere Speicher, genannt Cache, der n Seiten groß ist Der andere Teil kann beliebig viele Seiten umfassen und ist i größer als der Cache Jeder Zugriff auf den Speicher fordert eine Seite darin an Wenn eine Seite angefordert wird, die nicht im Cache liegt, so wird diese dort hinein kopiert Wir bezeichnen dies als einen Seitenfehler Ist dabei der Cache schon vollständig mit n Seiten belegt, so muß eine Seite daraus ausgewählt werden, die entfernt und durch die aktuell angeforderte Seite ersetzt wird Seite 9

22 3 Kostenmodell Wir definieren folgende Kosten: Ein Zugriff auf eine Seite im Cache kostet nichts Die nforderung einer Seite aus dem anderen Teil des Speichers kostet Seitenfehler 32 Paging-lgorithmen Die ufgabe ist, die nzahl der Seitenfehler (und damit die Gesamtkosten) für eine Sequenz von Seitenzugriffen zu minimieren Hier ein paar allgemein bekannte lgorithmen: Least-recently-used (LRU): Ersetze die Seite, deren letzter Zugriff am längsten her ist First-in, first-out (FIFO): Ersetze die Seite, die am längsten im Cache ist Last-in, first-out (LIFO): Ersetze die Seite, die als letzte in den Cache kopiert wurde Least-frequently-used (LFU): Ersetze die Seite, auf die am wenigsten zugegriffen wurde Longest-forward-distance (): Ersetze die Seite, deren nächster Zugriff am weitesten in der Zukunft liegt (optimaler Offline-lgorithmus) Seite 20

23 33 mortisierte nalyse Satz 3: Sei ein beliebiger deterministischer Online-lgorithmus Dann existieren beliebig lange Sequenzen s, so daß gilt: n F ( ) F ( ) s s n n + F ( s ) ist die nzahl der Seitenfehler von für s F ( s ) ist die nzahl der Seitenfehler von für s n ist die nzahl von Seiten, die insgesamt im Cache halten kann n ist die Größe von s Cache in Seiten Dabei soll gelten: n n Seite 2

24 Bew: Wir definieren eine Sequenz mit n Zugriffen, bei denen genau n Seitenfehler erzeugt, wohingegen nur n n Die ersten n + Seitenfehler macht: n + Zugriffe erfolgen auf Seiten, die weder in s noch in s Cache liegen Sei S die Menge der n + Seiten, die entweder schon vor diesen Zugriffen in s Cache lagen oder durch diese Zugriffe in s Cache aufgenommen wurden Die nächsten n Zugriffe erfolgen jeweils auf eine Seite aus S, die gerade nicht in s Cache ist uf diesen insgesamt n Zugriffen erzeugt immer einen Seitenfehler behält aber die Seiten für die letzten n Zugriffe im Cache, so daß er insgesamt nur n Seitenfehler erzeugt Diese Konstruktion kann dann beliebig oft wiederholt werden, womit der Satz folgt n + Korollar 32: Für den Kompetitivitätsfaktor bei beliebigen deterministische Online-lgorithmen gilt: c n Bew: Wir setzen in Satz 3 n = n Dann ist F ( s) n F ( s) Seite 22

25 Satz 33: Wenn der Inhalt der Caches von LRU und anfangs identisch ist, dann gilt für beliebig lange Sequenzen s : F LRU nlru ( s) F ( ) s n n + LRU F LRU ( s ) ist die nzahl der Seitenfehler von LRU für s n LRU ist die Größe von LRU s Cache F ( s ) ist die nzahl der Seitenfehler von für s n ist die Größe von s Cache Dabei soll gelten: n LRU n Seite 23

26 Bew: Gegeben sei eine Zugriffsfolge s Nach dem ersten Zugriff enthalten die Caches von LRU und mindestens eine gleiche Seite (nämlich gerade die soeben angeforderte) Sei t eine Untersequenz von s, die den ersten Zugriff nicht enthält und für die LRU f p die Seite, die direkt vor t angefordert wurde Wenn LRU während t für eine Seite q n LRU Seitenfehler erzeugt Sei p zwei Seitenfehler erzeugt, dann muß t mindestens n LRU + verschiedene Seitenanforderungen enthalten Dies gilt auch, wenn LRU während t einen Seitenfehler für p erzeugt Falls keiner dieser beiden Fälle eintritt, dann wurden die von LRU während t erzeugten Seitenfehler durch nforderung von mindestens f verschiedenen Seiten erzeugt, von denen keine die Seite p war In jedem Fall solange f n LRU ist, muß aber auf t mindestens f n + Seitenfehler erzeugen Nun zerlegen wir s in Teilfolgen s 0, s,, s k auf denen LRU jeweils genau n LRU Seitenfehler erzeugt us den Überlegungen für die Teilfolge t folgt, daß dann jeweils mindestens n Deshalb ist für jede Teilfolge s 0, s,, s k das Verhältnis von Seitenfehlern durch LRU zu Seitenfehlern von höchstens n LRU LRU n + Seitenfehler erzeugt nlru n + nmerkung Man kann zeigen, daß dieser Satz entsprechend auch für FIFO gilt Seite 24

27 Korollar 34: LRU ist ein optimaler deterministischer lgorithmus für das Paging-Problem nlru Bew: us den Sätzen 3 und 33 folgt sofort: F ( ) F ( ) LRU s = s n n + LRU Wie in Korollar 32 können wir hier n LRU = n setzen Dann ist F ( s) = n F ( s) LRU LRU Satz 35: Für jede Konstante c gilt: LIFO ist nicht c-kompetitiv Bew: Wir beweisen die ussage wieder durch die Konstruktion eines Gegenbeispiels: Für LIFO sei eine Sequenz von n LIFO verschiedenen Seitenanforderungen gegeben Dann fordern wir immer abwechselnd zwei Seiten an, auf die vorher noch nicht zugegriffen wurde Es ist sofort klar, daß LIFO für diese Sequenz nicht kompetitiv ist, weil bei jedem Zugriff ein Seitenfehler entsteht und c nicht nach oben begrenzt werden kann nmerkung uch für LFU kann man durch Konstruktion entsprechender Gegenbeispiele zeigen, daß dieser nicht c-kompetitiv ist Seite 25