SUCHPROBLEME UND ALPHABETISCHE CODES

Transkript

1 SUCHPROBLEME UND ALPHABETISCHE CODES Der Problematik der alphabetische Codes liege Suchprobleme zugrude, dere Lösug dem iformatiostheoretische Problem der Fidug eies (optimale) alphabetische Codes gleich ist. Der alphabetische Code ist eie Form des Präfixcodes, d.h. ebe der Präfixeigeschaft, dass kei Codewort Afag eies Adere ist, wird er zusätzlich eier spezielle Ordug gerecht. Daher hadelt es sich hierbei um Suchprobleme, bei dee icht mehr alle Tests mit bestimmter Azahl vo Ergebisse zugelasse sid, d.h. weil der Suchbereich X vollstädig geordet ist, sid ur Tests, die dieser Ordug verträglich sid, zugelasse. Betrachte wir zuächst zwei solche Suchprobleme.. Suchproblem Die Ölpipelie Eie Ölpipelie bestehe aus Segmete. Am erste Segmet werde pro Sekude m Liter Öl eigepumpt. Komme am letzte Segmet icht m Liter a, so muss die Pipelie defekt sei. Ei Test der Durchflussmege vom k - te zum (k+) - te Segmet liefert als Ergebis die Iformatio, ob der Defekt im vordere oder hitere Teil der Pipelie zu fide ist. (biärer Test) Sei X = { } der Suchbereich; = Azahl der Segmete, wobei x X = x tes Segmet der Pipelie. Eie Messug zwische dem k te ud dem (k+) - te Segmet ist da dem biärem Test t k = t {k+.} gleichwertig (t k (x) = x > k). Das Iteresse der Defektfidug mit möglichst weige Messuge ist äquivalet dem Problem eie optimale alphabetische Code zu bestimme. 2. Suchproblem Datespeicherug I Computersysteme sid Date häufig uter bestimmte Stichwörter gespeichert. Sei die Azahl verschiedeer, alphabetisch geordeter Stichworte W W, i welche Date gespeichert sid. Utersucht werde soll, ob uter eiem gegebee Wort W Date gespeischert sid, ud ggf. dere Auslesug. Es wird vorausgesetzt, dass der Computer jedes der gespeicherte W i mit dem gesuchte W vergleiche ka, ud des Weitere uterscheide ka, ob W = W i, W alphabetisch vor bzw. hiter W i liegt. Falls W =W i so war die Suche erfolgreich, falls W zwische zwei gespeicherte Eiträge W j ud W j+, oder W vor W bzw. hiter W so verlief die Suche erfolglos. Sei X = {x.x } {y 0.y } der Suchbereich. x i bedeutet W=W i y j ( j -) bedeutet W liegt zwische W j ud W j+ y 0 bedeutet W liegt vor W ; y bedeutet W liegt hiter W

2 Dies impliziert folgede Ordug auf de Suchbereich X: y 0 <x <y <x 2 <y 2 <.<x <y. Der Vergleich der Wörter wird durch de Test t i beschriebe: z X: t i (z) = 0 z < x i t i (z) = z = x i t i (z) = 2 z > x i. Ei W mit möglichst weig Vergleiche zu fide ist äquivalet dem Problem der Miimierug der Koste eies Suchbaumes. Jees Problem ist allgemeier als das Pipelieproblem. Für de Fall, das alle Stichwörter W i die gleiche a-priori-wahrscheilichkeit 0 habe, so ist Problem 2 gleich dem Problem. Im Weitere beschäftige wir us mit Suchproblem. Gegebe sei ei Suchbereich X = {.} i atürlicher Weise geordet (,2,3,4,5,.). Zugelasse sid alle Tests, die damit verträglich sid. Situatio: Suchbereich X ; x X t k (x) = 0 t k (x) = 2 3 k t k = t {k+. } t k (x) = x > k Biärer Test a der Stelle k bezieht sich auf die Elemete der Mege {k+ } ud liefert:, falls x {k+ } 0, falls x {k+ }. Ziel ist die Miimierug der Suchdauer zur Idetifizierug des gesuchte Objekts. Methode zur Erreichug dieses Ziels sid hier so geate ichtsequetielle ud sequetielle Strategie.

3 Nichtsequetielle Strategie Eie ichtsequetielle Strategie ist dadurch gekezeichet, dass sie zuvor gewoee Iformatioe bei der Auswahl des folgede Tests icht berücksichtigt. Es gilt: Falls t i t i m eie erfolgreiche ichtsequetielle Strategie ist, muss für x { -}: (t i (x) t i m (x)) (t i (x +)... t i m (x +)) sei. d.h. für zwei verschiedee zu suchede Objekte liefert die ichtsequetielle Strategie auch zwei verschiedee Ergebisse. Speziell gilt: t i j (x) t i j (x + ) we i j = x. Bsp.: x = i j = x = (zu suchedes Objekt) (ei spezieller Test der Strategie) t i j (x) = t () = 0, weil x > k ( > ) falsch ist t i j (x+) = t (2) =, weil x > k (2 > ) richtig ist. Weil eie ichtsequetielle Strategie, wie bereits obe beschriebe, die Ergebisse eies Tests, zur Ermittlug des ächste Tests icht berücksichtigt, ka es vorkomme, das ei darauf folgeder Test, sich wiederum auf eie Teil des Bereichs des vorherige Tests bezieht. Da ei gesuchtes Objekt als idetifiziert gilt, we die betrachtete Mege ur och ei Elemet beihaltet hat dies zur Folge, dass eie ichtsequetielle Strategie alle Tests t k ( k -) ethalte muss um mit Sicherheit das gesuchte Objekt zu idetifiziere. Da ist die ichtsequetielle Strategie s = (t t - ) erfolgreich. Sequetielle Strategie Eie sequetielle Strategie ist dadurch gekezeichet, dass sie zuvor gewoee Iformatioe bei der Auswahl des folgede Tests berücksichtigt. We alle biäre Test zugelasse sid, braucht eie sequetielle Strategie für sichere Erfolg, im ugüstigste Fall midestes log2 Tests. (Im Folgede sei log2 gleich log ) Da bei diesem Suchproblem icht alle biäre Tests zugelasse sid, ist icht damit zu reche, mit weiger Tests auszukomme. Es lässt sich jedoch zeige, dass log Tests auch ausreiched sid.

4 Situatio: Suchbereich X; x X t k (x) = 0 t k (x) = 2 3 k Je achdem, wie der Test t k (x) ausfällt, ermittelt die sequetielle Strategie, de eigegrezte Suchbereich, bzw. de Parameter k für de folgede Test. Liefert t k (x) = 0, so ist bekat, dass das gesuchte Objekt icht i {k+ }, soder i { k} liege muss. Folglich geügt es ur och de Bereich { k} zu betrachte. Es hadelt sich um das Prizip der biäre Suche. Nach eiige Tests weiß ma das x A ist, wobei A X ist. Zu Begi war A = X. Aufgrud des Testaufbaus hat A stets die Gestalt A = {i+ j} (0 i j ). Es folgt der i+ j ächste Test t k mit k = 2. Das heißt das k ist das (relativ) mittlere Elemet vo A. Nach diesem Test weiß ma ob x A = {i+ k} oder x A = {k j} ist. Da sowohl A A als auch A hat, erreicht ma ach spätestes log 2 Tests, dass A eielemetig ist, d.h. x ist idetifiziert. Folgeder Satz ist u bewiese: Es sei X = { }. Die Mege aller zugelassee Tests bestehe aus de biäre Tests t k (0 k ) : t k (x) = x > k. Falls die Aufgabe dari besteht, die maximale Suchdauer zu miimiere, so beötigt die beste ichtsequetielle Strategie -, die beste sequetielle Strategie ie mehr als log Tests. Sequetielle Strategie sid bei dieser Art vo Suchprobleme viel scheller erfolgreich, als die beste ichtsequetielle Strategie. Gute ud optimale alphabetische Codes Gegebe sei u eie a-priori -Verteilug der Wahrscheilichkeite p = (p() p()). Auf der Mege X soll eie sequetielle Strategie miimaler erwarteter Suchdauer gefude werde. Es gilt: Die Ergebisfolge eier erfolgreiche sequetielle Strategie bilde eie Präfixcode.

5 Diese Aussage behält auch hier ihre Richtigkeit, da die Mege der Tests ud Strategie lediglich eigeschräkt wurde. Aufgrud der ordugserhaltede Struktur der zugelassee Tests hat der aus de Ergebisfolge gebildete Präfixcode eie besodere Struktur. Seie e(x) = (e(x) e L(x) (x)) ud e(y) = (e (y) e L(y) (y)) die Ergebisfolge für zwei verschiedee Objekte x, y X, wobei x < y ist. L(a) ist die Läge der Ergebisfolge Objekt a. Aus der Präfixeigeschaft folgt, dass j = mi { i mi[l(x),l(y)] : e i (x) e i (y)} wohldefiiert ist. (j ist diejeige Bitstelle i e(x) ud e(y), wo sich die Beide das erste Mal uterscheide) Die erste j Tests sid bei der Suche ach x ud y gleich. Sei u t k der j - te Test. Dies besagt, we e j (x) e j (y) ud x < y ist, muss y {k+ } ud x {k+ } sei. Demetspreched ist e j (x) = 0 ud e j (y) =. Im Alphabet {0,} mit 0 als erstem Buchstabe ist da das Wort e(x) alphabetisch vor e(y). Ei Alphabetischer Code wird daher wie folgt defiiert: Ei Präfixcode für Nachrichte heißt alphabetisch, we für k < l c(k) alphabetisch vor c(l) steht, d.h. j = mi {i : c i (k) c i (l)} => c j (k) < c j (l). Die Eigeschafte lasse sich i eiem Satz zusammefasse: i) Für jede sequetielle, erfolgreiche Suchstrategie bilde die Ergebisfolge eie alphabetische Code. ii) iii) Zu jedem alphabetische Code c gibt es eie sequetielle erfolgreiche Strategie, dere Ergebisfolge gleich de Codewörter vo c sid. Ist die a-priori-wahrscheilichkeit der i - te Nachricht gleich der a-priori- Wahrscheilichkeit des i - te Objekts, da ist die erwartete Suchdauer eier optimale sequetielle Strategie gleich der erwartete Codewortläge eies optimale alphabetische Codes Auf eie Beweis dieser Aussage wird aus Grüde der Komplexität verzichtet. Stattdesse widme wir us eier adere Problemstellug i diesem Zusammehag, ämlich der Frage: Zu welche L() L(), die Läge L(i) hat?, existiert ei alphabetischer Code, so dass das i - te Codewort

6 Da alphabetische Codes isbesodere Präfixcodes sid, müsse sie ebefalls der Ugleichug vo Kraft geüge d.h.: Li () 2. Falls die Folge L() L() mooto wachsed ist, so ist diese Form der Ugleichug auch hireichede Bedigug für die Existez eies alphabetische Codes mit jee Codewortläge. Im Allgemeie ist diese Bedigug jedoch icht hireiched. Ei Beispiel: Sei f beliebig ud weiterhi L() = f, L(2) = ud L(3) = f, so dass obige Ugleichug och erfüllt wäre. Zu diese gegebee Codewortläge existiert kei alphabetischer Code, da das zweite Codewort etweder 0 oder sei müsste, um der Lägeforderug gerecht zu werde. Dies wiederum hätte zur Folge, dass a) bei c(2) = 0 kei erstes Codewort c() existiert, welches alphabetisch vor c(2) liegt; c(2) wäre Präfix vo c() b) bei c(2) = kei drittes Codewort c(3) existiert, das alphabetisch hiter c(2) liegt, ohe das c(2) Präfix vo c(3) wäre. Wie uschwer zu erkee ist, spielt es im Gegesatz zu eifache Präfixcodes beim alphabetische Code ei wesetliche Rolle, a welcher Stelle ei lägemäßig kurzes bzw. das kürzeste Codewort steht. Mathematisch ergibt 3 L() i f 2 = 22.Für ei f, ist daher gezeigt, dass ei Ergebis 2 > 2 icht die Existez eies alphabetische Codes mit Codewortläge L() L() impliziert. Ei Ergebis der Ugleichug vo Kraft liefert jedoch eie hireichede Bedigug für 2 die Existez eies alphabetische Codes mit de Codewortläge L() L(). Betrachte wir hierzu eie biäre Wurzelbaum der Tiefe Lmax = max{l(i): ( i )}. Bei der Kostruktio eies Präfixcodes besetzt das i - te Codewort die 2 Lmax-L(i) am weiteste liks liegede freie Edpukte. Hier beötige wir u die doppelte Mege vo Edpukte. L() i Zu beweise ist also folgeder Satz: Falls 2 ist, existiert ei alphabetischer Code, 2 bei dem das i - te Codewort die Läge L(i) hat.

7 Lmax L() i Lmax Aus obiger Vorraussetzug (doppelte Mege vo Edpukte) folgt: 2 2 2, d.h. die Edpukte, die Azahl vo Edpukte, die ei Codewort besetzt ist maximal so groß wie die Azahl der Edpukte (Blätter) des Wurzelbaumes. Der Beweis für diese Aussage folgt durch de Beweis der folgede Aussage: Für alle i { } existiert ei alphabetischer Code mit Codewortläge L()...L(i), so dass jeder Edpukt im biäre Wurzelbaum der Läge Lmax, der Nachfolger eies Codewortes ist, das zu de am weiteste likst stehede 2 2 Lmax L() i Edpukte gehört. Das erste Codewort (erste Nachricht) bestehe aus L() Nulle. Folglich ist die Aussage für i = richtig. Setze wir weiterhi voraus, dass die Aussage für i < j bewiese sei. Es bleibt zu zeige, dass die Aussage auch für i = j stimmt. Sei c() c(j-) der bereits existierede alphabetische Code. j Lmax L( m) Lmax Lmax L( j) Da ist, sid die am weiteste rechts liegede m= max ( ) 22 L L j Edpukte och frei. Mit adere Worte: Die Azahl der durch die Codewörter c() c(j-) bisher besetze Edpukte ist höchstes so groß wie die Gesamtazahl der Edpukte des Wurzelbaums, verrigert um die Azahl vo Edpukte, die das j - te Codewort besetze wird. We daher u rechts im W-Baum och Plätze frei sid, ka das Codewort c(j-) icht ur aus Eise bestehe ud auch icht mit L(j) Eise begie. Dies gibt us die Möglichkeit ei k mit k = max{ r mi[ L(j-), L(j) ] : c r (j-) = 0}zu defiiere. K ist diejeige Bitstelle im (j-) - te Codewort, die am weiteste rechts im Bitstrig steht ud eie Null ist. Für alle Stelle m zwische ud k- ist c m (j) = c m (j-) defiiert. Für die Stelle m = k ist c m (j) = defiiert. Für alle Stelle m zwische k+ ud L(j) ist c m (j) = 0 defiiert. max ( ) Der Code bleibt alphabetisch ud ei Präfixcode. c(j) hat u wiederum 2 L L j Edpukte max ( ) als Nachfolger. Es reicht aus zu zeige, dass icht mehr als 2 L L j Edpukte zwische c(j-) ud c(j) liege. Sei d = (d d Lmax ) ei solcher Edpukt. (Pfadagabe im Baum) Vo der erste bis zur (k-)- te Stelle besitzt d das gleiche Aussehe wie c(j-) ud c(j). Wäre d k = müsste alle weitere Stelle vo (k+) bis zu L(j) übereistimmed mit c(j) gleich 0 sei, damit d liks vo c(j) liegt. Damit ist d ei Nachfolger vo c(j). Also muss d k = 0 sei. d muss rechts vo c(j-) liege. Folglich sid alle Stelle vo k+ bis zu h ( h = mi[l(j-), L(j)] ) vo d gleich diese Stelle im Codewort c(j-). We u h die Läge des Codewortes c(j-) gewese ist, so ist d damit ei Nachfolger vo c(j-) ud kei Edpukt liegt zwische c(j-) ud c(j). Falls h die Läge vo c(j) gewese max ( ) ist, so liege L(j) Stelle vo d fest. Für die restliche Positioe gibt es ur 2 L L j Möglichkeite. q.e.d.

8 Weiterhi ka mit Hilfe des vorhergehede Satzes (uter Zuhilfeahme des oiseless - codig - theorems) bewiese werde, dass für eie a - priori - Verteilug p = (p() p()), ( i: p(i) > 0) auf X Folgedes gilt: Sei A mi (p) die miimale Erwartete Suchdauer eier Strategie ud alle Tests t 0 bis t zugelasse. Uter obige Vorraussetzuge ist da: H(p) A mi (p) < H(p)+2. Ausgehed vo der Iformatio, dass ei gesuchtes Objekt sich i der Mege {i j} befidet, veräder wir u eie Strategie. Wir werde diese Mege uter Beachtug der Wahrscheilichkeite teile. Der folgede Test t k wird so gewählt, dass p(i k) p(k+ j) miimal ist. Auch we ma ituitiv glaubt, diese Strategie sei optimal, ist sie es icht. Diese Defiitio eier Strategie ist jedoch ützlich für weiterführede Utersuche useres Suchproblems. Über diverse Eigeschafte, Lemmata der Etropiefuktio ud Iduktiosbeweise, die de hier gewählte Rahme sprege würde, lässt sich die obere Schrake für alphabetische Codes gerigfügig verbesser ud folglich auch das oiseless - codig - theorem ud zeitliche Eigeschafte der Strategie. Falls die a - priori - Verteilug sogar die Gleichverteilug p ist, ergibt sich letztedlich für eie miimale erwartete Suchdauer eier Strategie: A mi (p) = L mi (p) = log log 2 +. Verfahre zur Kostruktio optimaler Strategie beziehe sich auf die Kostruktio vo biäre Bäume. Der beste Algorithmus beötigt O( 2 ) Recheschritte. Für das hier behadelte eifachere Suchproblem existiert ei Algorithmus der lediglich O( log ) Recheschritte braucht. Dieser fasst ählich dem Algorithmus vo Huffma zwei Nachrichte zu eier Neue zusamme, wobei diese icht ubedigt beachbart sei müsse. Jee Nachrichte sid aber i eiem adere Sie miteiader verbude. Der etstehede Code ist logischerweise kei alphabetischer Code, aber es gibt keie alphabetische desse erwartete Codewortläge kleier wäre. Vertauscht ma Codewortteile, ohe die Codewortläge zu veräder, erhält ma de optimale alphabetische Code. Quelle: R. Ahlswede ud I. Wegeer, Suchprobleme, Teuber.