Vorkurs Informatik SoSe 17

Transkript

1 Algorithmen III und Codierung Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk,

2 Inhaltsverzeichnis Suchen Binärsuche Binäre Suchbäume Codierung Aspekte der Binär-Codierung Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 2

3 Überblick Suchen Binärsuche Binäre Suchbäume Codierung Aspekte der Binär-Codierung Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 3

4 Suchen In Datenstrukturen Eines der Standardprobleme der Informatik Immer wenn Daten in irgendeiner Datenstruktur (Listen, Datenbanken, Bäume, ) ablegt sind, will jemand auf bestimmte Elemente zugreifen: Adressbücher Kundenverwaltung Dateizugriff auf einem Datenträger Song in einer MP3 Sammlung finden Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 4

5 Suchen In Datenstrukturen Wo wohnt Klaus Weber? Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 5

15 Suchen In Datenstrukturen Ist es einfacher, wenn die Daten sortiert sind? Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 6

17 Binärsuche Idee Voraussetzung: Die Datenstruktur muss sortiert sein. Idee: Eine Abfrage ermöglicht es die Hälfte auszuschließen Überprüft des mittlere Element der Teilliste Ist das gesuchte Element das mittlere, ist es gefunden Ist das gesuchte kleiner als das mittlere suche in der linken Teilliste Ist das gesuchte größer als das mittlere suche in der rechten Teilliste Ist die Teilliste leer Element nicht vorhanden Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 8

18 Binärsuche Beispiel: 45 Gesucht: Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 9

19 Binärsuche Beispiel: 45 Suchen Binärsuche Binäre Suchbäume Codierung Aspekte der Binär-Codierung Danke Zu Beginn: Ermitteln der Mitte Mitte könnte 13 oder 21 sein Wir nutzen immer das kleinere bei zwei möglichen Elementen n+1 2, also Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 10

20 Binärsuche Beispiel: 45 Mitte ist kleiner als das gesuchte Element suchten in rechter Teilliste (von 21 bis 50 ) Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 11

21 Binärsuche Beispiel: 45 Mitte der neuen Teilliste bestimmen 46 ist die Mitte Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 12

22 Binärsuche Beispiel: 45 Mitte ist größer als das gesuchte Element suchten in linker Teilliste (von 21 bis 45 ) Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 13

23 Binärsuche Beispiel: 45 Mitte bestimmen: 21 Mitte ist kleiner als das gesuchte Element suchten in rechter Teilliste (von 45 bis 45 ) Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 14

24 Binärsuche Beispiel: 45 Mitte bestimmen: 45 Mitte ist gleich dem gesuchten Element Element gefunden Abbruch der Suche Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 15

25 Binärsuche Das Prinzip dahinter Divide et Impera Teile und Herrsche Divide and Conquer Eines der grundlegenden Prinzipien der Informatik Stammt ursprünglich aus der Außenpolitik Teile deine Feinde, sodass sie leichter beherrschbar werden! Programmieren Teile den Quellcode in kleinere Teile (Objekte, Klassen, Methoden, Funktionen), sodass er leichter beherrschbar wird! Algorithmik Ist das Problem zu groß, so teile es in kleine Gesamtlösung ist: Kombination der Teilergebnisse Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 16

26 Binärsuche Laufzeit Suchen Binärsuche Binäre Suchbäume Codierung Aspekte der Binär-Codierung Danke Wie viele Elemente können mit k Vergleichen durchsucht werden? Je Vergleich wird die Anzahl der potenziellen Elemente halbiert. Anders herum gesagt: Mit jedem zusätzlichen Vergleich kann ich die Anzahl der bereits durchsuchten Elemente verdoppeln. 1 Vergleich 2 Einträge 2 Vergleiche 4 Einträge 3 Vergleiche 8 Einträge 4 Vergleiche 16 Einträge k Vergleiche 2 k Einträge Wenn also mit k Vergleichen 2 k = n Einträge durchsucht werden können, braucht man log 2 n = k viele Vergleiche für n Einträge Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 17

27 Binärsuche Struktogramm Indexvariable mid zum Merken der Mittelposition Indexvariable min zum Merken der Startposition min = 1 (Erste Element ist der Start) Indexvariable max zum Merken der Endposition max = Länge (Letztes Element ist das Ende) Solange min max mid = (min+max) 2 Zahl auf Position mid ist < gesuchte min = mid + 1 > gesuchte max = mid 1 Wert ist nicht in der Liste enthalten = gesuchte Wert gefunden Programmende

28 Binärsuche Einsortieren Überlegung: Kann die Binärsuche benutzen werden, um schneller einzusortieren? Idee: Suchte nach dem einzufügenden Wert in der Liste. Wird er gefunden, so wird der Wert an der Position eingefügt. Wird er nicht gefunden, so wird der letzte verglichene Wert betrachten: Ist er größer, wird die Zahl links eingefügt. Ist er kleiner, wird die Zahl rechts eingefügt Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 19

30 Binäre Suchbäume Suchen Binärsuche Binäre Suchbäume Codierung Aspekte der Binär-Codierung Danke Linker Teilbaum: Werte < Wurzel Rechter Teilbaum: Werte > Wurzel Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 21

31 Binäre Suchbäume Wo wird die 5 eingefügt? Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 22

32 Binäre Suchbäume Eigenschaften 8 Bäume sollten balanciert sein Höhe des Baumes: log(n) Element finden in O(log(n)) Alle Elemente einfügen: O(n log(n)) Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 23

34 Codierung Verlustfreie Umwandlung von Nachrichten Überführt Nachrichten von menschenlesbar zu maschinenlesbar Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 25

35 Codierung Verlustfreie Umwandlung von Nachrichten Überführt Nachrichten von menschenlesbar zu maschinenlesbar Beispiel: Morsecode Punkt:. Strich: _ Pause: (nichts)._..... _._.... M O R S E C O D E Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 25

36 Überblick Suchen Binärsuche Binäre Suchbäume Codierung Aspekte der Binär-Codierung Danke Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Suchen Binärsuche Binäre Suchbäume Codierung Aspekte der Binär-Codierung Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 26

37 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Aspekte der Binär-Codierung Binärcode Codetabellen Codebaum Einsparung von Bits Groß- und Kleinschreibung Informationsgehalt verschiedener Symbole Präfixbildung Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 27

38 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Binärcode 0/1-Code Binärcode besteht nur aus 0 und 1. Repräsentieren die zwei Zustände Ausgeschaltet und Eingeschaltet Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 28

39 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Binärcode Zahlen Zahlensystem, welches nur zwei verschiedene Ziffern zur Darstellung benutzt Stellenwertsystem mit der Basis 2 Zahlen 0 bis 8: Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 29

40 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Binärcode Definition und Darstellung Ziffern z i werden wie im gewöhnlich verwendeten Dezimalsystem ohne Trennzeichen hintereinander geschrieben. Beispiel: Dezimalzahl = = Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 30

41 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Binärcode Umrechnen in Zahlensysteme Schreiben Sie die Dezimalzahl 42 als Dual-, Oktal- und als Hexadezimalzahl. 42 : 2 = 21 Rest 0 21 : 2 = 10 Rest 1 10 : 2 = 5 Rest 0 5 : 2 = 2 Rest 1 2 : 2 = 1 Rest 0 1 : 2 = 0 Rest 1 Binärzahl = Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 31

42 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Binärcode Umrechnen in Zahlensysteme Schreiben Sie die Dezimalzahl 42 als Dual-, Oktal- und als Hexadezimalzahl. 42 : 8 = 5 Rest 2 5 : 8 = 0 Rest 5 Oktalzahl = : 16 = 2 Rest 10 2 : 16 = 0 Rest 2 Hexadezimalzahl = 2A Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 32

43 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Binärcode Binärzahlen Verschiedene Darstellungsformen der Zahl 23 im Binärsystem: [ ] (2) 10111B 0b10111 HLHHH Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 33

44 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Binärcode Grundrechenarten Addition Subtraktion = = = = 10 Multiplikation 0 0 = = = = = = = = 0 Division 0/0 = n.d. 0/1 = 0 1/0 = n.d. 1/1 = Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 34

45 Codetabellen ASCII ASCII = American Standard Code for Information Interchange Tabelle, in der alle Zeichen des (amerikanischen) Alphabets entsprechenden Sequenzen aus 0 und 1 zugeordnet sind. In der Tabelle wurden die vorderen drei Bits weggelassen. (Leer) H P X A I Q Y B J R Z C K S D L T 10100, E M U : F N V G O W # Welche Weisheit mag sich wohl hinter dem Code verbergen?

46 Codebaum Codebaum vereinfacht Decodierung Folgt dem Pfad (0 oder 1) Ergebnis: Symbol (oder Daten)

47 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Bits und Bytes Byte (engl. Bissen ) ist sozusagen ein Happen aus dem Datensalat eines Computers. Kleine Informationseinheit Bit ist englisch als Verkleinerungsform von Byte zu sehen und auch die Abkürzung für Binary Digit, also deutsch Ziffer im Binärsystem. Ein Bit ist also die kleinste Informationsmenge, die man im Computer identifizieren kann. Da alle Symbole die gleiche Anzahl an Bit haben, können wir ganz einfach berechnen, wie viel Bit eine Nachricht mit 100 Zeichen hat : 100 Zeichen mal 5 Bit pro Zeichen gleich 500 Bit Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 37

48 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Bits und Bytes Codierung eine Gen-Sequenz AGATGCCGTTACGA mit diesem Code Ergibt 70 Bit. Mit besserem Code(-Baum) nur 28 Bits Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 38

49 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Groß- und Kleinschreibung Ohne Groß- und Kleinschreibung: ICH HABE LIEBE GENOSSEN Mit Groß- und Kleinschreibung: Ich habe liebe Genossen Ich habe Liebe genossen Mit Groß- und Kleinschreibung enthalten alle Symbole mehr Informationen Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 39

50 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Informationsgehalt Text nur mit Vokalen (A,E,I,O,U) und die Konsonanten N, R und T: an atte ieen are ei eine eient, a ra er u i err, eine eit it eru, nun ote erne ieer ei u einer utter. Gleicher Text ohne Vokale: Hns htt sbn Jhr b snm Hrrn gdnt, d sprch r z hm Hrr, mn Zt st hrm, nn wllt ch grn wdr hm zu mnr Mttr. Welcher ist besser lesbar (verständlicher)? Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 40

51 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Informationsgehalt Text nur mit Vokalen (A,E,I,O,U) und die Konsonanten N, R und T: an atte ieen are ei eine eient, a ra er u i err, eine eit it eru, nun ote erne ieer ei u einer utter. Gleicher Text ohne Vokale: Hns htt sbn Jhr b snm Hrrn gdnt, d sprch r z hm Hrr, mn Zt st hrm, nn wllt ch grn wdr hm zu mnr Mttr. Welcher ist besser lesbar (verständlicher)? Originaltext: Hans hatte sieben Jahre bei seinem Herren gedient, da sprach er zu ihm Herr, meine Zeit ist herum, nun wollte ich gerne wieder heim zu meiner Mutter Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 40

52 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Informationsgehalt Buchstaben sind unterschiedlich informativ. Buchstaben können nach Wichtigkeit mit mehr oder weniger Bit codiert werden z. B. Morsen: Häufigste Buchstabe E, wird als einen kurzen Ton (.) gesendet Q wird viel seltener verwendet und besitzt einen längeren Code (._) lang lang kurz lang Mit dieser Methode kann Platz gespart werden Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 41

53 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Optimierung Verschiebe E um 2 Stellen nach links Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 42

54 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Optimierung Optimierter Codebaum Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 43

55 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Optimierung Jetzt versperrt E Buchstaben D, F und G Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 44

56 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Präfixbildung Präfix ist eine Zeichenfolge, die mit dem Anfang einer anderen Zeichenfolge identisch ist Codierung versucht Präfixe zu vermeiden Präfixe verhindern Decodierung E ist mit seinem Code 001 ein Präfix für D F G Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 45

57 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Präfixlösung Zum Lösung bekommen seltene Buchstaben längere Codierungen Q, X und Y mit Häufigkeit unter 0,05% Freie Codierungen werden mit D, F und G aufgefüllt Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 46

58 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Präfixlösung Verfahren lässt sich auf alle Symbole anwenden z. B. Leerzeichen (größte Häufigkeit). Andere Satzzeichen wie Doppelpunkt ( : ), Gedankenstrich ( ) oder die Raute ( # ) nur sehr selten vor. Leerzeichen um 3 Stellen nach links verschieben blockiert dann A, B und C Andere Satzzeichen nach rechts verschieben Freie Codierungen an A, B und C vergeben Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 47

59 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Präfixlösung Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 48

60 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Präfixlösung A ist ebenfalls häufig aber mit 6 Stellen schlecht codiert Freier im Codebaum tauschen 3 Bit: Leerzeichen und E 4 Bit: N, I, S und R 5 Bit: A, T, D, H, U, L, C und G 6 Bit: 7 Bit: Q, Doppelpunkt, Gedankenstrich und Raute Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 49

61 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Codebaum Präfixlösung Mit diesem Codebaum kann der Satzes komprimiert werden: HANS ZOG EIN TUECHLEIN AUS DER TASCHE, WICKELTE DEN KLUMPEN HINEIN, SETZTE IHN AUF DIE SCHULTER UND MACHTE SICH AUF DEN WEG NACH HAUS. 670 Bit auf 552 Bit verringert Verfahren wird für Archive wie Zip, ARJ, RAR usw. genutzt. Hierbei werden nicht nur Zeichen sondern auch Wörter in den Codebaum aufgenommen. Spart bis zu 90% Speicherplatz Andere Verfahren komprimieren ganze Blöcke von Daten (bzip2) oder auch Teilwörter (LZ77, LZMA) Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 50

62 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Moderne Text-Kodierung (UTF-8) Stärkere Globalisierung immer mehr Sprachen bei gleicher Kodierung Unicode Version 9 mit Schriftzeichen für 135 Schriftsysteme Codierung mit UTF-8 In UTF-8 sind die ersten 128 Codepoints identisch mit ASCII Somit sind ASCII-Texte automatisch UTF-8 konform Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 51

63 Moderne Text-Kodierung (UTF-8) UTF-8 Zeichen, die mit 1 beginnt sind Teil oder Beginn eines Mehr-Byte-Zeichens UTF-8 Zeichen können 1 bis 6 Byte lang sein Häufigsten genutzte Zeichen in den unteren Code-Regionen Kodierung ist selbstkorrigierend Falls Teile verloren gehen, ist nur dieses Zeichen betroffen Beginn eines neuen Zeichens kann ohne Probleme ermittelt werden Bit Byte 1 Byte 2 Byte 3 Byte 4 Byte 5 Byte 6 7 0xxxxxxx xxxxx 10xxxxxx xxxx 10xxxxxx 10xxxxxx xxx 10xxxxxx 10xxxxxx 10xxxxxx xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

64 QR-Code Suchen Binärsuche Binäre Suchbäume Codierung Aspekte der Binär-Codierung Danke Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Ursprünglich für die Logistik von Toyota entwickelt. Spezifikationen sind offen Lizenz- und kostenfrei Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 53

65 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Fehlererkennung und -korrektur Bei der Übertragung von Daten können Fehler auftreten. Diese Fehler sollen erkannt werden oder besser: Die Fehler sollen direkt korrigiert werden. Beispiel: Hamming-Distanz Mögliche Codewörter: A B C D Welcher Abstand (wie viele verschiedene Bits) existiert zwischen den Wörtern? Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 54

66 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Hamming-Distanz Mögliche Codewörter: A B C D Berechnung der Distanz durch verxoren der einzelnen Codewörter und zählen der Bits mit 1. Definition von XOR (= Addition in Z 2 ): 0 0 = = = = 0 d > 2 f, d = Distanz, f = Bit-Fehler Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 55

67 Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Hamming-Distanz Mögliche Codewörter: A B C D Empfangendes Codewort ist: Was ist das richtige Codewort? Warum ist es dieses? Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 56

68 Danke Vielen Dank für die Aufmerksamkeit und das Interesse! Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk Seite 57