Vorkurs Informatik WiSe 16/17

Transkript

1 Konzepte der Informatik Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe, Technische Universität Braunschweig, IPS

2 Inhaltsverzeichnis Codierung Aspekte der Binär-Codierung Binärcode Codetabellen Codebaum Moderne Text-Kodierung (UTF-8) QR-Code Fehlererkennung und -korrektur Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 2

3 Überblick Codierung Aspekte der Binär-Codierung Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 3

4 Codierung Verfahren, welches die Symbole einer Nachricht in eine andere Form bringt ohne den Informationsgehalt einzuschränken. Codierung wird dazu verwendet, die Informationen von der für Menschen verständliche Form in eine für Maschinen verarbeitbare und über Netzwerke kommunizierbare Form umzuwandeln und wieder zurück Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 4

5 Codierung Verfahren, welches die Symbole einer Nachricht in eine andere Form bringt ohne den Informationsgehalt einzuschränken. Codierung wird dazu verwendet, die Informationen von der für Menschen verständliche Form in eine für Maschinen verarbeitbare und über Netzwerke kommunizierbare Form umzuwandeln und wieder zurück. Beispiel: Morsecode Punkt:. Strich: _ Pause: (nichts)._..... _._.... M O R S E C O D E Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 4

6 Überblick Codierung Aspekte der Binär-Codierung Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 5

7 Aspekte der Binär-Codierung Binärcode Codetabellen Codebaum Einsparung von Bits Groß- und Kleinschreibung Informationsgehalt verschiedener Symbole Präfixbildung Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 6

8 Binärcode 0/1-Code Ein Binärcode besteht nur aus zwei Zeichen, 0 und 1. Diese beiden Zeichen repräsentieren die beiden Zustände Ausgeschaltet und Eingeschaltet, welche von einem Computer gut verarbeitet werden können Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 7

9 Binärcode Zahlen Zahlensystem, das nur zwei verschiedene Ziffern zur Darstellung von Zahlen benutzt Zahlen werden nur mit Ziffern, welche die Werte Null oder Eins annehmen, dargestellt Stellenwertsystem mit der Basis 2 Zahlen 0 bis 8: Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 8

10 Binärcode Definition und Darstellung Ziffern z i werden wie im gewöhnlich verwendeten Dezimalsystem ohne Trennzeichen hintereinander geschrieben. Beispiel: Dezimalzahl = = Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 9

11 Binärcode Umrechnen in Zahlensysteme Schreiben Sie die Dezimalzahl 42 als Dual-, Oktal- und als Hexadezimalzahl. 42 : 2 = 21 Rest 0 21 : 2 = 10 Rest 1 10 : 2 = 5 Rest 0 5 : 2 = 2 Rest 1 2 : 2 = 1 Rest 0 1 : 2 = 0 Rest 1 Binärzahl = Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 10

12 Binärcode Umrechnen in Zahlensysteme Schreiben Sie die Dezimalzahl 42 als Dual-, Oktal- und als Hexadezimalzahl. 42 : 8 = 5 Rest 2 5 : 8 = 0 Rest 5 Oktalzahl = : 16 = 2 Rest 10 2 : 16 = 0 Rest 2 Hexadezimalzahl = 2A Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 11

13 Binärcode Binärzahlen Verschiedene Darstellungsformen der Zahl dreiundzwanzig im Binärsystem: [ ] (2) 10111B 0b10111 HLHHH Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 12

14 Binärcode Grundrechenarten Addition = = = = 10 Multiplikation 0 0 = = = = 1 Subtraktion 0 0 = = = = 0 Division 0/0 = n.d. 0/1 = 0 1/0 = n.d. 1/1 = Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 13

15 Welche Weisheit mag sich wohl hinter dem Code verbergen? Codetabellen ASCII ASCII = American Standard Code for Information Interchange ASCII ist der bekannteste Code. Es handelt sich dabei um eine Tabelle, in der alle Zeichen des (amerikanischen) Alphabets entsprechenden Sequenzen aus 0 und 1 zugeordnet werden. In der nachfolgenden Tabelle wurden die ersten zwei bzw. drei Bits weggelassen. (Leer) H P X A I Q Y B J R Z C K S D L T 10100, E M U : F N V G O W # 11111

16 Codebaum Ein Codebaum vereinfacht die Decodierung. Man geht einfach entlang des jeweiligen Pfads (0 oder 1) und sobald man an ein Symbol gelangt, schreibt man es auf und beginnt von Neuem.

17 Codebaum Bits und Bytes Byte (engl. Bissen ) ist sozusagen ein Happen aus dem Datensalat eines Computers. Es stellt eine kleine Informationseinheit dar. Bit ist englisch als Verkleinerungsform von Byte zu sehen und auch die Abkürzung für Binary Digit, also deutsch Ziffer im Binärsystem. Ein Bit ist also die kleinste Informationsmenge, die man im Computer identifizieren kann. Da alle Symbole die gleiche Anzahl an Bit haben, können wir ganz einfach berechnen, wie viel Bit eine Nachricht mit 100 Zeichen hat : 100 Zeichen mal 5 Bit pro Zeichen gleich 500 Bit Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 16

18 Codebaum Bits und Bytes Codieren wir zum Beispiel eine Gen-Sequenz AGATGCCGTTACGA mit diesem Code Das macht genau 70 Bit. Wenn wir aber einen neuen Code hierfür nehmen, lässt sich die Anzahl der Bits auf 28 senken Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 17

19 Codebaum Groß- und Kleinschreibung Ohne Groß- und Kleinschreibung: ICH HABE LIEBE GENOSSEN Mit Groß- und Kleinschreibung: Ich habe liebe Genossen Ich habe Liebe genossen Wenn man die Groß- und Kleinschreibung einführt, enthalten alle Symbole mehr Informationen Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 18

20 Codebaum Informationsgehalt In diesem Text stehen nur die Vokale (A,E,I,O,U) und die Konsonanten N, R und T, die meist verwendeten Buchstaben in unserer Sprache. an atte ieen are ei eine eient, a ra er u i err, eine eit it eru, nun ote erne ieer ei u einer utter. Der gleiche Text, nur fehlen hier alle Vokale. Allerdings ist er deutlich besser lesbar. Hns htt sbn Jhr b snm Hrrn gdnt, d sprch r z hm Hrr, mn Zt st hrm, nn wllt ch grn wdr hm zu mnr Mttr Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 19

21 Codebaum Informationsgehalt In diesem Text stehen nur die Vokale (A,E,I,O,U) und die Konsonanten N, R und T, die meist verwendeten Buchstaben in unserer Sprache. an atte ieen are ei eine eient, a ra er u i err, eine eit it eru, nun ote erne ieer ei u einer utter. Der gleiche Text, nur fehlen hier alle Vokale. Allerdings ist er deutlich besser lesbar. Hns htt sbn Jhr b snm Hrrn gdnt, d sprch r z hm Hrr, mn Zt st hrm, nn wllt ch grn wdr hm zu mnr Mttr. Hier noch einmal der Originaltext: Hans hatte sieben Jahre bei seinem Herren gedient, da sprach er zu ihm Herr, meine Zeit ist herum, nun wollte ich gerne wieder heim zu meiner Mutter Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 19

22 Codebaum Informationsgehalt Wenn man unterschiedliche Buchstaben entfernt, entfernt man also auch unterschiedlich viel Informationsgehalt. Das Weglassen von Vokalen scheint nicht so schlimm zu sein wie das von Konsonanten. Das bedeutet, dass nicht jeder Buchstabe die gleiche Menge an Informationen enthält. Dann sollte es doch konsequent sein, wenn nicht jeder Buchstabe die gleiche Anzahl an Bits besäße. Wahrscheinlich könnte man dadurch auch die Größe einer Nachricht und damit die Übermittlungsdauer verringern. Zum Beispiel beim Morsen: der häufigste Buchstabe in unserer Sprache ist das E, dieser wird nur als einzelner kurzer Ton gesendet. Das Q hingegen wird viel seltener verwendet und besitzt beim Morsen auch einen längeren Code lang lang kurz lang. Es liegt also nahe, auch bei der Codierung durch diese Methode Speicherplatz zu sparen Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 20

23 Codebaum Optimierung Verschieben Sie das E um 2 Stellen nach links Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 21

24 Codebaum Optimierung Optimierter Codebaum Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 22

25 Codebaum Optimierung Jetzt versperren wir mit dem E die Buchstaben D, F und G Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 23

26 Codebaum Präfixbildung Ein Präfix ist ein Wort oder eine Zeichenfolge, die mit dem Anfang einer anderen Zeichenfolge identisch ist. In der Codierung versucht man Präfixe zu vermeiden, da man dann codierte Nachrichten nicht mehr direkt decodieren kann. E ist mit seinem Code 001 also die Präfix zu den Buchstaben D ( ), F ( ) und G ( ) Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 24

27 Codebaum Präfixlösung Um die drei Buchstaben wieder codierbar zu machen, müssen wir drei anderen Buchstaben einen längeren Code geben. Zum Beispiel Q, X und Y, welche bei der Häufigkeit unter 0,05% liegen und daher nur sehr selten gebraucht werden Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 25

28 Codebaum Präfixlösung Das selbe Verfahren lässt sich natürlich auch bei anderen Symbolen anwenden. Zum Beispiel bei dem Leerzeichen, welches von allen Symbolen am häufigsten verwendet wird. Andere Satzzeichen wie Doppelpunkt ( : ), Gedankenstrich ( ) oder die Raute ( # ) kommen hingegen nur sehr selten vor. Nehmen wir also das Leerzeichen und verschieben es drei Stellen nach links. Dadurch blockieren die Buchstaben A, B und C. Dann verschieben wir die Satzzeichen Doppelpunkt, Gedankenstrich und Raute um eine Stelle nach rechts und fügen die drei blockierten Buchstaben ein Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 26

29 Codebaum Präfixlösung Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 27

30 Codebaum Präfixlösung Allerdings ist A auch ein Buchstabe, der häufig verwendet wird und ist mit einem 6-stelligen Code denkbar schlecht codiert. Demnach ist dies nicht die optimale Lösung für das Problem. Es muss also alles etwas freier im Codebaum getauscht werden. Am besten wird es wohl sein, wenn das Leerzeichen sowie das E 3 Bits erhalten, N, I, S und R jeweils 4 Bit, A, T, D, H, U, L, C und G 5 Bit, Q, Doppelpunkt, Gedankenstrich und Raute 7 Bit und die restlichen Zeichen 6 Bit erhalten Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 28

31 Codebaum Präfixlösung Mit diesem Codebaum lässt sich nun die Bit Anzahl dieses Satzes: HANS ZOG EIN TUECHLEIN AUS DER TASCHE, WICKELTE DEN KLUMPEN HINEIN, SETZTE IHN AUF DIE SCHULTER UND MACHTE SICH AUF DEN WEG NACH HAUS., welcher mit dem Anfangsbaum 670 Bit hätte, auf 552 Bit verringern. Dieses Verfahren wird für Archive wie Zip, ARJ, RAR usw. genutzt. Diese Programme nutzen allerdings auch, dass ganze Worte häufig vorkommen und können somit bis über 90% Speicherplatz sparen. Andere Verfahren komprimieren ganze Blöcke von Daten (bzip2) oder auch Teilwörter (LZ77, LZMA) Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 29

32 Moderne Text-Kodierung (UTF-8) In Anbetracht der immer stärkeren Globalisierung und des Wunsches eine Kodierung für alle Sprachen der Welt anzubieten, wurde Unicode entwickelt. Unicode definiert Codepoints für eine Vielzahl an Zeichen die benutzt werden (z.b. Griechisch, Arabisch, Chinesisch). Es gibt im aktuellen Standard 6 um die 1.1 Millionen definierte Codepoints. Die effiziente Codierung der Texte ist hier äußerst wichtig. UTF-8 ist in den ersten 128 Codepoints identisch mit ASCII, das bedeutet, dass die weit verbreiteten ASCII-Texte automatisch UTF-8 konform sind Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 30

33 Moderne Text-Kodierung (UTF-8) Ein UTF-8 Zeichen, dass mit einer 1 beginnt zeigt an, dass es entweder der Beginn eines Mehr-Byte-Zeichens oder Teil eines solchen Zeichens ist. Ein UTF-8 Zeichen kann somit 1 bis 6 Byte lang sein, wobei die am häufigsten genutzten Zeichen in den unteren Code-Regionen zu finden sind. Diese Kodierung ist selbstkorrigierend Falls Teile eines Zeichens verloren gehen, ist nur das eine Zeichen betroffen, der Beginn eines neuen Zeichens kann ohne Probleme ermittelt werden. Bit Byte 1 Byte 2 Byte 3 Byte 4 Byte 5 Byte 6 7 0xxxxxxx xxxxx 10xxxxxx xxxx 10xxxxxx 10xxxxxx xxx 10xxxxxx 10xxxxxx 10xxxxxx xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

34 QR-Code Ursprünglich für die Logistik von Toyota entwickelt. Spezifikationen sind offen Lizenz- und kostenfrei Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 32

35 Fehlererkennung und -korrektur Bei der Übertragung von Daten können Fehler auftreten. Diese Fehler sollen erkannt werden oder besser: Die Fehler sollen direkt korrigiert werden. Beispiel: Hamming-Distanz Mögliche Codewörter: A B C D Welcher Abstand (wie viele verschiedene Bits) existiert zwischen den Wörtern? Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 33

36 Hamming-Distanz Mögliche Codewörter: A B C D Berechnung der Distanz durch verxoren der einzelnen Codewörter und zählen der Bits mit 1. Definition von XOR (= Addition in Z 2 ): 0 0 = = = = 0 d > 2 f, d = Distanz, f = Bit-Fehler Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 34

37 Hamming-Distanz Mögliche Codewörter: A B C D Empfangendes Codewort ist: Was ist das richtige Codewort? Warum ist es dieses? Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 35

38 Hamming-Distanz Zu Übertragende Daten: Index Daten?? 0? 1 0 0? Positionen, an denen eine 1 steht: 5 (0101), 9 (1001), 10 (1010) 101 = (05) 1001 = (09) xor 1010 = (10) 110 = (06) Index Daten Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 36

39 Hamming-Distanz Zu Übertragende Daten: Index Daten?? 0? 1 0 0? Positionen, an denen eine 1 steht: 5 (0101), 9 (1001), 10 (1010) 101 = (05) 1001 = (09) xor 1010 = (10) 110 = (06) Index Daten Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 37

40 Zusammenfassung Codierungen (Zahlen und Buchstaben) Morgen: Codierungen (Bilder und Musik) Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 38

41 Danke Vielen Dank für Ihre Aufmerksamkeit! Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe Seite 39