Einführung in die Informatik

Transkript

1 Einführung in die Informatik Daten, Information und Nachrichten Informationstheorie, Informationsgehalt, Entropie Codierungen Dualzahlen Diskretisierung und Digitalisierung Speicherung von Daten und Programmen

2 2 Definitionsversuche aus dem Duden Informatik (1) Datum (=EZ von Daten ) Kleinstes unteilbares Element des Wertebereichs eines Datentyps. In der Informatik definiert man den Begriff des Datums häufig viel umfassender als Nachricht oder Teil einer Nachricht, die so dargestellt ist, dass sie maschinell verarbeitet werden kann.

3 3 Definitionsversuche aus dem Duden Informatik (2) Information umfasst eine Nachricht zusammen mit ihrer Bedeutung für den Empfänger. Diese Bedeutung kann darin bestehen, dass ein Mensch der Nachricht einen Sinn gibt, oder die Bedeutung kann indirekt aus der Art der weiteren Verarbeitung der Nachricht geschlossen werden. auch im Sinne von: Maß für den Informationsgehalt einer Nachricht

4 4 Definitionsversuche aus dem Duden Informatik (3) Nachricht ist eine endliche Zeichenfolge, die eine Information vermittelt. Bei der Übertragung von Nachrichten müssen oft feste Regeln eingehalten werden. Information Nachricht

5 5 Informationsgehalt Kernfrage: Wie weit kann man eine Nachricht verkürzen, so dass sie noch dieselbe Bedeutung für den Empfänger besitzt wie die ursprüngliche Nachricht? Langtext Abkürzung Faktor Donaudampfschifffahrtsgesellschaft DDSG 34:4 Einf. i. d. Inf. 28:16 XXXXXXXXXXXXXXXXXXXX 20X 20: Mrd.; 10 9 ; 1E9 10: π 17:1 Ja, das ist richtig Ja; OK; 1; true 19:1 Das stimmt nicht Nein; 0; false 16:1

6 6 Informationsgehalt einzelner Zeichen Manchmal haben sogar einzelne Zeichen wesentliche Bedeutung. Er denkt an sich selbst zuletzt. Er denkt an sich, selbst zuletzt. Ma fu r mit sein m Auto nach San Fran. 20,

7 7 Informationstheorie Messung des Informationsgehalts Beseitigung von Redundanz Anwendungen: Datenkompression (kompaktere Speicherung, schnellere Übertragung) Fehlererkennung und -korrektur bei unsicheren Übertragungskanälen

8 8 Denksportaufgabe Wie kann man Texte, die viele Wiederholungen einzelner Zeichen enthalten, ohne Informationsverlust verdichten? D.h., aus dem verkürzten Text soll der Empfänger den ursprünglichen Langtext exakt rekonstruieren können. Beispiele: // Kommentar ?

9 9 Informationstheorie nach Shannon Claude Elwood Shannon ( ) 1948: Mathematische Theorie der Informationsübertragung von Shannon benutzter Informationsbegriff: Information ist neues Wissen über ein Ereignis, einen Tatbestand oder einen Sachverhalt; Information ist Beseitigung von Ungewissheit.

10 10 Berechnung des Informationsgehalts Einheit: 1 bit = Anzahl der Ja/Nein-Fragen, die zum Erfragen der gesuchten Information erforderlich sind. k Fragen ermöglichen die Auswahl aus 2 k Möglichkeiten (Wahrscheinlichkeit pro Möglichkeit = 1/2 k ) Beispiel: männlich? J N Karl? Eva? J N J N Karl Hans Eva Maria

11 11 Informationsgehalt von Zeichen (1) Darstellung eines Textes durch Zeichen aus einem Zeichenvorrat mit n Zeichen. Annahme: Alle Zeichen kommen gleich häufig vor. Auftrittswahrscheinlichkeit eines Zeichens: p=1/n Es gilt 2 k = n = 1/p k = ld(1/p) = -ld(p) ld = Logarithmus dualis = log 2 Berechnung: ldx = logx log2 = logx ldx = lnx ln2 = lnx 0.693

12 12 Informationsgehalt von Zeichen (2) Verallgemeinerung: unterschiedliche Häufigkeiten der Zeichen; p A p B Berechnung nach der selben Formel: k S = ld(1/p S ) = -ld(p S ) Beispiel (Buchstabenhäufigkeit in deutschen Texten): p E = 0,147 (ca. jeder 7. Buchstabe) k E = -ld(p E ) = -ld(0,147) = 2,766 p Y = 0,0002 (ca. jeder Buchstabe) k Y = -ld(p Y ) = -ld(0,0002) = 12,288

13 13 Informationsgehalt von Zeichen (3) Nachrichtenübertragung: Für den Empfänger ist das Eintreffen eines Zeichens x ein Ereignis. Je unwahrscheinlicher das Ereignis, desto größer ist sein Informationsgehalt (wahrscheinliche Ereignisse kann man leichter erraten). Informationsgehalt Wahrscheinlichkeit

14 14 Durchschnittlicher Informationsgehalt Für einen ganzen Zeichensatz kann man den durchschnittlichen Informationsgehalt berechnen: H = n p i k i = p i ld p i i =1 n i =1 ( ) Informationsgehalte der Einzelzeichen werden mit ihren Wahrscheinlichkeiten gewichtet. H wird als Entropie bezeichnet.

15 15 Entropie-Beispiel 1 (5 Zeichen) gleiche Wahrscheinlichkeiten p k p*k A B C D E H= 2.32 H = k i maximal verschiedene Wahrscheinlichkeiten p k p*k H= 1.53

16 16 Entropie-Beispiel 2 (2 Zeichen) ( ( ) + p b ld( p b )) H = p a ld p a ( ( ) + ( 1 p a ) ld( 1 p a )) weil p b = 1 p a = p a ld p a (d.h., Funktion, die nur von p a abhängt) H maximal, wenn beide gleich wahrscheinlich p a

17 17 Bedeutung der Entropie Maß für Unordnung (Chaos) hohe Entropie schwierige Vorhersagen vgl. Gastheorie:

18 18 Darstellung von Daten durch Zeichen Daten können u.a. durch Zahlen und Texte dargestellt werden. Auch Zahlen können als Texte repräsentiert werden. Beispiel: Textdarstellungen der Zahl 1234: 1234 MCCXXXIV eintausendzweihundertvierunddreißig Auch umgekehrt: Text durch Zahlen (siehe später)

19 19 Symbole und Alphabete Texte bestehen aus Symbolen (=Zeichen). Symbole entstammen einem Alphabet (=Zeichenvorrat). Alphabete sind endliche Mengen.

20 20 Beispiele für Alphabete Alphabet der Dezimalziffern {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} Alphabet der Binärziffern {0, 1} (binäres Alphabet) Alphabet der Wahrheitswerte Alphabet der Wochentage {true, false} Alphabet der Großbuchstaben {A, B, C, D, E,, X, Y, Z} Alphabet der Morsezeichen {, } {Mo, Di, Mi, Do, Fr, Sa, So} Alphabet der Ampelfarben {,,, }

21 21 Alphabet der Binärziffern universell einsetzbar Informationsgehalt: 1 bit Symbole können mit beliebigen Bedeutungen versehen werden, z.b.: 0 = weiß, 1 = schwarz 0 = männlich, 1 = weiblich können zu Gruppen zusammengefasst werden 00 = 01 = 10 = 11 =

22 22 Gruppen von Binärziffern Mit n Binärziffern können 2 n Kombinationen gebildet werden. Beispiel: n=5; 2 5 =32 reicht zur Darstellung der Großbuchstaben, z.b.: = A = B = C = D = E = F

23 23 Gruppen verschiedener Länge Verschieden lange Gruppen können benutzt werden, um häufige Symbole durch kürzere Folgen darzustellen. Beispiel Morsecode: = A = B = E = N = Y Alphabet 1 Alphabet 2 Eine Zuordnungsvorschrift zwischen Symbolen zweier Alphabete heißt Code.

24 24 Beispiel ASCII ASCII = American Standard Code for Information Interchange Genormt als 7-Bit-Code: = " " (Leerzeichen) = "0" = "A" = "a" = "*" = "1" = "B" = "b" Erstes Bit mit Wert 1 für diverse Erweiterungen (z.b. Umlaute,, )

25 25 Kompakte Codierung Codes mit gleich großen Bitgruppen haben den Nachteil, dass häufige und seltene Symbole mit gleich vielen Zeichen dargestellt werden. Für Übertragung und kompakte Speicherung wünschenswert: verschieden lange Bitfolgen, je nach Häufigkeit der Symbole, z.b.: E = 01 S = 100 Y = Verfahren zur Bestimmung einer guten Codierung nach Fano und Huffman.

26 26 Beispiel: Wochentage erste vier? 1 0 Mo, Di? 1 0 Fr? 1 0 Mo? 1 0 Mi? 1 0 Sa? 1 0 Mo Di Mi Do Fr Sa So = 111 = 110 = 101 = 100 = 01 = 001 = 000 bei gleicher Verteilung (p x = 1/7): im Schnitt (6*3+1*2)/7 = 2.86 Bit/Zeichen Entropie: ld(1/7) = 2,81 (nicht erreichbares Optimum)

27 27 ungleiche Verteilung Tag p [%] k [bit] p*k Mo Di Mi Do Fr Sa So H= (gleichverteilt: H=2.81)

28 28 Verfahren von Fano Idee: Absteigend sortieren, immer wieder möglichst nahe der Mitte teilen. Bits gewichtet Fr Sa Do Mi So Di Mo Summe: 2.47 zum Vergleich: Entropie H = (gleichverteilt: H = 2.81)

29 29 Verfahren von Huffman Idee: Absteigend sortieren, immer wieder die letzten beiden zusammenfassen und neu sortieren. 40 Fr 20 Sa 15 Do 10 Mi 8 So 5 Di 2 Mo 40 Fr 20 Sa 15 Do 10 Mi 8 So 0 7 DiMo Fr 20 Sa 15 Do 15 SoDiMo 10 Mi 1 1 Codierung von rechts nach links SaDoSoDiMoMi 40 Fr 25 SoDiMoMi 20 Sa 0 15 Do 1 0 Fr 0 SaDo 1 SoDiMoMi 40 Fr 35 SaDo 0 25 SoDiMoMi 0 Sa 1 SoDiMo 0 Do Mi So DiMo 40 Fr 0 60 SaDoSoDiMoMi 0 1 Di Mo

30 30 Huffman-Code und Entropie Fr Sa Do Mi So Di Mo Huffman Code Bits gewichtet << > Summe: 2.42 Code zum Vergleich: Entropie H = (gleichverteilt: H = 2.81) Fano Bits gewichtet Summe: 2.47

31 31 Codierungsbeispiel (Huffman) Fr Sa Do Mi So Di Mo Decodierung mit Entscheidungsbaum: 0 Fr keine Trennzeichen erforderlich! 0 Sa 1 0 Do 1 Mi 0 1 So 0 1 Fr, Do, Do, So, Mo Fr Do Do So empfindlich gegen Übertragungsfehler: Di Mo Mo Mo Fr Mi Fr Fr Mo Aus 4 Symbolen werden 5 andere

32 32 Anwendungen Datenkompression (z.b. LZH-Verfahren) LZH = Lempel-Ziv-Huffman kompaktere Speicherung, schnellere Übertragung umgekehrt: gezielte Einstreuung von Redundanz zur Erkennung und Korrektur von Fehlern

33 33 Codierung von Zahlen (1) Beispiel: Ganze Zahl 123 a) als ASCII-Text: Ziffernzeichen "1", "2" und "3": (3 Bytes = 24 Bits) beliebig lang, lesbare Darstellung erste 4 Bits sind immer gleich b) Weglassen der führenden Bits (0011) BCD-Darstellung (Binary Coded Decimals) (12 Bits) 0 = = = = = = = = = = 1001 restliche 6 Bitkombinationen bleiben ungenutzt: 1010, 1011, 1100, 1101, 1110, 1111

34 34 Codierung von Zahlen (2) c) Dualzahlen zur Basis = = 1* * * * * * *2 0 = Größter darstellbarer Wertebereich: n Binärziffern: 0 bis 2 n 1 Binärziffern größte darstellbare Zahl Tri Brd Bio Mrd Mio

35 35 Berechnung allgemein Beispiel 8-Bit-Zahl Bits werden von rechts nach links mit 0 beginnend nummeriert: MSB LSB b7 b6 b5 b4 b3 b2 b1 b Bit-Nummer entspricht der Wertigkeit MSB = most significant bit; LSB = least significant bit n 1 i = 0 Zahlenwert: v = b i 2 i

36 36 Berechnung händisch (1) Dualzahl Dezimalzahl von links nach rechts nach dem Horner-Schema *2+ =2 *2+ =5 *2+ =10 *2+ =21 *2+ =43

37 37 Berechnung händisch (2) Dezimalzahl Dualzahl von rechts nach links durch fortgesetzte Division: 43 : 2 = 21, Rest 1 21 : 2 = 10, Rest 1 10 : 2 = 5, Rest 0 5 : 2 = 2, Rest 1 2 : 2 = 1, Rest 0 1 : 2 = 0, Rest 1 Ungerade Zahlen enden mit 1, gerade enden mit

38 38 Negative Zahlen MSB wird für das Vorzeichen reserviert, z.b. bei 16 Bit: 1 15 V Betrag = positiv 1 = negativ Berechnung nicht durch Vorzeichenumkehr, sondern durch Subtraktion von (Zweierkomplement-Darstellung)

39 39 Beispiele für negative Zahlen = = = = = größtmögliche Zahl = (2 15 1) 2 15 = = = = kleinstmögliche Zahl min = max +1 (0 zählt als positive Zahl) Wertebereich bei n Bits: 2 n-1 bis +2 n Bits: bis Bits: bis

40 40 Rechnen mit Dualzahlen Addition Additionstabelle: Übertrag Addition von rechts nach links unter Berücksichtigung des Übertrags, z.b.: = = =

41 41 Rechnen mit Dualzahlen Addition mit Vorzeichen Dank Zweierkomplement auf die selbe Weise: Überlauf!? = = = OK, wenn die letzte und vorletzte Stelle (oder keine von beiden) einen Übertrag liefern. 1

42 42 Rechnen mit Dualzahlen Vorzeichenumkehr Bitweise Negation (d.h. Umkehr aller Bits), dann Addition von

43 43 Rechnen mit Dualzahlen Subtraktion Kann auf Vorzeichenumkehr und Addition zurückgeführt werden: x y = x + ( y) d.h.: x y = x + neg(y) + 1

44 44 Rechnen mit Dualzahlen Multiplikation Das Kleine Einmaleins der Dualzahlen: * Sonst Vorgehen wie im Dezimalsystem, z.b. für 10*5: * Probe: = 50

45 45 Rechnen mit Dualzahlen Multiplikation (2er-Potenzen) 10er-Potenzen im Dezimalsystem: (z.b.: = ) er-Potenzen im Dualsystem: (z.b.: 5 16 = )

46 46 Denksportaufgabe Wie könnte die Division ganzer positiver Dualzahlen funktionieren? Beispiele: 81 / 6 = 13, Rest 3 81 / 8 = 10, Rest 1?

47 47 Gleitkommazahlen Prinzip engl. floating point numbers oder 6, (nur eben mit Dualzahlen ) Prinzipdarstellung (32-Bit-Gleitkommazahlen): V Exponent V Mantisse Zahlenwert = VM Mantisse 2VE Exponent Wertebereich 7 Bits ±2 27 = ±2 128 ± Genauigkeit 23 Bits 2 23 = Dezimalstellen

48 48 Darstellung der Mantisse in der Form 0.x gedachter Dezimalpunkt vor der höchstwertigen Stelle: 0 b 22 b 0 Wert: b b b b b02-23 Beispiele: 0.75 = = = = = = = (periodisch!)

49 49 Gleitkommazahlen nach IEEE IEEE = Institute of Electrical and Electronics Engineers Mantisse wird in die Form 0.1xxx gebracht höchstwertige 1 wird nicht gespeichert (bringt ein zusätzliches Bit an Genauigkeit) z.b = wird als gespeichert. normalisierte Darstellung zusätzliche Sonderdarstellungen für: denormalisierte Zahlen ±INF (Darstellung für ) NAN (= Not a number ; ungültige Zahl) ±0 (z.b. Ergebnis bei Division durch ±INF)

50 50 Gleitkommazahlen typische Größen Bits Dez.- Wertebereich Bytes Exp Mant. Stellen min max E E E E E E+4932

51 51 Gleitkommazahlen beschränkte Genauigkeit Viele Zahlen sind nicht mehr exakt darstellbar, z.b.: Mantisse = (99 Nullen) 0001 kann auch im 10-Byte-Format nicht dargestellt werden. Rundungsfehler bei Rechenoperationen: Radius Umfang: u = r*2.0*pi; Umfang Radius: x = u/2.0/pi; if (x==r) { } // muss nicht mehr gelten besonders kritisch bei Kettenrechnungen (Rundungsfehler summieren sich) Niemals Gleitkommazahlen auf Gleichheit prüfen! Besser Prüfung auf Nähe: if (fabs(x-r)<=eps) { }

52 52 Festkommazahlen vermeiden Rundungsfehler (zumindest bei Addition, Subtraktion und Multiplikation) Idee: ganze Zahl mit gedachtem Dezimalpunkt und fester Zahl von Nachkommastellen d Beispiele mit d=3: Prinzip: Man rechnet in anderen Einheiten (bei Geldbeträgen und d=3 beispielsweise in Milli-Euro ) Wertebereich wird dadurch beschränkt: Mit d=3 reichen 32-Bit-Zahlen nur noch bis 2 Mio.

53 53 Denksportaufgabe a) Gegeben: Zwei Festkommazahlen mit gleichem d z.b und 7.25 mit d=3 b) Wie kann man solche Zahlen addieren und multiplizieren? Was muss zusätzlich getan werden, wenn die Zahlen unterschiedlich viele Nachkommastellen haben, z.b (d=2) und (d=5)?

54 54 BCD-Zahlen werden im kaufmännischen Bereich gern verwendet, wenn Zahlen beliebig groß werden können. Idee: pro Byte 2 Dezimalziffern à 4 Bit; Byte-Ketten zur Darstellung der Zahlen können nach Bedarf beliebig verlängert werden. Für Milliardenbeträge mit Cent benötigt man 12 Dezimalstellen, also 6 Byte. Vorteile: exakt, beliebig lang, einfache Umwandlung in lesbare Zeichenkette Nachteil: aufwändige Rechenoperationen (müssen händisches Rechnen im Dezimalsystem nachbilden).

55 55 Diskretisierung und Digitalisierung Endliche Mengen von Werten (z.b. Buchstaben, Jahreszeiten, Tage des aktuellen Jahres) kann man durch ganze Zahlen darstellen. Unendliche Mengen (z.b. reelle Werte wie physikalische Größen) müssen durch endlich viele Werte angenähert werden.

56 56 Beispiel: Temperaturkurve stetig analog diskret digital C Zeit C 16 Zeit C Diskretisierung (Rasterung) Zeit Digitalisierung (digit = Ziffer)

57 57 Digitalisiertes Bild analog stetig analog diskret digital

58 58 Eigenschaften binärer Codierung (1) Wählbare Genauigkeit durch Hinzunahme von Bits. Faustregel: 10 Bits 3 Dezimalstellen (weil 2 10 = = 10 3 ) Speicherbarkeit mechanisch (Lochkarten, Lochstreifen), magnetisch (Magnetband, -platte, Diskette), optisch (CD) elektronisch (integrierte Schaltungen) Übertragbarkeit elektrisch (Spannung auf Leitung), elektromagnetisch (Funk) optisch (Lichtfaserleitung)

59 59 Eigenschaften binärer Codierung (2) Einfache Rechenoperationen im Dualsystem Geringe Störempfindlichkeit Zur Übertragung und Speicherung werden die Binärziffern in analoge Größen übersetzt. Binärziffer Spannung Frequenz 0 0 V 10 khz 1 5 V 12 khz V 2.5 V 0 V

60 60 Speicherung von Daten Bytes: Wörter: Darstellung von Werten im Speicher meist byte-orientiert. Mehrere Bytes werden zu Speicherwörtern (typisch: 2, 4, 8 Bytes) zusammengefasst. Bytes sind im Speicher nummeriert; das erste Byte hat die Nummer 0. Bytenummer = Adresse Größere Gruppen beginnen meist an durch 2 oder 4 teilbaren Adressen.

61 61 Der Begriff Byte Byte = Zusammenfassung von 8 Bits kleinste adressierbare Einheit (einzelne Bits haben keine Adressen) Byte wird auch als Maßeinheit benutzt (z.b. für Speicherkapazität von Medien) gängige Vielfache: 1 kbyte 1kB = 2 10 Byte = 1024 Byte ( 1000 Byte) 1 MByte 1MB = 2 20 Byte = Byte ( 1 Mio. Byte) 1 GByte 1GB = 2 30 Byte = Byte ( 1 Mrd. Byte)

62 62 Einteilung von Daten Datentypen Datentyp Bezeichnung Speicherbedarf ganze Zahl Integer, int 1, 2, 4, 8 Byte natürliche Zahl Cardinal, Natural, unsigned int 1, 2, 4, 8 Byte Gleitkommazahl Real, float, double 4, 8, 10, 16 Byte Zeichen Char, Byte 1 oder 2 Byte Wahrheitswert Boolean, bool, Bit 1 Bit oder 1 Byte

63 63 Speicherung von Programmen (1) Auch Programme müssen im Speicher untergebracht werden (von Neumann). Programme bestehen aus Befehlen, die Operanden haben können. Beispiel: LOAD 2,1024 ADDI 2,1 STORE 2,1024 S 1024 R 2 R 2 +1 R 2 R 2 S 1024 Lade Register 2 mit Inhalt der Speicherzelle 1024 Addiere den Wert 1 zum Inhalt von Register 2 Speichere Register 2 unter der Adresse 1024 Endlich viele Befehle nummerieren als Zahlen codieren

64 64 Speicherung von Programmen (2) LOAD 2,1024 ADDI 2,1 STORE 2, Befehl Register Adresse / Wert Daten und Programme werden gleich dargestellt. Im Speicher stehen Folgen von Bytes, die keine Mascherl haben.

65 65 Interpretation von Speicherinhalten Bitmuster ASCII-Zeichen "abcd" Ganze Zahl Gleitkommazahl ( ) Wahrheitswerte false, true, true, false, false, false, Maschinenbefehl ADDL 2, 25444

66 66 Konsequenzen aus Bedeutungsvielfalt Fehlinterpretation von Speicherinhalten möglich (häufige Ursache von Programmfehlern) Uminterpretation von Speicherinhalten möglich (Konvertierungen, z.b. Zahl Zeichenkette) Uminterpretation von Befehlen als Zahlen und umgekehrt Programme können Programme verarbeiten! Ein ausführendes Programm bearbeitet ein anderes als Daten.

67 67 Programme als Daten Programme können andere Programme untersuchen (z.b. Debugger) verändern (z.b. Profiler, aber auch Computerviren) erzeugen (z.b. Compiler, Programmgeneratoren) Endlose Fortsetzung denkbar: Man kann Programme schreiben, die Programme erzeugen, die Programme erzeugen, In der Informatik typisch, in anderen Disziplinen selten oder gar nicht möglich. (Ausnahme Meta-Mathematik )