Unicode und URI Grundvoraussetzung für das Semantic Web von Harald Cichos

Transkript

1 Unicode und URI Grundvoraussetzung für das Semantic Web von Harald Cichos Seminar: Semantic Web Wintersemester 2005/2006 Universität Jena Seminarleiter: Prof. Dr. C. Beckstein, Dr. H. Sack, Dipl.-Inform. H. Peter Übersicht Unicode Geschichte Unicode URI URL URN Aufbau UTF Aufnahmevorgang 1

2 Geschichte ASCII 60 verschiedene Kodierungen 1972 setzte sich ASCII durch Problem: - verursachte Kompatibilitätsprobleme Lösung: - ISO 646 Geschichte ISO 646 verschiedene nationale Abwandlungen Nachteil: - nicht mehrere Zeichensätze gleichzeitig behoben durch: - ISO

3 Geschichte ISO 8859 Coderaum von 7 auf 8 Bit erweitert - ASCII und häufige Sonderzeichen Problem: - Coderaum nicht ausreichend - 15 regionale Versionen Lösung: - Unicode Geschichte Unicode Unicode Konsortium - entwickelt Unicode - Mitglieder sind Microsoft, Apple, IBM, - arbeitet mit ISO zusammen Ziel: - genügend Coderaum - einheitliche Zeichenkodierung - reibungslosen Austausch 3

4 ISO UCS mit Unicode nahezu identisch - Unicode besitzt zusätzlich Regelwerk - ursprünglich Zeichen geplant - später auf Zeichen erhöht Unicode 1.1 ISO : Zeichen Unicode 3.0 ISO : Zeichen Unicode 3.2 ISO : Zeichen Unicode 4.0 ISO : Zeichen Planes Unicode beschränkt die Zeichen auf Planes (Codebereiche) existieren Planes umfassen jeweils Zeichen sind wiederum in Blöcke unterteilt 4

5 Planes Beispiele Ebene 0: Basic Multilingual Plan (BMP) U+0000 bis U+FFFF enthält die Standardzeichen Ebene 1: Secondary Multilingual Plan (SMP) U bis U+1FFFF erweitert die BMP Codepoints Coderaum besteht aus Codepoints abstrakte Zeichen (characters) belegen jeweils einen Codepoint im Coderaum ~ 9% des Coderaumes sind derzeit belegt Beispiel: Zeichen A hat in ASCII und Unicode denselben Codepoint 65 dez oder 41 hex 5

6 Unicode Transformation Format (UTF) Verfahren um abstrakte Zeichen in Bytes zu transformieren es existieren UTF-32, UTF-16, UTF-8, Gemeinsamkeit Unterschied - stets Zeichen - verlustfreie Konvertierung - Speichereffizienz - Laufzeitverhalten - Kompatibilität UTF-32 UTF 32 identisch zu UCS 4 Codewort besteht aus 4 Byte (32 Bit) verzichtet auf variable Bytelänge lässt mehr Kodierungen zu als nötig 2 32 = Vorteil Nachteil - Verarbeitung (immer feste Byte-Anzahl) - Speicherung (hoher Speicherbedarf) 6

7 UTF-16 UTF 16 identisch zu UCS 2 älteste UTF-Verfahren Codewort besteht aus 2 Byte 2 16 = UTF 16 erlaubt surrogate pairs (2x 2 Byte) = UTF 16 und UCS 2 enthalten BMP UTF-16 surrogate pairs 2 Byte-Paare vereint zu 4 Byte Kennzeichnung schränkt Wertebereich ein 7

8 UTF-16 Übertragung Gleiche Reihenfolge: Sender und Empfänger 2 Möglichkeiten: - Big Endian - Little Endian UTF-8 am meisten genutztes Verfahren platzsparendstes & theo. mächtigstes Verf. variable Anzahl von bis zu 4 Bytes - vom zu kodierenden Zeichen abhängig - ASCII Zeichen nur 1 Byte spezielle Shift-In/Out Markierungen 8

9 UTF-8 1-Byte-Länge Merkmale: Most-Significant-Bit ist 0 Byte entspricht ASCII Zeichen UTF-8 Byte-Kette kodiert werden: Start-/Folgebyte Kettenlänge Unicode-Zeichen 9

10 UTF-8 theoretisch mögliche Kodierung Rechtsbündige Anordnung Kürzeste Form UTF-8 Restauration von Daten Fortlaufender Datenstrom Eindeutige Unterscheidung von Start- und Folgebyte, erlaubt nicht vollständige Daten teilweise wiederherzustellen. 10

11 UTF-8 Beispiele Aufnahmevorgang nimmt viel Zeit in Anspruch aufgenommene Zeichen werden nicht entfernt muss Aufnahmekriterium erfüllen 11

12 Aufnahmevorgang Glyphe grafische Darstellungen eines Characters Problem: - Sprachen unterscheiden sich - stellungsabhängige Glyphenvarianten - Kombination von Glyphen Aufnahmevorgang Glyphenkombination Ligaturen - zusammengezogene Buchstaben Diaeresis - zusammengesetzte Buchstaben 12

13 Unicode Anwendungsgebiete Besonders nützlich bei internationalem Datenaustausch - Internet -HTML -XML - Punycode URI Uniform Resource Identifier URI ist Identifikationsschema im Internet Identifikation über Name oder Adresse Adressangabe URL - Uniform Resource Locator von Lage abhängig Namensangabe URN - Uniform Resource Name noch nicht standardisiert 13

14 URI Informationsdienste unterschiedliche Informationsdienste nutzen unterschiedliche Protokolle eindeutige Kennzeichnung = Dienst + Protokoll URI Anforderung Universalität jede Ressource ist erreichbar Erweiterbarkeit Möglichkeit zur Aufnahme neuer Dienste Eindeutigkeit Ressourcen eindeutig und identifizierbar Fixierbarkeit URI sollte auf Ressource schlussfolgern lassen 14

15 URI Syntax und Struktur - Grundschema Präfix erfüllt Erweiterbarkeit Informationsdienst bietet Ressource an Suffix erfüllt Universalität Lage und Identität der Informationsressource URI Syntax Präfix (Schema) Suffix (schemaspezifischer Teil) Sonderzeichen Escape-Zeichen - % Beispiel: Hierarchische Struktur - / Beispiel: Dokumentfragmente - # Beispiel: 15

16 URI URL Benutzer: Zugrifferlaubnis Passwort: autorisiert den Benutzer Hostname: IP Adresse oder Domain-Name Portnummer: Angabe des Ports Pfad: Adresse URI URN keinen Dienst unterstützt URN derzeit spezielle Anforderungen Globale Gültigkeit / Eindeutigkeit Dauerhaftigkeit Skalierbarkeit Unterstützung existierender Standards Unabhängigkeit Namensauflösung 16

17 URI URN - Konzept der Namensauflösung Ablauf: 1. - NID an RDS - Ermittelt URN Resolver 2. - NSS an URN Resolver - Passende URL zurück 3. - Anfrage an Anbieter - Informationsressource 17