PDF und PDF/A Validierung - im Brennpunkt Schriften

Transkript

1 PDF und PDF/A Validierung - im Brennpunkt Schriften Vice Chair im Board der PDF Association, callas software GmbH 1

2 PDF Association Mission Statement Aufklärung und Marketing für die PDF Standards PDF/A, PDF/X, PDF/E, PDF/UA, PDF/VT, PDF Technische (Auf)klärung für diese Standards PDF Association für Mitglieder ISO Class A Liaison Einflußnahme ist nicht nur möglich sondern erwünscht Frühzeitiger Einblick in Standards bevor sie erscheinen (im Intranet der PDF Association) Mitarbeit einfacher als über das DIN, aber kein Stimmrecht 2

3 Überblick I. Neues bei der PDF/A Validierung verapdf (Juni 2017) PDF 2.0 (Juni/Juli 2017) II. PDF- mit/ohne PDF/A-Validierung? Brennpunkt Schriften 3

4 verapdf

5 Was ist verapdf? Bestandteil des EU Projektes PREFORMA (PREservation FORMAts) project PDF/A TIFF Video Entwicklung eines Open Source Validators durch die PDF/A Industrie Unterhalb von PDF/A (nicht auf ISO Ebene) Das verapdf Konsortium: Open Preservation Foundation (OPF) PDF Association 5

6 verapdf Open Source Validator Online: Downloads: Sources: 6

7 verapdf Open Source Validator Projektabschluß im Juni 2017 Maintenance und Bugfixing noch mindestens 2 weitere Jahre Erste Referenz bei Unterschieden zwischen PDF/A Anwendungen Einsatzbereiche: Für die reine Validierung Validierung von Konvertierungsergebnissen 7

8 verapdf Test Corpus Isartor Testsuite: 204 Fehlertests 2008 veröffentlicht von der PDF Association Nur für PDF/A-1b verapdf Test Corpus: 1541 Fehler- oder Passtests Zusätzlich 179 Fehler- oder Passtests für PDF/A-1b plus 367 Tests für XMP (Spec from 2004) 223 Fehler- oder Passtests für PDF/A-2b plus 549 tests for XMP (Spec from 2005) 13 Fehler- oder Passtests für PDF/A-3b 3 Fehler- oder Passtests für Konformitätslevel U 7 Fehler- oder Passtests für Konformitätslevel A Vorteile Zusätzliche Passtests Vollständige Abdeckung aller Standardteile und Konformitätslevel 8

9 Weitere Ergebnisse der Entwicklung von verapdf Fortführung und Systematisierung der in den letzten Jahren nur fallweise durchgeführten Klärung von Unklarheiten Identifikation und Diskussion von 29 Unklarheiten zwischen PDF/A Validatoren in der PDF/A Spezifikation Übereinkunft zur Beseitigung in TechNote 10 der PDF Association Bestätigt von ISO TC 171 (zuständig für PDF/A) Soeben von der PDF Association veröffentlicht 9

10 TechNote 10 derpdf Association Bereinigung von Unterschieden Keine Bereinigung von PDF oder PDF/A Problemen Relevant vor allem bei Verwendung unterschiedlicher PDF/A Programme 10

11 Zusammenfassung: Ergebnisse von verapdf Vereinheitlichung der Auslegung von PDF/A Open Source Validator Test Corpus TechNote 010 von der PDF Association 11

12 PDF 2.0 PDF 2.0

13 PDF 2.0 Entwickelt in 9 Jahren, fast 1000 Seiten Erster vollständig bei der ISO entwickelter PDF Standard (ISO war fast identisch mit PDF 1.7) Keine komplett neuen, größeren Features aber viele neue Detail-Features Die USPs von PDF bleiben unverändert Diverse Bereiche komplett neu geschrieben, viele Klarstellungen und Bereinigungen 13

14 Neue Features in PDF 2.0 Modernisierte Verschlüsselung (Encryption, Passwortschutz) Kombinierbar mit unverschlüsseltem Wrapper Dokument Modernisierte Signaturen (PADeS) Unterstützung für Langzeit Signatur Validierung Modernere 3D- und Multimedia Features DPart (Document parts) Metadaten für Seiten, übernommen aus PDF/VT Metadaten für Attachments, Associated Files übernommen von PDF/A-3 Mehr Möglichkeiten für Farbanforderungen (z.b. Umschlag, Inhalt in einem PDF) und vieles mehr

15 Bei der ISO hat die Arbeit and PDF 2.0 Updates begonnen PDF/A-4 PDF/A-4 PDF/A-4f (Nachfolger von PDF/A-3) PDF/UA-2 PDF/X-6 PDF/E-2

16 Überblick I. Neues bei der PDF/A Validierung verapdf (Juni 2017) PDF 2.0 (Juni/Juli 2017) II. PDF- mit/ohne PDF/A-Validierung? Brennpunkt Schriften 16

17 Ist PDF/A Validierung (heute) die bessere PDF Validierung? 17

18 Ist PDF/A Validierung (heute) die bessere PDF Validierung? Anforderungen an die PDF Validierung am Beispiel Schriften 18

19 Verwendung von Schriften in PDF Die Seitenbeschreibung (content stream) referenziert den Font über einen internen Namen, z.b. /F25 12 Tf Der interne Name ist mit einer Font Resource der Seite identifziert: /Resources << /Font << /F R >> >> Die Font Resource beinhaltet Informationen über den Font, z.b. base name : /Courier Font Typ: /TrueType) Laufweiten der Zeichen (Glyphen): [ ] Max. Glyph Bounding Box: [ ] Optional eine /ToUnicode Tabelle für das Mapping der Glyphen auf Unicode Zeichen Optional auch den Font selbst (= font is embedded ), ein data stream: /FontFile

20 Eingebettet oder nicht: Fonts und Font Typen in PDF Fonts beinhalten mindestens Glyphen = Konturen für Zeichen Encoding-Informationen = Zuordnungstabellen für das Auffinden der Glyphen Simple Fonts (Max. 256 Glyphen, 1 Byte Character Codes): Type 1 (PostScript Fonts) Classic Type 1 CFF Type 1 (Compact Font Format) byte codes anstelle von PostScript Operatoren und Operanden Multipler Master Fonts TrueType Type 3 (kein richtiger Font Glyphen verwenden PDF code) OpenType (intern als Type 1/CFF oder TrueType Variante) Composite fonts (Max Glyphen, 1 oder 2 Byte Character Codes) Type 0 (Type 1 oder OpenType als Type 1/CFF) Type 2 (TrueType oder OpenType als TrueType) 20

21 Verwendung von Glyphen in PDF 1. Der Character Code in der Seitenbeschreibung ist ein Wert aus ein oder zwei Bytes 2. Dieser wird per explizitem oder implizitem Mapping einer Glyph ID oder einem Glyph Namen zugeordnet 3. Der Glyph im Font wird gerendert Einige Beispiele für das Mapping per Encoding: Type 1 Classic Character Code MacRomanEncoding PostScript Glyph Name Glyph Name des Glyphen im Font True Type Character Code Explizites Encoding Unicode cmap im TrueType font Glyph ID CID Type 2 (TrueType) Character Code Identity-H CIDToGIDMap Glyph ID im Font 21

22 Mapping auf Unicode Zeichen - für Text-Suche und Kopieren Optional für Glyph Rendering nicht notwendig, zunächst unsichtbar Mögliche Unicode Mappings: Implizit über eine Standard-Glyph Tabelle (z.b.: MacRomanEncoding) Encoding im Font ( cmap in TrueType fonts) Glyph Namen im Font (via Adobe Glyph List in Type 1 fonts) ToUnicode Table in der PDF Datenstruktur des Fonts Mapping von character codes auf Unicode Code Points 22

23 Und damit fangen die Probleme an 23

24 Schriftprobleme (1): Fehlerhaftes Unicode Mapping Idealerweise wird das Unicode Mapping explizit bei der PDF mit hergestellt Wenn das nicht der Fall ist, erfolgt die Zuordnung implizit, dabei sind aber Probleme nicht selten: Unvollständige oder unkorrekte Standard Encodings, z.b. MacRomanEncoding mit Symbolschriften oder mit kyrillischen Schriften Angepasste Schriften mit Icons, Logos, z.b. anstelle von ; das Firmenlogo 24

25 Schriftprobleme (2): Glyph Laufweiten sind nicht korrekt 25

26 Schriftprobleme (3): Encoding Probleme - Glyph Substitution 26

27 Schriftprobleme (4): Encoding Probleme: Fehlende Glyphen 27

28 Schriftprobleme (5): Encoding Probleme Fehlende Glyphen durch.notdef ersetzt 28

29 Schriftprobleme (6): Einige PDF Seiten... 29

30 30

31 Die gleiche Datei in JHOVE 31

32 ... und in in Acrobat PDF/A-2 Validierung: Glyph fehlt in eingebettetem Font auf Seite 6 und 7 32

33 Ist PDF/A Validierung (heute) die bessere PDF Validierung? 33

34 Ist PDF/A Validierung (heute) die bessere PDF Validierung für Schriften? PDF/A beinhaltet anspruchsvolle Validierungvorgaben nicht nur für den PDF-Teil von Schriften sondern auch für die eingebetteten Schriften selbst: Konformitätslevel B Fonts sind eingebettet Font Namen können zugeordnet werden Font hat kein nicht Einbettungs-Flag gesetzt Detaillierte Encoding Vorgaben für jeden Font Typ Glyphen können zugeordnet werden.notdef wird nicht aktiv verwendet (mißbraucht) Glyphweiten in Font und PDF stimmen überein Konformitätslevel U und A Unicode Zuordnung ist möglich (Allerdings keine Garantie, dass diese auch semantisch richtig ist) 34

35 PDF Validierung PDF, Fonts und noch viel mehr Grundlage sind knapp 1000 Seiten PDF Spezifikation plus referenzierte Spezifikationen Schriften Kompressionsverfahren Bildformate Metadaten Signaturen PDF/A beinhaltet anspruchsvolle Validierungsvorgaben nicht nur für Schriften: Farben, Bildkodierungen (JPEG 2000), Metadaten, Kommentare, Formularfelder, zulässige Zahlenbereiche Die OPF plant die PDF/A Validierung von JHOVE durch verapdf zu ersetzen 35

36 Was soll Validierung validieren? Eine vollständige PDF Validierung wird (vielleicht) zeigen, dass die Anzahl korrekter PDFs sehr gering ist Es gab immer wieder Fälle in denen PDF/A Validatoren offensichtliche PDF-Fehler reportet haben; eingehende technische Prüfung mußte klären, ob diese für den Anwendungsfall (s.u.) kritisch sind; wenn Nein, wurden die Prüfungen einvernehmlich entschärft. Þ Validierung ist nur sinnvoll in Bezug auf den konkreten Anwendungsfall: Darstellbarkeit (PDF/A Konformitätslevel B) Text-Durchsuchbarkeit (PDF/A Konformitätslevel U) Struktur (PDF/A Konformitätslevel A) 36

37 Nochmal der Inhalt im Überblick I. Neues bei der PDF/A Validierung verapdf (Juni 2017) PDF 2.0 (Juni/Juli 2017) II. PDF- mit/ohne PDF/A-Validierung? Brennpunkt Schriften 37

38 Neues von der PDF Association Danke Fragen? Get in touch: Web site: 38