CS1005 Objektorientierte Programmierung

Transkript

1 CS1005 Objektorientierte Programmierung Bachelor of Science (Informatik) Dateien Konzept, Verwendungsbeispiele Textdateien und ihre Analyse Binärdateien Seite 1 Thomas Letschert

2 Dateien - Konzept Datei Externer Datenspeicher CPU Hauptspeicher externe Speicher Ausführung von Programmen Programmcode und -Daten, direkt zugreifbar von CPU Festplatte etc.: nur indirekt zugreifbar über BetriebssystemAufrufe Extern Intern CPU / Prozessor Programmausführung Hauptspeicher Festplatte Programm-Code und -Daten Betriebssystem Seite 2

3 Dateien - Konzept Datei rein virtuelles Konstrukt: realisiert auf verschiedenen Abstraktionsebenen Platte: Magnetisierte Spuren, in Zylinder organisiert Plattencontroller: nummerierte Datenblöcke (von jeweils z.b. 512 Byte) Betriebssystem: (BS-) Datei = (scheinbar) zusammenhängender beliebig und variabel großer Datenbereich, nach Konventionen des Betriebssystems nutzbar Programm: (Programm-) Datei = (scheinbar) zusammenhängender beliebig und variabel großer Datenbereich, nach Konventionen der Programmiersprache nutzbar Ababd ahuwe diuhw Programmdatei (Programminterne Repräsentation.) Systemaufruf Programm Programm-API Betriebssystem BS-Datei (BS-internere Rep.) Seite 3 Daten

4 Dateien - Konzept Datei-Repräsentant in Java Ababd ahuwediuh bis Java 1.6: java.io.file ab Java 1.7: java.nio.file.path Programm Programm-API Betriebssystem Ab Java 7 stehen beide Varianten zur Verfügung. Es sollte aber i.a. die neuere Variante java.nio.file.path verwendet werden. Gelegentlich muss aber auch bei Java 7 auf die Klasse java.io.file zurück gegriffen werden. (z.b. bei Verwendung des FileChooser.) Seite 4

5 Dateien - Konzept Datei-Klassen in Java 7 java.nio.file.path ein Ort im Dateisystem: Pfad zu einer Datei oder einem Verzeichnis An diesem Ort muss nicht zwingend eine Datei oder ein Verzeichnis existieren java.nio.file.paths statische Klasse mit Hilfsfunktionen für Path-Objekte nicht sehr wichtige Klasse java.io.file Datei oder Verzeichnis Repräsentiert eine existierende Datei oder ein existierendes Verzeichnis java.io.files statische Klasse mit Hilfsfunktionen für File-Objekte Funktionen in dieser Klasse realisieren Operationen im realen Dateisystem Seite 5

6 Dateien Verwendung / lesen Datei-Inhalt zeilenweise mit der Klasse Scanner lesen java.io.file; java.io.filenotfoundexception; java.util.scanner; public class Read_V6 { public static void main(string[] args) throws FileNotFoundException { File f = new File("blubber.txt"); Scanner scan = new Scanner(f); while (scan.hasnextline()) { System.out.println(scan.nextLine()); Java alle Versionen java.io.ioexception; java.nio.file.path; java.nio.file.paths; java.util.scanner; public class Read_V7 { public static void main(string[] args) throws IOException { Path p = Paths.get("blubber.txt"); Scanner scan = new Scanner(p); while (scan.hasnextline()) { System.out.println(scan.nextLine()); ab Java 1.7 Seite 6

7 Dateien Verwendung / lesen Datei-Inhalt zeilenweise einlesen public static void main(string[] args) { Path path = Paths.get("/home/thomas/tmp/test.txt"); try { BufferedReader reader = Files.newBufferedReader(path,StandardCharsets.UTF_8); String line; int i = 0; while ((line = reader.readline())!= null) { System.out.println("Zeile "+ ++i + " "+ line); catch (IOException e) { System.err.println(e); ab Java 1.7 java.nio.file.files ist eine Helferklasse mit allerlei Nützlichem in Bezug auf Datei-Verarbeitung. java.nio.file.paths ist eine Helferklasse mit Nützlichem in Bezug auf Datei-Operationen. Seite 7

8 Dateien Verwendung / lesen Datei-Inhalt zeilenweise einlesen etwas kompakter java.io.ioexception; java.nio.charset.charset; java.nio.file.files; java.nio.file.path; java.nio.file.paths; public class Read_V7_a { public static void main(string[] args) throws IOException { Path path = Paths.get("test.txt"); int i = 0; for ( String line: Files.readAllLines( path, Charset.defaultCharset()) ) { System.out.println("Zeile "+ ++i + line); System.out.println("Die Datei enthält " + i + " Zeilen"); Seite 8 ab Java 1.7

9 Dateien Verwendung / lesen Datei-Inhalt zeilenweise einlesen als Liste von Zeilen java.io.ioexception; java.nio.charset.standardcharsets; java.nio.file.files; java.nio.file.path; java.nio.file.paths; java.util.list; public class ReadWrite { public static void main(string[] args) { Path path = Paths.get("/home/thomas/tmp/test.txt"); try { ab Java 1.7 int i = 0; List<String> lines = Files.readAllLines(path, StandardCharsets.UTF_8); for (String line: lines) { System.out.println("Zeile "+ ++i + " "+ line); catch (IOException e) { System.err.println(e); Charset.defaultCharset() : Zeichensatz des Systems StandardCharsets.UTF_8 : Zeichensatz UTF-8 Seite 9

10 Dateien Verwendung / lesen Datei-Inhalt komplett als String einlesen java.io.ioexception; java.nio.charset.charset; java.nio.file.files; java.nio.file.path; java.nio.file.paths; public class Read_V7_b { public static void main(string[] args) throws IOException { Path path = Paths.get("blubber.txt"); String content = new String( Files.readAllBytes(path), Charset.defaultCharset()); ab Java 1.7 System.out.println(content); Verwendet aus der Klasse Files: byte[] readallbytes(path path) und den Konstruktor der Klasse String: String(byte[] bytes, Charset charset) Seite 10

11 Dateien Verwendung / Auswahl Datei-Auswahl mit Auswahldialog Java 6 Variante java.io.file; java.io.filenotfoundexception; java.util.scanner; javax.swing.jfilechooser; public class Choose_V6 { public static void main(string[] args) throws FileNotFoundException { File f = null; JFileChooser fc = new JFileChooser(); int chooseresult = fc.showdialog(null, "Bitte Datei auswählen"); if (chooseresult == JFileChooser.APPROVE_OPTION) { f = fc.getselectedfile(); if (f!= null) { Scanner scan = new Scanner(f); while (scan.hasnextline()) { System.out.println(scan.nextLine()); Seite 11

12 Dateien Verwendung / Auswahl Datei-Auswahl mit Auswahldialog Java 7 Variante java.io.file; java.io.ioexception; java.nio.file.path; java.util.scanner; javax.swing.jfilechooser; public class Choose_V7 { public static void main(string[] args) throws IOException { File f = null; JFileChooser fc = new JFileChooser(); int chooseresult = fc.showdialog(null, "Bitte Datei auswählen"); if (chooseresult == JFileChooser.APPROVE_OPTION) { f = fc.getselectedfile(); Wechsel zwischen den V-6 und V-7 if (f!= null) { Repräsentanten: Path p = f.topath(); Path path = file.topath() Scanner scan = new Scanner(p); while (scan.hasnextline()) { File file = path.tofile(); System.out.println(scan.nextLine()); Seite 12

13 Dateien Verwendung / schreiben Datei schreiben Java 6 Variante java.io.filewriter; java.io.ioexception; java.io.printwriter; public class Write_V6 { public static void main(string[] args) throws IOException { String filepath = "balbla.txt"; PrintWriter pw = new PrintWriter( new FileWriter(filePath)); pw.println("hallo"); pw.println("welt!"); pw.close(); Datei mit Printwriter verbinden Datei schließen nicht vergessen! Seite 13

14 Dateien Verwendung / schreiben Datei schreiben Java 7 Variante 1 java.io.ioexception; java.io.printwriter; java.nio.charset.charset; java.nio.file.files; java.nio.file.paths; public class Write_V7 { public static void main(string[] args) throws IOException { String filepath = "balbla.txt"; PrintWriter pw = new PrintWriter( Files.newBufferedWriter( Paths.get(filePath), Charset.defaultCharset())); pw.println("hallo\n"); pw.println("welt!\n"); pw.close(); Datei mit Printwriter verbinden Angabe in welchem Zeichensatz der Text codiert werden soll. Z.B: Zeichensatz des Systems oder UTF-8 - Charset.defaultCharset() - Charset.forName("UTF-8")) Seite 14

15 Dateien Verwendung / schreiben Datei schreiben Java 7 Variante 2 java.io.bufferedwriter; java.io.ioexception; java.nio.charset.standardcharsets; java.nio.file.files; java.nio.file.path; java.nio.file.paths; java.nio.file.standardopenoption; public class ReadWrite { public static void main(string[] args) { Path path = Paths.get("/home/hugo/tmp/blabla.txt"); try { BufferedWriter writer = Files.newBufferedWriter( path, StandardCharsets.UTF_8, StandardOpenOption.WRITE ); Mit diesem Parameter wird die Datei nur beschrieben wenn sie bereits existiert, fehlt er, dann wird die Datei auch bei Bedarf erzeugt. int i = 0; while (i < 10) { writer.write("zeile "+ ++i + " "+ "blaba blubber " + "\n"); writer.close(); catch (IOException e) { System.err.println(e); Seite 15

16 Dateien Verwendung / schreiben Datei schreiben Java 7 Variante 3 Hallo Welt! balbla.txt vorher java.io.ioexception; java.nio.file.files; java.nio.file.path; java.nio.file.paths; java.nio.file.standardopenoption; public class Write_V7a { public static void main(string[] args) throws IOException { Path path = Paths.get("balbla.txt"); String text = "Das ist ein zusätzlicher Text\nMit Zeilenvorschub!"; byte[] bytes = text.getbytes("utf-8"); Files.write(path, bytes, StandardOpenOption.APPEND); Anhängendes Schreiben eines Strings auf eine Datei. Hallo Welt! Das ist ein zusätzlicher Text Mit Zeilenvorschub! java.nio.file.standardopenoption - APPEND - CREATE - Siehe API-Dok. balbla.txt Seite 16 nachher

17 Dateien Verwendung / Dateioperationen Dateien erzeugen, kopieren, löschen Java 7 java.io.ioexception; java.nio.file.files; java.nio.file.path; java.nio.file.paths; java.nio.file.standardcopyoption; java.nio.file.standardopenoption; public class CreateCopyDelete { public static void main(string[] args) throws IOException { Path path_1 = Paths.get("D:\\users\\hugo\\datei_1.txt"); Path path_2 = Paths.get("D:\\users\\hugo\\datei_2.txt"); // 1. Datei erzeugen Files.createFile(path_1); // 1. Datei fuellen Files.write( path_1, "Ein wenig Text.\nAls Inhalt der Datei.\n".getBytes(), StandardOpenOption.WRITE); // 1. -> 2. Datei kopieren Files.copy(path_1, path_2, StandardCopyOption.REPLACE_EXISTING); // 1. Datei loeschen Files.delete(path_1); Seite 17

18 Dateien Verwendung / anlysieren Datei analysieren nur Java 7 java.io.file; java.io.ioexception; java.nio.file.files; java.nio.file.path; javax.swing.jfilechooser; public class AnalyseFile { public static void main(string[] args) throws IOException { File f = null; JFileChooser fc = new JFileChooser(); int chooseresult = fc.showdialog(null, "Bitte Datei auswählen"); if (chooseresult == JFileChooser.APPROVE_OPTION) { f = fc.getselectedfile(); if (f!= null) { Path p = f.topath(); if (Files.isRegularFile(p)) { System.out.println("Die Datei ist " + (Files.isExecutable(p)? " ausfuehrbar" : " ") + (Files.isReadable(p)? " lesbar" : " ") + (Files.isWritable(p)? " schreibbar" : " ")); System.out.println("Der Dateityp ist: " + Files.probeContentType(p)); Seite 18

19 Texte analysieren Inhalt einer (Text-) Datei analysieren alle Java-Versionen Datei-Inhalt = Text = String Standardverfahren der Textanalyse in Java: StringTokenizer, StreamTokenizer veraltet Scanner-Klasse Text strukturiert lesen (Wort für Wort, Zeile für Zeile, etc.) String.split Methode Text an bestimmten Zeichen aufspalten mit den Klassen Pattern und Matcher für Fortgeschrittene Seite 19

20 Texte analysieren Scanner Scanner-Klasse kann Texte (Strings) in beliebige Einheiten aufspalten und Einheit für Einheit zur Verfügung stellen verschiedene Arten von Text-Quellen sind dabei möglich. java.util.scanner; public class Scan { public static void main(string[] args) { String s = "Dies ist ein Text.\nEr besteht aus\nworten und Zeilen.\n"; Scanner scanstring = new Scanner(s); while (scanstring.hasnext()) { System.out.println(scanString.next()); System.out.println(); ScanString.close(); scanstring = new Scanner(s); while (scanstring.hasnextline()) { System.out.println(scanString.nextLine()); ScanString.close(); Wortweise aus einem String lesen Zeilenweise aus einem String lesen Dies ist ein Text. Er besteht aus Worten und Zeilen. Dies ist ein Text. Er besteht aus Worten und Zeilen. Scanner stellt diverse next...-methoden zur Verfügung um den nächsten Text entsprechend einem bestimmten Typ zu analysieren. Siehe API-Doku. Seite 20

21 Texte analysieren Scanner Scanner-Klasse kann Texte (Strings) in beliebige Einheiten aufspalten und Einheit für Einheit zur Verfügung stellen verschiedene Arten von Text-Quellen sind dabei möglich. java.io.ioexception; java.nio.file.path; java.nio.file.paths; java.util.scanner; public class Scan { public static void main(string[] args) throws IOException { Path path = Paths.get("/home/hugo/tmp/blubber1.txt"); Scanner scanfile = new Scanner(path); while (scanfile.hasnext()) { System.out.println(scanFile.next()); System.out.println(); scanfile.close(); scanfile = new Scanner(p); while (scanfile.hasnextline()) { System.out.println(scanFile.nextLine()); Wortweise aus einer Datei lesen Zeilenweise aus einer Datei lesen Seite 21

22 Texte analysieren String split Split-Methode der Klasse String kann Texte (Strings) in beliebige Einheiten aufspalten und Einheit für Einheit zur Verfügung stellen. Ähnlich zu Scanner es können allerdings nur Texte, die in Strings liegen, zerlegt werden und die Zerlegung erfolgt in einem Schritt. "Abc die Katze lief im Schnee." public class Split { public static void main(string[] args) throws IOException { String s = "Abc die Katze lief im Schnee."; String[] sparts = s.split("\\s"); System.out.println(Arrays.asList(sParts)); ["Abc", "die", "Katze", "lief", "im", "Schnee."] "\\s": Trenner: jede Folge von weiße Zeichen, Leerzeichen, Tabs, etc. (ein regulärer Ausdruck) Seite 22

23 Texte analysieren Reguläre Ausdrücke Regulärer Ausdruck Ein Textmuster Vielfältige Verwendung bei der Textanalyse (unabhängig von Programmiersprachen) Wird als Konzept von allen (brauchbaren) anwendungsnahen Programmiersprachen angeboten Scanner und String.split verwenden reguläre Ausdrücke zur Definition der Trenner. Reguläre Basis-Ausdrücke in Java, Beispiele: x jedes Zeichen ist ein Muster das für sich selbst steht [xy] eine Klasse, ein x oder ein y regex1 regex2 ein Text der zu regex1 oder regex2 passt \\d eine Ziffer (= "[ ]" = "[0-9]" ) \\s ein weißes Zeichen \\w ein Wortzeichen (Buchstabe, Ziffer oder Unterstrich). ein einziges beliebiges Zeichen regex1* ein Text, der zu regex1 passt, beliebig oft wiederholt \\. ein Punkt, Sonderzeichen wie Punkt brauchen Escape -Zeichen Seite 23

24 Texte analysieren Reguläre Ausdrücke Regulärer Ausdruck Beispiel: public class Match { public static void main(string[] args) { String[] strings = { "Abc die Katze lief im Schnee.", "Peter schlief im Klee.", "Klausi trinkt gerne Tee mit Ruhm.", "Die Katze liebt keinen See."; Katze String[] pattern = {"Katze", ".*ee.*"; oder etwas mit zwei e-s for (String s: strings) { System.out.println(s); for (String word : s.split("\\s")) { for (String pat: pattern) { if (word.matches(pat)) { System.out.println( "\tenthält das Wort " + word + " das zu " + pat + " passt"); Abc die Katze lief im Schnee. enthält das Wort Katze das zu Katze passt enthält das Wort Schnee. das zu.*ee.* passt Peter schlief im Klee. enthält das Wort Klee. das zu.*ee.* passt Klausi trinkt gerne Tee mit Ruhm. enthält das Wort Tee das zu.*ee.* passt Die Katze liebt keinen See. enthält das Wort Katze das zu Katze passt enthält das Wort See. das zu.*ee.* passt Seite 24

25 Texte analysieren Beispiel CVS-Datei CSV-Datei CSV: Comma Separated Values Standard-Format für Daten in Textform ein (wichtiges) Format von sehr vielen Import- / Export-Format für Excel (und andere Programme) Tabellen ~ Textdateien Zeilen der Tabelle : Zeilen der Textdatei Zellen der Tabelle : durch Komma (Semikolon, Tab, ) getrennte Werte in einer Zeile Seite 25

26 Texte analysieren Beispiel CVS-Datei CSV-Datei einlesen : Datei auswählen an Hand des Content Type public static Path locatecsvfile(string msg) throws IOException { JFileChooser fc = new JFileChooser(); File f = null; Path p = null; while (true) { int returnval = fc.showdialog(null, msg); if (returnval == JFileChooser.APPROVE_OPTION) { f = fc.getselectedfile(); p = f.topath(); if (Files.isRegularFile(p) && Files.isReadable(p) && (Files.probeContentType(p).equals("text/csv") Files.probeContentType(p).equals("text/comma-separated-values") )) { return p; JOptionPane.showMessageDialog(null, "Die Datei ist keine CSV Datei!"); else break; return null; Achtung: Die Erkennung des Datei-Typs ist System-abhängig! Prüfen Sie eventuell welcher Content-Type einer CSV-Datei zugeordnet ist, die mit einem bestimmten Programm (Text-Editor / Excel / Open-Office /...) auf ihrem System erzeugt wurde. Seite 26

27 Texte analysieren Beispiel CVS-Datei CSV-Datei einlesen : Datei auswählen an Hand der Datei-Endung public static File locatecsvfile(string msg) throws IOException { JFileChooser fc = new JFileChooser(); File f = null; while (true) { int returnval = fc.showdialog(null, msg); if (returnval == JFileChooser.APPROVE_OPTION) { f = fc.getselectedfile(); if (f.getname().endswith(".csv")) { return f; JOptionPane.showMessageDialog(null, "Die Datei hat nicht den richtigen Typ"); else break; return null; Achtung: In manchen Betriebssystemen kann die Datei-Endung (File Name Extension) versteckt werden. Seite 27

28 Texte analysieren Beispiel CVS-Datei CSV-Datei einlesen : naive Analyse static List<Map<String, String>> readcsvfile(path path, String seperator) throws IOException { // erste Zeile / Attribute String[] attributes = null; // alle Zeilen ausser der ersten List<Map<String, String>> res = new ArrayList<Map<String, String>>(); boolean firstline = true; // erste Zeile enthaelt Spalten- (=Attribut-) Namen for (String line : Files.readAllLines(path, Charset.defaultCharset())){ if (firstline) { attributes = line.split(seperator); firstline = false; continue; Naive Analyse: CSV-Dateien können eine sehr komplexe Map<String,String> entry = new HashMap<>(); Struktur ausweisen, vor allem dann, wenn Zellen Werte String[] values = line.split(seperator); enthalten, in denen der Trenner vorkommt. int i = 0; for(string a: attributes) { String value = values[i].trim(); entry.put(a, value); i++; if (i == attributes.length i == values.length) break; res.add(entry); return res; Excel speichert Tabellen in Binärformat. (Unterschiedlich mit den Versionen wechselnd, teilweise geheim.) Zum Lesen und Schreiben muss man dieses Format genau kennen. Die Java-API enthält keine entsprechenden Klassen. Man kann aber frei verfügbare Open-Source Bibliotheken verwenden, z.b.: Apache POI ( Seite 28

29 Dateien Binär-Dateien Text-Dateien und Binär-Dateien alle Dateien enthalten Binärdaten! Textdatei enthält Bytes deren Bedeutung Zeichen sind Bedeutung der Bytes als Zeichen wird vom Zeichensatz (Charset) definiert Eingelesene Bytes müssen in programm-interne Zeichen umgewandelt werden Zeichen im Programm sind ebenfalls Bytes, aber meist nicht in der gleichen Codierung wie die vom Zeichensatz definierte Bitmuster A Lesen/Schreiben Umcodieren Bedeutet nach den Konventionen der Sprache Bedeutet im Zeichensatz cs Datei Bitmuster B Zeichen z Hauptspeicher / CPU Seite 29 Zeichensätze sind von großer Bedeutung

30 Dateien Binär-Dateien Text-Dateien und Binär-Dateien alle Dateien enthalten Binärdaten! Binärdatei Enthält Bytes deren Bedeutung von keiner Text-Konvention definiert wird Die Bedeutung der Bytes wird von der Anwendung definiert Eine Umwandlung der Bitmuster beim Lesen und Schreiben Findet nicht statt: Die Bitmuster werden so gespeichert, wie sie im Hauptspeicher zu finden sind Findet statt: Die Bitmuster werden beim Lesen decodiert und beim Schreiben codiert. Seite 30

31 Dateien Binär-Dateien Binär-Dateien / Beispiel: Daten binär einlesen und ausgeben java.io.file; java.io.ioexception; java.io.inputstream; java.io.outputstream; java.nio.charset.charset; java.nio.file.files; java.nio.file.path; java.nio.file.standardopenoption; javax.swing.jfilechooser; javax.swing.joptionpane; public class ByteIO { public static void main(string[] args) throws IOException { Path pathi =... Path patho =... InputStream is = Files.newInputStream(pathI, StandardOpenOption.READ); OutputStream os = Files.newOutputStream(pathO, StandardOpenOption.WRITE); byte[] bytes = new byte[1024]; int size = is.read(bytes); is.close(); // Bytes einlesen (maximal 1024 Bytes) // Bytes entsprechend dem aktuellen Zeichensatz decodieren String s = new String(bytes, 0, size, Charset.defaultCharset()); System.out.println(s); os.write(bytes, 0, size); os.close(); // Bytes schreiben Seite 31

32 Dateien Binär-Dateien Binär-Dateien / Serialisierung alle Dateien enthalten Binärdaten! Serialisierung / Deserialisierung Serialisieren: Die Bits von Objekten werden unverändert aus dem Hautspeicher in eine Datei geschrieben. Deserialisieren: Die Bits von Objekten werden unverändert von einer Datei in den Hauptspeicher kopiert Vorteil: Schnell Nachteil: Nicht Portabel, das Datenformat an Java gebunden Objekt Speicher Seite 32 Datei

33 Dateien Binär-Dateien Binär-Dateien / Beispiel Serialisierung, Deserialisierung Markierung: Serialisieren erlaubt! Kontrolle der Version der Definition class Person implements Serializable { private static final long serialversionuid = 1L; private String name; private String vorname; public Person(String vorname, String name) { this.name = name; this.vorname = public String tostring() { return "Person["+vorName+" "+name+"]"; public static void main(string[] args) throws IOException, ClassNotFoundException { Person[] personen_1 = { new Person("Karl", "Napp"), new Person("Karla", "Kahl"); Das zu speichernde Objekt (ein Array) Path path =... ObjectOutputStream os = new ObjectOutputStream( Files.newOutputStream(path, StandardOpenOption.WRITE, StandardOpenOption.TRUNCATE_EXISTING)); os.writeobject(personen_1); os.close(); Datei öffnen Objekt speichern ObjectInputStream is = new ObjectInputStream( Files.newInputStream(path, StandardOpenOption.READ)); Person[] personen_2 = (Person[]) is.readobject(); is.close(); for (Person p: personen_2) { System.out.println(p); Seite 33 Datei öffnen Objekt einlesen

34 Dateien Binär-Dateien Binär-Dateien / standardisierte Formate universelle / standardisierte Formate: z.b.: MP3 anwendungs-spezifische Formate, z.b. Speicherformat von Word, Excel lokale Formate: Verabredung zwei Partner Vergleich zu Textdateien Vorteil: Speicherung kompakter, schreiben / lesen schneller Nachteil: schwer zu entziffern (kann auch ein Vorteil sein) Seite 34