b{2} [^b]{2} Reguläre Ausdrücke als Hilfsmittel der Textanalyse Manuel Raaf Bayerische Akademie der Wissenschaften, IT-Referat

Transkript

1 b{2} [^b]{2} Reguläre Ausdrücke als Hilfsmittel der Textanalyse Manuel Raaf Bayerische Akademie der Wissenschaften, IT-Referat

2 Reguläre Ausdrücke engl. regular expressions, kurz: regex, regexp sind formale Ausdrücke, beschreiben Mengen bzw. Untermengen von Zeichenketten anhand syntaktischer Regeln, dienen damit der Auffindung von Zeichenketten variabler Art, Reguläre Ausdrücke als Hilfsmittel der Textanalyse

3 Reguläre Ausdrücke verfügbar in nahezu allen Programmiersprachen und vielen Textverarbeitungsprogrammen, jedoch nicht überall in gleicher Komplexität, volle Unicode-Unterstützung, (abhängig von gewählter Programmiersprache bzw. Programm) vereinfachen die Suche nach und das Ersetzen von komplexen Textmustern, ersetzen zeilen-/seitenweise Programmcode. Reguläre Ausdrücke als Hilfsmittel der Textanalyse

4 Reguläre Ausdrücke Textmuster bzw. Zeichenkette: Tags, Annotations-Marker, Trennzeichen, Metadaten, Annotationen, Wörter, Wortteile, einzelne Grapheme, Phrasen, Sätze, Interpunktionen, Ziffern, etc. Noten, Symbole suchbar in: jeglicher Textdatei, Datenbanken, eingebettete Metadaten in Medien (Ton, Video, Bild) Reguläre Ausdrücke als Hilfsmittel der Textanalyse

5 Reguläre Ausdrücke Logik bzw. Formulierung auf Kleinkindniveau : alles sehr genau Schritt für Schritt formulieren denn: der Computer ist nur so schlau wie die Person, die vor ihm sitzt Reguläre Ausdrücke als Hilfsmittel der Textanalyse

6 Metazeichen Metazeichen stehen für eine Gruppe von Zeichen oder für eine Funktion: \d Ziffern von 0 bis 9 (digit) \w Buchstaben, Ziffern und _ (word) \b Wortgrenze (boundary); mit Vorsicht zu genießen! \D alles, was nicht \d ist \W Alles, was nicht \w ist \s Leerzeichen, Tabulatoren, Zeilenumbrüche (space) \S Alles, was nicht \s ist Reguläre Ausdrücke als Hilfsmittel der Textanalyse

7 Metazeichen Metazeichen stehen für eine Gruppe von Zeichen oder für eine Funktion: * Quantor: beliebig viele Treffer (auch 0) + Quantor: mindestens 1 Treffer? Quantor: 0 oder 1 Treffer {x,y} oder {x} frei wählbarer Quantor; x und y sind Zahlen. alles, d.h. alle Zeichen \n Zeilenumbruch (new line) \r Wagenrücklauf (carriage return) \t Tabulator Reguläre Ausdrücke als Hilfsmittel der Textanalyse

8 Metazeichen - Beispiele H.nd oder H\wnd (ohne Groß-/Kleinschreibung) Hund, Hunde, Hand, Handel, Honda, Hindu, Hindi, bestehend, anhand, entsprechend, handlich H.nd\b oder H\wnd\b (mit Groß-/Kleinschreibung) Hund, Hand \d{1,2}.\d{1,2}.\d{2,4} , 10/12/2014, findet aber auch z. B sicherer: \d{1,2}\d\d{1,2}\d\d{2,4} Reguläre Ausdrücke als Hilfsmittel der Textanalyse

9 Beispiel ohne Regex H.nd oder H\wnd (ohne Groß-/Kleinschreibung) müsste in einer Programmiersprache z. B. so formuliert werden: IF POSITION('h' IN LOWERCASE(str)) THEN PRINT str AND LOWERCASE(SUBSTRING(str,POSITION('h' IN LOWERCASE(str))+2,2)='nd') str enthält die zu durchsuchende Zeichenkette; POSITION, SUBSTRING, LOWERCASE und PRINT sind Funktionen der Programmiersprache. Existieren erstere 3 nicht, müssten sie selbst implementiert werden. Das Beispiel würde dann mehrere Seiten umfassen. Reguläre Ausdrücke als Hilfsmittel der Textanalyse

10 Metazeichen Metazeichen stehen für eine Gruppe von Zeichen oder für eine Funktion: ( ) Gruppierung; Speicherung des Inhalts, um darauf zurückgreifen zu können Oder-Verknüpfung einzelner Teil-Patterns [ ] [^ ] Oder-Verknüpfung einzelner Zeichen bzw. Angabe einer Klasse von Zeichen Negation von [ ] (?: ) Gruppierung, ohne Speicherung steht hier jeweils stellvertretend für ein beliebiges Suchmuster Reguläre Ausdrücke als Hilfsmittel der Textanalyse

11 Metazeichen - Beispiele [a-z0-9] [Д-Р] alle lateinischen Buchstaben von a bis z sowie alle Ziffern von 0-9. enthält für gewöhnlich nur das englische Alphabet! kyrillisches Alphabet von Д (D) bis Р (R) M[aä]nn\w* oder M(a ä)nn\w* Mann, Männer, Mannes, Mannschaft, Mannheim Vorsicht: Ma änn\w* würde Ma oder änn\w* suchen! Die Klammerung ist daher unbedingt nötig! Reguläre Ausdrücke als Hilfsmittel der Textanalyse

12 Metazeichen - Beispiele \b(\w+)\w+\1+ identische Wörter mehrfach hintereinander, z. B.: Dt.: die die, der der, Haus Haus (wohl als Tippfehler) Tr.: güle güle kullan (trage es wohl), yavaş yavaş söyle lütfen (bitte sprich langsam) \b(\w)\w+\s+(\1\w+\s+){2,} <[^>]+> Alliterationen wie z. B. veni vidi vici alle Tags, wie z. B. <font size=''+2''> \b[^aiouöäü\s\d-]+\b alles, was nicht a, i, o, u, ö, ä, ü, Leerzeichen, Ziffern und den Bindestrich enthält sowie von Wortgrenzen umgeben ist. Wörter, die keinen anderen Vokal als e enthalten. Reguläre Ausdrücke als Hilfsmittel der Textanalyse

13 Metazeichen Metazeichen stehen für eine Gruppe von Zeichen oder für eine Funktion: \p{german} \p{arabic} \p{l} Unicode-Block für Deutsch Unicode-Block für Arabisch jeglicher Buchstabe im Unicode Unicode-Metazeichen beheben Probleme, die z. B. durch \w in Benutzung bei Texten, die nicht nur ASCII enthalten, auftreten können! Reguläre Ausdrücke als Hilfsmittel der Textanalyse

14 Metazeichen - Beispiele \p{georgian}+ \p{lu}{2,} findet alle in georgischer Schrift geschriebenen Wörter. findet alle Zeichenketten, die ausschließlich und mindestens 2 Großbuchstaben (in beliebigem Alphabet!) enthalten. damit können Akronyme in mehrsprachigen Texten gefunden werden. Reguläre Ausdrücke als Hilfsmittel der Textanalyse

15 Metazeichen soll nach Zeichen, die als Metazeichen fungieren, gesucht werden, muss diesen zur Demaskierung ein Backslash \ vorangestellt werden: \. findet. anstatt beliebigem Zeichen \+ findet + anstatt Interpretation als Quantor \\ demaskiert und findet somit \ selbst Reguläre Ausdrücke als Hilfsmittel der Textanalyse

16 Reichweite der Quantoren Sofern nicht anders angegeben, endet die Reichweite der Quantoren am Zeilenende, da auch die Suche (m. E.) nur bis zum Zeilenende geht. Die Option m ändert dies. Reguläre Ausdrücke als Hilfsmittel der Textanalyse

17 Gierige Quantoren Die Quantoren *, + und {x,y} sind gierig, d.h. sie erfassen so viele Treffer wie möglich, sofern sie nicht reguliert werden. Lösung: zusätzliches Anfügen von? Direkt nach dem Quantor hebt Gierigkeit auf: *? stoppt nach dem ersten Treffer innerhalb einer Zeile bzw. des gesamten Textes (falls m als Option angegeben ist). Reguläre Ausdrücke als Hilfsmittel der Textanalyse

18 lookahead, lookbehind lookbehind: finde Muster nur, wenn davor ein bestimmtes Muster steht positiv: (?<= ) negativ: (?<!...) lookahead: finde Muster nur, wenn vornweg ein bestimmtes Muster steht positiv: (?= ) negativ: (?!...) steht jeweils für ein Suchmuster Die gefundenen Muster der lookarounds sind nicht im Suchergebnis enthalten! Sie werden somit auch nicht ersetzt. Reguläre Ausdrücke als Hilfsmittel der Textanalyse

19 Programme AntConc Reguläre Ausdrücke als Hilfsmittel der Textanalyse

20 Programme Notepad++ Reguläre Ausdrücke als Hilfsmittel der Textanalyse

21 Literatur / Links AntConc ( Notepad++ ( regex online testen GOYVAERTS, Jan; LEVITHAN, Steven / DEMMIG Thomas (trans.): Reguläre Ausdrücke Kochbuch, O Reilly, Köln, 2009 Reguläre Ausdrücke als Hilfsmittel der Textanalyse

22 Vielen Dank für die Aufmerksamkeit! Reguläre Ausdrücke als Hilfsmittel der Textanalyse