Ausbildung - graduated from...

Transkript

1 Ausbildung - graduated from... Im Rahmen des Hauptseminars Informationsextraktion aus biographischen Kontexten Dozenten: Prof Dr. Franz Guenthner Michaela Geierhos Gehalten von Doris Peter am

2 Struktur der Sätze ( schöne Sätze) PP <graduate> from arizona state university in 1989 with a marketing degree PP <graduate> from arizona state university with a bachelor of arts degree in chemistry in 1966 PP <graduate> from gogebic community college in 1963 and northern michigan university in

3 Struktur <graduated> from <SCHOOL>... <graduated> <DATE> from <SCHOOL>... <graduated> from <FACULTY> of <SCHOOL> <DATE> Mögliche Anschlüsse: <DATE>, <DEGREE>,<GEO> 3

4 Problematische Sätze PP <graduate> from law school and lives and works in new york city. dr. merton bernfield PP <graduate> from 8th grade at the one room red schoolhouse on new hague road PP <graduate> from various other military schools including the parachuting academy in greece 4

5 Sätze mit Anschluss an degree-referat PP <graduate> from nyack college where he received a bachelor of science degree in pastoral theology PP <graduate> from n.y.u. and received a law degree from fordham PP <graduate> from nyu in june 2002 with a bachelor's degree in psychology PP <graduate> from oakland university with my bachelor's degree in

6 Trainigskorpus Besteht aus zwei Dateien: 1. Eine Datei mit kurzen Sätzen bis Länge Sätze. 2. Eine Datei mit langen Sätzen ab Länge Sätze. => insgesamt Sätze! Universitäten und Schulen 858 Fakultäten, Departments und Institute 6

7 Verfahren bei der Bearbeitung des Trainingskorpus Manuelle Suche nach häufigen Stopwörtern, die rechts die Phrasen begrenzen. z.b: in, with, at, where, near Sonderfall and : Kann noch eine zweite Universität einleiten, dewegen in eine extra Datei schreiben. Problem: Ziemlich aufwendig, wegen der großen Textfülle. Es gab viele Wörter, die keine klassischen Stopwörter waren. 7

8 if ($_=~ / (\bthis\b \bthat\b \bour\b \blast\b \breceived\b \btwo\b \bwhere\b \bthere\b \bthose\b : ; \., \bsomewher e\b \bhere\b \btwice\b \bfine\b \bfirst\b \bcontinued\b \bnight\b \bearned\b \bnear\b \bobserving\b \brea dy\b \battended\b \bthen\b \btheir\b \breceiving\b \battending \bhis\b \bher\b \bi\b \blead\b \bmy\b \bye ar\b \bmarried\b \bbeing\b \bwas\b \bjust\b \bcame\b \blocated\b \baffiliated\b \bduring\b \bsome\b \ba bout\b \binstitutions\b \bor\b \bere\b \bgot\b - \battained\b \bwill\b \bworked\b \bmale\b \bso\b \bback\b \bearlier\b \bholding\b \blike\b \blove\b \bprobably\b \bgained\b \btogether\b \btoday\b \bhim\b \bworks \b \btaught\b \bjoined\b \bnext\b \byears\b \benjoyed\b \bdid\b \bnot\b \bwere\b \bover\b \bwhat's\b \bb ecame\b \bwhile\b \bwon\b \breturning\b \bwent\b \bill\b \bsecond\b \) \bstudied\b \binto\b \bunder\b \b specializing\b \bone\b \bmajored\b \? \balso\b \bwhat\b \blives\b \bund\b \banyway\b \bdirecting\b \bev en\b \bthough\b \bmercy\b \bentered \bhowever\b \bwhen\b \byour\b \bstudies\b \brather\b \byoung\b \ bbest\b \bfucking\b \bis\b \bcalled\b \bpassed\b \bfamous\b \bsecondary \bearning\b \bonce\b \byouth\ b \bthrough\b \byesterday\b \byet\b \btoo\b college" \bplayed\b \bwoman\b \bearning\b \bwell\b \bpretty\b \bdone\b \bbecoming\b \brelapsed\b \bf our\b \bmonths\b \bbecause\b \bin\b \binstead\b \bday\b \bless\b \bthan\b \buntil\b " _ \bnow\b \blived\ b \bspent\b \bunable\b \bfinally\b \binterned\b \bfar\b \bfinished\b \binstructed\b \beducation\b \bsoon\ b \bteen\b \blater\b \bfitting\b \bgrew\b \bschoo\b \bpreparing\b \bwithout\b # \buneducated\b \btrained\b \balong\b \beasily\b \byou're\b \bturning\b \bnew\b \bhimself\b \btour\b \b hating\b \bmoved\b \blater\b \bcum\b \bsumma\b \blaude\b \bserving\b \[ \badvanced\b \bfriends\b)/){ $_ =~ /([0-9]+)\t+(.*)$/; $hash2{$2}+=$1; 8

9 Dela Lexikon Unis aarg tochternschule,.n+pr+school aarhus university,.n+pr+school aba graduate school of bank investments,.n+pr+school abbot academy,.n+pr+school abbotsford high school,.n+pr+school 9

10 Dela Lexikon Fakultäten, Institute, Departments im Rechts- und Linkskontext general surgery department,.n+pr+faculty geologic sciences department,.n+pr+faculty gerasimov institute,.n+pr+faculty goethe institute,.n+pr+faculty department of aeronautics,.n+pr+faculty department of alcohol,.n+pr+faculty department of art education,.n+pr+faculty 10

11 Annotationen in den Graphen <ARG type = Date>...</ARG> <ARG type = SCHOOL>...</ARG> <SCHOOL>...</SCHOOL> <FACULTY>...</FACULTY> 11

12 Unitex Graphen Hauptgraph 12

13 Subgraph Unis 13

14 Kontextwörter für neue Schulen 14

15 Subgraph für Fakultäten 15

16 Versuche auf dem Testkorpus { S } H e g r a d u a t e d c u m l a u d e < A R G t y p e = S C H O O L > f r o m < S C H O O L > V a n d e r b i l t U n i v e r s i t y < / S C H O O L > < / A R G > < A R G t y p e = D A T E > i n < / A R G > a n d r e c e i v e d h i s M B A f r o m C o l u m b i a U n i v e r s i t y i n { S } { S } H e g r a d u a t e d < A R G t y p e = S C H O O L > f r o m < S C H O O L > D e P a u l U n i v e r s i t y L a w S c h o o l < / S C H O O L > < / A R G > < A R G t y p e = D A T E > i n < / A R G >, w h e r e h e s e r v e d o n t h e l a w r e v i e w. { S } { S } H e g r a d u a t e d < A R G t y p e = S C H O O L > f r o m < S C H O O L > I s t a n b u l U n i v e r s i t y < / S C H O O L > < F A C U L T Y > E c o n o m i c s f a c u l t y < / F A C U L T Y > < / A R G > D e p a r t m e n t o f P o l i t i c a l S c i e n c e a n d F i n a n c e. { S } 16

17 Probleme beim Testkorpus { S } H e g r a d u a t e d f r o m E N A, t h e e s t a b l i s h m e n t ' s s c h o o l o f a d m i n i s t r a t i o n. { S } { S } H e g r a d u a t e d f r o m t h e C h e c h e n - I n g u s h U n i v e r s i t y a n d t h e K G B H i g h e r C o u r s e s i n M i n s k. { S } { S } H e g r a d u a t e d f r o m t h e c o l l e g e a n d i n l a t e r y e a r s r e t u r n e d t h e r e a s a t e a c h e r. { S } { S } H e g r a d u a t e d f r o m t h e f a c u l t y o f T h e o r e t i c a l M a t h e m a t i c s o f t h e J a g i e l l o n i a n U n i v e r s i t y. { S } Mögliche Lösungen: Erweiterung des Lexikons, insbesondere der Fakultätenliste Subgraphen mit Fächerlexikon einbinden, um neue Fakultäten zu finden 17

18 Recall und Precision nach Wikipedia Trefferquote (engl. Recall), Genauigkeit (engl. Precision) sind Maße zur Beurteilung der Güte von Treffermengen einer Recherche beim Information Retrieval. Precision: ((rerlvante Dokumente) geschnitten (gefundene Dokumente))/ (gefundene Dokumente) Recall: ((relevante Dokumente)geschnitten(gefundene Dokumente))/(relevante Dokumente) 18

19 Recall und Precision am Beispiel Wenn eine Recherche alle Dokumente zurückliefert, ist die Trefferrate maximal. Allerdings gilt dies auch für den Ausfall. Die Genauigkeit hängt vom Anteil relevanter und nicht-relevanter Dokumente in der Grundgesamtheit ab. Wird nur ein einziges relevantes Dokument zurückgeliefert, ist die Genauigkeit maximal und der Ausfall minimal. Allerdings dürfte die Trefferrate sehr gering sein, da sie von der Anzahl relevanter Dokumente abhängt. Im Allgemeinen sinkt mit steigender Trefferrate die Genauigkeit (mehr irrelevante Ergebnisse). Umgekehrt sinkt mit steigender Genauigkeit (weniger irrelevante Ergebnisse) die Trefferrate (mehr relevante Dokumente die nicht gefunden werden). Es besteht also eine negative Korrelation zwischen Treffern und Genauigkeit. (Wikipedia) 19

20 Precision und Recall am Testkorpus Relevante Zeilen im Korpus zählen (hier nicht Dokumente, sondern Zeilen, Weil IE) z.b. H e g r a d u a t e d a t F a r r i n g t o n H i g h S c h o o l i n H o n o l u l u i n a t t h e a g e o f 1 8. { S } keine relevante Zeile {S}He graduated from the Moscow Aviation Technological Institute in nicht getaggt, evtl ncht im Lexikon Relevante Zeilen unter den gefundenen Zeilen zählen Nach der Formel ausrechnen Tendenz: Precision sehr gut, Recall verbesserungswürdig 20

21 Ausblick Lexika erweitern Liste der Kontextwörter erweitern Anschluss zum Degree Graphen 21

22 Quellen: Wikipedia: