Background for Hybrid Processing Hans Uszkoreit Foundations of LST WS 04/05
Scope Classical Areas of Computational Linguistics: computational morphology, computational syntax computational semantics computational pragmatics Text Applications of Language Technology: indexing categorization summarization information extraction report generation Language Research and Technology 2
Different Goals Classical Goal: understanding and production of text Die Bremer Firma Trade C onsult hat auf einer Pressekonferenz in Hannover die Version 2. 0 ihrer erfolgreichen Lagerverwaltungssoftware Store Age vorgestellt. Lagerhaltung in das Supply C hain Management auf Auf der Pressekonferenz gab Geschäftsführer Franz Merleback auch die Umsatzzahlen der Softwareschmiede für das 3. Quartal bekannt. Wurden im zweiten Quartal bereits über 30 Millionen Mark umgesetzt, so konnte Merleback jetzt das stolze Ergebnis von 42, 5 Millionen verkünden. Lagerhaltung in das Supply Chain Management auf S VP NP NP V NP Det N A N Sue gave Paul an old penny. erfolgreichen Lagerverwaltungssoftware Store Age. PHON/anoldpenny/ CAT NP CASE objective SYN HEAD NUMBER sing PERSON third VALENCE vstruc QUANT exist SEM VAR X 1 REL old' RESTR VAR X 1 ARG penny' n Lagerverwaltungssoftware Language Research and Technology 3
Different Goals Classical Goal: understanding and production of text Die Bremer Firma Trade C onsult hat auf einer Pressekonferenz in Hannover die Version 2. 0 ihrer erfolgreichen Lagerverwaltungssoftware Store Age vorgestellt. Lagerhaltung in das Supply C hain Management auf Auf der Pressekonferenz gab Geschäftsführer Franz Merleback auch die Umsatzzahlen der Softwareschmiede für das 3. Quartal bekannt. Wurden im zweiten Quartal bereits über 30 Millionen Mark umgesetzt, so konnte Merleback jetzt das stolze Ergebnis von 42, 5 Millionen verkünden. Lagerhaltung in das Supply Chain Management auf S VP NP NP V NP Det N A N Sue gave Paul an old penny. erfolgreichen Lagerverwaltungssoftware Store Age. PHON/anoldpenny/ CAT NP CASE objective SYN HEAD NUMBER sing PERSON third VALENCE vstruc QUANT exist SEM VAR X 1 REL old' RESTR VAR X 1 ARG penny' n Lagerverwaltungssoftware Language Research and Technology 4
Different Goals Classical Goal: understanding and production of text highly accurate and comprehensive in depth could be used by automatic inferencing but lacking efficiency, robustness, coverage Language Research and Technology 5
Different Goals Classical Goal: understanding and production of text Goals of Text Technologies recognition of relevant elements or generation of short passages from DB entries Die Bremer Firma Trade C onsult hat auf einer Pressekonferenz in Hannover die Version 2. 0 ihrer erfolgreichen Lagerverwaltungssoftware Store Age vorgestellt. Lagerhaltung in das Supply C hain Management auf Auf der Pressekonferenz gab Geschäftsführer Franz Merleback auch die Umsatzzahlen der Softwareschmiede für das 3. Quartal bekannt. Wurden im zweiten Quartal bereits über 30 Millionen Mark umgesetzt, so konnte Merleback jetzt das stolze Ergebnis von 42, 5 Millionen verkünden. Lagerhaltung in das Supply Chain Management auf building an index Language Research and Technology 6
Different Goals Classical Goal: understanding and production of text Goals of Text Technologies recognition of relevant elements or generation of short passages from DB entries Die Bremer Firma Trade C onsult hat auf einer Pressekonferenz in Hannover die Version 2. 0 ihrer erfolgreichen Lagerverwaltungssoftware Store Age vorgestellt. Lagerhaltung in das Supply C hain Management auf Auf der Pressekonferenz gab Geschäftsführer Franz Merleback auch die Umsatzzahlen der Softwareschmiede für das 3. Quartal bekannt. Wurden im zweiten Quartal bereits über 30 Millionen Mark umgesetzt, so konnte Merleback jetzt das stolze Ergebnis von 42, 5 Millionen verkünden. Lagerhaltung in das Supply Chain Management auf extracting the topic Trade Consult Umsatzzahlen Language Research and Technology 7
Different Goals Classical Goal: understanding and production of text Goals of Text Technologies recognition of relevant elements or generation of short passages from DB entries Die Bremer Firma Trade C onsult hat auf einer Pressekonferenz in Hannover die Version 2. 0 ihrer erfolgreichen Lagerverwaltungssoftware Store Age vorgestellt. Lagerhaltung in das Supply C hain Management auf Auf der Pressekonferenz gab Geschäftsführer Franz Merleback auch die Umsatzzahlen der Softwareschmiede für das 3. Quartal bekannt. Wurden im zweiten Quartal bereits über 30 Millionen Mark u mgesetzt, so konnte Merleback jetzt das stolze Ergebnis von 42, 5 Millionen verkünden. Lagerhaltung in das Supply Chain Management auf extracting relations Firma 96Q4 1996 97Q1 97Q2 97Q3 97Q4 1997 Diff Hahnemann 105 Mio 110Mio Trade Consult 30 Mio 42,5Mio Z&M 12,0Mio 14 Mio Language Research and Technology 8
Information Extraction Bremen, 14. 10. 1997, wiwo: Lagersoftware weiter im Aufwind Die Bremer Firma Trade Consult hat auf einer Pressekonferenz in Hannover die Version 2.0 ihrer erfolgreichen Lagerverwaltungssoftware Store Age vorgestellt. Verwaltung mehrerer Lager und integriert die Lagerhaltung in das Supply Chain Management auf der Basis von SAP Software. Auf der Pressekonferenz gab Geschäftsführer Franz Merleback auch die Umsatzzahlen der Softwareschmiede für das 3.Quartal bekannt. Wurden im zweiten Quartal bereits über 30 Millionen Mark umgesetzt, so konnte Merleback jetzt das stolze Ergebnis von 42,5 Millionen verkünden. Language Research and Technology 9
IE Result Firma 96Q4 1996 97Q1 97Q2 97Q3 97Q4 1997 Diff ComSoft 120Mio 110Mio Trade Consult 30 Mio 42,5Mio Z&M 71,0Mio Language Research and Technology 10
Different Goals Classical Goal: understanding and production of text Goals of Text Technologies recognition of relevant elements or generation of short passages from DB entries Die Bremer Firma Trade C onsult hat auf einer Pressekonferenz in Hannover die Version 2. 0 ihrer erfolgreichen Lagerverwaltungssoftware Store Age vorgestellt. Lagerhaltung in das Supply C hain Management auf Auf der Pressekonferenz gab Geschäftsführer Franz Merleback auch die Umsatzzahlen der Softwareschmiede für das 3. Quartal bekannt. Wurden im zweiten Quartal bereits über 30 Millionen Mark u mgesetzt, so konnte Merleback jetzt das stolze Ergebnis von 42, 5 Millionen verkünden. Lagerhaltung in das Supply Chain Management auf extracting relations Firma 96Q4 1996 97Q1 97Q2 97Q3 97Q4 1997 Diff ComSoft 120Mio 110Mio Trade Consult 30 Mio 42,5Mio Z&M 71,0 Mio 88,0 Mio Language Research and Technology 11
Different Goals Classical Goal: understanding and production of text Goals of Text Technologies recognition of relevant elements or generation of short passages from DB entries robust and efficient support for human inferencing but shallow -- do not get to the contents -- lacking accuracy Language Research and Technology 12
Application and Foundation Deep Methods Shallow Methods Foundation Application Language Research and Technology 13
Empirical Methodology formal methods algorithmic methods empirical methods availability of large electronic corpora computational tools for handling large sets of data increased computing power means for data interpretation Language Research and Technology 14
Statistical Methods symbolic methods statistical methods shallow processing categorization summarization inf. extraction answer extraction shallow parsing PS parsing deep parsing deep processing deep parsing with semantic construction Language Research and Technology 15
Statistical Methods symbolic methods hybrid methods statistical methods shallow processing categorization summarization inf. extraction answer extraction shallow parsing PS parsing deep parsing deep processing deep parsing with semantic construction Language Research and Technology 16
Corpus-Based Methods Corpus-based statistical methods are especially relevant for: acquisition of grammar and lexicon acquisition and modelling of soft constraints acquisition and modelling of performance preferences However, we need linguistically interpreted corpora. Language Research and Technology 17
Combinig Shallow and Deep Three ways of combining shallow and deep processing: shallow processing as a preprocessor for deep processing deep processing as a servant to shallow processing deep processing techniques are integrated into shallow processing Language Research and Technology 18