Praktische Evaluierung kommerzieller Tools zur Terminologieextraktion

Transkript

1 Status Qu und Ziele Prjekt Praktische Evaluierung kmmerzieller Tls zur Terminlgieextraktin Extraktin Nise Bericht aus einem aktuellen Prjekt Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

2 Status Qu Terminlgie und Crprate Speech sind Ntwendigkeiten standardisierter und nrmierter Technischer Redaktin Erstellung, Wartung und Pflege vn Terminlgien sind aufwändig Oftmals fehlen Knw-hw, Qualifikatinen, Wrkflws, Verantwrtliche Gelegentlich fehlen Ressurcen Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

3 Wünsche an Tlgestützte Extraktin Erfassung des Ist-Zustandes (deskriptive Terminlgie) Erreichung des Sll-Zustandes (präskriptive Terminlgie) Zeitsparend Kstensparend Verteilter Wrkflw Externe Vergabemöglichkeit Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

4 Funktinsweise der Terminlgieextraktin Linguistische Systeme Frmale Kriterien für unterschiedliche Wrtkmbinatinen Kmplexe sprachspezifische Ausschlusslisten Geben krrekte syntaktische Knstrukte aus, aber keine terminlgische Relevanz Sprachabhängig Statistische Systeme Statistische Merkmale (lkale vs. glbale Frequenz) Unterscheiden nicht zwischen Wörtern und terminlgisch relevanten Fachausdrücken Grenzen mitunter nicht krrekt ab Sprachunabhängig Kmbinierte Systeme Statistische Evaluierung mit linguistischer Nachbeearbeitung Linguistische Evaluierung mit statistischer Beurteilung Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

5 Prbleme der Terminlgieextraktin Termini können rein frmal nicht vn Wörtern unterschieden werden (Fachwissen, Einrdnung in Begriffsystem usw. fehlen) Fehlerquellen: Nise Zu viele Vrschläge Zeitraubender manueller Ausschluss ntwendig Fehlende Vrschläge Unvllständig, qualitativ mangelhaft Ntwendig der Parametrierbarkeit! Nachbearbeitung vrprgrammiert Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

6 Ziele des Prjekts Rechnet sich Terminlgieextraktin? Wie ist die Qualität des Endprduktes? Was sind die Vrteile, was die Nachteile? Wie sehen die Przesse im Haus aus? (Extraktin, Evaluierung, usw.) Welche Teile davn kann ich extern vergeben? Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

7 Das Prjekt Österreichisches Unternehmen aus dem Autmbil-Zulieferbereich (2300 Mitarbeiter, 335 Mi Eur Umsatz) Termbase seit langem geplant aber nch nicht verwirklicht. Termextraktin: Eine Lösung? Externe Vergabe: Eine Lösung? Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

8 Prjektplan Definitin der Zielgruppe, Krpusbildung Durchführung der Extraktin (Englisch) Evaluatin = Prüfung der Termkandidaten auf Vllständigkeit und krrekte Abgrenzung = Prüfung der evaluierten Termkandidaten auf Relevanz swie Ergänzung der Mindestinfrmatinen ( Pflichtfelder ) Aufnahme in die Termbank Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

9 Zielgruppe und Krpus Gegenstand: Einsprachige Termbank für technische Redaktin und Sftware-Entwicklung (siehe Sukup, 2002) Gewünschte Mindestinfrmatinen: Term Zurdnung in ein Begriffsystem (Fachgebiet) Quellenangabe Abkürzungen und deren Bedeutung Krpus: 2 Sftware-Handbücher zu 84 und 110 Seiten, Frmat: Wrd, Sprache: Englisch Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

10 Tls Chambln Terminlgy Extractr 3.0 Linguistisch (Englisch/Französisch/ Other ) Einsprachige Extraktin 130 Eur Trads ExtraTerm ix Statistisch mit sprachspezifischen Ausschlusslisten (Wörterbuch in 5, Stpwrds in 17 Sprachen) Ein- und mehrsprachig (nach Alignment), Übersetzung, QA im Tl, Integratin mit MultiTerm 5000 Eur Xerx Terminlgy Suite / TermFinder Linguistisch (16 Sprachen) Ein- und zweisprachige Extraktin, Alignment Integratin mit TermOrganizer und TermChecker 8000 Eur (je nach Ausstattung) Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

11 Durchführung: Chambln Einfaches Interface, einfacher Vrgang Hinzufügen vn Dkumenten Extraktin Termkandidaten können vielfach srtiert und angezeigt werden, Beispielsätze sind verfügbar, aber keine möglich Abschließend Exprt als TXT-Datei (alle Termkandidaten) Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

12 Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

13 Trads ExtraTerm ix Intuitives aber kmplexes Interface Wizard-Basiertes Anlegen vn Prjekten : Status Qu und Ziele Prjekt Wahl der Prjektart (ein- der mehrsprachig, Übersetzung, QA) Wahl der Sprache(n) der Zieldatenbank Hinzufügen vn Dkumenten Ausschluss-Einstellungen (zb: Selbstlernende DB) Parametrierung (zb -Nise) Extraktin Nise Danach Extraktin Umfassende direkt im Tl möglich, der Exprt in mehreren Frmaten Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

14 Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

15 Xerx TermFinder Kmplexes Interface, wenig intuitiv TermFinder zur Definitin der Extraktin Wahl der Sprache(n) Hinzufügen der Dkumente Bei mehrsprachigen Prjekten: Alignment und Review Extraktin übernimmt alle Termkandidaten in TermOrganizer TermOrganizer Status Qu und Ziele Prjekt Extraktin Nise Umfassende und Verwaltung der Terminlgie Benutzerdefinierter Exprt in unterschiedlichen Frmaten möglich Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

16 Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

17 Evaluierung der Ergebnisse Exprt aller Termkandidaten nach Excel Evaluierung der Nise durch Einreihen in 5 bestimmte Kategrien vn Termkandidaten Evaluierung der durch manuelle Extraktin aus 20 Seiten des Handbuchs und Vergleich mit den Extraktinsergebnissen Ziel ist die Bewertung vn: Aufwand Treffergenauigkeit / Qualität Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

18 Anzahl der Termkandidaten 2500 Status Qu und Ziele Prjekt 2000 Extraktin 1500 Nise Ksten 0 Chambln Trads Xerx Termkandidaten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

19 Nise Einreihung in 5 Kategrien: Status Qu und Ziele Krrekt Kann direkt wie im Termkandidat zur gegeben werden (zb nrmname ) Teilweise krrekt Enthält zwar einen krrekten Termkandidat, ist jedch nicht eindeutig abgegrenzt (zb select the nrmname, relevant nrmnam ) Mehrfach Enhält mehr als einen krrekten Termkandidaten (zb nrmname and type, fnt and clr ) Reknstruierbar Ist erst nach Prüfung der Beispielsätze eruierbar (zb return t WORK ist eigentlich WORK mde ) Inkrrekt Ist syntaktisch nicht krrekt der irrelevant (zb accrding, appears after clicking ) Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

20 Nise Abslut Chambln Trads Xerx Krrekt Teilweise Krrekt Mehrfach Reknstruierbar Inkrrekt Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

21 Nise Przentuell 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Chambln Trads Xerx Krrekt 37,14 45,56 32,79 Teilweise Krrekt 16,47 7,72 18,81 Mehrfach 2,52 1,16 1,86 Reknstruierbar 0,42 1,54 0,35 Inkrrekt 43,45 44,02 46,19 Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

22 Human Extractr fand (mit Hilfe eines Pint-and-Klick Tls) in 60 Minuten auf 20 Seiten 186 Termkandidaten, wvn allerdings 35 dppelt waren, sprich 151 krrekte Terms Es wurde geprüft, welche Termkandidaten davn in den Extraktinsergebnissen der Tls vrhanden waren Hinweis: Die Effizienz des Human Extractrs nimmt in Relatin zur Größe der Datenbank und des Vlumens der Texte rapide ab (Nachschlagen und Dppeleinträge)! Nach den ersten 1000 Termini sinkt die Prduktivität um über 50%! Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

23 - Przentuell 100,00 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0,00 Chambln Trads Xerx Gefunden 69,13 57,72 87,25 Nicht gefunden 30,87 42,28 12,75 Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

24 - Przentuell 100,00 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0,00 Chambln Trads Xerx Trads High Nise* Nicht gefunden 69,13 57,72 87,25 96,64 Gefunden 30,87 42,28 12,75 3,36 Status Qu und Ziele Prjekt Extraktin Nise Ksten * parametriert auf niedrige Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

25 Nicht gefundene Terms, Beispiele (12) Test bed cmputer cnnectin (4) Hst cnnectin Duble-click the POI prgram icn in the left-hand crner f the POI applicatin windw's title bar. The status bar displays the fllwing infrmatin: current date and time, PUMA messages, POI status messages, and help infrmatin. If the parameters are crrect, the system will change frm POWER UP (bt state) t MONITOR state, dwnlading the valid parameters. Otherwise, the new values will be verwritten with the ld PAM values after the PUMA system has been re-bted. The actin keys are self-explanatry and rle related Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

26 Übergabe einer Excel-Liste mit gültigen Termkandidaten an den Kunden Markieren der zu übernehmenden Einträge und Zuweisen der Mindestinfrmatinen (Status und Sachgebiet, eventuell Definitin) Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

27 Wrkflw / Status-Infrmatin Extraktin und Prüfung auf frmale Krrektheit (Kunde der Dienstleister) Termkandidaten mit Quelle und Beispielsatz Status Neu Status Qu und Ziele Prjekt (Kunde, Terminlge) Ergänzung der Mindestinfrmatinen, Einrdnen des Fachgebiets Status Aufgenmmen, Abgelehnt Extraktin Nise Freigabe (Kunde, Fachmann) Prüfung auf sachliche Richtigkeit Ergänzung der fachbezgenen Infrmatin Bewertung der Benennung Status Geprüft, Veraltet Ksten Freigabe (Kunde, Terminlge) Prüfung auf Einhaltung der vereinbarten terminlgischen Grundsätze Status Freigegeben Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

28 Zeitaufwand Prüfung - Gesamt 5,0 4,5 4,0 3,5 3,0 2,5 2,0 1,5 1,0 0,5 0,0 Chambln Trads Xerx Stunden 3,0 1,5 4,7 Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

29 Zeitaufwand pr krrektem Term 25,00 Status Qu und Ziele 20,00 Prjekt Extraktin 15,00 Nise 10,00 5,00 Ksten 0,00 Chambln Trads Xerx Human extractr Sekunden 20,22 15,17 22,97 23,84 Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

30 Kstenentwicklung Ksten (Eur) Chambln Trads Xerx Human Anzahl Termkandidaten Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

31 Ksten plus Investitin Ksten (Eur) Chambln Trads Xerx Human Anzahl Termkandidaten Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

32 Ksten Andere Faktren In der Analyse nicht berücksichtigt sind Faktren wie: Status Qu und Ziele Prjekt Gesamter sprzess Zeitaufwand zum Anlegen des Prjekts swie reine Rechnerzeit Unterstützung vn Sprachen Unterstützung vn Frmaten der Dkumente Unterstützung ffener Frmate für Datenaustausch Benutzerfreundlichkeit Schulung und Wartung Parametrierbarkeit, Optinen (etwa Filter) Zusatznutzen (mehrsprachige Extraktin, Qualitätssicherung usw) Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

33 Termextraktin bedeutet in Termbases ab ca Einträgen eine klare Kstenreduktin. Die Einsparungen steigen mit Zunahme des Vlumens Terminlgieextraktin bietet Effizienz zu Lasten der Qualität (Trefferqute). Parametrierbare Systeme bieten eine kundenspezifische Lösung Die Extraktin selbst swie die Prüfung kann extern vergeben werden. Die sllte im Haus erflgen ( subjektive Terminlgie) Externe Vergabe der Extraktin ist besnders bei kleinen Vlumina sinnvll (<3000 Einträge) In jedem Fall sind lkale Experten und Verantwrtliche im Unternehmen zu benennen Status Qu und Ziele Prjekt Extraktin Nise Ksten Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,

34 Weitere Infrmatinen Klaus Fleischmann Kaleidscpe GesmbH tekm: Am Stand der dccnsult / ARGE ide Masterthese: Dnau-Uni Krems (Technische Kmmunikatin 3) Status Qu und Ziele Prjekt Extraktin Nise Ksten Vielen Dank! Klaus Fleischmann, Kaleidscpe tekm Wiesbaden,