Automatische Messung von Sprachqualität. Fluch oder Segen?

Transkript

1 Automatische Messung von Sprachqualität Fluch oder Segen? Podium Qualitätsniveaus und Qualitätsmessung Schweinfurt, 30. April 2010 Ursula Reuther IAI, Saarbrücken

2 Überblick Was ist Sprachqualität? Wie wird Sprachqualität ermittelt? Wie funktioniert automatische Qualitätsmessung? Verschiedene Einsatzszenarien Mögliche Stolpersteine Fazit 2

3 Sprachqualität allgemein Fehlerfreies Deutsch Schule Diktat Textproduktion DaF (Deutsch als Fremdsprache) Grammatikübungen Textproduktion Bewertung durch Noten Notenskala mit Fehlerindex 3

4 Sprachqualität in der Technischen Dokumentation tekom AG Textqualität Erstellung eines Kriterienkatalogs tekom Quali-Assistent Gute Textqualität ist, wenn der Text genau das bewirkt, was Sie durch ihn erreichen wollen. wenn der Leser, für den der Text bestimmt ist, beim ersten Lesen den Inhalt problemlos erfasst und versteht. wenn die Zielgruppe zufrieden ist, weil sie alle benötigten Informationen einfach auffindet und wenn möglichst geringe Übersetzungskosten entstehen, weil Übersetzer den Text sofort verstehen und für ihre Arbeit unterstützende Software einsetzen können. wenn der Textnutzer dahin kommt, wo ich ihn hin haben möchte und das auf kurzem Weg, die Übersetzungshürden überspringend und mit wenig Mühe beim Lesen. 4

5 Prüfkriterien in der Technischen Dokumentation Textqualität nicht ohne Sprachqualität Bausteine sprachlicher Qualität Sprachliche Korrektheit Rechtschreibung Grammatik gemäß Duden Firmenvorgaben Terminologie Schreibrichtlinien 5

6 Überprüfungsmöglichkeiten in der Technischen Dokumentation Humanlektorat Sprache Layout Inhalte Maschinengestütztes und Maschinelles Lektorat Rechtschreibprüfung Word Einfache Terminologieprüfung Linguistisch intelligente Prüfung 6

7 Aussagekraft der Prüfergebnisse bezüglich Qualität Humanüberprüfung Schule objektive Note nach zuvor definierten Maßstäben Lektorat nicht immer gleich bleibende, objektive Bewertung Maschinelle Überprüfung Einfacher Bericht Anzahl von Fehlern geringe Aussagekraft Intelligente Qualitätsmessung Fehler in Bezug auf Textlänge Gewichtung von Fehlern höhere Aussagekraft 7

8 Voraussetzungen für eine automatische Qualitätsmessung Sprachtechnologisches Werkzeug linguistisch intelligente Erkennung sprachlicher Verstöße in qualitätsrelevanten Bereichen Dokument mit identifizierten Fehlern in maschinenlesbarer Form Konfigurierbare Auswertungssoftware Fehlergewichtung Definition von Schwellenwerten bzw. Bewertungsnoten Datenbündelung 8

9 Softwarekomponente zur Gewichtung von Fehlern 9

10 Einsatzszenario Lektorat Lektoratswerkzeug zur Begutachtung und zur Beurteilung von Dokumentation vor der Freigabe bzw. vor der Übersetzung Ermittlung besonders kritischer Dokumente Gezielte Rückmeldung an Autoren Zeit- und Kostenersparnis gleich bleibende, objektive Bewertung der Dokumente 10

11 Einsatzszenario Redaktions-Workflow Freigabeprozess Für interne Qualitätsprüfung Für Übersetzungsprozess Freigabeprüfung im Redaktionsprozess Eine zuvor festgelegte Note (oder ein Schwellenwert) darf nicht überschritten werden, damit das Dokument freigegeben werden kann. Hernandez/Oehmig tekom - November 2008 Hop oder Top? Ein Weg zur automatischen Dokumentenfreigabe 11

12 Einsatzszenario Qualitätssicherung zentrale Kennzahlenermittlung für verschiedene Abteilungen Messung der Qualitätsentwicklung über einen bestimmten Zeitraum hinweg (Benchmarking- Tests) Hinweise auf Bedarf an redaktionellen Schulungsmaßnahmen 12

13 Einsatzszenario Regel-/Toolevaluierung Evaluierungswerkzeug gezielte Regelevaluierung (Hits, Fehlalarme, Falschalarme) Feinjustierung und Unterstützung bei der Regelkonfiguration der Prüfsoftware Bestehende Prüfszenarien Neue Prüfszenarien 13

14 oder doch ein Fluch? Mögliche Stolpersteine Datenschutz Missbrauch als Mittel zur individuellen Leistungskontrolle Ergebnisdaten öffentlich im Unternehmen zugänglich Starre Überprüfungs- und Bewertungskriterien Verfälschte Ergebnisse Akzeptanzprobleme 14

15 Fazit: Automatische Messung von Sprachqualität ist Segensreicher Fluch? Verfluchter Segen? Automatische Qualitätsmessung kann erfolgreich eingesetzt werden, wenn die Bewertungsmaßstäbe flexibel definierbar sind der Betriebsrat und die Anwender von Anfang an informiert und eingebunden sind 15