Prosodische Annotierung

Transkript

1 BAS Infrastrukturen zur Technischen Sprachverarbeitung (BITS) Teilprojekt NR 8/4 Prosodische Annotierung Inhalt: Die Handhabung der Files für die Prosodierung wird beschrieben. Der Artikel gibt Auskunft über die einzelnen Arbeitsschritte von der Bereitstellung der Daten bis zur Endkorrektur. Hierbei wird nicht auf die eventuell parallel stattfindende Segmentierung eingegangen. Diese ist in TechDok 8/5 (in deutscher Sprache) bzw. 8/5e (in englischer Sprache) dargestellt. Bemerkungen: In diesem Bericht wird zur besseren Lesbarkeit durchgängig die männliche Form verwendet (z.b. Prosodierer). Es versteht sich von selbst, dass damit ebenso das weibliche Geschlecht gemeint ist. Dem Leser sei geraten, wann immer es möglich ist, das Dokument begleitend zur tatsächlichen Ausführung der beschriebenen Vorgänge zu lesen, um den Überblick zu behalten. Autor: Ulrich Reubold, Sonja Schmidt Datum: Version: 2.0

2 A) Arbeitsschritte der Prosodierer 1. Erst-Prosodierung (ggf. mit Erst-Grobsegmentierung) Die Prosodierer wählen, ähnlich wie in TechDok 8/5 beschrieben, aus den entsprechenden Ordnern unter /data/data45/bits_data/segmentation/vorbereitet/block10/ses100[1-4] ein File eines Sprechers aus dem USel-Korpus aus. Die File-Namen der Dateien, die in Frage kommen, haben folgende Form: US100[1-4]???? _0_PR.TextGrid (Näheres zu dieser Form im TechDok 8/5), wobei in dem hier beschriebenen Zusammenhang das Kürzel PR hervorgehoben werden muss, da es jene Dateien kennzeichnet, die prosodiert werden können. Die ausgewählten, prosodierbaren Satzäußerungen werden mit dem Befehl erstseg US100[1-4]???? (also z.b. erst-seg US ohne _0_PR.TextGrid oder ähnlichem) aufgerufen, so dass sich das Programm PRAAT öffnet und die zugehörigen TextGrid- und _0.wav-Files lädt. Die TextGrid- und die Audio-Datei werden zusammen editiert, so dass das TextGrid-File bearbeitet werden kann. Vor dem Öffnen von PRAAT fragt das Script erst-seg den Prosodierer: Found only a PR TextGrid to work on - ok? (y/n). Diese Frage ist mit y für yes zu bejahen. In dem edit-fenster erscheinen Oszillogramm und Sonagramm des Audiosignals, sowie eine Segmentspur und eine PRB (Prosodie Braunschweig 1 ) genannte Spur, in welcher Label für Grenztöne und Satzakzente nach GTobi vorgegeben sind. Im Sonagramm wird der Grundfrequenzverlauf des Signals angezeigt. Je nach Geschlecht bzw. Stimmlage des Sprecher wird hierzu derjenige Bereich eingeschränkt, innerhalb dessen die möglichen Grundfrequenzwerte dargestellt werden können, d.h. es wird jeweils eine untere und eine obere Schwelle festgelegt; Grundfrequenzwertkandidaten, die nicht zwischen diesen Schwellen liegen, werden nicht dargestellt. Mit Hilfe dieser Funktion sollen offensichtliche Messfehler vermieden werden. Diese Einstellungen des Grundfrequenz- Messalgorithmus werden für die Daten eines jeden Sprechers festgelegt. Da die Grundfrequenzkurve aus einzelnen Messwerten besteht, und diese Werte an Lautübergängen (vor allem. an stimmhaft/stimmlos-grenzen) unzuverlässig sein können, kann während der Bearbeitung so weit in das Signal gezoomt werden, bis anhand der einzelnen Messwertpunkte abgeschätzt werden kann, ob die Werte an Grenzlagen zuverlässig sind. Der Prosodierer überprüft, ob die Segmentspur mit MAU (vollautomatisch erstellte Segmentierung in extended German SAM-PA-Einheiten) oder SAP (manuelle Segmentierung) gekennzeichnet ist. Bei einem File mit SAP -Spur kann sofort mit der Prosodierung begonnen werden, da die Datei bereits ausreichend handsegmentiert ist (zumindest erstsegmentiert, bestenfalls zweitoder gar endsegmentiert); ein File mit MAU -Spur muss zunächst grobsegmentiert werden (siehe hierzu TechDok 8/5). 1 Mehr Informationen unter:

3 Die PRB -Spur enthält eine vorgegebene prosodische Segmentierung. Die Vorgaben sind dadurch entstanden, dass am Partnerinstitut IMS der Universität Stuttgart Aufnahmen der gleichen Sätze, gesprochen von einem anderen Sprecher, manuell prosodiert worden sind, und diese Grenztöne und Satzakzente auf die IPSK-Aufnahmen automatisch an die entsprechenden Segmente bzw. Segmentgrenzen angepasst wurden. Durch diese Vorgaben wird die Bearbeitungszeit am IPSK verkürzt, da die Prosodierer nun bereits angelegte Grenztöne und Akzente überprüfen, gegebenenfalls korrigieren, teilweise löschen und wenige weitere Label einfügen müssen. Zum Grenzton- bzw. Satzakzent-Inventar und dessen Vergabe folgt unten der Abschnitt Toninventar und Tonvergabe. Ist der Erstprosodierer mit einem File fertig, speichert er seine Arbeit und schließt PRAAT. Das Script erst-seg fragt daraufhin, ob die Arbeit beendet ist (Antwort: yes ) oder nicht (Antwort: no - danach die so genannte Kilometerstand- Angabe), und nach eventuellen Defekten in der Aufnahme (Antwort: def für segmentbezogene Defekte, technische Störgeräusche oder Ähnliches.). Näheres hierzu in TechDok 8/5. Wurde mit yes geantwortet, kann ein Kommentar vergeben werden. An dieser Stelle läuft automatisch das Programm eines Parsers (siehe Bericht zur Korpusspezifikation von Sätzen) über das File und kontrolliert unter anderem auch die prosodische Bearbeitung: Sind in einem Wort sowohl ein Satz- als auch ein Wortakzent, jedoch nicht auf dem gleichen Segment, so macht der Parser den Vorschlag, den Satzakzent auf das Segment, das den Satzakzent trägt, zu setzen. Einem gelinkten Satzakzent mit oder ohne Trailton (H* (..L), L* (..H)) muss ein Standardsatzakzent (H*L, L*H) folgen. Nur die folgenden Label sind in den prosodischen Dateien erlaubt: H*, L*, -, %, H*L, L*H, *?, -?, %?, H*L?, L*H?,..L,..H, H%, H%?, HH*L. Wenn ein Fehler gefunden wird, gibt ihn der Parser an und die Bearbeitung muss verbessert werden. Anschließend wird das TextGrid-File automatisch nach /data/data45/bits_data/segmentierung/erst-fertig/block10/ses100[1-4]/ verschoben. 2. Zweit-Segmentierung In diesem Bearbeitungsschritt werden die Segmentspuren der Files in den entsprechenden, im letzten Absatz genannten Ordnern mittels des Scripts zweitseg überprüft. Handelt es sich um grobsegmentierte MAU -Segmentspuren, wird diese Segmentierung überprüft. Handelt es sich bei den Segmentspuren um solche, die mit SAP gekennzeichnet sind, muss der Zweitsegmentierer anhand der Kommentarfiles unter /data/data45/bits_data/recs/block10/ses100[1-4]/ US100[1-4]????.txt überprüfen, ob die betreffende Datei bereits zweit- oder gar endsegmentiert worden war. Ist dies nicht der Fall, d.h. ist die Datei erst einmal exakt segmentiert worden, dann wird die Datei zweitsegmentiert (siehe hierzu Doku8/5). Sollte die Datei schon zweit- oder gar endsegmentiert sein, wird sie

4 ohne weitere Bearbeitung geschlossen und somit weiter verschoben nach /data/data45/bits_data/segmentierung/zweit-fertig/block10/ses100 [1-4]. Hierbei gibt es die Möglichkeit, einen Kommentar niederzulegen. 3. Zweit-Prosodierung Mit dem Befehl abgeschlossen-seg US100[1-4]???? kann nun zweitprosodiert werden, das heißt, dass hier exklusiv die Prosodielabelung kontrolliert wird. Dabei kann es notwendig sein, dass der Zweit-Prosodierer seine Unsicherheit bei prosodisch zu markierenden Kandidaten notiert, indem er die unter "Toninventar und -vergabe" beschriebenen Unsicherheitslabel einsetzt. Auch bei diesem Schritt kann ein Kommentar niedergelegt werden. Die fertigen Dateien gelangen nach der Bearbeitung nach /data/data45/bits_data/segmentierung/abgeschlossen/block10/ses1 00[1-4] Die Zweit-Prosodierer sollen gegebenenfalls den Erst-Prosodierern Feedback geben. B)Toninventar und -vergabe An dieser Stelle muss zwischen Grenzen und Grenztönen bzw. zwischen Satzakzenten und Satzakzenttönen unterschieden werden. Sowohl Grenzen als auch Satzakzente werden durch verschiedene prosodische Mittel realisiert. Die Art der vergebenen Label ist allerdings rein intonatorisch bestimmt, d.h. sie richtet sich nach der relativen Lage und Verläufen der Grundfrequenz. Daher wird in diesem Dokument davon gesprochen, dass die Positionen von Grenzen und Satzakzenten bestimmt werden; an diesen Stellen werden dann allerdings Label vergeben, die die Qualität der Grenz- und Satzakzenttöne beschreiben. Die zu vergebenden Label geben also Auskunft darüber, dass an ihren Positionen etwas als prominent perzepiert wurde und welchen Tonverlauf der Bearbeiter wahrnimmt bzw. welche Art von Grundfrequenzverlauf an dieser Stelle existiert. Nicht notwendigerweise bedeutet dies, dass der Grundfrequenzverlauf der bestimmende Parameter zur Identifikation einer Prominenz sein muss. Der Einfachheit halber wird in der Regel lediglich der Begriff Satzakzent verwendet. Grundsätzlich gilt für die Satzakzentvergabe dieses Projektes, dass eine ohrenphonetische, sprich auditive Aufgabe zu erfüllen ist und weniger eine Aufgabe, die theoretisch-linguistischen Aspekten der Akzentuierung Rechnung tragen soll. Dahingehend ist die Bearbeitung der Daten der zweiten und dritten Session optimiert worden: Es wird Synthese-Material zur Verfügung gestellt, ohne die Akzentuierungsmuster der Sätze einer Theorie gemäß abzubilden.

5 1. Toninventar Grenztöne: - (intermediäre Phrasengrenze), H% (hoher Intonationsphrasengrenzton) und % (neutraler 2 Intonationsphrasengrenzton). Standardsatzakzente: H*L (fallender Verlauf der Grundfrequenz von high nach low) und L*H (steigender Verlauf von low nach high). (Der ursprünglich vorgesehene Satzakzent HH*L, der hauptsächlich in spontansprachlichen Daten vorkommt, gehört zwar zum Inventar, findet aber bei der hier vorliegenden Lesesprache praktisch keine Anwendung und wird daher an dieser Stelle nicht besprochen.) gelinkte Satzakzente: partiell gelinkte Satzakzente: H*..L und L*..H, daneben komplett gelinkte Satzakzente: H* und L* Den Zweit-Prosodierern stehen zusätzliche Unsicherheitslabel zur Verfügung: *? gibt die Unsicherheit wieder, ob es sich um einen Akzent handelt oder nicht, x? die Unsicherheit über die Art des Akzents, -? das Schwanken, ob eine intermediäre Phrasengrenze vorliegt oder gar keine, %? das Schwanken zwischen % und -, sowie H%? das Schwanken zwischen H% und %. 2. Lage der Phrasengrenzen Die gesamte Äußerung wird angehört und hierbei die Lage von Phrasengrenzen bewertet. Die Label werden an der Stelle der jeweils letzten Segmentgrenze der durch die Grenzvergabe entstandenen Untereinheiten der Äußerung vergeben. Ist die Lage der Grenzen klar, wird entschieden, um welche Art Phrasengrenze es sich jeweils handelt: hierbei ist zunächst wichtig, Intonationsphrasen zu identifizieren, also wahrzunehmen; folgt nach einer perzepierten Grenze eine echte oder gefühlte Pause, d.h. wenn man davon sprechen kann, dass eine wahrgenommene Intonationsphrase als zu Ende gegangen perzepiert wird, so vergibt man eines der Label % oder H% (Intonationsphrasengrenze). Steigt auf der letzten Silbe der Intonationsphrase die Stimmtonhöhe deutlich an, so wird H% vergeben (Eindruck einer Frageintonation). Für alle anderen Intonationsphrasengrenzen wird das Label % vergeben. Im andern Fall der Wahrnehmung einer Grenze, die jedoch keine Intonationsphrase abschließt, sondern diese nur gliedert, wird ein Bindestrich - als Label vergeben (intermediäre Grenze). Diese Fälle von Grenzen sind schwieriger zu erkennen als Intonationsphrasengrenzen es sind. Dies liegt daran, dass der Prosodierer nicht die deutlich wahrnehmbare Intonationsphrase mit eventuell anschließender Pause zur Erkennung zur Verfügung hat, sondern auf kleine intonatorische Gliederungsmerkmale achten muss. Diese Gliederung wird als leichte 2 Keine, geringe und fallende tonale Bewegungen können für das Deutsche zusammengefasst werden.

6 Unterbrechung des Sprachflusses wahrgenommen. Innerhalb sehr langer Wörter (zum Wortbegriff s.u.) wie z.b. Neunzehnhundertdreiundneunzig, Komposita wie Innenstaatssekretär oder Doppelnamen wie Randzio-Plath werden nur sehr starke Grenzen als Phrasengrenzen anerkannt und als solche gekennzeichnet. Dies bedeutet, dass innerhalb dieser Wörter keine intermediären Phrasengrenzen gelabelt werden. 3. Satzakzentvergabe Nun werden die Satzakzente bestimmt und mit einem Label für ihren Tonverlauf versehen. Mittels der Gliederung durch die Grenztonvergaben sind Untereinheiten der Äußerung entstanden, und jede dieser Einheiten wird nun einzeln auf Satzakzente hin untersucht. Dies darf nicht missverstanden werden: es werden nur dort Satzakzenttöne gelabelt, wo Hervorhebungen im Kontext der gesamten Äußerung, wahrnehmbar sind. Dennoch dienen die Untereinheiten der Äußerung als Grundlage der Bewertung, da die reine Tonvergabe von den vorher vergebenen Grenzen abhängig sein kann (siehe unten). Als grobe Faustregel gilt: pro Untereinheit, also zwischen zwei Grenzen, sollten möglichst mindestens zwei Akzente gekennzeichnet werden. Grundsätzlich wird wegen der Verwertung der hier beschriebenen Prosodiedaten für eine spätere Anwendung in der Sprachsynthese angestrebt, so viele angemessene Labels wie möglich zu vergeben. Grundsätzlich ist jedes Wort, auch ein Funktionswort ohne Wortakzentlabel ( + ), Kandidat für eine Satzakzentvergabe. Satzakzente können auf diejenigen Silben 3 fallen, die in dem akzentuierten Wort als Wortakzentrealisierung perzepiert werden. Ist der Wortakzent (oder auch lexikalischer Akzent genannt) durch ein + -Zeichen in der Segmentspur vorgegeben, der Satzakzent aber auf einer anderen Silbe realisiert, wird das + -Zeichen auf die tatsächlich prominenteste Silbe verschoben (siehe TechDok 8/5) und auch der Satzakzent an dieser Stelle des Signals gelabelt. Für die Dateien der Sprecherdaten US1002 und US1004 gilt die eher linguistische Betrachtungsweise, dass maximal ein Satzakzent pro Wort 4 vergeben werden darf; zudem wurde im USel-Korpus pro Wort nur ein lexikalischer Akzent vergeben. Bei den Dateien der Sprecherdaten US1001 und US1003 wird eher der auditiven Aufgabe der Satzakzentvergabe Rechnung getragen: Sehr lange Wörter (z.b. Neunzehnhundertdreiundneunzig ) oder ungewöhnliche Komposita mit Bindestrich (z.b. Bassin-Interview ) können bei besonders auffälligem Nebenakzent mit zwei 5 Satzakzenten bedacht werden. Der Hauptakzent liegt dann 3Die Silbe besteht aus mindestens einem Laut und enthält in den meisten Fällen einen Vokal. Unterteilt wird eine Silbe allgemein in einen optionalen Onset, den obligatorischen Nukleus (ein möglichst sonores Element, meist einem Vokal) und eine optionale Coda. Treffen bei Silbenkontakt zwei Konsonanten aufeinander (Ka.Kb), hat Ka in der Regel eine höhere Sonorität als Kb. 4Ein Wort ist, was in der SAM-PA-Notation des Dokuments IMS_USel_Corpus_code_asampa_text.txt durch Leerzeichen von den anderen Wörtern getrennt ist, es kann auch Mehr-Wort- Wörter geben. In der SAM-PA-Segmentationsspur des TextGrids werden die Wörter mit runden Klammern als ein Wort definiert. 5oder in besonderen Ausnahmefällen auch mehr

7 auf derjenigen Silbe, die sowohl mit einem Satzakzentlabel als auch mit dem + -Zeichen gekennzeichnet wurde. Es sind somit einzelne Silben die Träger der Satzakzente; die Label werden in der Mitte des Segmentes vergeben, das den Nukleus dieser Silben bildet, in der Regel also in der Mitte eines Vokals. Die Tonvergabe würde durch den auditiven Eindruck allein zu subjektiv und damit unzuverlässig erfolgen. Deshalb orientiert sich der Prososdierer am Verlauf der Grundfrequenzkurve innerhalb der entsprechenden Silbe (nicht nur des Nukleus) und eventuell in ihrer nachfolgenden Umgebung. Bei einem Akzent der Form H*L bezeichnet H* das so genannte Target, L den so genannten Trailton. Dies gilt analog für alle anderen Akzente. Das Target ist diejenige Position in der akzentuierten Silbe, die in aller Regel mit dem Extremum der Akzentuierung assoziiert ist, während der Trailton jenen Bereich des Grundfrequenzverlaufs darstellt, der dem Akzentuierungshöhepunkt nachfolgt und zu dessen tonalem Widerpart führt. 4. Die Label im Einzelnen Standardakzent1. Ausschließlich auf der Bewertung des Grundfrequenzverlaufes der akzenttragenden Silbe beruht die Labellung, falls die letzte Segmentgrenze dieser Silbe mit einem Grenzton gelabelt ist oder falls dieser akzenttragenden Silbe direkt eine weitere akzenttragende Silbe nachfolgt. Hierbei ist nur eine Vergabe von Standardakzenten möglich. Ist der Grundfrequenzverlauf steigend oder auf gleichem Level bleibend, wird das Label L*H gesetzt, ist er fallend, dann das Label H*L ; Target und Trailton sind also innerhalb einer Silbe. Standardakzent2. Wird ein Standardakzent ohne die die Bewertung begrenzenden Bedingungen vergeben, so ist der Grundfrequenzverlauf auf der akzenttragenden Silbe und der nachfolgenden Silbe (in seltenen Fällen eine weitere Silbe später) Grundlage der Bewertung. In der Mehrzahl der Fälle können Standardakzente auf Grundlage von zwei, in manchen Fällen auch drei aufeinander folgenden Silben bewertet werden. Gibt es innerhalb der akzenttragenden Silbe (Target) verlässliche Grundfrequenzmesswerte, die über (bzw. unter) denjenigen der nachfolgenden Silbe oder Silben (Trailton) liegen, so ist der Akzent mit H*L (bzw. L*H ) zu labeln. Wegen des während einer Äußerung generell eher fallenden Grundfrequenzverlaufes wird ein in etwa gleich bleibendes Level als Quasi- Steigung gewertet, also in diesen Fällen L*H gelabelt. Es kann zu Zweifelsfällen bei der Entscheidung zwischen H*L und L*H kommen, wenn bei Grundfrequenzverläufen, die zunächst ansteigen und danach wieder abfallen, der höchste Punkt (Maximum) auf der Grenze zwischen der akzenttragenden Silbe (Target) und der ersten nachfolgenden Silbe (Trailton) liegt bzw. die Grundfrequenz vor der Silbengrenze genau so hoch liegt wie nach der Silbengrenze. (Das Gleiche gilt natürlich analog für schwer einzuordnende Minima.) Diese Zweifelsfälle werden bei den Daten der Sprecher US1002 und US1004 im Hinblick auf die genaue Lage des Maximums betrachtet. Die deduktiven Regeln

8 besagen, dass der Trailton a) im Übergang zur Folgesilbe, b) auf der Folgesilbe oder c) auf der zweiten Folgesilbe liegen kann. Demzufolge wird ein schwer einzuordnendes Maximum eher dem Trailton zugeordnet, ein solcher Fall also als L*H eingestuft. Für die Daten der Sprecher US1001 und US1003 gilt eine neue Betrachtungsweise: Die Einstufung der Satzakzentqualität hängt mehr vom weiteren Verlauf der Grundfrequenz als von der Lage des Maximums ab, so dass ein solcher Fall als H*L gelabelt wird, wenn nach dem Maximum die Grundfrequenz deutlich sinkt. Bedingungen für gelinkte Satzakzente. Bei den gelinkten Satzakzenten ist der Verlauf der Grundfrequenz auf der akzenttragenden Silbe und ihrem nachfolgenden Kontext bis einschließlich der letzten (unbetonten) Silbe vor der nächsten Silbe, die mit einem Standardakzent gelabelt wird, zur Bewertung des Tonverlaufs heranzuziehen; d.h. gelinkte Satzakzente können nur dort vergeben werden, wo noch vor der nächsten Grenze ein Standardakzent folgt (es können also nicht zwei gelinkte Akzente aufeinander folgen). Zwischen dem Target des gelinktem Akzents und dem Standardakzent müssen mindestens zwei, eher drei unbetonte Silben liegen. Schon wegen dieser formalen Bedingungen ist damit zu rechnen, dass weit weniger gelinkte Akzente als Standardakzente vergeben werden. Die Vergabe gelinkter Satzakzente wird durch eine weitere, aber umstrittene Bedingung eingeschränkt: Gelinkte Satzakzente werden vergeben, wenn der Satzakzent als weniger prominent als andere Standardsatzakzente wahrgenommen wird. Die entscheidende Bedingung fordert einen interpolierbaren Verlauf: ausgehend von einem Hochton (bzw. Tiefton) auf der akzenttragenden Silbe müssen die nachfolgenden Silben einen jeweils etwas niedrigeren (bzw. höheren) tonalen Level als die jeweils vorausgehende Silbe aufweisen. Die gelinkten Satzakzente sind also durch konstantes, aber sanftes Fallen (dann H* (..L)) bzw. Steigen (dann L* (..H)) der Grundfrequenz über mindestens zwei unbetonte Silben hinweg gekennzeichnet. H* bzw. L* ist das Target,..L bzw...h der Trailton. Targettöne werden an den bereits beschriebenen Nuklei der akzenttragenden Silben, Trailtöne hingegen in der Mitte der Nuklei derjenigen Silben, welche die letzte Silbe vor der nächsten akzenttragenden Silbe darstellen, vergeben. Der Weg verläuft also von einem Extremum über mindestens zwei unbetonte Silben interpolierbar zum entgegengesetzten Extremum. Ein Standardakzent kann in seltenen Fällen ebenfalls über zwei unbetonte Silben laufen. Die Grenze zwischen Standard- und gelinktem Satzakzent ist hier verschwommen. Die partiell gelinkten Satzakzente H*..L und L*..H werden vergeben, falls der Trailton auf der letzten unbetonten Silbe vor dem nächsten Standardsatzakzent sitzt, der nachfolgende Standardakzent also neu angesetzt zu sein scheint (also der Grundfrequenzverlauf nicht bis zum nachfolgenden Standardakzent interpolierbar ist). Die komplett gelinkten Satzakzente H* und L* werden vergeben, wenn der Trailton verschwunden ist, da seine Funktion vom nachfolgenden Standardakzent übernommen wird (Interpolierbarkeit des Grundfrequenzverlaufes in Abhängigkeit vom nachfolgenden Standardakzent).

9 Dokumente, die die Tonvergabe eingehender beschreiben (mit Beispielen) Jörg Mayer: Transcription of German Intonation The Stuttgart System Auszüge aus oben genanntem, mit Kommentaren von Sonja Schmidt: sonstpros.pdf Sonja Schmidt: sonstlink.sxw bzw. sonstlink1.pdf