2 Digitale Bild- und Sprachverarbeitung

Transkript

1 Kapitel II Inhalt 2 Digitale Bild- und Sprachverarbeitung Digitale Bildverarbeitung Bildverarbeitungssystem dimensionale z-transformation Digitale Sprachverarbeitung digitales Sprachverarbeitungssystem Quantisierung Quantisierungskennlinie Sprachsynthese Menschliche Spracherzeugung Sprachsynthese

2 2 Digitale Bild- und Sprachverarbeitung Bild 2.1 zeigt den generellen Aufbau von Bild- und Sprachverarbeitungssysteme. In Kapitel I wurden schon die Elemente Aufnahme & Tiefpass (Auge Ohr) behandelt. In diesem Kapitel wird über die Analog-Digital- und Digital-Analogwandlung mit Schwerpunkt der behandelt. Warnehmungsschwellen die Signalverarbeitung mit dem Schwerpunkten Filterung von Bildern und Sprachsynthese Bild 2.1: Aufbau digitaler Verarbeitungssysteme In technischen Systemen wird die Verarbeitung durch Prozessoren verbunden mit Speichern durchgeführt. Hierbei handelt es sich im allgemeinen um eine serielle Verarbeitung. Spezielle Prozessoren erlauben auch Parallelverarbeitung. Mit der Zeit wurden bei Prozessoren die Verarbeitungszeiten immer kürzer, sodaß die Anzahl der Operationen pro Zeiteinheit gemessen in Mips (million instructions per second) immer größer wurde. Bild 2.2: linke Seite: anatomischer Aufbau eines Neurons; rechte Seite: Modell der Funktion eines Neurons; unten: Beispiele für eine Aktivierungsfunktion (Sigmoidfunktionh, der Wert 0 auf der x-achse entspricht dem Schwellwert Θ j ) Bei dem Menschen wird die Verarbeitung in den Nervenzellen durchgeführt. Diese arbeiten relativ langsam. jedoch ist die Anzahl der Prozessorkernen - die Neuronen (Zellkerne) sehr 2

3 hoch (ca ) und weisen einen hohen Vernetzungsgrad (ca Verbindungen) - realisiert durch Dendriten aus (siehe Bild 2.2). Danach führt das Neuron 'j' modellhaft die Funktion durch, d.h. es wird eine gewichtete Summe durchgeführt, wobei der Ausgang durch Physikalisch werden die Eingangs- und Ausgangssignale x i und o j durch Folgen von Spikes (Erregung) realisiert. Die obige Formel modelliert die Stärke der Erregung (Anzahl der Spikes pro Sekunde). Bei den Neuronen gibt es sowohl positive Gewichte w ij (erregende Dendriten), als auch negative Gewichte (hemmende Dendriten). Ein Neuron kann etwa 1000 Operationen/Sekunde/Dendrit durchführen. 2.1 Digitale Bildverarbeitung Bildverarbeitungssystem Digitale Bilder bestehen aus abgetasteten und amplitudenquantisierten Bildpunkten (Pixels). Sie werden durch Aufnahme von natürlichen Bildern, durch deren Weiterverarbeitung oder durch Bildsynthese erzeugt. Ein System zur Verarbeitung solcher Bilder heiß Bildverarbeitungssystem (Bild 2.1) Bild 2.1 Digitales Bildverarbeitungssystem Natürliche Bilder o(x,y) werden mit einer Kamera aufgenommen, die eine örtliche Abtastung in den Punkten (i=1,...n: k=1,...,m) vornimmt. Durch eine Analog-digital-Wandlung wird die Lichtintensität eines jeden Punktes durch einen Analog-Digital-Wandler in digitale Zahlenwerte (Pixels) übergeführt (Quantisierung). Das digitalisierte Bild wird dann mit einem Prozessor bearbeitet (z.b. Filterung), wodurch sich neue Bildpunkte ergeben. Diese Abtastwerte werden tiefpaßgefiltert und auf einem Monitor wiedergegeben. Bei der Bildverarbeitung werden im allgemeinen schnelle und große Speicher sowie hohe Rechenkapazitäten benötigt; insbesonders wenn die Bilder in Echtzeit verarbeitet werden sollen. Bei einer Bildauflösung von 2048x2048 Punkten und einer Abtastung von 100 Bildern pro Sekunde ca. 400 Millionen Bildpunkte pro Sekunde bearbeitet werden dimensionale z-transformation Um die spektralen Eigenschaften der berechneten Bilder bestimmen zu können, bietet sich die z-transformation an. Sie wird durch die Gleichung definiert. Hierbei werden die Abtastwerte in die zweidimensionale - Ebene transformiert. Die inverse z-transformation berechnet sich mit C 1 und C 2 sind geeignet gewählte geschlossene Kontouren in der Zwischen der Fourietransformierten der Funktion 3 - Ebene.

4 zu der z-transformierten ( s(x,y) 2-dimensionales Dirac-Feld ) besteht die Beziehung Im z-bereich lassen sich Filter mit Übertragungsfunktionen H(z u,z v ) definieren, die ein z- transformiertes Objektbild in ein gefiltertes Bild überführen. Diese Operation im z-bereich entspricht im diskretisierten Ortsbereich der diskreten Faltung mit der diskreten Punktantwortsfunktion h(, wobei die z-transformierten von b(x,y), h(x,y), o(x,y) durch gegeben sind. Bei der Faltung werden Bildpunkte durch Additionen und Multiplikationen verknüpft. Beispiele für Punktantwortsfunktionen h( von Tiefpässen sind in Bild 2.2 und Beispiele gefilterte Bilder sind in Bild 2.3 zu sehen. Bild 2.2: Beispiele für symmetrische Tiefpässe (idealer si-tiefpass H(x,y) ; Butterworth- Tiefpass H(u,v)) Bild 2.3: Beispiel für hochpaß- und tiefpassgefilterte Bilder Im folgenden wird ein Beispiel gezeigt, wie aus dieser Verknüpfung die spektralen Eigenschaften der Übertragungsfunktion berechnet werden kann. Hierzu nutzen wir die Verschiebungseigenschaften der z-transformation: Sei von f( die z-transformierte von f ist 4

5 Es wird die Operation durchgeführt. Durch Anwendung des Verschiebungssatzes ergibt sich für die z-transformierte von :. Bild 2.4: Übertragungsfunktion einer Glättungsoperation (Tiefpassfilterung) Wie Bild 2.4 zeigt, hat Tiefpasseigenschaften. An diesem Beispiel wird deutlich, daß aus der Faltungsoperation relativ leicht die spektralen Eigenschaften von H(u,v) bestimmt werden kann. 2.2 Digitale Sprachverarbeitung digitales Sprachverarbeitungssystem Ein digitales Sprachsignal besteht aus abgetasteten und amplitudenquantisierte Signalwerten. Es kann entweder aus einem aufgenommenen natürlichen Sprachsignal oder durch Sprachsynthese erzeugt werden. Ein System zur digitalen Verarbeitung von Sprachsignalen ist in Bild 2.5 zu sehen. Der Sprachschall wird mit einem Mikrofon aufgenommen und in ein elektrisches Signal umgewandelt. Durch eine zeitliche Abtastung des Signals und dessen Analog-digital-Wandlung ergeben sich digitale Zahlenwerte s n. Bild 2.5: Aufbau eines digitalen Sprachverarbeitungssystems Das digitale Sprachsignal s n wird mit Prozessoren zu einem Signal y n bearbeitet, digitalanalog gewandelt und über einen Lautsprecher oder Kopfhörer ausgegeben. 2.3 Quantisierung Quantisierungskennlinie Die Umwandlung eines Analogwertes s in einen Digitalwert Quantisierungskennlinie diskutiert werden (siehe Bild 2.6). kann anhand einer 5

6 Bild 2.6: Lineare Quantisierungskennlinie für 8 Stufen (3-bit Kodierung). Bild A: Quantisierungskennlinie; Bild B: Quantisierungsfehler Die Kennlinie hat einen Dynamikbereich für s von -4 bis +3. Dieser Bereich wird auf 8 digitale Werte abgebildet (3-bit Kodierung). Der hierbei auftretende Quantisierungsfehler kann verringert werden, indem eine feinere Quantisierung gewählt wird ( z.b. eine 8-bit Kodierung mit 256 Digitalwerten). Ein höherer Dynamikbereich bei gleichbleibendem Quantisierungsfehler erfordert ebenfalls die Erhöhung der Anzahl der Quantisierungsstufen. Neben der linearen Quantisierungskennlinie gibt es auch nichtlineare Kennlinien (siehe Bild 2.7). Bild 2.7: nicht linearen Quantisierungskennlinie In diesem Beispiel sind die Quantisierungsstufen für kleine Werte von y wesentlich kleiner als für große Werte. Dieser Art der Quantisierung liegen perzeptive Betrachtungen des Auges und des Ohrs zugrunde. Hierzu wird zunächst der Dynamikbereich und der Zusammenhang zwischen dem physikalischen Reiz und der Empfindung dargestellt: Allgemein ist nach dem Weber-Fechner'schen Gesetz der relative Empfindungszuwachs bei einem beliebigen sensorischen Kanal dem relativen Zuwachs des physikalischen Reizes proportional: ist durch die gerade noch wahrnehmbare Empfindungsstufe definiert. ist die dazu gemessene physikalische Reizänderung. Die Integration ergibt das Steven'sche Gesetz: 6

7 Die experimentellen Ergebnisse für den Exponenten k und Zur Bestimmung von Dynamikbereich von den menschlichen Sensoren sind in Tab.2.1 dargestellt. Exponent Dynamik- Empfindung k bereich (db) Schmerz 2,13 15 Wärme 0,96 33 Vibration 0,56 50 Schall 0, Licht 0, Tabelle 2.1: psycho-physisch bestimmte Parameter des Stevenschen Potenzgesetzes Dynamikbereich und Quantisierung des Lichts In Bild 2.8 ist der Dynamikbereich der visuellen Sensoren (Stäbchen, Zapfen) gezeigt. Die Leuchtdichte ist mit cd/m 2 angegeben. Der Dynamikbereich erstreckt sich von 10-6 bis Bild 2.8: Leuchtdichtebereiche für einige typische optische Reize. Im photobischen Bereich sind nur Zapfen, im skotopischen Bereich sind nur Stäbchen aktiv. Der gesamte Helligkeit-Dynamikbereich von dB kann vom Auge nicht gleichzeitig wahrgenommen werden. Es ändert sich in Abhängigkeit von der mittleren Leuchtdichte im Gesamten Gesichtsfeld (globale Adaption) oder in bestimmten räumlichen Bereichen des Gesichtsfeldes (Lokaladaption) der Empfindlichkeitsbereich der Retina, ein Vorgang, welcher Helligkeitsadaption genannt wird. Der Dynamikbereich, der jeweils einer Fixation des Auges verarbeitet werden kann, beträgt höchstens zwei log-einheiten mit Verzögerungszeiten von ca. 100ms. Das Zentrum des Bereiches ist die Adaptionsleuchtdichte L A. Eine Leuchtdichte des Testreizes von 1,2 log- Einheiten höher oder niedriger als L A würde z.b. weiß bzw. schwarz erscheinen (siehe Bild 2.9). Bei größeren Leuchtdichteänderungen erfolgt die Adaption der Stäbchen und Zapfen durch langsame chemische Prozesse und benötigt deshalb Minuten bis Stunden. Der Zeitverlauf der Dunkeladaption ist in Bild 2.10 wiedergegeben. 7

8 Bild 2.9: Kennlinien eines Zapfens und der zugehörigen Faser des Sehnervs (Ganglienzelle) für zwei verschiedene Adaptionsleuchtdichten. Hier wurde die Adaptionsleuchtdichte zum Zeitpunkt t=0 von 100cd/m 2 auf völlige Dunkelheit geändert. Deutlich erkennbar ist der unterschiedliche Zeitverlauf für die Zapfen - und Stäbchen Adaption. Nach 5-10 Minuten geht mit einem Knick die Zapfen- in die Stäbchenadaption über. Bild 2.10: Verlauf der Dunkeladaption beim Übergang von der Adaptionsleuchtdichte 100 cd/m 2 auf völlige Dunkelheit. Die durchgezogene Kurve entspricht der Schwellenleuchtdichte in asb, bei welcher ein Testzeichen gerade noch detektiert werden kann (1 asb = ). Die Sofortadaption wird unterstützt durch eine Änderung des Pupillendurchmessers von 2 auf 8 mm mit einer Geschwindigkeit von etwa 2mm/s. Die entsprechenden Änderungen der Pupillenfläche um einen Faktor 16 entspricht 1,2 log-einheiten. Relative Blendung erfolgt, wenn das Leuchtdichteverhältnis 100:1 übersteigt, weil ein solcher Bereich durch lokale Adaption der Retina nicht mehr verarbeitet werden kann. Gute Sehbedingungen ergeben sich, wenn im zentralen Sehfeld die Leuchtdichteverhältnisse auf maximal 3:1 beschränkt sind und im peripheren Sehfeld auf 1:10. Das Ausgleichen des visuellen Systems an höhere Leuchtdichten, d.h. die Helligkeitsadaption, erfolgt innerhalb von Sekunden, während die Dunkeladaption u.u. 40 Minuten und länger braucht, um die Empfindlichkeit der Retina an ein niedrigeres Leuchtniveau anzupassen. Für die Praxis bedeutet insbesonders die Sofortadaption, daß beim Betrachten der einzelnen Bereiche eines komplexen Bildes nur jeweils etwa 20 Helligkeitsstufen unterscheidbar sind. Da sich dieser sehr enge Bereich bei jeder neuen Fixation des Auges verschieben kann, wird allgemein von einer Gesamtunterscheidbarkeit z.b. beim Betrachten eines Bildes von etwa 100 Helligkeitsstufen ausgegangen. 8

9 Bild 2.11 Der Schwellenkontrast (Unterschiedsschwelle) in Abhängigkeit von der Hintergrundleuchtdichte für eine Kreisscheibe von 50' Die insgesamt auflösbaren Helligkeitsstufen lassen sich auch mit Helligkeitskontrast abschätzen. Hierbei wird dem Beobachter ein gleichmäßig ausgeleuchtetes Feld mit der Leuchtdichte L H gezeigt, in dessen Zentrum sich ein scharf begrenzter Kreisscheibchen mit der Leuchtdichte befindet. wird von 0 aus vergrößert, bis das Scheibchen gerade noch wahrnehmbar ist. Den so gefundenen Schwellenkontrast nennt man relative Unterschiedsschwelle. Die Abhängigkeit der Unterschiedsschwelle ist im Bereich des Tagessehens am geringsten. Hier ergeben sich Werte von (siehe Bild 2.11). Ein Bild mit der kleinsten Leuchtdichte L S (schwarz) und einer größten Leuchtdichte L W (weiß), kann in Einheiten quantisiert werden, so daß keine Quantisierungseffekte auftreten, fall die Quantisierungsstufen der Beziehung genügen. Hieraus ergibt sich eine nichtlineare Kennlinie mit den Quantisierungsstufen L S (i) ( ist die dunkelste Helligkeitsstufe): ; Bei bekanntem Verhältnis ergibt sich Für Monitoren gilt: Quantisierung des Schalls Der hörbare und nicht schmerzhafte Schall hat einen Dynamikbereich von ca. 100 db (siehe Tab. 2.1). Lautsprecher oder Kopfhörer beherrschen diesen Bereich. Daraus ergibt sich die Forderung nach einem Dynamikbereich von 100db für einen Digital-Analogwandler. Bild 2.12: Amplitudenmodulierte Schwingung Es stellt sich die Frage, wie viele Quantisierungsstufen der Wandler mindestens aufweisen muss, ohne daß Quantisierungsrauschen vom Ohr wahrgenommen wird. Zur Beantwortung dieser Frage werden psychoakustische Versuche mit amplitudenmodulierten Sinustönen (siehe Bild 2.12) durchgeführt. Hierbei wird als Modulationsgrad die Größe bezeichnet. Der eben noch wahrnehmbare Modulierungsgrad ist in Bild 2.13 dargestellt. 9

10 Bild 2.13: der eben noch wahrnehmbare Modulationsgrad eines 1kHz-Tones als Funktion des Pegels; Modulationsfrequenz 4 Hz Bei einem niedrigeren Pegel von 20db liegt der eben wahrnehmbare Modulationsgrad bei einem Wert von ca. 10%. Bei einem Pegel von 100db erreicht er etwa den Wert von 1%. Innerhalb des Schallpegelbereichs von 20db bis etwa 100db sinkt demnach die eben wahrnehmbare Amplitudenschwankung von Sinustönen um den Faktor 10 ab. Das Gehör ist bei großen Pegeln also sehr empfindlich gegen Amplitudenschwankungen von Sinustönen. Im Dynamikbereich von Sprache (40-80db) liegt ein mittlerer Modulationsgrad von 3% vor. Diese Empfindlichkeit entspricht in etwa der Empfindlichkeit des Auges (siehe Bild 2.11). Entsprechend der dortigen Überlegungen läßt sich eine Quantisierungskennlinie mit N Stufen ableiten: Hiermit müßte ein D/A-Wandler mit einem Dynamikbereich von 40db und 8Bit Auflösung (256 Stufen) bei der Darbietung eines Sinustones ein nicht hörbares Quantisierungsgeräusch liefern (Bild 2.14) Bild 2.14: Sinussignal mit Quantisierungsrauschen Experimentelle Versuche mit einem 8Bit D/A-Wandler ergeben jedoch deutlich hörbare Quantisierungsgeräusche bei der Quantisierung eines Sinustones. Der Grund liegt in der Natur des Quantisierungsrauschens und dessen Ausbreitung auf der Basilarmembran. Das Quantisierungsrauschen ist im wesentlichen ein breitbandiges Rauschen, welches gleichmäßig die Basilarmembran anregt. Bei einer Sinusanregung von 100Hz ist das Quantisierungsgeräusch im Bereich von 31mm auf der Basilarmembran (siehe Bild 2.15) nicht hörbar (Verdeckung), da dort ein 'nichthörbarer' Modulationsgrad vorliegt. Dagegen tritt bei 23mm ein deutlich hörbarer Modulationsgrad von 100% auf. Reine Sinustöne müssen deshalb sehr fein quantisiert werden (Audio-CD-Format: 16 Bit). Sprache ist wesentlich breitbandiger, so daß das Quantisierungsrauschen besser verdeckt werden kann. 10

11 Bild 2.15: wahrnehmbares Quantisierungsrauschen auf der Basilarmembran 2.4 Sprachsynthese Menschliche Spracherzeugung Bild 2.16 zeigt ein Schema der Spracherzeugungsorgane. Bei normaler Sprache strömt die Luft aus der Lunge mit stimmhafter oder stimmloser Anregung durch eine Anzahl von als Resonatoren und formen das Spektrum der Anregung, bevor es von den Lippen als Klang abgestrahlt wird. Bild 2.16: Darstellung des menschlichen Vokaltraktes. Die wichtigsten Artikulationsstellen sind: Stimmbänder (Glottis), Gaumen, Gaumensegel, Rachen, Nasenraum, Zähne Lippen Beim Sprechen sind die beteiligten Organe in schneller und nahezu ständiger Bewegung. Der menschliche Vokaltrakt kann zwei große Klassen der Laute erzeugen: Vokale und Konsonanten. Vokale werden in einem relativ offenen Vokaltrakt, ohne daß ein hörbares Hindernis den Luftstrom stört, erzeugt. Konsonanten entstehen in einem relativ geschlossenen Vokaltrakt, der den Luftstrom hörbar stört. Der Luftstrom kann sogar vorübergehend unterbrochen sein, wie bei den Verschlußlauten /b/, /p/, /t/, /k/, oder es tritt eine ausreichende Verengung für einen turbulenten Luftstrom wie bei den Reibelauten /f/, /s/ auf. Die Verengung kann auch nur zu einer kleineren Amplitude mit einem im Vergleich zu Vokalen veränderten Charakteristik wie bei /r/, /l/ und /w/ führen. Wir können die Vielfalt der Laute, die der menschliche Vokaltrakt erzeugen kann, besser verstehen, wenn wir uns den Beitrag der verschiedenen Elemente des Vokaltrakts vom Kehlkopf bis zu den Lippen genauer ansehen. Das erste Hindernis, das sich dem Luftstrom 11

12 entgegenstellt, sind die Stimmbänder: kleine Muskelfalten im Kehlkopf. Sind sie dicht beieinander, dann regt die Luft sie zum Schwingungen an, und wir hören einen stimmhaften Laut (Bild 2.17). Bild 2.17: Aufbau der Stimmbänder; Ablauf einer Schwingperiode der Stimmlippen mit Druckverlauf der ausströmenden Luft. Die Frequenz der Schwingung hängt von der Spannung des Muskels ab und liegt im allgemeinen zwischen 60Hz und 400Hz, mit einem Mittelwert von 100Hz für männliche und 180Hz für weibliche Sprecher. Stimmlose Laute wie /f/ und /s/ werden durch turbulente Strömungen an Engstellen im Vokaltrakt erzeugt, wobei unregelmäßige Druckschwankungen entstehen. Bild 2.18: Wirbelbildung an Engstellen Die Sprache wird im wesentlichen durch die Zunge und die Lippen artikuliert. Starke Muskeln, die die Lippen umgeben, die Muskeln der Zunge und die Kiefermuskeln können die Stellung dieser Artikulatoren im Verhältnis zu den übrigen Elementen des Vokaltraktes schnell ändern. Ihre Rückwirkung auf den Luftstrom und auf die Resonanzendes Vokaltraktes bestimmen die Art und den Charakter des Klangbildes Sprachsynthese Zur Erzeugung eines künstlichen Sprachsignals ließen sich die akustischen Phänomene bei der menschlichen Spracherzeugung mathematisch simulieren. So könnte bei gegebener Form des Vokaltraktes, bei gegebenen Lungendruck und gegebener Spannung der Stimmlippen die resultierenden Schallwellen berechnet werden. Die zu lösenden Differenzialgleichung führt auf die Navier-Stokes-Gleichung, die wenn überhaupt nur mit sehr großem Aufwand gelöst werden kann. Ein vereinfachter Ansatz geht von dem Modell aus, daß der Vokaltrakt sich als ein Filter darstellt, welches von Rauschen und von Pulsen angeregt wird. 12

13 Bild 2.19: Quelle-Filter-Modell der Sprachsignalerzeugung Hierbei wird von einer strikten Trennung zwischen der Anregung (Quelle) und der Filterung ausgegangen. Zur Erzeugung eines Sprachsignals müssen die Modellparameter - Anregungsmodus (stimmhaft, stimmlos) - Grundfrequenz ( bei stimmhaften Signal) - Lautstärke - Filterkoeffizienten als Funktion der Zeit bekannt sein. Aufgrund der langsamen Bewegung der Artikulatoren können diese Parameter für Zeiträume von 5 bis 20ms als konstant betrachtet werden. Die Modellparameter werden durch die Analyse eines gegeben Sprachsignals gewonnen. Hierbei wird eine Anregungsanalyse und eine Frequenzanalyse benötigt. Eine sehr effiziente Frequenzanalyse bietet die Methode der linearen Prädiktion (LPC), wobei von einer Filterstruktur mit variabler Filterkoeffizienten a i ausgegangen wird. Dieses Modell wird als All-Pol Modell bezeichnet, da dieses Modell nur variable Pole und keine variable Nullstellen erzeugen kann. Eine physikalische Interpretation dieser Polstruktur ergibt sich aus der modellhaften Approximation des Vokaltraktes durch eine Röhre mit M Röhrenabschnitte können direkt in die Filterkoeffizienten a i umgerechnet werden.. 13