Grundlagen der Videotechnik Bau von Systemen Zweiter Ordnung, Prädiktion

Transkript

1 Grundlagen der Videotechnik Bau von Systemen Zweiter Ordnung, Prädiktion Bisher: Analyse von Systemen 1. und 2. Ordnung Heute: Synthese, Bau von passenden Prädiktoren.

2 Angenommen, wir wollen einen Sinus-Generator mit einer bestimmten Frequenz, und damit auch den dazugehörigen Prädiktor bauen. F: Wie müssen wir die Koeffizienten K_1, K_2 im System wählen? Angenommen, wir möchten einen Sinuston von 1000 Hz erzeugen, bei 8000 Hz Abtastrate. A: Zunächst: Umsetzen der absoluten Frequenz in eine normierte Frequenz. Abtastfrequenz: 8000 Hz -> Obergrenze der nutzbaren Frequenzen ist 4000 Hz (Nyquist-Frequenz)

3 Wir brauchen unsere Pole auf dem Einheitskreis in z-ebene: Gewünschte Frequenz: 1000 Hz. Umrechnung in normierte 1000 pi Frequenz (Winkel): 2π= > Der Winkel wird auch normierte Kreisfrequenz genannt,

4 Synthese: Wo müssen nun die Pole unseres Systems 2. Ordnung liegen, um den 1000 Hz Sinus zu erzeugen? A: Bei konstantem Sinus müssen die Pole auf dem Einheitskreis liegen (ansonsten würde der Sinus zunehmen oder abnehmen), im Winkel +pi/4 und -pi/4, also Pole bei e + j π 4 und e j π 4.

5 Unsere Übertragungsfunktion ist daher nun: 1 H (z)= (1 e j π4 z 1 )(1 e j π4 z 1 ) Wir haben letztes Mal (durch einsetzen in Faktoren A und B) gesehen, dass dies zum sin und nicht zum cos führt: Impulsantwort h(n) ist: sin( π 4 (n+1)) h(n)= sin ( π 4 ) Dies ist die gewünschte Impulsantwort unseres Prädiktors, (Skalenfaktor sin(pi/4) ist ok, weil in Aufgabenstellung nicht definiert).

6 F: Wie bekommen wir daraus die Koeffizienten K_1 und K_2 unseres Systems? Wir wissen: unser System hat die Übertragungsfunktion: H (z)= Y (z) X (z) = 1 1 k 1 z 1 k 2 z 2 Dies muss gleich unserem oben berechneten Ausdruck für die Übertragungsfunktion sein: -> Koeffizienten K_1, K_2 können durch Ausmultiplizieren

7 des letzten Ausdrucks und Vergleich erhalten werden: Wie beim letzten mal bekommen wir wieder K_1 als die Summe der beiden Polstellen, und K_2 als das negative Produkt der beiden Polstellen. Also k 1 =2cos(π/4) und k 2 =1! An dieser Stelle: Einsatz von MATLAB

8 Matlab Beispiele: Beispiel 1: Sinuston: %AR 2. Ordnung: %Polstellen auf Einheitskreis bei +/-pi/4: %Polynom-mult. der z-transformierten (1-z^-1*exp(..))*(1-z^-1*exp(-..)): %(Im Zeitbereich ist dies die Impulsamtwort des Systems) %Multiplikation zweier Polynome (im z-bereich) ist Faltung (Convolution, %Matlab Funktion "conv") der Koeffizienten der Polynome im Zeitbereich: A=conv([1,-exp(i*pi/4)],[1,-exp(-i*pi/4)]) %(8 Samples pro Periode) %Resultierendes Polynom: ans = a()=

9 %also als Polynom: z^ *z^-1 +1 %Dies sind nun die gesuchten Koeffizienten unseres System: K_1= ; K_2=-1 %Test: Simulation des Systems mit der Matlab Funktion "filter": %Y = FILTER(B,A,X) implementiert H(z)=B(z)/A(z): %a(1)*y(n) = b(1)*x(n) + b(2)*x(n-1) b(nb+1)*x(n-nb) % - a(2)*y(n-1) a(na+1)*y(n-na) y=filter(1,[1,-sqrt(2),1],[1,zeros(1,1000)]); %Beisielimpuls: [1,zeros(1,10)] ans = plot(y); sound(y,8000) %8khz Abtastrate, also 8000 samples pro Sekunde %Abtastrate entspricht 2*pi als normierte Frequenz.

10 %Welcher Frequenz entspricht also Pi/4? %A: 1000 Hz %Laenge des erzeugten Tones haengt von der dauer der Inputsequenz ab (1001) Ergebnis von "plot(y)" nach hineinzoomen:

11 Abklingender Ton: A=conv([1,-0.999*exp(i*pi/4)],[1,-0.999*exp(-i*pi/4)])

12 %A = % y=filter(1,a,[1,zeros(1,8000)]); sound(y,8000) plot(y)

13 Beispiel 2: Sinuston niedrigerer Frequenz, Prädiktion dieses Tones A=conv([1,-exp(i*pi/16)],[1,-exp(-i*pi/16)]) %(32 Samples pro periode, 250 Hz) %A = % Beachte: Der mittlere Koeffizient bestimmt die Frequenz, der letzte Koeffizient das Abklingverhalten! So haben die Koeffizienten schon konkrete Bedeutungen. y=filter(1,a,[1,zeros(1,10000)]); sound(y,8000) plot(y); %Darstellung als Ortsfrequenz im Bild: colormap('gray'); imagesc(y) %Verwendung als Prädiktor: %Mache aus AR Filter ein MA filter (A wird zu B):

14 %Filtere unseren erzeugten Sinus mit entsprechendem MA filter: z=filter(a,1,y); %Ergebnis nach Prädiktion: Nur noch ein einzelner Impuls bleibt als Präd.fehler übrig: z(1:10) ans = Ergebnis von "plot(y)" (Prädiktion) nach hereinzoomen:

15 Ergebnis von "imagesc(y)" nach hereinzoomen:

16 Beispiel 3: Zeitlich begrenzter Ton / begrenztes Bild %Interne gedaechtnislose Quelle:

17 x=[zeros(1,10),1,zeros(1,63),-1,zeros(1,10)]; plot(x); %Beobachtetes Signal mit Redundanz: y=filter(1,a,x); plot(y); %Als Helligkeitsschwankung entlang Bildzeile: colormap('gray') imagesc(y) %Praediktives Filter fuer den Praediktionsfehler: z=filter(a,1,y); %Erhaltenes Signal ohne Gedaechtnis: plot(z); %Beachte: So haben wir aus unserer begrenzten Helligkeitsschwankung nur 2 Impulse gemacht, die sich mit sehr viel weniger Bits codieren lassen!

18 Ergebnis von "imagesc(y)" für begrenztes Bild

19 Ergebnis von "plot(z)" (nach Prädiktion) als Prädiktionsfehler für begrenztes Bild. Beachte: Nur 2 Impulse bleiben übrig.

20

21 Generelle Vorgehensweise bei prädiktiver Codierung: -Berechnung der Koeffizienten (k1,k2,..) im Encoder auf der Basis des augenblicklichen Eingangssignales. -Entweder Übertragung dieser Koeffizienten zum Decoder, oder gleichzeitige Berechnung im Decoder auf Basis vergangener decodierter Werte. -Übertragung des Prädiktionsfehlers zum Decoder. -Im Decoder Berechnung des Prädizierten Signales und Addition des Prädiktionsfehlers zum Prädizierten Signal.

22 Zeitliche Prädiktion in der Video-Codierung / Bildsequenzen Pixel vorheriges Bild Pixel neues Bild Aus: Jerry D. Gibson, Ed.: Multimedia Communications Hier: Verschiebung des neuen Bildes um 1/2 Pixel gegenüber

23 alten Bild. Die Prädiktion wird hier zur Interpolation. Dies ist die sog. Bewegungskompensation. Mächtiges Instrument der Videocodierung, um von einem Bild zum nächsten zu prädizieren. Bei den neuesten Videocodern (MPEG-4): Genauigkeit der Bewegungskompensation von 1/4 Pixel. Beispiele (aus:

24 Full original frame, as shown on screen.

25 Differences between the original frame and the next frame.

26 Differences between the original frame and the next frame, shifted right by 2 pixels. Shifting the frame compensates for the panning of

27 the camera, thus there is greater overlap between the two frames. Beispiel aus Dieses Bild stellt den Prädiktionsfehler der Bewegungskompensation dar. Hier kann wieder gesehen werden, dass das dieser nur wenige große (helle) Werte enthält, und viele kleine (dunkle) Werte.

28 Visualisierte Bewegungsvektoren der MPEG-Kodierung über einem

29 Standbild aus Elephants Dream. Erkennbar sind die Bewegungen der verschiedenen Plattformen und Körperteile der Figur. Hier kann gesehen werden dass die Bewegungskompensation üblicherweise nicht auf dem ganzen Bild erfolgt, sondern basierend auf kleine Blöcke (z.b. 8x8 Pixel).

30 Richtungen der Prädiktion Aus: Jerry D. Gibson, Ed.: Multimedia Communications

31 Verschiedene Typen prädizierter Bilder (Frames): *I-(Intra coded) Frames: Werden nicht zeitlich prädiziert, können für sich alleine decodiert werden. *P-(Predicted) Frames: Bauen nur auf vergangen Frames auf. *B-(Backwards bzw. Bidirectional) Frames: Bauen auf Frames in beiden zeitlichen Richtungen auf (Vergangenheit und Zukunft), was zu einer Verzögerung führt, damit es ein kausales System bleibt, d.h. das System muss erst auf ein zukünftiges I- oder P- Frame warten

32 Wir nehmen Block in Frame 1, und versuchen ihn in Frame 2 in einer gewissen Suchumgebung wieder zu finden.

33 In der Suchumgebung wird so lange gesucht, bis das Minimum des quadratischen Fehlers zwischen dem Block in Frame 1 und dem verschobenen Block in Frame 2 gefunden ist. Die resultierende Verschiebung ist der Verschiebungsvektor fuer diesen Block. Dieses Verfahren wird wiederholt bis das gesamte Bild abgedeckt ist. Danch haben wir fuer alle Blöcke im Bild Bewegungsvektoren, die wir dann zum Decoder übertragen.

34 Mit diesesn Bewegungsvektoren wird ein prädiziertes Bild erzeugt, was den tatsächlichen Frame 2 möglichst genau annähern soll. Die Differenz zwischen dem prädizierten und dem tatsächlichen Frame wird dann zusaetzlich zu den Bewegungsvektoren zum Decoder übertragen. Der Decoder kann aus diesen Informationen den Frame 2 erzeugen. Die so benötigte Informationsmenge ist deutlich geringer, als wenn der Frame 2 direkt uebertragen werden wuerde. Das Finden der Bewegungsvektoren kann sehr aufwendig sein. Für die Berechnung des quadratischen Fehlers brauchen wir der Anzahl der Pixel im Block entrechende Berechnungen der Quadrate und Summationen. Daher wird oft in einem ersten Schritt der Bewegungsvektor nur grob berechnet (mit entsprechend grossen Schrittweiten in der Suche, aber grossem Suchbereich). In weiteren Schritten wird die Schrittweite verringert, und nur in einer kleineren Umgebung um das grobe Resultat herum gesucht, um damit die Genauigkeit der Bewegungsvektoren zu erhoehen.

35 Auf die Weise koennen wir dann die Komplexitaet der Suche deutlich verringern. (Sh. z.b. auch Jae S. Lim: "Two-Dimensional Signal and Image Processing). Eine weitere wichtige Anwendung der Bewegungsschaetzung ist die Interpolation von Zwischenbildern, z.b. für 200 Hz Fernseher, die aber trotzdem nur mit den übertragenen 25 Bildern pro Sekund auskommen muessen. Um Bewegungen gleichmaessiger (ruckelfrei) darstellen zu koennen, muessen sie die dazwischen liegenden Bilder Interpolieren, und zwar mit den geschaetzten Bewegungsvekoren! Zum Erhalt der Sub-pixel Genauigkeit brauchen wir eine Interpolation der Intensitäten zwischen den übertragenen Pixeln. Oft wird hier eine Art "bilineare" Interpolation verwendet. Dies ist nicht unbedingt die "beste" interpolation, aber wieder relativ einfach, spart komplexitaet.

36 Man kann sich auch vorstellen, dass wir das Bild zur Suche der Bewegungskompensation mit 1/4 pixel Genauigkeit erst vergroessern, auf ein Bild mit 4 Mal so vielen Pixeln in jeder Dimension (mittels dieser bilinearen Interpolation), und dann in diesem groesseren Bild die Bewegungsvektoren suchen.

37 Intra Picture Prädiktion Dies ist eine Prädiktive Codierung innerhalb eines Bildes. Bilder werden auch im digitalen zeilenweise übertragen, von links nach rechts und von oben nach unten. Daher kann man die bereits uebertragenen Pixel, die dann ja auch beim Empfänger schon vorliegen, für eine Prädiktion des kommenden Pixels verwenden. Man nimmt ueblicherweise die direkte Nachbarschft des Pixels (das Quadrat um das Pixel), und in dieser Nachbarschaft die bereits uebertragenen Pixel als Basis für die Prädiktion: Ein Beispiel fuer solch eine Praediktion ist der arithmetische Durschnitt der Werte der Pixel in dieser Umgebung als Prädiktion fuer das neue Pixel.

38 Uebertragen wird dann nur noch die Differenz zu diesem prädizierten Wert. Da dieser meistens kleiner ist als der Pixelwert an sich, kann sich so die noetige Bitrate verringern. Beispiel: H.264 Intra Prädiktion: From: Ostermann et al., Video coding with H.264/AVC: Tools, performance, and complexity, IEEE Circuits and Systems Magazine, First Quarter, 2004

39 und: Zusammenfassung, Themenbereiche: -Psycho-Optik, das Auge als Empfänger -Übertragungstechnik, AM, QAM,... -Digitale Kompressionsprinzipien, Prädiktion, Systeme 1. und 2. Ordnung -Bewegungskompensation