Bildkompression mit Wavelet Transformationen FHTW Berlin Prof. Dr. H.L.Cycon

Transkript

1 Bildkompression mit Wavelet Transformationen FHTW Berlin Prof. Dr. H.L.Cycon Waveletprojekt H.L.Cycon 1

2 Überblick Einführung Standbildkodierung (PACC,JPEG2k) Videokodierung Demonstration Waveletprojekt H.L.Cycon 2

3 Wozu Wavelet Transformationen? WT eignet sich für Standbild Kompression (verlustbehaftet & verlustlos), WT kann auch für Video Kompression einsetzt werden. Signalanalyse(Audiokompression), Denoising Waveletprojekt H.L.Cycon 3

4 Warum Wavelettransformationen? für große Kompressionsraten zeigen DCT-Techniken blockartige Bildfehler (WT hat keine Blöcke) WT kann besser an das menschliche Visuelle System adaptieren (Waveletbildfehler sind weniger störend) WT kann an das Signal adaptiert werden (Wahl der Wavelets, Kombination der Subbänder) Waveletprojekt H.L.Cycon 4

5 Transformationskodierung Image DWT Q C lossless decorelation lossy Quantizer lossless precoder & entropy coder compressed bitstream Rec.Image IDWT IQ IC Waveletprojekt H.L.Cycon 5

6 Skalieren des Wavelets Shiften des Wavelets Ψ j,k =0,0 Ψ^ Ψ j,k =0,0 Ψ^ t f t f Ψ j,k =1,0 Ψ^ Ψ j,k =0,1 Ψ^ t f t f Ψ j,k =2,0 Ψ^ Ψ j,k =0,2 Ψ^ t f t f Ortsraum Frequenzraum Ortsraum Frequenzraum Waveletprojekt H.L.Cycon 6

7 Diskrete Wavelet Transformation (DWT) Ψ j,k =0,0 Ψ ^ t f j s S = s(t), Ψ (t) where Ψ (t) = 2 Ψ( 2 t k) j k j k j k - j 2... W3 W2 W1 W0 Frequenz fg/8 fg/4 fg/2 fg Waveletprojekt H.L.Cycon 7

8 Diskrete Waveletransformation (Multiresolutionsanalyse) n s H si = hks2 i k, i = 1,..., N / 2 High pass filter k = 1 n i k 2 i k k = 1 s Gs = g s, i = 1,..., N / 2 Low pass filter G : s Gs Tiefpassfilter H : s Hs Hochpassfilter G G G s Gs GGs GGGs Approx1 Approx.2 Approx 3 H H H Hs HGs HGGs Detail 1 Detail 2 Detail Waveletprojekt H.L.Cycon 8

9 Standbildverfahren (Komprimierung elektronischer Bilder Waveletprojekt H.L.Cycon 9

10 2D Multiresolutionsanalysis HP Zeilen filtern Entfernung jeder2. Spalte HP Spalten filtern TP Spalten filtern Entfernung jeder2. Zeile Entfernung jeder2. Zeile HH HT Eingangsbild HP Spalten filtern Entfernung jeder2. Zeile TH TP Zeilen filtern Entfernung jeder2. Spalte TP Spalten filtern Entfernung jeder2. Zeile TT Eingangsbild TT HT TT HT TH HH HT T H T H HT TH HH HT TH HH TH HH TH HH Waveletprojekt H.L.Cycon 10

11 Subbandzerlegung Lena Waveletprojekt H.L.Cycon 11

12 PACC Präcoderprinzip Waveletprojekt H.L.Cycon 12

13 Lena 512x512 (Ausschnitt) Original JPEG 1:64 WLT 1: Waveletprojekt H.L.Cycon 13

14 Bildqualität/Bitraten -Vergleich für Lena : PACC (= unser Coder) vs SPIHT(S&P),JPEG Waveletprojekt H.L.Cycon 14

15 Butterfly (0riginal 2917kB) Waveletprojekt H.L.Cycon 15

16 Butterfly 128kB (1:22) Waveletprojekt H.L.Cycon 16

17 Butterfly 26kB (1:112) Waveletprojekt H.L.Cycon 17

18 Butterfly 13kB (1:224) Waveletprojekt H.L.Cycon 18

19 JPEG 2000 Ein neuer Standard zur Standbildkompression (Part1:~Juli 2001) Waveletprojekt H.L.Cycon 19

20 Leistungsmerkmale (Auswahl) verbessertes R/D Verhalten bei mittleren und niedrigen Bitraten wahlweise verlustbehaftete oder verlustfreie Kompression progressive Übertragung (Qualitäts- bzw. Auflösungsskalierbarkeit) freier Zugriff auf Teilbereiche des kodierten Bildes (ROI) Waveletprojekt H.L.Cycon 20

21 EBCOT (D.Taubmann) (Embedded Block Coding with Optimized Truncation) Bild zerlegen in Teile Bild zerlegen in Komponenten Transformation, Zerlegung in Auflösungsstufen Zerlegung in Teilbänder Magnitude Zerlegung in Codeblöcke Zerlegung in Bitebenen Kodierung in mehreren Pässen Waveletprojekt H.L.Cycon 21

22 Implizite Quantisierung q(i) Erzeugung einer eingebetteten Quantisierung: MSB x(i) Waveletprojekt H.L.Cycon 22

23 Vorteile der Skalierbarkeit: Zielrate bzw. Auflösungsstufe müssen zum Zeitpunkt der Kodierung nicht bekannt sein Waveletprojekt H.L.Cycon 23

24 ROI, Gebiet: Kreis, 0,0625 bpp Waveletprojekt H.L.Cycon 24

25 Vergleich JPEG2000 (verlustbehaftet) Bike PSNR /64 1/32 3/64 1/16 bitrate JPEG 2000 SPIHT JPEG [1] M.D.Adams, H.Man, F. Kossentini, T.Ebrahimi, JPEG2000: The Next Generation Still Image Compression Standard Waveletprojekt H.L.Cycon 25

26 Vergleich JPEG2000 (verlustbehaftet PSNR) Waveletprojekt H.L.Cycon 26

27 GOLDHILL Waveletprojekt H.L.Cycon 27

28 Goldhill (segment) comparing Said&Pearlman(SPIHT) with PACC Original SPIHT (S&P) 1:16 PACC 1: Waveletprojekt H.L.Cycon Waveletprojekt H.L.Cycon 20

29 Anwendungsgebiete (Auswahl) Medizin verlustfrei sehr wichtig, ROI Digitale Kameras begrenzter Speicherplatz, Ratenkontrolle Archivierung Angepasste Extraktion für spezielle Darstellungsmedium (Bildschirm, Drucker..) MJPEG Waveletprojekt H.L.Cycon 29

30 Bewegtbildverfahren (Videocodierung) Waveletprojekt H.L.Cycon 30

31 Problem Video Daten sind extrem datenintensiv: Digitales TV Format (720*576) erzeugt einen Datenstrom von ca. 166 Mbit/s (Bildrate 30 fps) eine CIF (352*288) Sequenz erzeugt einen Datenstrom von ca. 24 Mbit/s (Bildrate 10 fps) für Schmalband ISDN (n*64 Kbit/s)oder Modem benötigt man Kompressionsraten von 1:50...1: Waveletprojekt H.L.Cycon 31

32 Lösung Verlustbehaftete Komprimierung durch Ausnutzen der zeitlichen Redundanz + Große Kompressionsgrade (bis 1:300) - Bild-Qualitätseinbußen Waveletprojekt H.L.Cycon 32

33 Optimisierungs Parameter Rate-Distortion vs Complexity Quality PSNR (db) (Bitrate) CPU Time (Complexity) Compression Waveletprojekt H.L.Cycon 33

34 Entwicklungslinien Point-Point Videokonferenzsystem über ISDN (Telekom SERWIN) IP Multipoint Video Konferenzsystem mit > 500kb/s/Tln (MP Winvicos) Motion JPEG & 4xTrimedia (Dresearch) Very Low Bit Videocoder (~H26L) <20kb/s Waveletprojekt H.L.Cycon 34

35 Motion JPEG 2000 Reine Intra Kodierung (keine Prädiktion) jedes Frame einzeln mit JPEG2000 kodiert + leicht editierbar (Schnittsysteme) + hohe Qualität jedes Einzelbildes + Kompressionsrate bis verlustlos einstellbar - hohe Datenraten - hohe Komplexität (->Trimedia SP) Waveletprojekt H.L.Cycon 35

36 Prädiktive Kodierung Encoder Decoder Codierung Decoder Dec Prädiktion Prädiktion I = Intra P = Inter I P P P P I P P P GOP t DPCM Waveletprojekt H.L.Cycon 36

37 Redundanzreduktion durch bewegungskompensierte Prädiktion Block Matching frame k-1 frame k control point Control Grid Warping frame k-1 frame k Waveletprojekt H.L.Cycon 37

38 Overlapped Block Matching (Very Low Bit Coder) weight OBMC 1D-weight functions OBMC 2D-weight function 1 0,9 0,8 0,7 0,6 0,5 0,4 w1 w2 w1 1 0,8 0,6 0,4 0,3 0,2 0,2 0,1 0 0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,9 1 x 1,0 y' 0,7 0,4 0,1 1 0,8 0,6 0,4 0,2 x' Waveletprojekt H.L.Cycon 38

39 MP Videokonferenzsystem Multipoint Video Konferenzsystem mit Audio auf Windows NT und Windows 2000 TCP/IP unicast/multicast Bandbreiten und Frameraten einstellbar Applicationsharing Dokumentenkamera Waveletprojekt H.L.Cycon 39

40 Anwendungen IP weites MP Konferenzsystem Teleteaching -Virtuelles Klassenzimmer Virtuelle Firmenkonferenzen (Intranet) Banken: Kursbroadcasting Waveletprojekt H.L.Cycon 40

41 in Zusammenarbeit mit Detlev Marpe (HHI) Mark Palkow (FHTW) Gabi Blättermann (HHI) Guido Heising (HHI) Alexander Petukov (Univ. S.Car.) Waveletprojekt H.L.Cycon 41