Seam Carving. Sebastian Arzt, Tim Rocktäschel. 19. Juni Humboldt Universität zu Berlin Seminar Computational Photography Sommersemester 2010

Transkript

1 Seam Carving Sebastian Arzt, Tim Rocktäschel Humboldt Universität zu Berlin Seminar Computational Photography Sommersemester Juni / 23

2 Motivation Problem: Heutzutage: vielfältige Displaytypen Unterschiede in Auflösung und Seitenverhältnis z.b. Bilder/Filme auf 16:10 LCD, Handydisplay, altem :3 Monitor HTML kann sich dynamisch anpassen, aber Bilder nicht 2 / 23

3 Motivation Problem: Heutzutage: vielfältige Displaytypen Unterschiede in Auflösung und Seitenverhältnis z.b. Bilder/Filme auf 16:10 LCD, Handydisplay, altem :3 Monitor HTML kann sich dynamisch anpassen, aber Bilder nicht Bisher: Scaling gestauchte/gestreckte Bilder Cropping Informationsverlust 2 / 23

4 Motivation Problem: Heutzutage: vielfältige Displaytypen Unterschiede in Auflösung und Seitenverhältnis z.b. Bilder/Filme auf 16:10 LCD, Handydisplay, altem :3 Monitor HTML kann sich dynamisch anpassen, aber Bilder nicht Bisher: Scaling gestauchte/gestreckte Bilder Cropping Informationsverlust Lösung: Content Aware Resizing Anpassung von Bildern an vielfältige Auflösung und Seitenverhältnisse von heutigen Displays Bildinhalte von Interesse dabei möglichst wenig verändern weniger gestaucht/gestreckte Bilder mit geringerem Informationsverlust 2 / 23

5 Originalbild 3 / 23

6 Cropped / 23

7 Scaled 5 / 23

8 Seam Carved 6 / 23

9 Seam Carving Vergleich 7 / 23

10 Gliederung 1 Definition 2 Berechnung des optimalen Seams 3 Dynamische Programmierung Anwendungsbeispiele 5 Verbessertes Seam Carving durch Forward Energy 6 Video Retargeting 8 / 23

11 Definition Formalisierung unwichtiger Bildinhalte Sei eine Energiefunktion e : I R + gegeben Ordnet jedem Pixel einen Energiewert zu Hohe Energie bedeutet hohe Wichtigkeit Naiv: entferne pro Zeite die k unwichtigsten Pixel 9 / 23

12 Definition Formalisierung unwichtiger Bildinhalte Sei eine Energiefunktion e : I R + gegeben Ordnet jedem Pixel einen Energiewert zu Hohe Energie bedeutet hohe Wichtigkeit Naiv: entferne pro Zeite die k unwichtigsten Pixel 9 / 23

13 Definition Formalisierung unwichtiger Bildinhalte Sei eine Energiefunktion e : I R + gegeben Ordnet jedem Pixel einen Energiewert zu Hohe Energie bedeutet hohe Wichtigkeit Naiv: entferne pro Zeite die k unwichtigsten Pixel 9 / 23

14 Definition Beispiel: Energiematrix E: / 23

15 Definition Definition Seam I ist ein m n Bild Ein Seam ist ein Pixelpfad zwischen gegenüberliegenden Bildrändern 11 / 23

16 Definition Definition Seam (cont.) Ein vertikaler Seam ist formal wie folgt definiert: s x = {s i x } n i=1 = {x(i), i} n i=1 x(i) ordnet jeder Zeile genau ein Pixel zu 12 / 23

17 Definition Definition Seam (cont.) Ein vertikaler Seam ist formal wie folgt definiert: s x = {s i x } n i=1 = {x(i), i} n i=1 x(i) ordnet jeder Zeile genau ein Pixel zu Wichtige Bedingung: x : x(i) x(i 1) 1 Sinn? 12 / 23

18 Definition Definition Seam (cont.) Ein vertikaler Seam ist formal wie folgt definiert: s x = {s i x } n i=1 = {x(i), i} n i=1 x(i) ordnet jeder Zeile genau ein Pixel zu Wichtige Bedingung: x : x(i) x(i 1) 1 Sinn? Entfernen eines Seams erzeugt weniger sichtbare Verzerrungen Ab jetzt: horizontale Auflösung verändern vertikale Seams Horizontale Seams analog 12 / 23

19 Berechnung des optimalen Seams Seam Carving Gesucht ist Seam mit niedrigster Energie s = arg min E(s) = arg min s s n e(i(s i )) i=1 13 / 23

20 Berechnung des optimalen Seams Seam Carving Gesucht ist Seam mit niedrigster Energie s = arg min E(s) = arg min s s n e(i(s i )) i=1 Komplexität des Suchraums: Wieviele vertikale Seams s in einem m n Bild gibt es? 13 / 23

21 Berechnung des optimalen Seams Seam Carving Gesucht ist Seam mit niedrigster Energie s = arg min E(s) = arg min s s n e(i(s i )) i=1 Komplexität des Suchraums: Wieviele vertikale Seams s in einem m n Bild gibt es? O(2 n m) #Seams O(3 n m) 13 / 23

22 Berechnung des optimalen Seams Berechnung der Energie eines Seams Sei M(i, j) der Energiewert desjenigen vertikalen Seams welcher am oberen Bildrand beginnt, im Pixel (i, j) endet und die niedrigste Energie besitzt 1 / 23

23 Berechnung des optimalen Seams Berechnung der Energie eines Seams Sei M(i, j) der Energiewert desjenigen vertikalen Seams welcher am oberen Bildrand beginnt, im Pixel (i, j) endet und die niedrigste Energie besitzt Berechnung von M(i, j): M: ? E: / 23

24 Berechnung des optimalen Seams Rekursionsgleichung für M(i, j) M(1, j) = e(1, j) M(i 1, j 1) M(i, j) = e(i, j) + min M(i 1, j) M(i 1, j + 1) M(i, j) = falls i [1, n] oder j [1, m] M: i-1 i j-1 j j+1 15 / 23

25 Berechnung des optimalen Seams Rekursionsgleichung für M(i, j) M(1, j) = e(1, j) M(i 1, j 1) M(i, j) = e(i, j) + min M(i 1, j) M(i 1, j + 1) M(i, j) = falls i [1, n] oder j [1, m] Komplexität? M: i-1 i j-1 j j+1 15 / 23

26 Berechnung des optimalen Seams Rekursionsgleichung für M(i, j) M(1, j) = e(1, j) M(i 1, j 1) M(i, j) = e(i, j) + min M(i 1, j) M(i 1, j + 1) M(i, j) = falls i [1, n] oder j [1, m] Komplexität? O(3 i ) M: i-1 i j-1 j j+1 15 / 23

27 Berechnung des optimalen Seams Beobachtung M(2, 1) M(3, 2) M(2, 2) M(2, 3) M(2, 2) M(, 3) M(3, 3) M(2, 3) M(2, ) M(2, 3) M(3, ) M(2, ) M(2, 5) M(2, 2) M(3, 3) M(2, 3) M(2, ) M(2, 3) M(, ) M(3, ) M(2, ) M(2, 5) M(2, ) M(3, 5) M(2, 5) M(2, 6) 16 / 23

28 Berechnung des optimalen Seams Beobachtung M(2, 1) M(3, 2) M(2, 2) M(2, 3) M(2, 2) M(, 3) M(3, 3) M(2, 3) M(2, ) M(2, 3) M(3, ) M(2, ) M(2, 5) M(2, 2) M(3, 3) M(2, 3) M(2, ) M(2, 3) M(, ) M(3, ) M(2, ) M(2, 5) M(2, ) M(3, 5) M(2, 5) M(2, 6) Tatsächliche Komplexität des Problems ist O(m n)! 16 / 23

29 Dynamische Programmierung Dynamische Programmierung M(1, j) = e(1, j) M(i, j) = e(i, j) + min { } M(i 1, j 1), M(i 1, j), M(i 1, j + 1) M: E: / 23

30 Dynamische Programmierung Dynamische Programmierung M(1, j) = e(1, j) M(i, j) = e(i, j) + min { } M(i 1, j 1), M(i 1, j), M(i 1, j + 1) M: E: / 23

31 Dynamische Programmierung Dynamische Programmierung M(1, j) = e(1, j) M(i, j) = e(i, j) + min { } M(i 1, j 1), M(i 1, j), M(i 1, j + 1) M: E: / 23

32 Dynamische Programmierung Dynamische Programmierung M(1, j) = e(1, j) M(i, j) = e(i, j) + min { } M(i 1, j 1), M(i 1, j), M(i 1, j + 1) M: E: / 23

33 Dynamische Programmierung Dynamische Programmierung M(1, j) = e(1, j) M(i, j) = e(i, j) + min { } M(i 1, j 1), M(i 1, j), M(i 1, j + 1) M: E: / 23

34 Dynamische Programmierung Dynamische Programmierung M(1, j) = e(1, j) M(i, j) = e(i, j) + min { } M(i 1, j 1), M(i 1, j), M(i 1, j + 1) M: E: / 23

35 Dynamische Programmierung Dynamische Programmierung M(1, j) = e(1, j) M(i, j) = e(i, j) + min { } M(i 1, j 1), M(i 1, j), M(i 1, j + 1) M: E: / 23

36 Dynamische Programmierung Dynamische Programmierung M(1, j) = e(1, j) M(i, j) = e(i, j) + min { } M(i 1, j 1), M(i 1, j), M(i 1, j + 1) M: E: / 23

37 Dynamische Programmierung Dynamische Programmierung M(1, j) = e(1, j) M(i, j) = e(i, j) + min { } M(i 1, j 1), M(i 1, j), M(i 1, j + 1) M: E: / 23

38 Dynamische Programmierung Dynamische Programmierung M(1, j) = e(1, j) M(i, j) = e(i, j) + min { } M(i 1, j 1), M(i 1, j), M(i 1, j + 1) M: E: / 23

39 Dynamische Programmierung Dynamische Programmierung M(1, j) = e(1, j) M(i, j) = e(i, j) + min { } M(i 1, j 1), M(i 1, j), M(i 1, j + 1) M: E: / 23

40 Anwendungsbeispiele Content Aware Resizing Entfernen von horizontalen und vertikalen Seams Optimale Reihenfolge über dynamische Programmierung bestimmbar 18 / 23

41 Anwendungsbeispiele Content Amplification 19 / 23

42 Anwendungsbeispiele Content Amplification 19 / 23

43 Anwendungsbeispiele Content Amplification 19 / 23

44 Anwendungsbeispiele Content Amplification 19 / 23

45 Anwendungsbeispiele Content Amplification 19 / 23

46 Anwendungsbeispiele Content Amplification 19 / 23

47 Anwendungsbeispiele Content Amplification 19 / 23

48 Anwendungsbeispiele Object Removal 20 / 23

49 Anwendungsbeispiele Object Removal 20 / 23

50 Verbessertes Seam Carving durch Forward Energy TODO maximal 1 Folie 21 / 23

51 Video Retargeting TODO Grundideen auf maximal 2 Folien 22 / 23

52 Quellen http: // liquidrescale. wikidot. com/, Avidan, S. and Shamir, A., Seam carving for content-aware image resizing, ACM Transactions on Graphics, 2007 Rubinstein, M. and Shamir, A. and Avidan, S., Improved seam carving for video retargeting, ACM Transactions on Graphics-TOG, / 23