Projekt Lesebrille : Mobiles Vorlesegerät für Blinde

Transkript

1 Projekt Lesebrille : Mobiles Vorlesegerät für Blinde

2 Texterkennung Vorverarbeitung Rauschen Kontrasterhöhung, Schärfung Binarizierung Layouterkennung Dokumentgrenzen Textblöcke, Textspalten Ausrichtung des Dokuments Überschriften Vorlesereihenfolge

3 Texterkennung(2) Textzeilenextraktion Entzerrung des Dokuments anhand der Textzeilen, -blöcken OCR (Skelettierung der Textzeilen) Zeichenerkennung Zusammensetzung der Sätze aus einzelnen Buchstabenhypothesen Ausgabe

4 Scanner vs. Kamera

5 Erweiterte Vorverabeitung Inhomogene, nicht optimale Beleuchtung Position des Dokumentes nicht klar Fokussierung nicht gegeben Bewegungsartefakte (vor allem perspektivische) Verzerrungen HDR, Kontrasterhöhung Dokumenterkennungsalgorithmen Multifokus, Superresolution, Stereo-Vision Bildstabilisierung Spezielle, mächtigere Entzerrungsalgosithmen

6 Scanner vs. Kamera(2) Mobilität Kontaktlosigkeit Aufnahmegeschwindigkeit

7 Textlokalisierung: Textmerkmale Textmerkmale: Hoher Kontrast zwischen Buchstaben und dem Hintergrund Räumlicher Zusammenhang Text enthält spezifische Frequenz- und Orientierungsinformation Wavelet-Transformation bietet sich an

8 Textlokalisierung: Gabor Filter Fourier-Transformation mit Gaußglocke als Fensterfunktion: trade off zwischen der Frequenz- und Ortsauflösung Gaußanteil mit Harmonische Funktion (Fourieranteil), Ein Satz von Gabor Filtern mit verschiedenen (w-frequenzen,θ-orientierungen) bildet eine approximative Basis für Wavelet-Transformation mit der Gabor-Funktion als Wavelet

9 Textlokalisierung: Gabor-Filter

10 Textlokalisierung: Gabor Filter Das Bild mit der stärksten Filterantwort wird ausgewählt. Binarisierung Klassifizierung der Pixel mit einem UNIONFIND Algorithmus Berechnung der Konvexe Hülle der Pixel einer Klasse Textblockgrenzen

11 HDR (High Dynamic Range) Schlechte Lichtverhältnisse, unter- und überbelichtete Regionen Keine perfekte Aufnahme möglich

12 Dynamikbereich Menschliches Auge 1010 Menschliches Auge eine Szene 105 Konventionelle 8-Bit-Videokamera 102,4

13 Exposure Fusion 1. Unterschiedlich belichtete Aufnahmen 2. Ausrichtung 3. Fusion Sieger

14 Exposure Fusion: Ausrichtung

15 Ausrichtungsalgorithmen

16 Alignmentkorrektur. Beschleunigung Grob-zu-fein Strategie -Gauß-Pyramide für jedes Bild -Komplette Suche für die höchste Pyramidenebene -Nur die 8-Nachbarschaft für nächst größere Ebene

17 Bildfusion 1.Teile die Aufnahmen in rechteckige Regionen 2.Wähle ein entsprechendes Qualitätsmaß und berechne es für jede Region 3.Führe Blending von Regionen aus

18 Qualitätsmaße 255 E = pi log 2 pi, pi = - Entropie (Informationsinhalt): i= 0 - Varianz: 1 Var = MN M 1N 1 ( I (m, n) µ ) m= 0 n= 0 1, µ = MN M 1N 1 I (m, n) m= 0 n= 0 2f 2f EOL = ( f ( x, y ) ), f ( x, y ) = + 2 x y2 x= 1 y = 1 N 1M 1 - Energy of Laplacian: 2 # Pixel mit Wert i # Pixel im Bild 2

19 Bildfusion Problem sichtbare Kanten nach dem Zusammenstellen der Regionen Ausweg Blending, Verschmelzen der Regionen

20 Bildfusion. Blending der Regionen Blending nach Goshtasby Neuer Pixelwert (I jk ist das Bild, in dem Block jk das höchste Qualitätsmaß hat): O ( x, y ) = N rows N cols j= 1 k = 1 Gewichte: W jk ( x, y ) = W jk ( x, y ) I jk ( x, y ) G jk ( x, y ) N rows N cols m= 1 n= 1 Gmn ( x, y ) Gauß-Verteilung. (xjk, yjk) Zentrum des Blocks jk G jk ( x, y ) = e 1 2 ( x x jk ) 2 + ( y y jk ) 2 σ 2 Verschiedene σ - Breiten der Blending-Funktion

21 Resultat Pixelbasierte Bildfusion. Methode der Kantenintensitäten + + =

22 Unterdrückung des Rauschens Problem: Rauschen im Bild verringert die Erkennungsrate dramatisch: Lösung: Glättung Problem: Unscharfe Kanten verringern die Erkennungsraten Lösung: Schärfung. Führt aber zur Verstärkung des Rauschens

23 Bilateralfilter Bsp: Gauß-Filter für beide Komponenten: mit als Normalisierungsfaktor

24 Bilateralfilter

25 Binomialfilter Gauß-Binomialfilter hat 2 Parameter: Standardabweichung der Abstandsfunktion: legt die Größe der zu glättenden Merkmale fest Standardabweichung der Intensitätsfunktion bestimmt wie gut die Kanten erhalten bleiben

26 Bilateralfilter: Ergebnis

27 Binomialfilter Problem: Binomialfilter ist nicht linear und nicht separiebar Nur für kleine Filtergrößen anwendbar Einige approximative Lösungen vorhanden

28 Superresolution Problem: Die Qualität der Aufnahme ist nicht optimal Das Dokument ist zu weit weg Schlechte Fokussierung Lösung: Superresolutionsverfahren Einzel-Frame-Verfahren Multi-Frame-Verfahren

29 Superresolution Texteigenschaften: Bimodalität der Pixelwerte Hintergrund sowie Vordergrund(Buchstaben) sind glatt Scharfe Kanten zwischen Vorder- und Hintergrund

30 Superresolution: Bimodalität der Pixelwerte Hintergrund Buchstaben Bimodalitätsbewertung gibt an wie weit Pixelwerte im Bild von den beiden Maxima des Histogramms entfernt sind. Das Ziel ist Polarisierung der Werte.

31 Superresolution Glattheitbewertung: bewertet die Glattheit der Flächen im Bild. Angestrebt wird die Glattheit entlang der Kanten.

32 Superresolution Mittelwert-Nebenbedingung: der Mittelwert einer Gruppe von Pixel im interpolierten Bild sollte ungefähr gleich dem Mittelwert der korrespondierenden Gruppe im Originalbild bleiben. wo q² Anzahl der Pixel in der Gruppe.

33 Superresolution: Bewertungsfunktion Das Minimum der Funktion bedeutet, dass das Bild optimal ist. Die Berechnungsvorschrift für die iterative Aktualisierung: wo H' (diagonalisierte Hesse Matrix des entsprechenden Pixelblocks BSA der Gradient.

34 Superresolution