Bildverarbeitung und Machine Learning

Transkript

1 Bildverarbeitung und Machine Learning

2 Wie funktioniert die Objekterkennung im Gehirn? Die Objekterkennung des Gehirns ist nahezu invariant gegenüber: Translation, Größe, Drehung, Beleuchtung, visuellem Kontext Performance Gehirnaktivität als Merkmalsvektor Vergleich mit State-ofthe-Art Methoden Variationsgrad - SIFT - Visual Words - History of Gradients (HOG) -...

3 Wie funktioniert die Objekterkennung im Gehirn? Literatur: DiCarlo, James J., Davide Zoccolan, and Nicole C. Rust. "How does the brain solve visual object recognition?" Neuron 73.3 (2012): Vortrag: James DiCarlo, How the brain solves visual object recognition, ICCV 2011, Video: Pinto, Nicolas, et al. "Comparing state-of-the-art visual features on invariant object recognition tasks." Applications of Computer Vision (WACV), 2011 IEEE Workshop on. IEEE, Einzusetzende Mittel: Neuronale Strukturen, Objekterkennung aus Bildern

4 Keypoint-Deskriptor Fast Retina Keypoint (FREAK) Ziel: Beschreibung von Bildpunkten (Keypoints) zur Wiedererkennung unter Rotation, Skalierung und Helligkeits- und Kontrastveränderung Bild 1 Bild 2 Modell der Retina Beschreibung des Retina-Modells Vergleich zu SIFT & SURF Anwendungen?

5 Keypoint-Deskriptor Fast Retina Keypoint (FREAK) Literatur: Alahi, Alexandre, Raphael Ortiz, and Pierre Vandergheynst. "FREAK: Fast Retina Keypoint." Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, Leutenegger, Stefan, Margarita Chli, and Roland Y. Siegwart. "BRISK: Binary robust invariant scalable keypoints." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, Bay, Herbert, Tinne Tuytelaars, and Luc Van Gool. "Surf: Speeded up robust features." Computer Vision ECCV 2006 (2006): Lowe, David G. "Distinctive image features from scale-invariant keypoints." International journal of computer vision 60.2 (2004): Einzusetzende Mittel: Bildverarbeitung, Bildfilterung

6 Objekterkennung mit Local Binary Pattern (LBP) Ziel: Unterscheidung von Objekten in Bildern anhand ihrer Texturen Unter Variation von Richtung, Helligkeit, Kontrast und Skalierung Texturdeskriptor: Einfache lokale Kontrastverteilung Varianten Basic LBP, Rotation-Invariant LBP, Uniform LBP, LBPV,... Anwendungen?

7 Objekterkennung mit Local Binary Pattern (LBP) Literatur: Doshi, Niraj, and Gerald Schaefer. "A comparative analysis of local binary pattern texture classification." Visual Communications and Image Processing (VCIP), 2012 IEEE. IEEE, Ahonen, Timo, Abdenour Hadid, and Matti Pietikäinen. "Face recognition with local binary patterns." Computer Vision-ECCV 2004 (2004): Ojala, Timo, Matti Pietikainen, and Topi Maenpaa. "Multiresolution gray-scale and rotation invariant texture classification with local binary patterns." Pattern Analysis and Machine Intelligence, IEEE Transactions on 24.7 (2002): Zhao, Guoying, and Matti Pietikainen. "Dynamic texture recognition using local binary patterns with an application to facial expressions." Pattern Analysis and Machine Intelligence, IEEE Transactions on 29.6 (2007): Einzusetzende Mittel: Bildverarbeitung, Statistik, Klassifikation

8 Machine Learning mit dem Kernel-Perzeptron Standard-Perzeptron: Einfaches, künstliches neuronales Netz Separiert linear trennbare Daten Einfacher Online-Lernregel Komplexe Trennebenen durch Kombination mit Kernelfunktionen Vergleich von Varianten - Kernel-Perceptron - Forgetron - Fuseptron - Projectron ++

9 Machine Learning mit dem Kernel-Perzeptron Literatur: Freund, Yoav, and Robert E. Schapire. "Large margin classification using the perceptron algorithm." Machine learning 37.3 (1999): Orabona, Francesco, Joseph Keshet, and Barbara Caputo. "The projectron: a bounded kernel-based Perceptron." Proceedings of the 25th international conference on Machine learning. ACM, Cavallanti, Giovanni, Nicolò Cesa-Bianchi, and Claudio Gentile. "Tracking the best hyperplane with a simple budget perceptron." Machine Learning 69.2 (2007): Dekel, Ofer, Shai Shalev-Shwartz, and Yoram Singer. "The Forgetron: A kernel-based perceptron on a fixed budget." (2005). He, Huijun, Mingmin Chi, and Wenqiang Zhang. "A kernel fused perceptron for the online classification of large-scale data." Proceedings of the 1st International Workshop on Big Data, Streams and Heterogeneous Source Mining, ACM, Einzusetzende Mittel: Maschinelles Lernen, mathematische Methoden

10 Affective Computing

11 Emotionserkennung Welche Verfahren gibt es? Welche Probleme gibt es? Welche Sensoren können verwendet werden? Welche Merkmale gibt es? Welche Anwendungen gibt es?

12 Emotionserkennung Literatur: Anna Esposito: Verbal and Nonverbal Features of Human-Human and HumanMachine Interaction; Springer 2008 Beverly Park Woolf, Esma Aimeur, Roger Nkambou, Susanne P. Lajoie: Intelligent Tutoring Systems: Springer 2008 Sharifa Alghowinem, Roland Goecke, Michael Wagner, Julien Epps, Michael Breakspear, Gordon Parker: From Joyous to Clinically Depressed: Mood Detection Using Spontaneous Speech. FLAIRS Conference 2012 Enrique Leon, Graham Clarke, Victor Callaghan, Francisco Sepulveda, A userindependent real-time emotion recognition system for software agents in domestic environments, Engineering Applications of Artificial Intelligence 2007 Andreas Haag; Silke Goronzy; Peter Schaich; Jason Williams. Emotion recognition using Bio-Sensors: First steps towards an automatic system 2004 Weitere Literatur muss den jeweiligen Büchern entnommen werden und durch weitere Recherche ermittelt werden!

13 Ausdrücken von Emotionen Reale Roboter vs. virtuelle Agenten? Welche Anwendungsfelder gibt es? Welche Modelle gibt es? Welche Hardwareprobleme gilt es zu lösen?

14 Ausdrücken von Emotionen Literatur: Shuichi Fukuda: Emotional Engineering. Springer 2011 Brent J. Lance, Stacy Marsella; A Model of Gaze for the Purpose of Emotional Expression in Virtual Embodied Agents. AAMAS 2008 H. Chad Lane, Dan Noren, Daniel Auerbach, Mike Birch, William R. Swartout: Intelligent Tutoring Goes to the Museum in the Big City: A Pedagogical Agent for Informal Science Education. AIED 2011 William R. Swartout: Lessons Learned from Virtual Humans. AI Magazine 2010 Karsten Berns, Jochen Hirth: Control of facial expressions of the humanoid robot head ROMAN. IROS 2006 Jochen Hirth, Norbert Schmitz, Karsten Berns: Towards Social Robots: Designing an Emotion-Based Architecture. Social Robotics 2011 Weitere Literatur muss den jeweiligen Literaturlisten entnommen werden und durch weitere Recherche ermittelt werden!

15 Modellierung von Emotionen für Entscheidungsprozesse Welche Vorteile verspricht die Hinzunahme von Emotionen? Welche Modelle gibt es? Welche Anwendungsfelder gibt es?

16 Modellierung von Emotionen für Entscheidungsprozesse Literatur: Shuichi Fukuda: Emotional Engineering. Springer 2011 Salichs, M.A.; Malfaz, M.: A New Approach to Modeling Emotions and Their Use on a Decision-Making System for Artificial Agents, IEEE Transactions on Affective Computing 2012 Picard, Rosalind W: Affective computing: challenges. International Journal of HumanComputer Studies 2003 Juan Martínez-Miranda, Arantza Aldea: Emotions in human and artificial intelligence. Computers in Human Behavior 2005 Juan D. Velásquez, Cathexis: Modeling emotion-based decision-making, 1997 Weitere Literatur muss den jeweiligen Literaturlisten entnommen werden und durch weitere Recherche ermittelt werden!

17 Medizinische Bildverarbeitung

18 Erkennung von Dissektionen der Aorta in CT-Bildern Einrisse der Aorteninnenwand: Bildung eines neues, parallelen Blutkanals (falsches Lumen) Axiale CT-Aufnahme (mit Kontrastmittel) Wahres Lumen in gelb, falsches Lumen in blau (Segmentierungsergebnisse) Schematische Darstellung Welche Möglichkeiten existieren zur automatisierten Erkennung der beiden Lumina? Vorgehensweisen bei einer gesunden Hauptschlagader?

19 Erkennung von Dissektionen der Aorta in CT-Bildern Literatur: Kovács, T., Cattin, P., Alkadhi, H., Wildermuth, S., and Székely, G. (2006). Automatic segmentation of the vessel lumen from 3D CTA images of aortic dissection. Bildverarbeitung für die Medizin 2006, Kovács, T., Cattin, P., Alkadhi, H., Wildermuth, S., and Székely, G. (2006). Automatic segmentation of the aortic dissection membrane from 3D CTA images. Medical Imaging and Augmented Reality, Saur, S. C., Kühhnel, C., Boskamp, T., Székely, G., and Cattin, P. (2008). Automatic ascending aorta detection in CTA datasets Bildverarbeitung für die Medizin 2008, Avila-Montes, O. C., Kukure, U., and Kakadiaris, I. A. (2010, March). Aorta segmentation in non-contrast cardiac CT images using an entropy-based cost function. In SPIE Medical Imaging (pp J-76233J). International Society for Optics and Photonics. Einzusetzende Mittel: Objekterkennung in CT-Bildern, Tracking, CT

20 Detektion von Aortenaneurysmen Als Folge von z.b. Arteriosklerose (80% der Fälle) erfolgt eine lokalisierte, permanente Erweiterung des Querschnitts von Blutgefäßen => lebensbedrohlicher Riss der Gefäßwand möglich Im rechten Bild (CT): eine der beiden Beckenarterien ist infolge eines Aneurysmus stark vergrößert Herausforderung für die Bildverarbeitung: Separierung der Aorta von anderen angrenzenden Gefäßen sowie Gewebe Ansätze: Region Growing, Active Shape Models, Hough Transformation für Kreise

21 Detektion von Aortenaneurysmen Literatur: Subasic, M., Loncaric, S., and Sorantin, E. (2001, July). 3D image analysis of abdominal aortic aneurysm. In Medical Imaging 2001 (pp ). International Society for Optics and Photonics. Demirci, S., Lejeune, G., and Navab, N. (2009, June). Hybrid deformable model for aneurysm segmentation. In Biomedical Imaging: From Nano to Macro, ISBI'09. IEEE International Symposium on (pp ). IEEE. De Bruijne, M., Van Ginneken, B., Viergever, M. A., & Niessen, W. J. (2003). Interactive segmentation of abdominal aortic aneurysms in CTA images. Technical Report UU-CS, ( ). Einzusetzende Mittel: Objekterkennung in CT-Bildern, Tracking, Angiographie

22 Segmentierung durch Morphologie Welche Anwendungen der Morphologie in der medizinischen Bildverarbeitung?

23 Segmentierung durch Morphologie Literatur: Bouraoui, B., Ronse, C., Baruthio, J., Passat, N., & Germain, P. (2007). Gray-level hit-or-miss transform based region-growing for automatic segmentation of 3D coronary arteries. In International Symposium on Mathematical Morphology (pp ). Bouraoui, B., Ronse, C., Baruthio, J., Passat, N., & Germain, P. (2008, May). Fully automatic 3D segmentation of coronary arteries based on mathematical morphology. In Biomedical Imaging: From Nano to Macro, ISBI th IEEE International Symposium on (pp ). IEEE. Arulmurugan, A., Sharp, D. F. T. A., Murugadass, G., & Kumar, P. S. (2011, September). Performance analysis of labeling technique for coronary arteries in angiogram images. In Electronics, Communication and Computing Technologies (ICECCT), 2011 International Conference on (pp ). IEEE. Einzusetzende Mittel: Segmentierung, Morphologie

24 3D-Objekterkennungstechniken für Blutgefäßstrukturen Durch gleichzeitige Betrachtung mehrerer CT-Slices erhält man Information zu... Modellen Features Extraktionsschemen Erscheinungsmodelle: akquisitionsabhängiges Wissen, Distribution der Intensitätswerte Vorverarbeitung: vessel enhancement filtering, ROI Festlegung Ansätze: Bereichs- und Volumenwachstumsverfahren, Fast Marching, Snakes, LevelSets

25 3D-Objekterkennungstechniken für Blutgefäßstrukturen Literatur: Lesage, D., Angelini, E. D., Bloch, I., & Funka-Lea, G. (2009). A review of 3D vessel lumen segmentation techniques: Models, features and extraction schemes. Medical Image Analysis, 13(6), Bouraoui, B., Ronse, C., Baruthio, J., Passat, N., & Germain, P. (2008, May). Fully automatic 3D segmentation of coronary arteries based on mathematical morphology. In Biomedical Imaging: From Nano to Macro, ISBI th IEEE International Symposium on (pp ). IEEE. Kirbas, C., & Quek, F. (2004). A review of vessel extraction techniques and algorithms. ACM Computing Surveys (CSUR), 36(2), Pohle, R., & Toennies, K. D. (2001, July). Segmentation of medical images using adaptive region growing. In Proc. SPIE Medical Imaging (Vol. 4322, pp ). Einzusetzende Mittel: Objekterkennung in CT-Bildern, Voxel, Segmentierung

26 Umweltwahrnehmung und -modellierung

27 Funktionsweise? Kinect Fusion Welche Möglichkeiten? Vor- und Nachteile? Welche Erweiterungen?

28 Kinect Fusion Literatur: Shahram Izadi, David Kim, Otmar Hilliges, David Molyneaux, Richard Newcombe, Pushmeet Kohli, Jamie Shotton, Steve Hodges, Dustin Freeman, Andrew Davison, and Andrew Fitzgibbon: KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera. ACM Symposium on User Interface Software and Technology, October 2011 Richard A. Newcombe, Shahram Izadi, Otmar Hilliges, David Molyneaux, David Kim, Andrew J. Davison, Pushmeet Kohli, Jamie Shotton, Steve Hodges, and Andrew Fitzgibbon: KinectFusion: Real-Time Dense Surface Mapping and Tracking. in IEEE ISMAR, October 2011 Brian Curless and Marc Levoy: A volumetric method for building complex models from range images. In ACM Transactions on Graphics (SIGGRAPH), 1996 Offene Implementierung auf Einzusetzende Mittel: Optimierung, Geometrie, ICP

29 Artikulierte Objekte kinematische Modelle Wahrscheinlichkeiten richtige Zusammenhänge?

30 Artikulierte Objekte Literatur: Jürgen Sturm: Approaches to Probabilistic Model Learning for Mobile Manipulation Robots Offene Implementierung unter Die PhD Thesis enthält ausreichend Referenzen auf weitere Literatur Einzusetzende Mittel: Kinematik, Wahrscheinlichkeitstheorie, Modellbildung

31 Simulationsumgebungen Modellierung von Robotern Modellierung von Objekten Wie funktionieren Simulationsumgebungen? Beleuchtungsmodelle? Physik-Engine? Welche Schnittstellen gibt es? Vergleich von Simulationsumgebungen

32 Simulationsumgebungen Literatur: Die Dokumentationen zu diversen Simulationsumgebungen. z.b.: Gazebo, V-REP, Webots, OpenHRP3 Einzusetzende Mittel: Kinematik, Geometrie