Deep Learning für Computer Vision mit MATLAB

Transkript

1 Deep Learning für Computer Vision mit MATLAB Von Avinash Nehemiah und Valerie Leung, MathWorks Seit Jahrzehnten verwenden Ingenieure im Bereich maschinelles Sehen Techniken des maschinellen Lernens, um bestimmte Objekte in Bildern zu erkennen und Objektkategorien zu klassifizieren und zu identifizieren. Allerdings ist hierbei die Merkmalsauswahl ein zeitintensiver manueller Vorgang, weil diese in aller Regel eine Verarbeitung der einzelnen Bilder in einer oder mehreren Bildverarbeitungsoperationen beinhaltet, um die unterschiedlichen Informationen eines jeden einzelnen Bilds zu extrahieren. Mit den Deep-Learning-Algorithmen von MATLAB lässt sich dieser Aufwand jedoch enorm reduzieren, da diese Merkmale, Darstellungen und Aufgaben direkt aus den Bildern, Texten und Tönen extrahieren, wodurch die manuelle Merkmalsauswahl entfällt. Anhand eines einfachen Beispiels zeigt dieser Beitrag, wie sich ohne Vorkenntnisse in Bezug auf Computer-Vision-Algorithmen oder neuronale Netze bewegte Objekte erkennen und eindeutig zuordnen lassen. Einstieg Ziel dieses Beispiels ist es, einen Algorithmus anzulernen, in einem Video ein Haustier zu erkennen und es korrekt als Katze oder Hund zu bezeichnen, wozu ein CNN (Convolutional Neural Network = faltendes neurales Netzwerk) verwendent wird. Bei diesem handelt es sich um einen speziellen Deep-Learning-Algorithmus, der sowohl Klassifizierung als auch Merkmalsextraktion aus Rohbildern vornehmen kann. Um den Objekterkennungsalgorithmus in MATLAB zu erstellen, wird nur ein vortrainiertes CNN und einige Bilder von Katzen und Hunden benötigt. Mit dem CNN werden die unterscheidenden Merkmale aus den Bildern extrahiert. Mit der MATLAB-App kommt dann ein Algorithmus des maschinellen Lernens zur Anwendung, der beispielsweise zwischen Katzen und Hunden unterscheiden kann. Importieren eines CNN-Klassifikators Zunächst ist unter ein vortrainierter CNN-Klassifikator herunterzuladen. Hierbei handelt es sich um eine Datenbank mit mehr als 1,2 Millionen bezeichneten hochaufgelösten Bildern in 1000 Kategorien. In diesem Beispiel wird die AlexNet-Architektur (Link siehe Textende) verwendet. websave('\networks\imagenet-caffe-alex.mat',... ' imagenet-caffe-alex.mat'); Dazu wird das Netzwerk mit der Neural Network Toolbox als SeriesNetwork in MATLAB importiert und die CNN- Architektur angezeigt. Das Objekt SeriesNetwork steht für das CNN.

2 % Load MatConvNet network into a SeriesNetwork convnet = helperimportmatconvnet(cnnfullmatfile); % View the CNN architecture convnet.layers Die Bilder sind in separaten Ordnern namens cat und dog im übergeordneten Verzeichnis pet_images gespeichert. Der Vorteil der Verwendung dieser Ordnerstruktur besteht darin, dass der erstellte MATLAB imagedatastore Bildspeicherorte und Klassenbezeichnungen automatisch lesen und verwalten kann (imagedatastore ist ein Repository für Datensammlungen, die zu gross für den Arbeitsspeicher sind). Es wird ein imagedatastore initialisiert, um auf die Bilder in MATLAB zugreifen zu können. %% Set up image data datafolder = ' \data\petimages'; categories = {'Cat', 'Dog'}; imds = imagedatastore(fullfile(datafolder, categories),... 'LabelSource', 'foldernames'); Danach wird eine Teilmenge der Daten mit gleicher Anzahl an Hunde- und Katzenbildern ausgewählt. tbl = counteachlabel(imds) %% Use the smallest overlap set minsetcount = min(tbl{:,2}); % Use spliteachlabel method to trim the set. imds = spliteachlabel(imds, minsetcount, 'randomize'); % Notice that each set now has exactly the same number of images. counteachlabel(imds) Da das AlexNet-Netzwerk mit Bildern der Grösse 227x227 Pixel trainiert wurde, müssen alle Trainingsbilder an die gleiche Auflösung angepasst werden. Mithilfe des folgenden Codes können die Bilder aus dem imagedatastore gleichzeitig gelesen und verarbeitt werden.

3 %% Pre-process Images For CNN % Set the ImageDatastore ReadFcn imds.readfcn %% Divide data into training and testing sets [trainingset, testset] = spliteachlabel(imds, 0.3, 'randomize'); Mit der Funktion readandpreprocessimage wird die Grösse der Bilder in 227 x 227 Pixel geändert. function Iout = readandpreprocessimage(filename) I = imread(filename); % Some images may be grayscale. Replicate the image 3 times to % create an RGB image. if ismatrix(i) I = cat(3,i,i,i); end % Resize the image as required for the CNN. Iout = imresize(i, [ ]); end Extraktion von Merkmalen Nun wird dieser neue Datensatz mit dem vortrainierten AlexNet-CNN verwendet. CNN können lernen, generische Merkmale zu extrahieren. Diese Merkmale dienen dann dazu, einen neuen Klassifikator anzulernen, ein anderes Problem zu lösen in diesem Fall die Klassifizierung von Katzen und Hunden (Abbildung 1). Abbildung 1. Workflow für die Verwendung eines vortrainierten CNN zur Extraktion von Merkmalen für eine neue Aufgabe.

4 Nun werden die Trainingsdaten durch das CNN geschickt und die activations-methode verwendet, um Merkmale in einer bestimmten Schicht des Netzwerks zu extrahieren. Wie andere neuronale Netze auch, bestehen CNN aus miteinander verbundenen Schichten nichtlinearer Verarbeitungselemente oder Neuronen. Ein- und Ausgabeschichten sind mit einem Ein- und Ausgabesignal verknüpft, und verborgene Schichten stellen nichtlineare Komplexität bereit, die dem neuronalen Netz seine Rechenkapazität verleiht. Während jede Schicht eines CNN ein Eingabebild verarbeitet, eignen sich nur wenige Schichten für die Bildmerkmalsextraktion. Es gibt keine exakte Formel zur Erkennung dieser Schichten. Die beste Lösung ist, einfach einige unterschiedliche Schichten auszuprobieren und zu schauen, wie sie funktionieren. Die ersten Schichten des Netzwerks erfassen elementare Bildmerkmale wie Kanten und Regionen. Zur Veranschaulichung werden die Netzwerkfiltergewichtungen der ersten gefalteten Schicht angezeigt (Abbildung 2). % Get the network weights for the second convolutional layer w1 = convnet.layers(2).weights; % Scale and resize the weights for visualization w1 = mat2gray(w1); w1 = imresize(w1,5); % Display a montage of network weights. There are 96 individual % sets of weights in the first layer. figure montage(w1) title('first convolutional layer weights') Abbildung 2. Darstellung der Filtergewichte der ersten Schicht. Es ist zu beachten, dass die erste Schicht des Netzwerks trainierte Filter zur Erfassung der Regionen- und Kantenmerkmale aufweist. Diese primitiven Merkmale werden dann von tieferen Netzwerkschichten verarbeitet, die die früheren Merkmale zu komplexeren Bildmerkmalen kombinieren. Diese high-level Merkmale eignen sich besser für Erkennungsaufgaben, da sie primitive Merkmale zu aussagekräftigeren Bildrepräsentationen zusammenfassen. Merkmale aus einer der tieferen Schichten können mit der activations-methode einfach extrahiert werden.

5 Begonnen wird mit der Schicht unmittelbar vor der Klassifizierungsschicht fc7, wo Trainingsmerkmale anhand dieser Schicht extrahiert werden. featurelayer = 'fc7'; trainingfeatures = activations(convnet, trainingset, featurelayer,... 'MiniBatchSize', 32, 'OutputAs', 'columns'); Training eines SVM-Klassifizierers mithilfe der extrahierten Merkmale Nun lassen sich flache Klassifizierer mit den im vorherigen Schritt extrahierten Merkmalen trainieren. Dabie ist zu beachten, dass das ursprüngliche Netzwerk für die Klassifizierung von 1000 Objektkategorien trainiert wurde. Der flache Klassifizierer wird dazu angelernt, Hunde von Katzen zu unterscheiden. Mit der Classification Learner-App (Link siehe Textende) in der Statistics and Machine Learning Toolbox wird nun trainiert und mehrere Modelle interaktiv verglichen (Abbildung 3). Der Klassifizierer liess sich übrigens auch im MATLAB-Skript trainieren. Abbildung 3. Classification Learner-App. Nun werden die Daten in zwei Datensätze aufgeteilt, einen für das Training und einen für das Testen. Anschliessend wird ein SVM-Klassifizierer (Support Vector Machine) mithilfe der extrahierten Merkmale trainiert, in dem die Funktion fitcsvm mit trainingfeatures als Eingabe- oder Prädiktorwerte sowie traininglabels als Ausgabe- oder Antwortwerte aufgerufen werden. Nun wird der Klassifizierer anhand der Testdaten überprüft, um seine Validierungsgenauigkeit zu ermitteln und eine unvoreingenommene Abschätzung zu erhalten, wie gut der Klassifizierer neue Daten erkennen wird.

6 %% Train a classifier using extracted features traininglabels = trainingset.labels; % Here I train a linear support vector machine (SVM) classifier. svmmdl = fitcsvm(trainingfeatures,traininglabels); % Perform cross-validation and check accuracy cvmdl = crossval(svmmdl,'kfold',10); fprintf('kfold CV accuracy: %2.2f\n',1-cvmdl.kfoldLoss) Der svmmdl-klassifizierer soll jetzt ein Bild als Katze oder Hund klassifizieren (Abbildung 4). Abbildung 4. Ergebnis der Verwendung des trainierten Haustier-Klassifizierers beim Bild einer Katze. Objekterkennung In den meisten Bildern und Video-Frames passiert eine Menge. Beispiel: Neben dem Hund könnte noch ein Baum oder ein Schwarm Tauben zu sehen sein, oder ein Waschbär, der den Hund jagt. Selbst ein zuverlässiger Bildklassifizierer funktioniert nur einwandfrei, wenn das Objekt des Interesses ausfindig gemacht, das Objekt freigestellt und dann dem Klassifizierer vorgelegt werden kann mit anderen Worten, wenn eine Objekterkennung durchgeführt werden kann. Die Objekterkennung geschieht mit der Technik des optischen Flusses, die im Video bewegte Pixel von Frame zu Frame argleicht. Die Abbildung 5 zeigt einen einzelnen Video-Frame mit darübergelegten Bewegungsvektoren.

7 Abbildung 5. Ein Video-Frame mit den darübergelegten Bewegungsvektoren. Der nächste Schritt im Erkennungsprozess ist die Aussortierung der sich bewegenden Pixel, um dann mit der Image Region Analyzer-App (Link siehe Textende) die verbundenen Komponenten im binären Bild zu analysieren, um durch die Bewegung der Kamera entstandenes Bildrauschen herauszufiltern. Das Ergebnis der App ist eine MATLAB-Funktion, die das Haustier im Bildfeld erkennen kann (Abbildung 6). Abbildung 6. Image Region Analyzer-App. Nun sind alle Komponenten, die es zum Erstellen eines Haustiererkennungssystems bedarf, vorhanden (Abbildung 7). Das System kann Folgendes: Erkennen der Position des Haustiers in neuen Bildern mithilfe des optischen Flusses Freistellen des abgebildeten Haustiers und Extrahieren von Merkmalen mithilfe eines vortrainierten CNN Klassifizieren der Merkmale mithilfe des trainierten SVM-Klassifizierers, um zu erkennen, ob es sich um einen Hund oder eine Katze handelt

8 Abbildung 7. Richtig klassifizierter Hund/klassifizierte Katze. In diesem Artikel wurde mit dem vorhandenen Deep-Learning-Netzwerk gearbeitet, um eine neue Aufgabe zu erledigen. Die gleichen Techniken lassen sich einsetzen, um eigene Bildklassifizierungsprobleme zu lösen. Beispiel: Klassifizierung von Autotypen in einem Video zur Verkehrsflussanalyse, Identifizierung von Tumoren in Massenspektrometerdaten bei Krebsuntersuchungen oder das Erkennen von Einzelpersonen aufgrund ihrer Gesichtszüge für Sicherheitssysteme. Die Links zu denen im Beitrag genannten Apps und anderen Hilfsfunktionen: AlexNet-Architektur Classification Learner-App Image Region Analyzer-App