Hochschule Ostwestfalen-Lippe FB Elektrotechnik und Technische Informatik

Transkript

1 1 Hochschule Ostwestfalen-Lippe FB Elektrotechnik und Technische Informatik Seminar: Vertiefungspraktikum Seminarleiter: Prof. Dr.-Ing. Thomas Korte Semester: Wintersemester 2013/2014 Thema Java Programmierung einer Zeitrafferkamera mit dem Raspberry Pi Referent: Andreas-Marko Dymek Matrikelnummer: Studiengang: Elektrotechnik Fachsemester: 3

2 2 Inhalt Überblick Aufgabenstellung Problemanalyse Technik des Raspberry Pi Die für das Projekt wichtigen Geräteeigenschaften Raspbian Kamera-Modul Java Laufzeitumgebung SSH Zugriff WLAN einrichten Bilder zu Video zusammensetzen Die für das Projekt verwendete Geräteschnittstelle Implementierung Installation und Inbetriebnahme Bedienung Zusammenfassung und Ausblick Literaturverzeichnis Abbildungsverzeichnis Anlage... 17

3 3 Überblick Mit dieser Einleitung möchte ich einen kleinen Überblick über die Zusammenfassung des Zeitraffer Raspberry Pi Projektes geben. In diesem Projekt wie auch schon bemerkt, geht es um die Realisierung eines Zeitrafferprogrammes auf dem Mini-Computer Raspberry Pi mit zusätzlichen Kamera-Modul. Das Programm soll mit der Programmiersprache Java entwickelt werden. (Bild 1 : Raspberry Pi mit angeschlossenem Kamera Modul) In den ersten Kapiteln wird es um die Aufgabenstellung des Projektes gehen und um eine erste Problemanalyse. Im drauffolgenden Kapitel wird es um die Grundlegende Technik des Raspberry Pi gehen und die benötigten Geräteschnittstellen. Danach wird das Kamera Modul näher beschrieben und der Lösungsentwurf wird dem Leser näher gebracht sowie die Installation, Inbetriebnahme und Bedienung der Anwendung. Im letzten Kapiteln wird es eine kurze Zusammenfassung sowie einen Ausblick auf andere Projekte.

4 4 1.Aufgabenstellung Mit dem Raspberry Pi, einem Einplatinencomputer, welcher später im Dokument näher erklärt wird (siehe 2.1) und dem angeschlossenem Kamera Modul soll eine Kamera programmiert und konfiguriert werden, sodass sie es dem Benutzer ermöglicht ein Zeitraffervideo zu erstellen. Durch ein selbstprogrammiertes Java Programm soll diese Aufgabe voll automatisch und mit mehreren einstellbaren Parametern, wie der Bildrate des Zeitrafferfilms, der Dauer der Serienaufnahme und das Intervall der Aufnahme, realisiert und entwickelt werden. 2.Problemanalyse Hier möchte ich näher auf die Problemanalyse des Zeitraffer-Projekts eingehen. Zu einem muss bedacht werden wie der Raspberry Pi funktioniert und ganz besonders wie er mit dem Kamera-Modul interagiert. Zum anderen muss erarbeitet werden wie eine Zeitrafferkamera funktioniert. Dies zu beantworten ist nach kurzer Erarbeitungzeit einfach, eine Zeitrafferaufnahme entsteht, in dem Bilder über eine gewisse Länge in einem selbstdefinierten Auslöseintervall aufgenommen werden und in einem Video mit einer Bildrate von ungefähr 24 Bilder/Sekunde umgewandelt werden. Durch diese Beschreibung der Zeitrafferaufnahme lässt sich eine Formel für ein Zeitraffervideo erstellen was auch als Parameter Einstellung fürs spätere Java Programm dienen kann. z = Bildanzahl; f = Filmlänge(ins); r = Bildrate; a = Aufnahmedauer(ins); i = Intervallz. B:machealle2SekundeneinBild = =

5 Technik des Raspberry Pi Der Raspberry Pi ist ein Einplatinencomputer, der von der Raspberry Pi Foundation entwickelt wurde. Die Platine des Modell B enthält im Wesentlichen das Ein- Chip-System BCM 2835 von Broadcom mit dem 700MHz- Prozessor ARM1176JZF-S sowie 512 MB Arbeitsspeicher. Die Modell Version A wurde nur mit 256 MB Arbeitsspeicher ausgeliefert. Ein anderer Unterschied zur B Version ist auch das keine Ethernet-Schnittstelle vorhanden ist und nur eine USB Schnittstelle. (Bild 2 : Raspberry Hardware) Modell A Modell B Preisempfehlung: 26,95 34,90 Größe: Kreditkartengröße 85,60 mm 53,98 mm 17 mm System-on-Chip: Broadcom BCM 2835 (Datenblatt im Anhang) CPU: ARM1176JZF-S (700 MHz) (Datenblatt im Anhang) GPU: Broadcom VideoCore IV Arbeitsspeicher(SDRAM): 256 RAM 512 RAM USB 2.0-Anschlüsse: 1 2 Videoausgabe: FBAS(Composite) 1, HDMI Tonausgabe: 3,5-mm-Klinkenstecker(analog), HDMI (digital) Nicht-flüchtiger Speicher: Kartenleser für SD ( SHHC und SDXC)/MMC/SDIO Netzwerk: - 10/100-MBit- Ethernet(LAN9512 Hersteller SMSC) Schnittstellen: Bis zu 16 GPIO-Pins,SPI 2,I²C 3,UART 4,EGL 5 Leistungsaufnahme: 5V,500mA(2,5 Watt) 5V,700mA(3,5 Watt) Stromversorgung: 5-V-Micro-USB-Anschluss (Micro-B),alternativ 4 AA-Batterie Betriebssysteme: GNU/Linux(Rasbian), Android,Plan9 1 Farb-Bild-Austast-Synchron-Signal (umgangssprachlich Farbfernsehsignal) 2 Serial Peripheral Interface 3 Inter-Integrated Circuit 4 Universal Asynchronous Receiver Transmitter 5 Programmierschnittstelle API

6 6 Prozessor : Der Prozessor nutzt den ARMv6-Instruktionssatz. Des Weiteren werden die ARM- Instruktionssatz-Erweiterungen der Thumb und Java-Bytecode unterstützt (Jazelle). Der Speicher ist über einen 64 Bit breiten Bus angebunden und wird direkt als Package-on- Package auf den Prozessor gelötet. Grafik : Der ARM11-Prozessor ist mit Broadcoms VideoCore -Grafikkoprozessor kombiniert. OpenGL ES 2.0 wird unterstützt und Filme in Full-HD-Auflösung (1080p30 H.264 high-profile) können dekodiert und über die HDMI-Buchse und FBAS-Cinchbuchse ausgegeben werden. GPIO/CSI : Der Raspberry Pi bietet eine frei programmierbare Schnittstelle (auch bekannt als GPIO, General Purpose Input/Output), worüber LEDs, Sensoren, Displays und andere Geräte angesteuert werden können. Es gibt 6 GPIO-Anschlüsse, wobei im Allgemeinen nur der Anschluss P1 gebraucht wird. Die GPIO-Schnittstelle P1 besteht aus 26 Pins, wovon 2 Pins eine Spannung von 5 Volt bereitstellen, aber auch genutzt werden können, um den Raspberry Pi mit Strom zu versorgen, 2 Pins eine Spannung von 3,3 Volt bereitstellen, 1 Pin als Masse dient, 4 Pins, die zukünftig eine andere Belegung bekommen könnten, derzeit ebenfalls mit Masse verbunden sind, 17 Pins frei programmierbar sind, wovon einige Sonderfunktionen übernehmen können: o 5 Pins können als SPI-Schnittstelle verwendet werden, o 2 Pins haben einen 1,8-k-Pull-Up-Widerstand (auf 3,3 V) und können als I²C-Schnittstelle verwendet werden, o 2 Pins können als UART-Schnittstelle verwendet werden. Die in der Revision 2 hinzugekommene GPIO-Schnittstelle P6 erlaubt es, den Raspberry Pi zu resetten bzw. zu starten, nachdem er heruntergefahren wurde. Zur Steuerung der GPIOs existieren Bibliotheken für zahlreiche Programmiersprachen. Auch eine Steuerung durch ein Terminal oder Webinterfaces ist möglich.

7 Die für das Projekt wichtigen Geräteeigenschaften Raspbian Auf dem Raspberry Pi, der mir zur Verfügung gestellt wurde befand sich die Linux Distribution Raspbian wheezy. Raspbian ist eine speziell für die Raspberry Pi Hardware angepasste Linux Distribution die auch eine grafische Benutzeroberfläche, einen vorinstallieren Browser sowie passende Treiber für USB-und HDMI-Geräte bereitstellt. (Bild 3: Raspbian Desktop) Die Installation des Betriebssystems Raspbian funktioniert einfach, das Image runterladen,entpacken und auf die SD-Speicherkarte ziehen, da das System von dieser Karte das Betriebssystem bootet. Beim Erststart muss im Setupmanager eingestellt werden das die grafische Benutzoberfläche LXDE gestartet werden soll Kamera-Modul Für das Projekt wichtige Kamera-Modul muss über die CSI-Schnittstelle angeschlossen werden( mehr Details im Kapitel 2.1.3) und in Raspbian installiert werden. Die Installation funktioniert einfach, im Commandmenü wird durch den Befehl : das Konfigurationstools aufgerufen wo man den Unterpunkt camera auf Enable setzt, nachdem reboot kann die Kamera eingesetzt werden. Um die Kamera anzusteuern muss man in der Konsole die Befehle : raspistill für ein Foto und rasivid für ein Video benutzen. Ein zusätzlicher Parameter output(-o) speichert die Datei im bevorzugten Pfad. Eine Lister aller Kommandozeilen werde ich im Anhang bei führen. Die für mein Projekt wichtigen Parameter sind: o :für den Speicherort der Bilder -t :für die Laufzeit der Zeitrafferaufnahme

8 8 -t1 :für das Bildintervall -h :für die Höhe des Bilder w..:für die Breite des Bilder Java Laufzeitumgebung Um das Projekt realisieren zu können wir eine Java Laufzeitumgebung benötigt die es einem ermöglicht eine Java Datei zu öffnen oder auch zu programmieren. Auf den neuen Raspbian Versionen ist die Oracle Java 7 SDK enthalten, hat man aber eine ältere Version von Raspbian ist keine Java Laufzeitumgebung vorhanden. Durch den folgenden Befehl in die Raspbian Konsole ist die nachträgliche Installation möglich: sudoapt-getupdate&&sudoapt-getinstalloracle-java7-jdk SSH Zugriff Ein umständliches Manko ist, dass man den Raspberry Pi bisher nur über eine angeschlossene Tastatur, Maus und Monitor steuern kann um dieses zu umgehen habe ich beschlossenen den SSH- Zugriff auf den Raspberry Pi zu ermöglichen. SSH (Secure Shell) bezeichnet sowohl ein Netzwerkprotokoll als auch entsprechenende Programme, mit deren Hilfe man auf eine sichere Art und Weise eine verschlüsselte Netzwerkverbindung mit einem entfernten Gerät herstellen kann. Auf den neuen Versionen von Raspbian ist der SSH-Server schon installiert und muss lediglich aktiviert werden. Den Raspberry Pi Konfigurator öffnen mit dem Konsolenbefehl : $ Nun muss zum SSHEintrag navigiert und diesen auf enable gesetzt werden. Nach einem Neustart ist der Raspberry Pi bereit von einem entfernten Gerät gesteuert zu werden. Die IP-Adresse des Raspberry Pi wird bei Windows in die Remotedesktopverbindung oder einem anderem Programm eingetragen und man hat die volle Kontrolle über den Raspberry Pi.

9 WLAN einrichten Der WLAN-Stick EDIMAX EW-7811UN Wireless USB Adapter, 150 Mbit/s, IEEE802.11b/g/n ist beim Projekt vorhanden, um die Ansteuern zu vereinfachen, da auch kein Netzwerkkabel mehr vorhanden sein muss. Sobald der Stick eingesteckt ist, wird er von Raspbian erkannt und die benötigten Treiber werden installiert. Um nun eine Verbindung mit einem WLAN herzustellen muss die Datei /etc/network/interfaces editiert werden, der Konsolenbefehl um zum gewünschten Verzeichnis zu gelangen lautet: sudonano/etc/network/interfaces Deren Inhalt soll wie folgt angepasst werden: autolo ifaceloinetloopback ifaceeth0inetdhcp autowlan0 allow-hotplugwlan0 ifacewlan0inetdhcp wpa-ap-scan wpa-scan-ssid wpa-ssid"dein-wlan-name" wpa-psk"dein-wlan-schlüssel" Nach einem Neustart des Raspberry Pi verbindet er sich automatisch mit dem eingetragenen WLAN Bilder zu Video zusammensetzen Um die Einzelbilder zu einem Video zusammenzusetzen gibt es das Programm avconv, welches auf dem Raspberry Pi instilliert werden muss. Der Befehl dafür lautet : sudoapt-getinstalllibav-tools

10 Die für das Projekt verwendete Geräteschnittstelle Die einzige für das Gerät verwendete Geräteschnittstelle ist die der Kamera, in diesem Kapitel möchte ich kurz die Schnittstelle und die Kamera beschreiben. MIPI CSI -2 Die benötigte Schnittstelle heißt MIPI- CSI (Camera Serial Interface),diese Schnittstelle ist speziell für ein Flachbandkabel einer Kamera konzipiert. Auf dem Raspberry Pi befindet sich das CSI-2 Standart welches heutzutage bei vielen Mobiltelefonen zu finden ist. (Bild 4 : CSI Buchse ) Der große Vorteil der CSI-2 Schnittstelle ist das es eine direkte Verbindung vom Kamera-Modul zum Broadcom BCM2835 (SoC). SoC steht für System-on-a-Chip was auf Deutsch Ein-Chip-System heißt, man versteht darunter die Integration aller oder eines großen Teils der Funktionen eines Systems auf einem Chip. Das CSI-2 Interface wurde von der MIPI Alliance entwickelt da immer höhere Bildauflösungen eine höhere Bandbreitenübertragung benötigen, mit der direkten Verbindung zwischen der Camera und dem Prozessor wurde dieses Ziel erreicht. Raspberry Kamera Modul Das Kamera Modul wird von der Raspberry Pi Foundation hergestellt und vertrieben. Der Preis liegt bei 26,50. Die Eckdaten der Kamera listet ich nun kurz auf : 5 Megapixel Foto: max x 1944 Pixel Video 1080p (Full HD) Max. Framerate: 30 fps Größe: 20 x 25 x 10 mm Kabellänge: ca. 150 mm Der Anschluss ist eine 15-polige serielle MIPI CSI-2 Schnittstelle. Der Sensor des Moduls ist ein ¼ color CMOS QSXGA (5 megapixel) Fotosensor mit OmniBSI Technologie, im Anhang wird das Datenblatt zu finden sein.

11 11 3. Lösungsentwurf In diesem Kapitel werde ich die wichtigsten Passagen meines Lösungsentwurf präsentieren und erklären. Also erster Schritt der Lösung werden die Aufgaben des Programm als Java-Klassen definiert um den Objektorientierten Entwurf zu erkennen, danach wird jede Klasse mit ihren wichtigsten Befehlen kurz erläutert Objektorientierter Entwurf Die Bilder der Kamera werden mit einer fortlaufenden Benennung in einem selbsterstellten Ordner gespeichert. Diese gespeicherten Bilder werden von dem avconv Programm zu einem Video zusammengesetzt. Um dies zu verdeutlichen wird als erster Schritt der Lösung dieses Prinzip als Java- Klassen dargestellt. Um es dem Benutzer möglich simpel zu machen wird es eine Grafische Benutzoberfläche (GUI) geben, die mit Netbeans IDE 7.3. und der verfügbaren Java-Bibliothek Swing realisiert wurde. Oberflaeche Camera OrdnerErstellen Video Die Klasse Oberflaeche ist die Main Klasse. In ihr befindet sich der gesamte Quellcode für die GUI und in ihr werden die anderen Klassen aufgerufen. Der Hauptbestandteil der Camera Klasse ist die Methode fotos welche zum Aufrufen des Shell Befehl die ansteuerung der Kamera ermöglicht. Die Klasse OrdnerErstellen dient dazu einen Ordner zu erstellen, wo die Bilder und das Video gespeichert werden sollen. In der Klasse Video gibt es die Methode videoerstellen womit aus den gespeicherten Bilder ein Video mit der gewünschten Bildrate erstellt wird. Das Video wird durch Aufruf von einem Shellbefehl erstellt aber erst wenn alle Bilder gemacht wurden.

12 Aufbau der geplanten Anwendung Der ausführlich Kommentierte Quellcode befindet sich im Anhang. Klassendiagramm Camera Klassendiagramm Oberflaeche Klassendiagramm Video Klassendiagramm OrdnerErstellen

13 13 3.Implementierung Das Java Programm wurde auf einem Laptop mit der Programmierumgebung Netbeans IDE 7.3. programmiert. Durch den die Programmierzeile public static void main(string args[]), erstellt Netbeans wenn man es erstellt automatisch eine ausführbare.jar Datei. Diese.jar kann unter jedem Betriebssystem ausgeführt werden wenn die Java Laufzeitumgebung installiert ist Installation und Inbetriebnahme Die.jar Datei wird auf den Raspberry Pi geladen und kann durch einen Befehl im Commando Menü ausgeführt werden. " In meinem Fall öffnet sich die GUI wie sie auf dem nächsten Foto sehen können : 3.2. Bedienung Als erstes kann der Pfad eingegeben werden, um die Bedienung zu vereinfachen wurde ein filechooser hinzugefügt der das Navigieren auf der Festplatte ermöglicht auf Durchsuchen wird dieser aktiviert. Danach lässt sich der Ordnername angeben wo die Bilder gespeichert werden soll. In der ersten Zeile der Einstellungen soll die Aufnahmezeit mit einem sogenannten Spinner eingestellt werden. Genauso verhält es mit dem Intervall der Aufnahme. Die Bildrate variiert zwischen 24 Bilder/Sekunde und 30 Bilder/Sekunde. (Bild 5: Zeitraffer Programm)

14 14 Das Programm kann mit Beenden und mit dem Schließsymbol (X) beendet werden. Mit dem Fertig! Button werden die gesamten Parameter übergeben und ein Fenster wo drauf hingewiesen wird das man das Programm nicht schließen soll. Es dient zur Sicherheit damit das Programm nicht vorzeitig vom Benutzer beendet wird. Nachdem das Video erstellt wurde schließt sich das Programm automatisch. 4.Zusammenfassung und Ausblick In diesem Kapitel möchte ich noch einmal kurz auf alles eingehen und einen kleinen Ausblick für den Raspberry Pi wagen. Um die Projekt Aufgabe zu verwirklichen musste man sich erst einmal gründlich mit der Hardware des Raspberry Pi beschäftigen und einige Konfigurationen durchführen. Man musste die Java- Laufzeitumgebung installieren, die Kamera und das SSH aktivieren und das WLAN aktivieren und einstellen. Diese Konfigurationen haben einen kleinen Schritt zur Verwirklichung des Projektes gedient aber auch zur Vereinfachung der Bedienung, da nicht mehr das LAN-Kabel, das HDMI Kabel und die Peripherie Geräte angeschlossen werden mussten. Als nächstes ging es um das Verständnis von Zeitraffervideos und die Ansteuerung der Kamera, nach kurzer Recherche wurden die Probleme schnell beseitigt und man konnte sich die ersten Gedanken zum realisieren des Programmes machen. Um es dem Benutzer möglichst einfach zu machen habe ich mich dazu entschlossen, eine GUI also eine grafische Oberfläche zu nutzen. Die GUI wurde unter Netbeans mit Swing programmiert. Swing ist eine Grafik Java Bibliothek. Da Java eine Objektorientierte Sprache erstellt man für jeden wichtigen Aspekt eine Klasse, in meinem Fall habe ich vier Klassen. Diese vier Klassen ergeben das gesamte Programm und interagieren miteinander. Die erste Klasse heißt Oberflaeche und ist auch gleichzeitig die main- Klasse in dieser der gesamte Quellcode der GUI vorhanden ist und auch die aufrufe für die anderen Klassen. Eine andere Klasse OrdnerErstellen und dient dazu einen Ordner in einem bevorzugten Verzeichnis zu erstellen um dort die Bilder zu speichern die von der Klasse Kamera erstellt werden. In der Klasse Kamera dient dazu mit Shell Kommandos die Pi-Kamera anzusteuern außerdem übergibt sie an die Pi-Kamera Parameter mit welchen man die Laufzeit und das Intervall der Aufnahme einstellen kann. In der letzten Klasse Video werden die aufgenommen Bilder durch eine extern aufgerufenes Programm zu einem Video zusammengesetzt. Die Bildrate des Videos kann vom Benutzer eingestellt werden. Die gespeicherte.jar Datei lässt sich auf jedem Java installieren Betriebssystem mit einem Konsolen Aufruf öffnen. Die Programmiere.jar Datei wird auf dem Raspberry Pi exportiert und dort durch einen Java Befehl (siehe 4.1) geöffnet, der Nutzer kann die GUI ohne Probleme nutzen und das Programm erstellt ein Zeitraffervideo.

15 15 Der Raspberry Pi ist ein vollwertiger kleinst Computer zu einem wirklich sehr niedrigen Preis, er war dazu gedacht das Schüler und Studenten mit ihm programmieren und sich mit der Technik befassen da die Hemmungen auf Laptop oder Desktop PC hoch sind, da diese Geräte sehr Teuer sind und es ein Risiko darstellt. Außerdem soll er dazu dienen Menschen in Entwicklungsländern einen ersten Kontakt mit dem PC zu ermöglichen und den Kindern beim Lernen zu unterstützen. Der Raspberry Pi hat eine starke und aktive Community im Internet. Es gibt etliche Blogs,-Online Zeitschriften, Foren,Bücher und sogar Illustrierte zum Raspberry Pi. Auch die Verkaufszahlen beweisen dass es ein sehr attraktives Produkt ist. Bis zum heutigen Tag wurde über 2 Millionen Raspberry Pi s verkauft. Die Anwendungsgebiete sind sehr facettenreich. Man kann den Raspberry Pi als Mediacenter konfigurieren, er kann als Haus-und Türsteuerung dienen, als NAS- oder VPN Server. Es gibt darüber hinaus die Möglichkeit mit dem Pi über das TOR Netzwerk eine anonyme Internetverbindungen zu erstellen. Es gibt Projekte wo er als Lasergravur Computer eingesetzt wurde. Die Möglichkeiten sind unvorstellbar, gerade im Hobbybereich aber auch in Bereichen wo das Budget eine wichtige Rolle spielt, wie in Entwicklungsländern. Da Beispielsweise bei um die Feuchtigkeit des Bodens zu messen. Mir persönlich hat dieses Projekt sehr viel Spaß gemacht und der Raspberry Pi hat mich überzeugt. Ich würde ihn zweifelsohne weiter empfehlen. Da es noch viele Projekte zu entdecken gibt und die Hardware Erweiterungen eine noch größere Vielfalt darlegen.

16 16 Literaturverzeichnis ons/linux/apps/raspicam sleepundinterruptedexception.xhtml

17 17 Abbildungsverzeichnis Bild [1] : Bild [2] : Bild [3] : Bild [4] : Bild [5] : Selbsterstelltes Bild Anlage ARM1176JZF-S Datenblatt (CPU) BCM2835-ARM-Peripherals (CHIP) CMOS QSXGA (Fotosensor)