Spark, Impala und Hadoop in der Kreditrisikoberechnung
|
|
- Götz Hofmeister
- vor 8 Jahren
- Abrufe
Transkript
1 Spark, Impala und Hadoop in der Kreditrisikoberechnung Big Data In-Memory-Technologien für mittelgroße Datenmengen TDWI München, 22. Juni 2015 Joschka Kupilas, Data Scientist, Adastra GmbH 2
2 Inhalt Vorwort Projektbeschreibung Über Hadoop Spark und andere Hadoop Tools Ergebnisse des Projekts Zusammenfassung und Lessons Learned 3
3 Kurze Umfrage... > 1 PB Daten? Berechnung zu langsam? 4
4 5 Big Data überall...
5 ...wirklich? Wahr: Mehr Daten Neue Technologien ermöglichen Nutzung großer Datenmengen Aber: Nur manche Firmen haben so große Datenmengen 90% aller Probleme: Small/Medium Data Mit fortschreitender Technik: Small = Immer mehr GB Trotzdem zeitaufwändige Berechnung! Hadoop für Medium Data! 6
6 Inhalt Vorwort Projektbeschreibung Über Hadoop Spark und andere Hadoop Tools Ergebnisse des Projekts Zusammenfassung und Lessons Learned 7
7 Beispiel für Hadoop für Medium Data Proof-of-Concept Projekt für große deutsche Bank Berechnung von Kreditwerten Hadoop statt Datenbank + Rechenkern Mittelgroße Datenmenge 8
8 Beispielprojekt: Treiberanalyse 13 Millionen Kredite Wert eines Kredits ist Funktion von Ausfallwahrscheinlichkeit Laufzeit Betrag Restbetrag Währung Anderen Krediten derselben Person/Firma Berechnung enthält mathematische/statistische Formeln Aggregationen, Suchen, Joins 9
9 Berechnung der Kreditwerte Person A Person B Kredit 1 Kredit 2 Kredit 3 P( Ausfall ) = 0.01 Gesamt: Rest: Laufzeit: 60 Monate Restlaufzeit: 23 Monate Wert: P( Ausfall ) = 0.02 Gesamt: Rest: Laufzeit: 48 Monate Restlaufzeit: 6 Monate Wert: P( Ausfall ) = 0.03 Gesamt: $ Rest: $ Laufzeit: 120 Monate Restlaufzeit: 60 Monate Wert:
10 Veränderung der Kreditwerte nach Treibern Kredit Kredit 3 P( Ausfall ) = 0.03 Gesamt: $ Rest: $ Laufzeit: 120 Monate Restlaufzeit: 60 Monate Wert: $ - 1 Monat P( Ausfall ) = 0.05 Gesamt: $ Rest: $ Laufzeit: 120 Monate Restlaufzeit: 59 Monate Wert:
11 Einfluss der Faktoren (Treiber) Fragestellung: Welcher Faktor hat wieviel zur Veränderung beigetragen? Einfluss von Teilmengen der Faktoren? Kredite 30 Treiberteilmengen hunderte Millionen ähnliche Berechnungen Sehr gut parallelisierbares Problem! Datenmenge: 5GB pro Zeitscheibe Kein Big Data 12
12 Bisherige Situation 64 Kerne Rechenkern Rechenkern Rechenkern 256 GB RAM $$$$$ DB1 DB2 DB3 DB1 Sybase IQ $$$$$ 2 Stunden 13
13 Idee: Hadoop (Spark/Impala) Günstige Hardware Kostenlose Software DB1 DB1 < 2 Stunden? 14
14 Verfügbare Resourcen Gesamtkosten für Hardware:
15 Inhalt Vorwort Projektbeschreibung Über Hadoop Spark und andere Hadoop Tools Ergebnisse des Projekts Zusammenfassung und Lessons Learned 16
16 17 Ganz Früher
17 18 CPU Geschwindigkeit stagniert
18 19 Cluster
19 Vorteile von Hadoop Im Vergleich zu Einzelrechnern: Ausfallsicherheit Erweiterbarkeit & Zukunftssicherheit Zeitersparnis/Performance Im Vergleich zu klassischen Clustern : Kostenersparnis Einfachere Entwicklung 20
20 Hadoop Ökosystem Dateisystem HDFS (oder Amazon S3, ) Low-Level Programmier-Framework zur Parallelisierung MapReduce, Spark,... High-Level Programmiersprachen Impala, Hive,... 22
21 Hadoop HDFS: Hadoop Distributed File System Dateisystem verteilt auf den Nodes des Clusters Ausfallsicherheit: Redundante Speicherung Ein Name-Node (verwaltet Metainformation) Viele Data-Nodes (speichern Daten) 23
22 24
23 25 HDFS
24 26 HDFS
25 27 HDFS
26 29 HDFS
27 Programmier-Paradigma MapReduce Map-Funktion: Die gleiche Berechnung auf vielen Objekten Input -> (Key, Value) Reduce-Funktion: Aggregation der obigen Resultate Sortieren nach Keys Aggregieren der Values 30
28 Map: f(x) = <sign(x),2x> Reduce: Sum(x) Wert Key Value Key Value
29 Map f = f = f = f = f = Sort & Shuffle Reduce Σ Σ Σ 32
30 Publikumsaufgabe 33 Map: Input: Text Output in (key, value)-paaren: Paar ( Vokale, #Vokale) (inkl Ä,Ö,Ü,Y) Paar( Konsonanten, #Konsonanten) (inkl ẞ) Paar( Satzzeichen, #Satzzeichen) * = Zuständigkeit des Nodes für einen Block Sort & Shuffle: Durchreichen zum Reducer für Vokale, Konsonanten, Satzzeichen Reduce: Summieren der Werte je Key
31 MapReduce: Berechnungszyklus HDFS CPU & Netzwerk HDD I/O 1 sec Lokales Dateisystem Map CPU & HDD I/O RAM 34
32 Gute Probleme für Hadoop Viele Objekte vom selben Typ Unabhängige gleichartige Berechnungen Danach Aggregation der Ergebnisse (wenn gewünscht) Beispiele: Welche und wieviele Webseiten (Textdateien) enthalten ein bestimmtes Wort? Welche Benutzer könnten laut ihren Interessen auf eine Werbung klicken? 35
33 Ergebnis Vokale Konsonanten Satzzeichen 36
34 Nachteile von MapReduce Starres Programmierkonzept: Alles in Map und Reduce ausdrücken Entwicklung von Higher-Level-Programmiersprachen (Pig, Hive, Impala...) Programmierung nur in Java Map Reduce HDFS: Langsam für iterative Algorithmen Z.B. In Machine Learning relevant 37
35 Inhalt Vorwort Projektbeschreibung Über Hadoop Spark und andere Hadoop Tools Ergebnisse des Projekts Zusammenfassung und Lessons Learned 38
36 Nachfolger von MapReduce Früher Map, jetzt Transformation Früher Reduce, jetzt Action Unterschiede: verteiltes Dateisystem verteiltes RAM In-Memory Lazy Evaluation Mehrere Programmiersprachen 39
37 Spark: Grundbegriffe RDD: Ähnlich List, Array: Viele Objekte des selben Typs RDD<int>, RDD<String> Verteilt im RAM der Cluster Nodes Transformation: RDD<A> RDD<B> parallel auf alle Elemente angewendet f(x) = x*2 RDD<float> RDD<float> Filter() RDD<X> RDD<X> Actions: RDD<C> einzelner Datentyp Sum() RDD<float> float Ergebnisse von Transformations bleiben im RAM, Ergebnisse von Actions können in HDD gehen 40
38 Spark: Funktionsweise Sourcecode wird von Spark: analysiert umstrukturiert in Java ByteCode umgewandelt, auf JVM ausgeführt automatisch parallelisiert Spark baut Abhängigkeitsgraphen Lazy Evaluation : Code wird erst/nur ausgeführt, wenn benötigt Nur Daten die benötigt werden, werden berechnet Filter: Vielleicht müssen gar nicht alle Daten geladen werden First: nur das erste Element das passt muss geladen werden 41
39 42 Sourcecode: Python
40 Umwandlung in Abhängigkeitsgraphen moby_dick.txt textfile() RDD transf Other Data action map() vokale sum() int text map() map() konsonanten satzzeichen sum() sum() int int filter() a_zeilen 43
41 Spark: Berechnungszyklus HDD I/O HDFS Laden Action RAM 1 ms CPU & HDD I/O CPU (& Netzwerk) 44
42 Warum Spark? Datenmenge klein genug für RAM Spark schneller als MapReduce Popularität Auswahl aus mehreren Programmiersprachen Bibliotheken SQL, Machine Learning, Graphen, Streaming 45
43 Spark: Nachteile Noch nicht viel Wissen öffentlich verfügbar Bibliotheken: Bugs und unvollständige Dokumentation Debugging aufgrund von Lazy Evaluation schwieriger Spark SQL Library (SQL auf RDDs) nicht umfangreich genug 46
44 Hadoop Tools für SQL Hive Open Source Basiert auf MapReduce: Stabil Besser für Batch-Jobs, lange Jobs, sehr große Datenmengen Impala Schneller als Hive Instabiler Besser für ad-hoc- und kurze Jobs Beides getestet, für Impala entschieden da kurze Rechenzeit und wenige Nodes 47
45 Inhalt Vorwort Projektbeschreibung Über Hadoop Spark und andere Hadoop Tools Ergebnisse des Projekts Zusammenfassung und Lessons Learned 48
46 Zurück zum Projekt Treiberanalyse Kredit Kredit 3 P( Ausfall ) = 0.03 Gesamt: $ Rest: $ Laufzeit: 120 Monate Restlaufzeit: 60 Monate Wert: $ - 1 Monat P( Ausfall ) = 0.05 Gesamt: $ Rest: $ Laufzeit: 120 Monate Restlaufzeit: 59 Monate Wert:
47 Zurück zum Projekt Treiberanalyse Abwechselnd komplizierte Joins und andere Queries Parallel ausführbare mathematische Berechnungen... Beobachtung: Impala: Nutzt Netzwerk Spark: Nutzt CPU 50
48 Messungen 150 Spark Impala Summe Alt Node 2 Nodes 3 Nodes 4 Nodes Spark 00:54:42 00:30:05 00:21:28 00:16:56 Impala 01:12:27 00:41:58 00:33:50 00:30:59 Summe 02:07:09 01:12:03 00:55:18 00:47:55 Geschwindigkeit i.v.z. alter Implementierung 110 % 194 % 253 % 292 % 51
49 Idee: Aufteilung der Daten Idee: Impala braucht mehr Netzwerk Spark braucht mehr CPU manuelle Aufteilung in 2 zeitversetzte Batchjobs mit jeweils 50% Daten 52
50 Messungen 1 Job (4 Nodes) 2 Jobs (4 Nodes) Spark 00:16:56 00:15:00 Impala 00:30:59 00:20:10 Summe 00:47:55 00:35:10 Geschwindigkeit i.v.z. alter Implementierung 292 % 398 % 53
51 Inhalt Vorwort Projektbeschreibung Über Hadoop Spark und andere Hadoop Tools Ergebnisse des Projekts Zusammenfassung und Lessons Learned 54
52 Zusammenfassung Ziel: Berechnung der Werte von Krediten beschleunigen Vorher: Mathematische Berechnung auf Rechenkern Join, Lookups, Aggregationen auf Sybase IQ Server > 2 Stunden Adastras Ansatz: Alle Daten auf kleinen preiswerten Cluster Kostenlose Hadoop Software verwenden Durch leicht zu implementierende Parallelisierung beschleunigen 55
53 Resultate: Schneller und günstiger: Zeit Kosten ???? Alte Implementierung Spark & Impala auf Hadoop 0 Alte Implementierung Spark & Impala auf Hadoop 2:20 Stunden 35 Minuten 4 x schneller Viele 3000 Deutlich günstiger 56
54 Lessons learned Spark: Gutes Framework für parallelisierbare Probleme Deutlich schneller als MapReduce bei vielen Iterationen einer Berechnung Entwicklung einfach: Mehrere Programmiersprachen Bibliotheken Aber: Noch dynamisch Bibliotheken sind nicht immer 100% bugfrei 57
55 Lessons learned Mischen von Hadoop-Tools für beste Ergebnisse Problem besser in SQL als in imperative Programmiersprache formulierbar: Sehr simpel? Spark SQL Kompliziert, aber kurze Laufzeit? Impala Kompliziert, lange Laufzeit (hohe Wahrscheinlichkeit für Hardwarefehler)? Hive 58
56 Lessons learned Hadoop nicht nur für Big Data Auch Small/Medium Data auf Small/Medium Clusters, wenn Parallelisierung möglich Berechnung beschleunigt werden soll 59
57 60 Fragen?
Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes
Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)
MehrNeue Ansätze der Softwarequalitätssicherung
Neue Ansätze der Softwarequalitätssicherung Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik
MehrJune 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration
June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen
MehrMapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen
MapReduce Johann Volz IPD Snelting, Lehrstuhl Programmierparadigmen KIT Universität des Landes Baden-Württemberg und nationales Großforschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Wozu MapReduce?
MehrPreisvergleich ProfitBricks - Amazon Web Services M3 Instanz
Preisvergleich - Amazon Web Services M3 Instanz Stand Preisliste : 10.04.2014 www.profitbricks.de Stand Preisliste : 10.04.2014 Hotline: 0800 22 44 66 8 product@profitbricks.com Vorwort Preisvergleiche
MehrBig Data Anwendungen Chancen und Risiken
Big Data Anwendungen Chancen und Risiken Dr. Kurt Stockinger Studienleiter Data Science, Dozent für Informatik Zürcher Hochschule für Angewandte Wissenschaften Big Data Workshop Squeezing more out of Data
MehrInstallation SQL- Server 2012 Single Node
Installation SQL- Server 2012 Single Node Dies ist eine Installationsanleitung für den neuen SQL Server 2012. Es beschreibt eine Single Node Installation auf einem virtuellen Windows Server 2008 R2 mit
Mehr20.01.2015 Fabian Grimme und Tino Krüger 1 INDREX. Evaluierung von H2O. Enterprise Data Management Beuth Hochschule für Technik
20.01.2015 Fabian Grimme und Tino Krüger 1 INDREX Evaluierung von H2O Enterprise Data Management Beuth Hochschule für Technik 20.01.2015 Fabian Grimme und Tino Krüger 2 INDREX im Überblick In-Database
MehrBeratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting
Beratung Results, no Excuses. Consulting Lösungen Grown from Experience. Ventum Consulting SQL auf Hadoop Oliver Gehlert 1 Ventum Consulting Daten und Fakten Results, no excuses Fachwissen Branchenkenntnis
MehrLokale Installation von DotNetNuke 4 ohne IIS
Lokale Installation von DotNetNuke 4 ohne IIS ITM GmbH Wankelstr. 14 70563 Stuttgart http://www.itm-consulting.de Benjamin Hermann hermann@itm-consulting.de 12.12.2006 Agenda Benötigte Komponenten Installation
MehrEinführung in PHP. (mit Aufgaben)
Einführung in PHP (mit Aufgaben) Dynamische Inhalte mit PHP? 2 Aus der Wikipedia (verkürzt): PHP wird auf etwa 244 Millionen Websites eingesetzt (Stand: Januar 2013) und wird auf etwa 80 % aller Websites
MehrStep by Step Webserver unter Windows Server 2003. von Christian Bartl
Step by Step Webserver unter Windows Server 2003 von Webserver unter Windows Server 2003 Um den WWW-Server-Dienst IIS (Internet Information Service) zu nutzen muss dieser zunächst installiert werden (wird
MehrHadoop. Simon Prewo. Simon Prewo
Hadoop Simon Prewo Simon Prewo 1 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert
MehrVermeiden Sie es sich bei einer deutlich erfahreneren Person "dranzuhängen", Sie sind persönlich verantwortlich für Ihren Lernerfolg.
1 2 3 4 Vermeiden Sie es sich bei einer deutlich erfahreneren Person "dranzuhängen", Sie sind persönlich verantwortlich für Ihren Lernerfolg. Gerade beim Einstig in der Programmierung muss kontinuierlich
MehrGeneralisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE
Institut für Kartographie und Geoinformatik Leibniz Universität Hannover Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Frank Thiemann, Thomas Globig Frank.Thiemann@ikg.uni-hannover.de
Mehr2. Braunschweiger Linux-Tage. Vortrag über RAID. von. Thomas King. http://www.t-king.de/linux/raid1.html. 2. Braunschweiger Linux-Tage Seite 1/16
2. Braunschweiger Linux-Tage Vortrag über RAID von Thomas King http://www.t-king.de/linux/raid1.html 2. Braunschweiger Linux-Tage Seite 1/16 Übersicht: 1. Was ist RAID? 1.1. Wo wurde RAID entwickelt? 1.2.
MehrAbacus Formula Compiler (AFC)
Abacus Formula Compiler (AFC) Alle kennen Excel - jetzt sogar Ihre Java- Applikation! Bringt Tabellenkalkulationen auf die JVM http://formulacompiler.org/ Peter Arrenbrecht für Abacus Research AG http://abacus.ch/
MehrBig Data im Call Center: Kundenbindung verbessern, Antwortzeiten verkürzen, Kosten reduzieren! 25.02.2016 Sascha Bäcker Dr.
Big Data im Call Center: Kundenbindung verbessern, Antwortzeiten verkürzen, Kosten reduzieren! 25.02.2016 Sascha Bäcker Dr. Florian Johannsen AGENDA 1. Big Data Projekt der freenet Group Dr. Florian Johannsen
MehrMöglichkeiten für bestehende Systeme
Möglichkeiten für bestehende Systeme Marko Filler Bitterfeld, 27.08.2015 2015 GISA GmbH Leipziger Chaussee 191 a 06112 Halle (Saale) www.gisa.de Agenda Gegenüberstellung Data Warehouse Big Data Einsatz-
MehrFachbericht zum Thema: Anforderungen an ein Datenbanksystem
Fachbericht zum Thema: Anforderungen an ein Datenbanksystem von André Franken 1 Inhaltsverzeichnis 1 Inhaltsverzeichnis 1 2 Einführung 2 2.1 Gründe für den Einsatz von DB-Systemen 2 2.2 Definition: Datenbank
MehrAlbert HAYR Linux, IT and Open Source Expert and Solution Architect. Open Source professionell einsetzen
Open Source professionell einsetzen 1 Mein Background Ich bin überzeugt von Open Source. Ich verwende fast nur Open Source privat und beruflich. Ich arbeite seit mehr als 10 Jahren mit Linux und Open Source.
MehrSolarWinds Engineer s Toolset
SolarWinds Engineer s Toolset Monitoring Tools Das Engineer s Toolset ist eine Sammlung von 49 wertvoller und sinnvoller Netzwerktools. Die Nr. 1 Suite für jeden Administrator! Die Schwerpunkte liegen
MehrWo finde ich die Software? - Jedem ProLiant Server liegt eine Management CD bei. - Über die Internetseite http://www.hp.
Erfahrungen mit dem Insight Manager von HP Dipl. Ing. Elektrotechnik (FH) - Automatisierungs- / Regelungstechnik DV-Spezialist Landesbank Rheinland-Pfalz Abteilung 2-351 Große Bleiche 54-56 55098 Mainz
MehrProf. Dr.-Ing. Rainer Schmidt 1
Prof. Dr.-Ing. Rainer Schmidt 1 Business Analytics und Big Data sind Thema vieler Veröffentlichungen. Big Data wird immer häufiger bei Google als Suchbegriff verwendet. Prof. Dr.-Ing. Rainer Schmidt 2
MehrInformationsblatt Induktionsbeweis
Sommer 015 Informationsblatt Induktionsbeweis 31. März 015 Motivation Die vollständige Induktion ist ein wichtiges Beweisverfahren in der Informatik. Sie wird häufig dazu gebraucht, um mathematische Formeln
MehrACHTUNG: Es können gpx-dateien und mit dem GP7 aufgezeichnete trc-dateien umgewandelt werden.
Track in Route umwandeln ACHTUNG: Ein Track kann nur dann in eine Route umgewandelt werden, wenn der Track auf Wegen gefahren wurde. Ein Querfeldein-Track kann nicht in eine Route umgewandelt werden, da
MehrMapReduce und Datenbanken Thema 15: Strom bzw. Onlineverarbeitung mit MapReduce
MapReduce Jan Kristof Nidzwetzki MapReduce 1 / 17 Übersicht 1 Begriffe 2 Verschiedene Arbeiten 3 Ziele 4 DEDUCE: at the intersection of MapReduce and stream processing Beispiel 5 Beyond online aggregation:
MehrComplex Hosting. Whitepaper. Autor.: Monika Olschewski. Version: 1.0 Erstellt am: 14.07.2010. ADACOR Hosting GmbH
Complex Hosting Autor.: Monika Olschewski Whitepaper Version: 1.0 Erstellt am: 14.07.2010 ADACOR Hosting GmbH Kaiserleistrasse 51 63067 Offenbach am Main info@adacor.com www.adacor.com Complex Hosting
MehrHinweise zum Update des KPP Auswahltools (Netzwerkinstallation) auf Version 7.2
Hinweise zum Update des KPP Auswahltools (Netzwerkinstallation) auf Version 7.2 Installationsvoraussetzungen: Die Update-Routine benötigt das DotNet-Framework 4.0 Client Profile, das normalerweise über
MehrBig Data Informationen neu gelebt
Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen
MehrProgrammieren Lernen mit BYOB. Gerald Futschek 5. November 2012
Programmieren Lernen mit BYOB Informatiktag 2012 Gerald Futschek 5. November 2012 Erste Programmier Schritte in der Schule Sehr viele verschiedene Dinge zu lernen: Syntax und Semantik der Befehle, Algorithmen,
Mehr3 Windows als Storage-Zentrale
3 Windows als Storage-Zentrale Windows als zentrale Datenspeichereinheit punktet gegenüber anderen Lösungen vor allem bei der Integration in vorhandene Unternehmensnetze sowie bei der Administration. Dabei
Mehrmywms Vorlage Seite 1/5 mywms Datenhaltung von Haug Bürger
mywms Vorlage Seite 1/5 mywms Datenhaltung von Haug Bürger Grundlegendes Oracle9i PostgreSQL Prevayler Memory mywms bietet umfangreiche Konfigurationsmöglichkeiten um die Daten dauerhaft zu speichern.
MehrMATCHING VON PRODUKTDATEN IN DER CLOUD
MATCHING VON PRODUKTDATEN IN DER CLOUD Dr. Andreas Thor Universität Leipzig 15.12.2011 Web Data Integration Workshop 2011 Cloud Computing 2 Cloud computing is using the internet to access someone else's
MehrDrahtlosnetzwerke automatisch konfigurieren mit WCN (Windows Connect Now) unter Windows Vista
Drahtlosnetzwerke automatisch konfigurieren mit WCN (Windows Connect Now) unter Windows Vista Windows Connect Now (WCN) erlaubt eine einfache Einrichtung eines WLAN Netzwerkes wenn der Router oder Access
Mehr1 Was ist das Mediencenter?
1 Was ist das Mediencenter? Das Mediencenter ist Ihr kostenloser 25 GB Online-Speicher. Mit dem Mediencenter erleben Sie überall Ihre Fotos, Musik und Videos und teilen Ihre schönsten Momente mit Familie
MehrInhalt. 1 Einleitung AUTOMATISCHE DATENSICHERUNG AUF EINEN CLOUDSPEICHER
AUTOMATISCHE DATENSICHERUNG AUF EINEN CLOUDSPEICHER Inhalt 1 Einleitung... 1 2 Einrichtung der Aufgabe für die automatische Sicherung... 2 2.1 Die Aufgabenplanung... 2 2.2 Der erste Testlauf... 9 3 Problembehebung...
Mehrbackupmyfilestousb ==> Datensicherung auf USB Festplatte
Diese Präsentation zeigt Ihnen den Vergleich von mit anderen Datensicherungsverfahren. Backupmyfilestousb ist eine Software für Datensicherung, mit der Sie Ihre Daten täglich oder mehrmals täglich auf
MehrMetaQuotes Empfehlungen zum Gebrauch von
MetaQuotes Empfehlungen zum Gebrauch von MetaTrader 4 auf Mac OS Auch wenn viele kommerzielle Angebote im Internet existieren, so hat sich MetaQuotes, der Entwickler von MetaTrader 4, dazu entschieden
MehrEr musste so eingerichtet werden, dass das D-Laufwerk auf das E-Laufwerk gespiegelt
Inhaltsverzeichnis Aufgabe... 1 Allgemein... 1 Active Directory... 1 Konfiguration... 2 Benutzer erstellen... 3 Eigenes Verzeichnis erstellen... 3 Benutzerkonto erstellen... 3 Profil einrichten... 5 Berechtigungen
MehrApache HBase. A BigTable Column Store on top of Hadoop
Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,
MehrTevalo Handbuch v 1.1 vom 10.11.2011
Tevalo Handbuch v 1.1 vom 10.11.2011 Inhalt Registrierung... 3 Kennwort vergessen... 3 Startseite nach dem Login... 4 Umfrage erstellen... 4 Fragebogen Vorschau... 7 Umfrage fertigstellen... 7 Öffentliche
MehrApache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org
Apache Lucene Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org 1 Apache Apache Software Foundation Software free of charge Apache Software
MehrAgile Vorgehensmodelle in der Softwareentwicklung: Scrum
C A R L V O N O S S I E T Z K Y Agile Vorgehensmodelle in der Softwareentwicklung: Scrum Johannes Diemke Vortrag im Rahmen der Projektgruppe Oldenburger Robot Soccer Team im Wintersemester 2009/2010 Was
MehrMSI TECHNOLOGY. RaidXpert AMD. Anleitung zur Installation und Konfiguration MSI
MSI TECHNOLOGY GMBH RaidXpert AMD Anleitung zur Installation und Konfiguration MSI RaidXpert AMD Inhalt 1.0 Voreinstellungen für ein Raid System im BIOS... 3 2.0 Einstellungen für ein Raid System im Utility...
MehrHow to do? Projekte - Zeiterfassung
How to do? Projekte - Zeiterfassung Stand: Version 4.0.1, 18.03.2009 1. EINLEITUNG...3 2. PROJEKTE UND STAMMDATEN...4 2.1 Projekte... 4 2.2 Projektmitarbeiter... 5 2.3 Tätigkeiten... 6 2.4 Unterprojekte...
MehrSQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh
SQL on Hadoop für praktikables BI auf Big Data! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh War nicht BigData das gleiche NoSQL? 2 Wie viele SQL Lösungen für Hadoop gibt es mittlerweile? 3 ! No SQL!?
MehrAdminer: Installationsanleitung
Adminer: Installationsanleitung phpmyadmin ist bei uns mit dem Kundenmenüpasswort geschützt. Wer einer dritten Person Zugriff auf die Datenbankverwaltung, aber nicht auf das Kundenmenü geben möchte, kann
Mehr4D Server v12 64-bit Version BETA VERSION
4D Server v12 64-bit Version BETA VERSION 4D Server v12 unterstützt jetzt das Windows 64-bit Betriebssystem. Hauptvorteil der 64-bit Technologie ist die rundum verbesserte Performance der Anwendungen und
MehrKeine Disketteneinreichung ab 1. Februar 2014
Keine Disketteneinreichung ab 1. Februar 2014 Sehr geehrte Damen und Herren, die nationalen Lastschrift- und Überweisungsverfahren werden ab 1. Februar 2014 zu Gunsten der SEPA-Zahlungsaufträge eingestellt.
MehrProperty-Graph-Databases. 20 Jahre praktische Erfahrung
Property-Graph-Databases 20 Jahre praktische Erfahrung Agenda Was sind die Bausteine der Property- Graph-Database Aspekte der Architektur und der Implementierung Möglichkeiten, Vor- und Nachteile von PG-
MehrSharePoint Demonstration
SharePoint Demonstration Was zeigt die Demonstration? Diese Demonstration soll den modernen Zugriff auf Daten und Informationen veranschaulichen und zeigen welche Vorteile sich dadurch in der Zusammenarbeit
MehrLeichte-Sprache-Bilder
Leichte-Sprache-Bilder Reinhild Kassing Information - So geht es 1. Bilder gucken 2. anmelden für Probe-Bilder 3. Bilder bestellen 4. Rechnung bezahlen 5. Bilder runterladen 6. neue Bilder vorschlagen
MehrFTP Tutorial. Das File Transfer Protocol dient dem Webmaster dazu eigene Dateien wie z.b. die geschriebene Webseite auf den Webserver zu laden.
FTP Tutorial Das File Transfer Protocol dient dem Webmaster dazu eigene Dateien wie z.b. die geschriebene Webseite auf den Webserver zu laden. Um eine solche Verbindung aufzubauen werden einerseits die
MehrIntelliRestore Seedload und Notfallwiederherstellung
IntelliRestore Datensicherung IntelliRestore Seedload und Notfallwiederherstellung Daten. Sichern. Online Vorwort Auch größere Datenmengen lassen sich für gewöhnlich schnell über den IntelliRestore SoftwareClient
MehrFormular»Fragenkatalog BIM-Server«
Formular»Fragenkatalog BIM-Server«Um Ihnen so schnell wie möglich zu helfen, benötigen wir Ihre Mithilfe. Nur Sie vor Ort kennen Ihr Problem, und Ihre Installationsumgebung. Bitte füllen Sie dieses Dokument
MehrJ.6 Programmierung eingebetteter Systeme
Vorteile von C in eingebetteten Systemen: leichter Zugriff auf die Hardware gute Kontrolle über die verwendeten Ressourcen (Speicher, CPU) Probleme mit C: stark eingeschränkte Laufzeitüberprüfungen ISO
MehrALEMÃO. Text 1. Lernen, lernen, lernen
ALEMÃO Text 1 Lernen, lernen, lernen Der Mai ist für viele deutsche Jugendliche keine schöne Zeit. Denn dann müssen sie in vielen Bundesländern die Abiturprüfungen schreiben. Das heiβt: lernen, lernen,
MehrSoftwaretests in Visual Studio 2010 Ultimate Vergleich mit Java-Testwerkzeugen. Alexander Schunk Marcel Teuber Henry Trobisch
Softwaretests in Visual Studio 2010 Ultimate Vergleich mit Java-Testwerkzeugen Alexander Schunk Henry Trobisch Inhalt 1. Vergleich der Unit-Tests... 2 2. Vergleich der Codeabdeckungs-Tests... 2 3. Vergleich
MehrTTS - TinyTimeSystem. Unterrichtsprojekt BIBI
TTS - TinyTimeSystem Unterrichtsprojekt BIBI Mathias Metzler, Philipp Winder, Viktor Sohm 28.01.2008 TinyTimeSystem Inhaltsverzeichnis Problemstellung... 2 Lösungsvorschlag... 2 Punkte die unser Tool erfüllen
MehrHadoop Demo HDFS, Pig & Hive in Action. Oracle DWH Konferenz 2014 Carsten Herbe
Hadoop Demo HDFS, Pig & Hive in Action Oracle DWH Konferenz 2014 Carsten Herbe Wir wollen eine semi-strukturierte Textdatei in Hadoop verarbeiten und so aufbereiten, dass man die Daten relational speichern
Mehrschnell und portofrei erhältlich bei beck-shop.de DIE FACHBUCHHANDLUNG mitp/bhv
Roboter programmieren mit NXC für Lego Mindstorms NXT 1. Auflage Roboter programmieren mit NXC für Lego Mindstorms NXT schnell und portofrei erhältlich bei beck-shop.de DIE FACHBUCHHANDLUNG mitp/bhv Verlag
MehrEINSATZ VON MICROSOFT TERMINAL-SERVICES ODER CITRIX METAFRAME
ALLGEMEINES Für die Mehrplatzinstallation von PLATO wird der Einsatz eines dedizierten Servers und ein funktionierendes Netzwerk mit Vollzugriff auf den PLATO-Ordner (Empfehlung: mit separatem, logischem
MehrGrundbegriffe der Informatik
Grundbegriffe der Informatik Einheit 15: Reguläre Ausdrücke und rechtslineare Grammatiken Thomas Worsch Universität Karlsruhe, Fakultät für Informatik Wintersemester 2008/2009 1/25 Was kann man mit endlichen
MehrBinäre Bäume. 1. Allgemeines. 2. Funktionsweise. 2.1 Eintragen
Binäre Bäume 1. Allgemeines Binäre Bäume werden grundsätzlich verwendet, um Zahlen der Größe nach, oder Wörter dem Alphabet nach zu sortieren. Dem einfacheren Verständnis zu Liebe werde ich mich hier besonders
MehrHadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen
Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Brownbag am Freitag, den 26.07.2013 Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und
MehrAnleitung auf SEITE 2
Anleitung für den Zugang zum WLAN der UdK Berlin mit den SSIDs UdK Berlin (unsecure) unter Windows 7 Übersicht über die verschiedenen W-LANs an der UdK Berlin: W-LAN Vorteil Nachteil - Nutzerdaten werden
MehrDokumentation QHMI Plug-In Manager
Dokumentation QHMI Plug-In Manager Version 2.0 Indi.Systems GmbH Universitätsallee 23 D-28359 Bremen info@indi-systems.de Tel + 49 421-989703-30 Fax + 49 421-989703-39 Inhaltsverzeichnis Inhaltsverzeichnis...
MehrExcel beschleunigen mit dem mit Windows HPC Server 2008 R2
Excel beschleunigen mit dem mit Windows HPC Server 2008 R2 Steffen Krause Technical Evangelist Microsoft Deutschland GmbH http://blogs.technet.com/steffenk Haftungsausschluss Microsoft kann für die Richtigkeit
MehrDatenbanken auf Sybase SQL-Anywhere
Office Manager Enterprise oder Client/Server (ab Version 6.0.3.170) Datenbanken auf Sybase SQL-Anywhere A. Office Manager-Installationen Falls die Office Manager Enterprise- oder Client/Server-Version
MehrEinrichtung des Cisco VPN Clients (IPSEC) in Windows7
Einrichtung des Cisco VPN Clients (IPSEC) in Windows7 Diese Verbindung muss einmalig eingerichtet werden und wird benötigt, um den Zugriff vom privaten Rechner oder der Workstation im Home Office über
MehrAlgorithmen mit Python
Algorithmen mit Python Vorbesprechung zum Proseminar im Sommersemester 2009 http://www.python.org 1 Sie lernen in DAP Java und C/C++: 80% Syntax, 20% Algorithmen-Design Idee Schon ein einfaches Hello World
MehrKryptographie in der Moderne
Kryptographie in der Moderne Sicherheit im Internet Kryptographie in der Moderne Kryptographie ist die Lehre der Datensicherheit im Allgemeinen Verschlüsselung nur noch kleiner Bestandteil der Kryptographie
MehrHardware - Software - Net zwerke
Komprimierung der Ortho-Daten als ZIP-Archiv Dieses Dokument beschreibt die Archivierung aller Ortho-Daten als ZIP-Archiv über die MS- DOS-Eingabe-Aufforderung. Diese Information kann Ihnen zum Sichern
Mehr25 Import der Beispiele
25 Import der Beispiele Versuch es nicht mit Gewalt. Nimm einfach einen größeren Hammer (Murphy s Law) 25.1 Einleitung Alle Beispielprogramme dieses Buchs funktionieren mit jeder Java-konformen Entwicklungsumgebung.
MehrSuche schlecht beschriftete Bilder mit Eigenen Abfragen
Suche schlecht beschriftete Bilder mit Eigenen Abfragen Ist die Bilderdatenbank über einen längeren Zeitraum in Benutzung, so steigt die Wahrscheinlichkeit für schlecht beschriftete Bilder 1. Insbesondere
Mehr.htaccess HOWTO. zum Schutz von Dateien und Verzeichnissen mittels Passwortabfrage
.htaccess HOWTO zum Schutz von Dateien und Verzeichnissen mittels Passwortabfrage Stand: 21.06.2015 Inhaltsverzeichnis 1. Vorwort...3 2. Verwendung...4 2.1 Allgemeines...4 2.1 Das Aussehen der.htaccess
MehrInstallation der SAS Foundation Software auf Windows
Installation der SAS Foundation Software auf Windows Der installierende Benutzer unter Windows muss Mitglied der lokalen Gruppe Administratoren / Administrators sein und damit das Recht besitzen, Software
MehrEXASOL Anwendertreffen 2012
EXASOL Anwendertreffen 2012 EXAPowerlytics Feature-Architektur EXAPowerlytics In-Database Analytics Map / Reduce Algorithmen Skalare Fkt. Aggregats Fkt. Analytische Fkt. Hadoop Anbindung R LUA Python 2
MehrMediumwechsel - VR-NetWorld Software
Mediumwechsel - VR-NetWorld Software Die personalisierte VR-NetWorld-Card wird mit einem festen Laufzeitende ausgeliefert. Am Ende der Laufzeit müssen Sie die bestehende VR-NetWorld-Card gegen eine neue
MehrFacharbeit Informatik. Thema:
Facharbeit Informatik Thema: Rechneraufbau Mit Locad 2002 1 Inhaltsangabe Inhalt: Seite: 1. Einleitung 3 2. Inbetriebnahme der Schaltung 3 3. Eingabe 4 4. CPU 5 5. RAM/HDD 8 6. Ausgabe 10 7. Auf einer
Mehr2.1 Erstellung einer Gutschrift über den vollen Rechnungsbetrag
1. Einführung Manchmal ist es notwendig, dem Kunden eine Gutschrift zu einer bestimmten Rechnung, über einzelne Positionen oder auch völlig frei von einer Basis-Rechnung zu erstellen. Die verschiedenen
MehrDieser Ablauf soll eine Hilfe für die tägliche Arbeit mit der SMS Bestätigung im Millennium darstellen.
Millennium SMS Service Schnellübersicht Seite 1 von 6 1. Tägliche Arbeiten mit der SMS Bestätigung Dieser Ablauf soll eine Hilfe für die tägliche Arbeit mit der SMS Bestätigung im Millennium darstellen.
MehrJava Entwicklung für Embedded Devices Best & Worst Practices!
Java Entwicklung für Embedded Devices! George Mesesan Microdoc GmbH Natürlich können wir dieses neue log4j Bundle auch auf dem Device verwenden. Ist doch alles Java. Java Micro Edition (ME) Java Standard
MehrInstallationsanleitung WSCAD Elektrohandwerk
Firmenzentrale Dieselstraße 4 85232 Bergkirchen 08131 / 3627-98 08131 / 3627 52 sales@wscad.com Niederlassung West (Akademie) Lehnstraße 17 52146 Würselen 02405 / 450 798-0 02405 / 450 798-99 Installationsanleitung
MehrBegreifen Cookies. Inhalt. Cookie Grundlagen... 2. Ihre Privatsphäre... 3. MS: Internet Explorer... 4. Google: Chrome... 5. Mozilla: Firefox...
Begreifen Cookies Inhalt Cookie Grundlagen... 2 Ihre Privatsphäre... 3 MS: Internet Explorer... 4 Google: Chrome... 5 Mozilla: Firefox... 6 Apple: Safari... 7 Opera... 8 2 Cookie Grundlagen Was sind Cookies?
MehrAnleitung zum Download der aktuellsten GreenStar Software für Original GreenStar System (Stand: August 2005)
Anleitung zum Download der aktuellsten GreenStar Software für Original GreenStar System (Stand: August 2005) Teil 1: Download der Software von der Webseite zum Rechner Seite 2 Teil 2: Installation der
MehrKurzanleitung zum Einrichten des fmail Outlook 2007 - Addin
Kurzanleitung zum Einrichten des fmail Outlook 2007 - Addin Um sicher und bequem Nachrichten mit Outlook zu verwalten, muss der E-Mail Client passend zu unseren E-Mail Einstellungen konfiguriert sein.
Mehrmobilepoi 0.91 Demo Version Anleitung Das Software Studio Christian Efinger Erstellt am 21. Oktober 2005
Das Software Studio Christian Efinger mobilepoi 0.91 Demo Version Anleitung Erstellt am 21. Oktober 2005 Kontakt: Das Software Studio Christian Efinger ce@efinger-online.de Inhalt 1. Einführung... 3 2.
MehrCode wiederverwenden: Objektorientierte Programmierung (OOP) sinnvoll nutzen Roland Wagner Automatisierungstreff IT & Automation 2015
Code wiederverwenden: Objektorientierte Programmierung (OOP) sinnvoll nutzen Roland Wagner Automatisierungstreff IT & Automation 2015 CODESYS a trademark of 3S-Smart Software Solutions GmbH Agenda 1 Warum
MehrDateisysteme und Datenverwaltung in der Cloud
Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1
MehrDokumentation von Ük Modul 302
Dokumentation von Ük Modul 302 Von Nicolas Kull Seite 1/ Inhaltsverzeichnis Dokumentation von Ük Modul 302... 1 Inhaltsverzeichnis... 2 Abbildungsverzeichnis... 3 Typographie (Layout)... 4 Schrift... 4
MehrEinfügen von Bildern innerhalb eines Beitrages
Version 1.2 Einfügen von Bildern innerhalb eines Beitrages Um eigene Bilder ins Forum einzufügen, gibt es zwei Möglichkeiten. 1.) Ein Bild vom eigenem PC wird auf den Webspace von Baue-die-Bismarck.de
Mehr