Datenaustausch Hadoop & Oracle DB. DOAG Konferenz 2013 Nürnberg, November 2013 Carsten Herbe metafinanz Informationssysteme GmbH

Größe: px
Ab Seite anzeigen:

Download "Datenaustausch Hadoop & Oracle DB. DOAG Konferenz 2013 Nürnberg, 19.-21. November 2013 Carsten Herbe metafinanz Informationssysteme GmbH"

Transkript

1 DOAG Konferenz 2013 Nürnberg, November 2013 Carsten Herbe metafinanz Informationssysteme GmbH

2 Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT. Business Intelligence Themenbereiche Über metafinanz Enterprise DWH Data Modeling & Integration & ETL Architecture: DWH & Data Marts Hadoop & Columnar DBs Data Quality & Data Masking Insurance Reporting Standard & Adhoc Reporting Dashboarding BI Office Integration Mobile BI & InMemory SAS Trainings for Business Analysts BI & Risk Customer Intelligence Customer based Analytics & Processes Churn Prediction and Management Insurance Analytics Segmentation and Clustering Predictive Models, Data Mining & Statistics Scorecarding Social Media Analytics Fraud & AML Risk Solvency II (Standard & internal Model) Regulatory Reporting Compliance Risk Management metafinanz gehört seit 23 Jahren zu den erfahrensten Software- und Beratungshäusern mit Fokus auf die Versicherungsbranche. Mit einem Jahresumsatz von 250 Mio. EUR und über Mitarbeitern entwickeln wir für unsere Kunden intelligente zukunftsorientierte Lösungen für komplexe Herausforderungen Carsten Herbe Ihr Ansprechpartner Head of Data Warehousing Mehr als 8 Jahre DWH-Erfahrung Oracle OWB Expertise Certified Hadoop Developer mail phone Seite 2

3 Inhalt 1 Einführung 2 Exkurs Hive 3 Sqoop 4 Sqoop 2 5 Oracle SQL Connector for HDFS 6 Oracle Loader for Hadoop 7 Fazit Seite 3

4 1 Einführung

5 Hadoop besteht aus dem verteilten Filesystem HFDS und dem Java Framework MapReduce zur einfachen Programmierung von parallelen Jobs zur Datenverarbeitung. Was ist Hadoop? = HDFS + MapReduce = Seite 5

6 Die Apache Software hat sich mittlerweile als Quasi-Standard zur Speicherung und Verarbeitung von Big Data etabliert. Warum Hadoop? Open Source - Kommerzielle Distributionen erhältlich (Cloudera, Hortonworks, ). Verwaltung riesiger Datenmengen von strukturierten und unstrukturierten Daten Linear skarlierbarer Cluster (Speicher & Performance) von Standard-Servern Der Code wird zu den Daten auf die entsprechenden Knoten verteilt WORM (write once read many) Ein großes Ökosystem an Tools rund um Hadoop ensteht (Graphen, SQL, ) Seite 6

7 Landing area Oracle DB als Data Warehouse und Hadoop als Big Data Store sind nicht isoliert zu sehen sondern ergänzen sich. Aus der Verknüpfung beider Welten entstehen Mehrwerte. Beispiel Big Data Architektur OLTP DWH OLAP Datamart APPs Reporting Applications Hadoop Analytics Documents, APPs files, Unstructured data Machine generated data Enhanced area DB area Data mining In memory BI In memory BI Analytics Data mining

8 Um Daten zwischen Hadoop und Oracle auszutauschen bieten sich sqoop (Open Source) und die Oracle Konnektoren (kommerziell) an. Hadoop & RDBMS (Oracle) Seite 8

9 2 Exkurs Hive

10 Mit HiveQL (einem SQL Dialekt) werden die Queries geschrieben. Die Daten selbst liegen in HDFS, die Metadaten in einer relationalen Datenbank. Hive = Metadaten (Tabellen) + HiveQL (SQL) Strukturierte Daten in HDFS sollen in Hive gespeichert werden, damit Metadaten vorhanden sind. Seite 10

11 Die Daten selbst liegen in HDFS, die Metadaten in einer relationalen Datenbank. Der Driver übersetzt HiveQL in MapReduce Jobs. Hive Architektur Client Server Hadoop HiveQL (SQL) HiveServer Job Tracker Relationale DB: metastore /... /user/hive/warehouse Seite 11

12 Bei Managed Tables werden Daten und Metadaten von Hive verwaltet, bei externen Tabellen nur die Metadaten. Managed & External Tables CREATE TABLE my_tab( stations_id STRING, stations_hoehe STRING, geograph_breite FLOAT, geograph_laenge FLOAT, von FLOAT, bis FLOAT, stationsname STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\;' STORED AS TEXTFILE; CREATE EXTERNAL TABLE my_ext( stations_id STRING, stations_hoehe STRING, geograph_breite FLOAT, geograph_laenge FLOAT, von FLOAT, bis FLOAT, stationsname STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\;' LOCATION '/data/my_location'; Seite 12

13 Hive ist keine relationale Datenbank. Es gelten die gleichen Einschränkungen wie für das direkte Arbeiten mit Hadoop und HDFS. INSERT und SELECT werden in Teilen unterstützt. HiveQL: SQL Funktionalität INSERT UPDATE DELETE MERGE SELECT INSERT INTO TABLE targettable SELECT... FROM sourcetable; SELECT stations_id, sum(sonnenscheindauer), min(mess_datum), max(mess_datum) FROM weather_data WHERE year(mess_datum) = 2007 GROUP BY stations_id HAVING sum(sonnenscheindauer) > 100 ; Seite 13

14 Auch wenn man strukturierte Daten in Hadoop speichern kann Hadoop ist keine relationale Datenbank. Hadoop ist keine Datenbank Hadoop Verarbeitung un- oder teilstrukturierter Daten Batchverarbeitung Ad-Hoc-Analyse gesamter Daten im Batch-Modus Write Once Read Many Geringe Datenintegrität Linear erweiterbar Dynamische Datenstruktur Oracle Verarbeitung strukturierter Daten Batch- und interaktive Verarbeitung Selektierung oder Aktualisierung bestimmter Datenmengen Write Read Update Many Times Hohe Datenintegrität Nicht linear erweiterbar Statische Datenstruktur Seite 14

15 3 Sqoop

16 Sqoop ist von der Architektur her in erster Linie ein Client-Tool. Der Metastore (Jobs) kann allerdings auch geteilt werden, JDBC Treiber und DB-Verbindungsdetails liegen lokal. Sqoop Architektur Sqoop client 1 JDBC driver connections reads metadata Relational Database Document Based Systems metastore jobs submits job Hadoop Sqoop client 2 Map Job JDBC driver connections delimited text metastore jobs Sqoop Server metastore jobs Hive Seite 16

17 Die JDBC Treiber sind nicht Teil von Sqoop und müssen extra installiert werden. Sqoop Connectors OraOOP Connector Beste Performance Entwickelt von Quest Software und Cloudera Muss separat installiert werden Built-in Oracle Connector Zweitbeste Wahl falls OraOOP nicht passt Teil von Sqoop Generic JDBC Connector Letzter Ausweg Teil von Sqoop Seite 17

18 Sqoop bietet zahlreiche Optionen auf der Kommandozeile. Syntax $ sqoop [help] tool [options] Tools import import-all-tables list-tables export Options --connect --username --password --verbose -P -conf <Configfile> Hadoop und Datenbanken Seite 18

19 Die Imports erfolgen als Map-Only Jobs, pro Mapper (Anzahl ist konfigurierbar) gibt es eine Verbindung zur Datenbank. Import nach HDFS (2) Submit Map-Only Job Sqoop Import (1) Gather Metadata Sqoop Job Map HDFS Storage Map Table Map Map Hadoop Cluster Seite 19

20 Einfache Beispiele für die Verwendung von Sqoop mit einer Oracle Datenbank. Beispiele: Import aus Oracle nach HDFS $ sqoop import --connect --username scott --table SCOTT.EMP --where 'rownum=1' --hive-import Hadoop und Datenbanken Seite 20

21 Der Export aus HDFS erfolgt als Map-Only Jobs, pro Mapper (Anzahl ist konfigurierbar) gibt es eine Verbindung zur Datenbank. Export aus HDFS (2) Submit Map-Only Job Sqoop Export (1) Gather Metadata Sqoop Job Map HDFS Storage Map TABLE Map Map Hadoop Cluster Seite 21

22 Einfache Beispiele für die Verwendung von Sqoop mit einer Oracle Datenbank. Beispiele: Export von HDFS nach Oracle Insert aller Datensätze $ sqoop export --connect --table SCOTT.EMP --export-dir /hdfs/transfer --username scott --fields-terminated-by '\t' --lines-terminated-by '\n' Insert neuer Sätze und Update vorhandener Sätze $ sqoop export --connect --table SCOTT.EMP_SQOOP --username scott -P --export-dir /user/mfhadoop/scott.emp --update-mode allowinsert --update-key EMPNO --fields-terminated-by '\t' --lines-terminated-by '\n' Hadoop und Datenbanken Seite 22

23 4 Sqoop 2

24 Sqoop2 hat eine Client-Server-Architektur. JDBC-Treiber werden auf dem Server installiert. DB-Connections können zentral definiert und geteilt werden. Sqoop2 Architektur Sqoop client 1 Operator CLI / WebUI Sqoop Server JDBC driver Relational Database Document Based Systems Sqoop client 2 Operator CLI / WebUI Metadata Repository connectors connections jobs Map Job Hadoop Sqoop client 3 delimited text Adminstrator CLI / WebUI Hive Seite 24

25 Bei Sqoop2 muss als erstes der Sqoop2 Server angegeben werden. Sqoop2: Server Start des Sqoop2 Clients $./bin/sqoop.sh client Setzen Sqoop2 Server > set server --host myhost --port webapp sqoop Seite 25

26 Standardmäßig ist der generische JDBC Connector verfügbar. Sqoop 2: Connectors > show connector --all 1 connector(s) to show: Connector with id 1: Name: generic-jdbc-connector Class: org.apache.sqoop.connector.jdbc.genericjdbcconnector Supported job types: [EXPORT, IMPORT]... Seite 26

27 Connections lassen sich nun für einen bestehenden Connector inklusive Passwort anlegen und später bei der Anlange von Jobs verwenden. Sqoop 2: Connection > create connection --cid 1 Creating connection for connector with id 1 Please fill following values to create new connection object Name: MyConnection Configuration configuration JDBC Driver Class: oracle.jdbc.oracledriver JDBC Connection String: Username: scott Password: ***** Seite 27

28 Connection lassen sich nun einmal inklusive Passwort anlegen und später bei der Anlange von Jobs verwenden. Sqoop 2: Job > create job --xid 1 --type import Creating job for connection with id 1 Please fill following values to create new job object Name: MyJob Database configuration Table name: SCOTT.EMP_SQOOP Table SQL statement: Table column names: Partition column name: Boundary query: Output configuration Storage type: 0 : HDFS Choose: 0 Output directory: /user/mfhadoop/sqoop2 New job was successfully created with validation status FINE and persistent id 1 Seite 28

29 Nun kann der Job gestartet werden ohne das User/Passwort spezifiziert werden muss. Laufende Jobs lassen sich überwachen und stoppen. Sqoop 2: Start, Status & Stop > submission start --jid 1 Submission details Job id: 1 Status: BOOTING Creation date: > submission status --jid 1... > submission stop --jid 1... Seite 29

30 5 Oracle SQL Connector for HDFS

31 Oracle bietet eine Reihe von Konnektoren zur Integration der Oracle Datenbank mit Apache Hadoop. Oracle Big Data Konnektoren Oracle SQL Connector for HDFS Oracle Loader for Hadoop Abfrage von Daten aus dem HDFS erfolgt mit Hilfe einer Externen Tabelle direkt in der Oracle Datenbank. Join mit Oracle Tabellen möglich Ehemals: Oracle Direct Connector for HDFS Tool zum Laden von Daten aus dem HDFS in eine Oracle Datenbank. Unterstützt Datapump Format => Performantes Laden Oracle R Connector for Hadoop Oracle Data Integrator Application Adapter for Hadoop Package im statistischen Open-Source R Framework. Mapper und Reducer Funktionen können in R erstellt und ausgeführt werden. Hadoop Integration in dem ODI Nutzt Hadoop Loader Generiert optimierten HiveQL Code, der dann als MapReduce Job umgesetzt wird Erfordert ODI Lizenz Seite 31

32 Über External Tables greift man mit dem SQL Connector auf Daten in HDFS zu. Der Connector muss nur auf dem DB Server installiert sein, sowie ggfs. auf einem Hive Node. Oracle SQL Connector for HDFS (OSCH) Oracle Hadoop HDFS API External Table Preprocessor HDFS_STREAM delimited text SQL location files datapump Table SQL Connector for HDFS Hive Connector Seite 32

33 Per Kommandozeilentool wird die External Table erzeugt. Die Parameter lassen sich auch in eine Konfigurationsdatei (XML) auslagen. External Table erzeugen Die Anzahl der Location Files bestimmt den Grad der Parallelität, mit dem auf hadoop jar OSCH_HOME/jlib/orahdfs.jar \ HDFS zugegriffen wird oracle.hadoop.exttab.externaltable \ -D oracle.hadoop.exttab.tablename=sales_dt_xtab \ -D oracle.hadoop.exttab.locationfilecount=4 \ -D oracle.hadoop.exttab.sourcetype=text \ -D oracle.hadoop.exttab.datapaths= "hdfs:///user/scott/olh_sales/*.dat" \ -D oracle.hadoop.exttab.columncount=10 \ -D oracle.hadoop.exttab.defaultdirectory=sales_dt_dir \ -D oracle.hadoop.connection.url= Notwendig für sourcetype=text \ -D oracle.hadoop.connection.user=scott \ -createtable sourcetype: text, datapump oder hive Alternativ: exttab.columnnames=a,b, Seite 33

34 Die External Table wird direkt in der DB angelegt. osch_bin_path ist ein DB-Directory, das auf das Installationsverzeichnis des Connectors zeigt. Erzeugte External Table CREATE TABLE hdfsuser.weather_hdfs_ext_tab ( stations_id VARCHAR2(4000 BYTE), mess_datum VARCHAR2(4000 BYTE) ) ORGANIZATION EXTERNAL ( TYPE ORACLE_LOADER DEFAULT DIRECTORY weather_ext_dir ACCESS PARAMETERS ( RECORDS DELIMITED BY 0X'0A'... PREPROCESSOR osch_bin_path:hdfs_stream FIELDS... ) LOCATION ('osch-...-1',..., 'osch-...-4') ) Seite 34

35 Die per Kommandozeilentool erzeugten Location Files zeigen auf die Dateien im HDFS. Beispiel eines Location Files <?xml version="1.0"...?> <locationfile> <header>...</header> <uri_list> <uri_list_item compressioncodec="" size="49090"> hdfs://localhost:8020/user/mfhadoop/produkt_klima_... </uri_list_item> </uri_list> </locationfile> Seite 35

36 Die External Table lässt sich dann wie gewohnt mit SQL abfragen. Pro Location wird dann ein Prozess gestartet, der über HDFS API die Daten liest (kein MapReduce). Abfrage der HDFS-Daten ALTER SESSION ENABLE PARALLEL QUERY; SELECT COUNT(*) FROM weather_hdfs_ext_tab WHERE TRIM(stations_id) = '164' ; Seite 36

37 6 Oracle Loader for Hadoop

38 In MapReduce werden die Daten ins Oracle Format konvertiert und sortiert. Dies reduziert die Last auf dem Datenbankserver im Vergleich zu dem External Table Ansatz. Oracle Loader for Hadoop (OLH) Hadoop Oracle delimited text custom format AVRO Hive Oracle Loader for Hadoop submits MAP REDUCE Offline Load Online Load JDBC OCI direct path Table datapump Seite 38

39 Der Loader wird mittels einer XML Datei konfiguriert. Die Zieltabelle muss in der Datenbank schon existieren. Loader for Hadoop Configuration File <?xml version="1.0"?> <configuration> <property><name>mapreduce.inputformat.class</name> <value>oracle.hadoop.loader.lib.input.delimitedtextinputformat</value></property> <property><name>mapred.input.dir</name> <value>/user/mfhadoop/produkt_klima_tageswerte_ txt</value></property> <property><name>oracle.hadoop.loader.input.fieldnames</name> <value>f0,f1,f2,f3,f4,f5,f6</value></property> <property><name>mapreduce.outputformat.class</name> <value>oracle.hadoop.loader.lib.output.jdbcoutputformat</value></property> <property><name>oracle.hadoop.loader.targettable</name> <value>hdfsuser.klima_tageswerte</value></property> <property><name>mapred.output.dir</name> <value>/user/oracle/loader_output</value></property> <property><name>oracle.hadoop.loader.connection.url</name> <property><name>oracle.hadoop.loader.connection.password</name> <value>mfhadoop</value></property> <property><name>oracle.hadoop.loader.connection.user</name> <value>hdfsuser</value></property> </configuration> Seite 39

40 Informationen zur Zieltabelle können im Offline Mode nicht aus der Datenbank abgefragt werden. Daher müssen diese Metadaten aus dem Oracle System exportiert werden. Offline Database Mode: Export Metadaten export CLASSPATH="$CLASSPATH:/home/oracle/connectors/oraloader h1/jlib/* java oracle.hadoop.loader.metadata.oraloadermetadata -user HDFSUSER -connection_url -table KLIMA_TAGESWERTE -output tab_metadata.xml; <Titel der Präsentation> Seite 40

41 Der Loader lässt sich dann per Kommandozeile starten. Die Daten werden dann abhängig von der Konfiguration direkt in die DB oder in ein Data Pump File in HDFS geschrieben. Ausführen des Loader for Hadoop > export OLH_HOME="/home/oracle/connectors/oraloader h1" > Export HADOOP_CLASSPATH=\ "$HADOOP_CLASSPATH:/home/oracle/connectors/oraloader h1/jlib/*" > hadoop jar $OLH_HOME/jlib/oraloader.jar \ oracle.hadoop.loader.oraloader \ -conf loader_config.xml Offline Mode Gleicher Aufruf wie im Online Mode, jedoch mit speziellen Parameter: oracle.hadoop.loader.tablemetadatafile=tab_metadata.xml mapreduce.outputformat.class=oracle.hadoop.loader.lib.ou tput.datapumpoutputformat Dies ist die soeben erzeugte Metadaten-Datei und das DataPump Format. Seite 41

42 5 Fazit

43 Austausch von strukturierten Daten zwischen HDFS und Oracle ist relativ einfach möglich. Fazit Sqoop Einzige Möglichkeiten Daten von Oracle nach HDFS zu laden Performance sollte ausgereizt werden Sqoop 2 sollte verwendet werden Oracle Big Data Connectors Bieten nur Datentransfer von HDFS nach Oracle Einsatz wenn Performance von Sqoop nicht ausreicht Sehr DB-Resourcen-schonend bei Offline Loads Komfortabler Zugriff mit External Tables (SQL Conn.) Alternativen ETL-Tools bieten teilweise Hadoop-Connectors ODI, Informatica, SAS DI, Talend, Pentaho, Seite 43

44 Wir bieten offene Trainings an sowie maßgeschneiderte Trainings für individuelle Kunden. metafinanz training Einführung Big Data mit Hadoop (1 Tag) Auch am DOAG Schulungstag! Big Data mit Hadoop (5 Tage intensiv Training) Einführung Oracle in-memory Datenbank TimesTen Data Warehousing & Dimensionale Modellierung Klassiker Oracle Warehousebuilder 11.2 New Features OWB Skripting mit OMB*Plus Oracle SQL Tuning Einführung in Oracle: Architektur, SQL und PL/SQL Mehr Information unter / All trainings are also available in English on request. Seite 44

45 Interesse? Fragen? Austausch? Treffen Sie uns an unserem Stand und gewinnen Sie eine Hadoop-Schulung!

46 Vielen Dank für Ihre Aufmerksamkeit! metafinanz Informationssysteme GmbH Leopoldstraße 146 D München Phone: Fax: DWH & Hadoop Expertise Besuchen Sie uns auch auf:

Hadoop & SQL Wie Hadoop um SQL erweitert werden kann. Oracle/metafinanz Roadshow 11./18. Februar

Hadoop & SQL Wie Hadoop um SQL erweitert werden kann. Oracle/metafinanz Roadshow 11./18. Februar Hadoop & SQL Wie Hadoop um SQL erweitert werden kann Oracle/metafinanz Roadshow 11./18. Februar Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services

Mehr

Hadoop & SQL Oracle BI & DWH Konferenz 2013 19./20. März 2013, Kassel. Carsten Herbe metafinanz Informationssysteme GmbH

Hadoop & SQL Oracle BI & DWH Konferenz 2013 19./20. März 2013, Kassel. Carsten Herbe metafinanz Informationssysteme GmbH Hadoop & SQL Oracle BI & DWH Konferenz 2013 19./20. März 2013, Kassel Carsten Herbe metafinanz Informationssysteme GmbH In unserer Business Line Business Intelligence & Risk gibt es fünf Bereiche: Risk,

Mehr

Hadoop in a Nutshell Einführung HDFS und MapReduce. Oracle/metafinanz Roadshow Februar 2014

Hadoop in a Nutshell Einführung HDFS und MapReduce. Oracle/metafinanz Roadshow Februar 2014 Hadoop in a Nutshell Einführung HDFS und MapReduce Oracle/metafinanz Roadshow Februar 2014 Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services die

Mehr

einfach. gut. beraten. Oracle Big Data Konnektoren: Hadoop und die Oracle DB DOAG Konferenz + Ausstellung 2016 Nürnberg Philipp Loer

einfach. gut. beraten. Oracle Big Data Konnektoren: Hadoop und die Oracle DB DOAG Konferenz + Ausstellung 2016 Nürnberg Philipp Loer einfach. gut. beraten. Oracle Big Data Konnektoren: Hadoop und die Oracle DB DOAG Konferenz + Ausstellung 2016 Nürnberg Philipp Loer info@ordix.de www.ordix.de Agenda Hadoop Hive OLH: Oracle Loader for

Mehr

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden

Mehr

Data Mart Offload nach Hadoop Star Schema in HDFS anstatt RDBMS. Carsten Herbe DOAG Konferenz November 2014

Data Mart Offload nach Hadoop Star Schema in HDFS anstatt RDBMS. Carsten Herbe DOAG Konferenz November 2014 Data Mart Offload nach Hadoop Star Schema in HDFS anstatt RDBMS Carsten Herbe DOAG Konferenz November 2014 Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und

Mehr

Hadoop Projekte Besonderheiten & Vorgehensweise. Oracle/metafinanz Roadshow Februar 2014

Hadoop Projekte Besonderheiten & Vorgehensweise. Oracle/metafinanz Roadshow Februar 2014 Hadoop Projekte Besonderheiten & Vorgehensweise Oracle/metafinanz Roadshow Februar 2014 Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services die

Mehr

Hadoop & Spark. Carsten Herbe. 8. CC-Partner Fachtagung 2015

Hadoop & Spark. Carsten Herbe. 8. CC-Partner Fachtagung 2015 Hadoop & Spark Carsten Herbe 8. CC-Partner Fachtagung 2015 29.04.2015 Daten & Fakten 25 Jahre Erfahrung, Qualität & Serviceorientierung garantieren zufriedene Kunden & konstantes Wachstum 25 Jahre am Markt

Mehr

Big Data in Azure. Ein Beispiel mit HD Insight. Ralf Stemmer

Big Data in Azure. Ein Beispiel mit HD Insight. Ralf Stemmer Big in Azure Ein Beispiel mit HD Insight Ralf Stemmer Agenda owas ist Big? Was ist HD Insight? owelche Probleme kann man damit lösen? odemo Was ist Big? Was ist HD Insight? Datenexplosion - Rasanter Zuwachs

Mehr

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics DATA WAREHOUSE Oracle BI&W Referenz Architektur Big Data und High Performance Analytics Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen

Mehr

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria Analyse von unstrukturierten Daten Peter Jeitschko, Nikolaus Schemel Oracle Austria Evolution von Business Intelligence Manuelle Analyse Berichte Datenbanken (strukturiert) Manuelle Analyse Dashboards

Mehr

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle DATA WAREHOUSE Big Data Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen aus Unternehmens- Daten ziehen! Datenmengen, Performance und Kosten Daten als Geschäftsmodell

Mehr

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik

Mehr

Java Application 1 Java Application 2. JDBC DriverManager. JDBC-ODBC Br idge. ODBC Driver Manager. Dr iver C. Dr iver D.

Java Application 1 Java Application 2. JDBC DriverManager. JDBC-ODBC Br idge. ODBC Driver Manager. Dr iver C. Dr iver D. 1 Copyright 1996-1997 by Axel T. Schreiner. All Rights Reserved. 7 Datenbankzugriff Prinzip Dieser Abschnitt beschäftigt sich mit dem Paket java.sql, das eine SQL-Schnittstelle für Java verkapselt. Java-Programme

Mehr

Hadoop Demo HDFS, Pig & Hive in Action. Oracle DWH Konferenz 2014 Carsten Herbe

Hadoop Demo HDFS, Pig & Hive in Action. Oracle DWH Konferenz 2014 Carsten Herbe Hadoop Demo HDFS, Pig & Hive in Action Oracle DWH Konferenz 2014 Carsten Herbe Wir wollen eine semi-strukturierte Textdatei in Hadoop verarbeiten und so aufbereiten, dass man die Daten relational speichern

Mehr

Hadoop Eine Erweiterung für die Oracle DB?

Hadoop Eine Erweiterung für die Oracle DB? Hadoop Eine Erweiterung für die Oracle DB? Nürnberg, 18.11.2015, Matthias Fuchs Sensitive Über mich 10+ Jahre Erfahrung mit Oracle Oracle Certified Professional Exadata Certified Oracle Engineered Systems

Mehr

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)

Mehr

Big Data Hype und Wirklichkeit Bringtmehrauchmehr?

Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Günther Stürner, Vice President Sales Consulting 1 Copyright 2011, Oracle and/or its affiliates. All rights Überschrift 2 Copyright 2011, Oracle and/or

Mehr

Historisierung mit Flashback Database Archive (FDA)

Historisierung mit Flashback Database Archive (FDA) Historisierung mit Flashback Database Archive (FDA) DOAG Konferenz 2013 Nürnberg, 19.-21. November 2013 Wolfgang Tanzer metafinanz Informationssysteme GmbH Wir fokussieren mit unseren Services die Herausforderungen

Mehr

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Oracle DWH-Konferenz 21. März 2012 Dr. Carsten Bange Gründer & Geschäftsführer BARC Big Data bietet Methoden und Technologien

Mehr

Einführung in die Hadoop-Welt HDFS, MapReduce & Ökosystem. Big Data für Oracle Entwickler September 2014 Carsten Herbe

Einführung in die Hadoop-Welt HDFS, MapReduce & Ökosystem. Big Data für Oracle Entwickler September 2014 Carsten Herbe HDFS, MapReduce & Ökosystem Big Data für Oracle Entwickler September 2014 Carsten Herbe Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT. Business Intelligence

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting Beratung Results, no Excuses. Consulting Lösungen Grown from Experience. Ventum Consulting SQL auf Hadoop Oliver Gehlert 1 Ventum Consulting Daten und Fakten Results, no excuses Fachwissen Branchenkenntnis

Mehr

BIW - Überblick. Präsentation und Discoverer Demonstration - Teil 1 - Humboldt Universität zu Berlin am 10. Juni 2004

BIW - Überblick. Präsentation und Discoverer Demonstration - Teil 1 - Humboldt Universität zu Berlin am 10. Juni 2004 BIW - Überblick Präsentation und Discoverer Demonstration - Teil 1 - Humboldt Universität zu Berlin am 10. Juni 2004 Annegret Warnecke Senior Sales Consultant Oracle Deutschland GmbH Berlin Agenda Überblick

Mehr

OWB Referenzarchitektur, Releasemanagement und Deployment. Carsten Herbe metafinanz - Informationssysteme GmbH

OWB Referenzarchitektur, Releasemanagement und Deployment. Carsten Herbe metafinanz - Informationssysteme GmbH OWB Referenzarchitektur, Releasemanagement und Deployment Carsten Herbe metafinanz - Informationssysteme GmbH Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Jürgen Vester Oracle Deutschland B.V. & Co KG Um was geht es bei Big Data? Bei Big Data sprechen wir eine Klasse von Daten an, die in der

Mehr

Konferenz Nürnberg 2014. NoSQL Vortrag Taiwan/Taipei 2014. Zusammen ein Team? ORACLE UND HADOOP. Seite 1. Gunther Pippèrr 2014 http://www.pipperr.

Konferenz Nürnberg 2014. NoSQL Vortrag Taiwan/Taipei 2014. Zusammen ein Team? ORACLE UND HADOOP. Seite 1. Gunther Pippèrr 2014 http://www.pipperr. Konferenz Nürnberg 2014 NoSQL Vortrag Taiwan/Taipei 2014 Zusammen ein Team? ORACLE UND HADOOP Seite 1 Warum nun Big DATA Was treibt uns an? Neue Lösungen für alte Probleme? Seite 2 Herausforderung Datenqualität

Mehr

Zeitlich abhängig von OWB?

Zeitlich abhängig von OWB? Zeitlich abhängig von OWB? 24. April 2007 Beat Flühmann Trivadis AG > IT Lösungsanbieter» Application Development, Application Performance Management, Business Communication, Business Intelligence, Managed

Mehr

Step 0: Bestehende Analyse-Plattform

Step 0: Bestehende Analyse-Plattform Die Themen 09:30-09:45 Einführung in das Thema (Oracle) 09:45-10:15 Hadoop in a Nutshell (metafinanz) 10:15-10:45 Hadoop Ecosystem (metafinanz) 10:45-11:00 Pause 11:00-11:30 BigData Architektur-Szenarien

Mehr

Performance Tuning mit @enterprise

Performance Tuning mit @enterprise @enterprise Kunden-Forum 2005 Performance Tuning mit @enterprise Herbert Groiss Groiss Informatics GmbH, 2005 Inhalt Datenbank RMI JAVA API HTTP Konfiguration Analyse Groiss Informatics GmbH, 2005 2 Datenbank

Mehr

Die Oracle Datenbank in die Welt von Hadoop und NoSQL integrieren

Die Oracle Datenbank in die Welt von Hadoop und NoSQL integrieren Die Oracle Datenbank in die Welt von Hadoop und NoSQL integrieren Schlüsselworte Gunther Pippèrr München NoSQL Hadoop Integration Oracle Databank - Oracle SQL Connector for HDFS - Oracle Loader for Hadoop

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden Neue Beziehungen finden...

Mehr

Hadoop Ecosystem Vorstellung der Komponenten. Oracle/metafinanz Roadshow Februar 2014

Hadoop Ecosystem Vorstellung der Komponenten. Oracle/metafinanz Roadshow Februar 2014 Hadoop Ecosystem Vorstellung der Komponenten Oracle/metafinanz Roadshow Februar 2014 Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services die Herausforderungen

Mehr

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht)

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Christian Haag, DATA MART Consulting Consulting Manager Oracle DWH Team

Mehr

Configuration Management mit Verbosy 17.04.2013 OSDC 2013. Eric Lippmann www.netways.de

Configuration Management mit Verbosy 17.04.2013 OSDC 2013. Eric Lippmann www.netways.de Configuration Management mit Verbosy 17.04.2013 OSDC 2013 Eric Lippmann Kurzvorstellung NETWAYS Expertise OPEN SOURCE SYSTEMS MANAGEMENT OPEN SOURCE DATA CENTER Monitoring & Reporting Configuration Management

Mehr

Hadoop. High Performance Batches in der Cloud. Hadoop. Folie 1 25. Januar 2011

Hadoop. High Performance Batches in der Cloud. Hadoop. Folie 1 25. Januar 2011 High Performance Batches in der Cloud Folie 1 Alles geht in die Cloud Image: Chris Sharp / FreeDigitalPhotos.net Cloud und Batches passen zusammen Batches Cloud Pay-per-Use Nur zeitweise genutzt Hohe Rechenkapazitäten

Mehr

MySQL Queries on "Nmap Results"

MySQL Queries on Nmap Results MySQL Queries on "Nmap Results" SQL Abfragen auf Nmap Ergebnisse Ivan Bütler 31. August 2009 Wer den Portscanner "NMAP" häufig benutzt weiss, dass die Auswertung von grossen Scans mit vielen C- oder sogar

Mehr

Smartphone Entwicklung mit Android und Java

Smartphone Entwicklung mit Android und Java Smartphone Entwicklung mit Android und Java predic8 GmbH Moltkestr. 40 53173 Bonn Tel: (0228)5552576-0 www.predic8.de info@predic8.de Was ist Android Offene Plattform für mobile Geräte Software Kompletter

Mehr

on Azure mit HDInsight & Script Ac2ons

on Azure mit HDInsight & Script Ac2ons Willkommen beim #GAB 2015! on Azure mit HDInsight & Script Ac2ons Lokale Sponsoren: HansPeter Grahsl Netconomy Entwickler & Berater FH CAMPUS 02 Twi9er: @hpgrahsl Überblick Inhalte Was ist HDInsight? Wozu

Mehr

Oracle Warehouse Builder 3i

Oracle Warehouse Builder 3i Betrifft Autoren Art der Info Oracle Warehouse Builder 3i Dani Schnider (daniel.schnider@trivadis.com) Thomas Kriemler (thomas.kriemler@trivadis.com) Technische Info Quelle Aus dem Trivadis Technologie

Mehr

NoSQL mit Postgres 15. Juni 2015

NoSQL mit Postgres 15. Juni 2015 Tag der Datenbanken 15. Juni 2015 Dipl.-Wirt.-Inform. Agenda l Vorstellung l Marktübersicht l Warum PostgreSQL? l Warum NoSQL? l Beispielanwendung Seite: 2 Vorstellung Dipl.-Wirt.-Inform. [1990] Erste

Mehr

Big Data und SQL - das passt! Philipp Loer ORDIX AG Paderborn

Big Data und SQL - das passt! Philipp Loer ORDIX AG Paderborn Schlüsselworte Hadoop, Hive, Sqoop, SQL Big Data und SQL - das passt! Philipp Loer ORDIX AG Paderborn Einleitung In diesem Vortrag werden, nach einer kurzen Einführung in Apache Hadoop, die beiden Werkzeuge

Mehr

Das Beste aus zwei Welten

Das Beste aus zwei Welten : Das Beste aus zwei Welten Das Beste aus zwei Welten Aufruf von R Funktionen mit PROC IML KSFE 2012 08.03.2012 ist IT Dienstleister für Business Intelligence und Datenanalyse gibt es seit über 20 Jahren

Mehr

Vorstellung IBM Cognos 10.2. Oliver Linder Client Technical Professional Business Analytics

Vorstellung IBM Cognos 10.2. Oliver Linder Client Technical Professional Business Analytics Vorstellung IBM Cognos 10.2 Oliver Linder Client Technical Professional Business Analytics Agenda IBM Cognos 10.2 Architektur User Interfaces IBM Cognos Workspace IBM Cognos Workspace Advanced IBM Cognos

Mehr

Regionaltreffen Rhein Main 26. März 2007

Regionaltreffen Rhein Main 26. März 2007 Regionaltreffen Rhein Main 26. März 2007 SWE Jens Fudickar / OraTool pro Softwareentwicklung Jens Fudickar ist ein kleines Softwarehaus, dessen Hauptprodukt das OraTool ist. Darüber hinaus sind wir in

Mehr

O-BIEE Einführung mit Beispielen aus der Praxis

O-BIEE Einführung mit Beispielen aus der Praxis O-BIEE Einführung mit Beispielen aus der Praxis Stefan Hess Business Intelligence Trivadis GmbH, Stuttgart 2. Dezember 2008 Basel Baden Bern Lausanne Zürich Düsseldorf Frankfurt/M. Freiburg i. Br. Hamburg

Mehr

DOAG 2015. Demo Kino: Advisors, Monitoring Werkzeuge in der Datenbank Ulrike Schwinn Business Unit Database Oracle Deutschland B.V.

DOAG 2015. Demo Kino: Advisors, Monitoring Werkzeuge in der Datenbank Ulrike Schwinn Business Unit Database Oracle Deutschland B.V. DOAG 2015 Demo Kino: Advisors, Monitoring Werkzeuge in der Datenbank Ulrike Schwinn Business Unit Database Oracle Deutschland B.V. & Co KG Monitoring Werkzeuge, Advisors... Einfaches Framework zum Monitoring

Mehr

Datawarehouse Architekturen. Einheitliche Unternehmenssicht

Datawarehouse Architekturen. Einheitliche Unternehmenssicht Datawarehouse Architekturen Einheitliche Unternehmenssicht Was ist Datawarehousing? Welches sind die Key Words? Was bedeuten sie? DATA PROFILING STAGING AREA OWB ETL OMB*PLUS SAS DI DATA WAREHOUSE DATA

Mehr

Big Data Anwendungen Chancen und Risiken

Big Data Anwendungen Chancen und Risiken Big Data Anwendungen Chancen und Risiken Dr. Kurt Stockinger Studienleiter Data Science, Dozent für Informatik Zürcher Hochschule für Angewandte Wissenschaften Big Data Workshop Squeezing more out of Data

Mehr

Upgradestrategien bei Datenbank und Oracle Warehouse Builder 11.2 Oliver Gehlert metafinanz - Informationssysteme GmbH

Upgradestrategien bei Datenbank und Oracle Warehouse Builder 11.2 Oliver Gehlert metafinanz - Informationssysteme GmbH Upgradestrategien bei Datenbank und Oracle Warehouse Builder 11.2 Oliver Gehlert metafinanz - Informationssysteme GmbH Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden

Mehr

DWH-Metadaten Wie und wozu. Clemens Albrecht metafinanz Informationssysteme GmbH

DWH-Metadaten Wie und wozu. Clemens Albrecht metafinanz Informationssysteme GmbH DWH-Metadaten Wie und wozu Clemens Albrecht metafinanz Informationssysteme GmbH Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT. Business Intelligence

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

QUICK-START EVALUIERUNG

QUICK-START EVALUIERUNG Pentaho 30 für 30 Webinar QUICK-START EVALUIERUNG Ressourcen & Tipps Leo Cardinaals Sales Engineer 1 Mit Pentaho Business Analytics haben Sie eine moderne und umfassende Plattform für Datenintegration

Mehr

DB2 SQL, der Systemkatalog & Aktive Datenbanken

DB2 SQL, der Systemkatalog & Aktive Datenbanken DB2 SQL, der Systemkatalog & Aktive Datenbanken Lehr- und Forschungseinheit Datenbanken und Informationssysteme 1 Ziele Auf DB2 Datenbanken zugreifen DB2 Datenbanken benutzen Abfragen ausführen Den Systemkatalog

Mehr

Big Data Management Thema 14: Cassandra

Big Data Management Thema 14: Cassandra Thema 14: Cassandra Jan Kristof Nidzwetzki Thema 14: Cassandra 1 / 25 Übersicht 1 Grundlagen Überblick Geschichte Datenmodel 2 Architektur Der logische Ring Persistenz der Daten Tunable Consistency Read

Mehr

SQL structured query language

SQL structured query language Umfangreiche Datenmengen werden üblicherweise in relationalen Datenbank-Systemen (RDBMS) gespeichert Logische Struktur der Datenbank wird mittels Entity/Realtionship-Diagrammen dargestellt structured query

Mehr

PostgreSQL in großen Installationen

PostgreSQL in großen Installationen PostgreSQL in großen Installationen Cybertec Schönig & Schönig GmbH Hans-Jürgen Schönig Wieso PostgreSQL? - Die fortschrittlichste Open Source Database - Lizenzpolitik: wirkliche Freiheit - Stabilität,

Mehr

Business Intelligence Center of Excellence

Business Intelligence Center of Excellence Center of Excellence Eine Businessinitiative von Systematika und Kybeidos Werner Bundschuh Was ist das? In der Praxis versteht man in den meisten Fällen unter die Automatisierung des Berichtswesens (Reporting).

Mehr

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer Einführung in Hadoop & MapReduce Dr. Kathrin Spreyer Big Data Engineer München, 19.06.2013 Agenda Einleitung 1. HDFS 2. MapReduce 3. APIs 4. Hive & Pig 5. Mahout Tools aus Hadoop-Ökosystem 6. HBase 2 Worum

Mehr

THEMA: SAS DATA INTEGRATION STUDIO FÜR MEHR TRANSPARENZ IM DATENMANAGEMENT EVA-MARIA KEGELMANN

THEMA: SAS DATA INTEGRATION STUDIO FÜR MEHR TRANSPARENZ IM DATENMANAGEMENT EVA-MARIA KEGELMANN WEBINAR@LUNCHTIME THEMA: SAS DATA INTEGRATION STUDIO FÜR MEHR TRANSPARENZ IM DATENMANAGEMENT EVA-MARIA KEGELMANN HERZLICH WILLKOMMEN BEI WEBINAR@LUNCHTIME Moderation Anne K. Bogner-Hamleh SAS Institute

Mehr

Persistenz von Objekten relationale Datenbank Eigene Datenstruktur XML (JAXB) Proprietäre Dateiformate (Lochkarten)

Persistenz von Objekten relationale Datenbank Eigene Datenstruktur XML (JAXB) Proprietäre Dateiformate (Lochkarten) Persistenz von Objekten relationale Datenbank Eigene Datenstruktur XML (JAXB) Proprietäre Dateiformate (Lochkarten) O/R Mapping - Objekte (Attribute) - 1:1, 1:n, n:m Beziehungen - Vererbungen (- Interfaces)

Mehr

SQL für Trolle. mag.e. Dienstag, 10.2.2009. Qt-Seminar

SQL für Trolle. mag.e. Dienstag, 10.2.2009. Qt-Seminar Qt-Seminar Dienstag, 10.2.2009 SQL ist......die Abkürzung für Structured Query Language (früher sequel für Structured English Query Language )...ein ISO und ANSI Standard (aktuell SQL:2008)...eine Befehls-

Mehr

WEBINAR@LUNCHTIME THEMA: SAS ADMINISTRATION LEICHT GEMACHT MIT SAS 9.4 ALLE SYSTEME IM BLICK" ANKE FLEISCHER

WEBINAR@LUNCHTIME THEMA: SAS ADMINISTRATION LEICHT GEMACHT MIT SAS 9.4 ALLE SYSTEME IM BLICK ANKE FLEISCHER WEBINAR@LUNCHTIME THEMA: SAS ADMINISTRATION LEICHT GEMACHT MIT SAS 9.4 ALLE SYSTEME IM BLICK" ANKE FLEISCHER EBINAR@LUNCHTIME HERZLICH WILLKOMMEN BEI WEBINAR@LUNCHTIME Moderation Anne K. Bogner-Hamleh

Mehr

Graphen in Apex von Thomas Hernando. www.syntegris.de

Graphen in Apex von Thomas Hernando. www.syntegris.de Graphen in Apex von Thomas Hernando www.syntegris.de Einleitung FIRMENINFOS Gründung im Jahre 2000 mit Sitz in Neu-Isenburg bei Frankfurt am Main Mehr als 30 Berater Oracle Gold Partner Schwerpunkte liegen

Mehr

Five Finger Death Punch. Oliver Lemm Competence Center Leiter APEX

Five Finger Death Punch. Oliver Lemm Competence Center Leiter APEX Five Finger Death Punch Oliver Lemm Competence Center Leiter APEX Nürnberg, 20.11.2014 UNSER PORTFOLIO APPLICATION DEVELOPMENT APEX / ADF JAVA.NET INTEGRATION SERVICES STRATEGIE ARCHITEKTUR SAP HANA IT

Mehr

Architekturen. Von der DB basierten zur Multi-Tier Anwendung. DB/CRM (C) J.M.Joller 2002 131

Architekturen. Von der DB basierten zur Multi-Tier Anwendung. DB/CRM (C) J.M.Joller 2002 131 Architekturen Von der DB basierten zur Multi-Tier Anwendung DB/CRM (C) J.M.Joller 2002 131 Lernziele Sie kennen Design und Architektur Patterns, welche beim Datenbankzugriff in verteilten Systemen verwendet

Mehr

Roland Tilgner. Solution Architects & Team Coaching DEVELOPMENT. ORACLE TEXT AUS PL/SQL-SICHT Features und Möglichkeiten

Roland Tilgner. Solution Architects & Team Coaching DEVELOPMENT. ORACLE TEXT AUS PL/SQL-SICHT Features und Möglichkeiten Roland Tilgner Solution Architects & Team Coaching DEVELOPMENT ORACLE TEXT AUS PL/SQL-SICHT Features und Möglichkeiten ZURPERSON Roland Tilgner ZURFIRMA Roland Tilgner Solution Architects & Team Coaching

Mehr

Werkzeuge für Datenbank Handwerker: IBM Data Studio und IBM Optim QWT

Werkzeuge für Datenbank Handwerker: IBM Data Studio und IBM Optim QWT Werkzeuge für Datenbank Handwerker: IBM Data Studio und IBM Optim QWT Neue Technologien effizient nutzen Ehningen, 3. Juli 2014 Rodney Krick rk@aformatik.de aformatik Training & Consulting GmbH & Co. KG

Mehr

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten

Mehr

SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh

SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh SQL on Hadoop für praktikables BI auf Big Data! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh War nicht BigData das gleiche NoSQL? 2 Wie viele SQL Lösungen für Hadoop gibt es mittlerweile? 3 ! No SQL!?

Mehr

Studierenden-Kennzahlen im Griff dank flexiblem Reporting und Ad-hoc-Analysen

Studierenden-Kennzahlen im Griff dank flexiblem Reporting und Ad-hoc-Analysen Praxistag für die öffentliche Verwaltung 2012 Titel Präsentation Studierenden-Kennzahlen im Griff dank flexiblem Reporting und Ad-hoc-Analysen Referenten-Info Gerhard Tschantré, Leiter Controllerdienste

Mehr

Big Data und Oracle bringen die Logistik in Bewegung

Big Data und Oracle bringen die Logistik in Bewegung OPITZ CONSULTING Deutschland GmbH Dortmund, 07.05.2014 Bild-Quelle: Web-Seite von Pasta ZARA, Big Artikel Data So und entstehen Oracle bringen unsere die Nudeln Logistik in Bewegung http://de.pastazara.com/so-entstehen-unsere-nudeln

Mehr

Oracle Business Intelligence (OBIEE) 12c Ein erster Einblick in die neue Reporting-Engine von Oracle

Oracle Business Intelligence (OBIEE) 12c Ein erster Einblick in die neue Reporting-Engine von Oracle Oracle Business Intelligence (OBIEE) 12c Ein erster Einblick in die neue Reporting-Engine von Oracle David Michel Consultant Business Intelligence, Apps Associates GmbH Apps Associates Apps Associates

Mehr

ORM & OLAP. Object-oriented Enterprise Application Programming Model for In-Memory Databases. Sebastian Oergel

ORM & OLAP. Object-oriented Enterprise Application Programming Model for In-Memory Databases. Sebastian Oergel ORM & OLAP Object-oriented Enterprise Application Programming Model for In-Memory Databases Sebastian Oergel Probleme 2 Datenbanken sind elementar für Business-Anwendungen Gängiges Datenbankparadigma:

Mehr

Seminar in der Seminarreihe Business Intelligence 1. OLAP und Datawarehousing

Seminar in der Seminarreihe Business Intelligence 1. OLAP und Datawarehousing Seminar in der Seminarreihe Business Intelligence 1 OLAP und Datawarehousing OLAP & Warehousing Die wichtigsten Produkte Die Gliederung Produkt Bewertung & Vergleiche Die Marktentwicklung Der aktuelle

Mehr

Cassandra Query Language (CQL)

Cassandra Query Language (CQL) Cassandra Query Language (CQL) Seminar: NoSQL Wintersemester 2013/2014 Cassandra Zwischenpräsentation 1 Gliederung Basic facts Datentypen DDL/DML ähnlich zu SQL Besonderheiten Basic facts CQL kurz für

Mehr

WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN?" HANS-JOACHIM EDERT

WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN? HANS-JOACHIM EDERT WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN?" Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d. HANS-JOACHIM EDERT EBINAR@LUNCHTIME

Mehr

desk.modul : WaWi- Export

desk.modul : WaWi- Export desk.modul : WaWi- Export Die Schnittstelle besteht aus einem Programm, welches die Daten aus der OfficeLine ausliest und in eine XML-Datei exportiert. Die Schnittstelle ist als ein eigenständiges Programm

Mehr

Was ist Analyse? Hannover, CeBIT 2014 Patrick Keller

Was ist Analyse? Hannover, CeBIT 2014 Patrick Keller Was ist? Hannover, CeBIT 2014 Patrick Keller Business Application Research Center Historie 1994: Beginn der Untersuchung von Business-Intelligence-Software am Lehrstuhl Wirtschaftsinformatik der Universität

Mehr

Skalierbare Webanwendungen mit Python und Google App Engine

Skalierbare Webanwendungen mit Python und Google App Engine Skalierbare Webanwendungen mit Python und Google App Engine Oliver Albers 03. Juli 2008 1/32 Einführung Worum geht es? Pro und Contra Technik Genereller Aufbau Anwendungskonfiguration Verarbeitung von

Mehr

Andreas Emhart Geschäftsführer Alegri International Group

Andreas Emhart Geschäftsführer Alegri International Group Andreas Emhart Geschäftsführer Alegri International Group Agenda Vorstellung Alegri International Überblick Microsoft Business Intelligence Sharepoint Standard Business Intelligence Tool Excel Service

Mehr

Symbiose hybrider Architekturen im Zeitalter digitaler Transformation. Hannover, 18.03.2015

Symbiose hybrider Architekturen im Zeitalter digitaler Transformation. Hannover, 18.03.2015 Symbiose hybrider Architekturen im Zeitalter digitaler Transformation Hannover, 18.03.2015 Business Application Research Center (BARC) B (Analystengruppe Europas führendes IT-Analysten- und -Beratungshaus

Mehr

PostgreSQL unter Debian Linux

PostgreSQL unter Debian Linux Einführung für PostgreSQL 7.4 unter Debian Linux (Stand 30.04.2008) von Moczon T. und Schönfeld A. Inhalt 1. Installation... 2 2. Anmelden als Benutzer postgres... 2 2.1 Anlegen eines neuen Benutzers...

Mehr

Foreign Data Wrappers

Foreign Data Wrappers -Angebot Foreign Data Wrappers Postgres ITos GmbH, CH-9642 Ebnat-Kappel Swiss Postgres Conference 26. Juni 2014 Foreign Data Wrapper Postgres -Angebot Foreign Data Wrapper? Transparente Einbindung (art-)fremder

Mehr

Seminare im Kontext des Data Warehouse für die Oracle Data Warehouse Kunden-Community. Organisatorisches. Gesamtübersicht

Seminare im Kontext des Data Warehouse für die Oracle Data Warehouse Kunden-Community. Organisatorisches. Gesamtübersicht Seminare im Kontext des Data Warehouse für die Oracle Data Warehouse Kunden-Community Bei den Seminaren der Oracle Data Warehouse Gruppe steht die Wissenvermittlung im Vordergrund. Die Themen werden anhand

Mehr

Objekt-relationales Mapping und Performance-Tuning

Objekt-relationales Mapping und Performance-Tuning Objekt-relationales Mapping und Performance-Tuning Thomas Krüger tkrueger@vanatec.com Agenda Wege um Daten zu lesen Wege um Daten zu modellieren Wege um Datenbanken effizient zu nutzen 2 2 Wege, Daten

Mehr

SharePoint Provider for Oracle

SharePoint Provider for Oracle SharePoint Provider for Oracle DOAG 2011 (Atos) (Oracle) SharePoint Provider for Oracle Integration der Oracle Datenbank als zentrales Repository für alle Dokumente in Microsoft SharePoint Farmen Aufwertung

Mehr

SAS Predictive Analytics Factory The SAS approach for the production and maintenance of analytical models

SAS Predictive Analytics Factory The SAS approach for the production and maintenance of analytical models Predictive Analytics Factory The approach for the production and maintenance of analytical models Dr. Gerhard Svolba Austria Forum Finnland Helsinki September24 h, 2013 Agenda Rationale and idea of a Predictive

Mehr

Big Data Neue Erkenntnisse aus Daten gewinnen

Big Data Neue Erkenntnisse aus Daten gewinnen Big Data Neue Erkenntnisse aus Daten gewinnen Thomas Klughardt Senior Systems Consultant 0 Software Dell Software Lösungsbereiche Transform Inform Connect Data center and cloud management Foglight APM,

Mehr

Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick. Volker.Hinz@microsoft.com

Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick. Volker.Hinz@microsoft.com Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick Volker.Hinz@microsoft.com Was sagt der Markt? Fakten Meinung der Analysten zu Microsofts Angeboten Nutzen

Mehr

MySQL Installation. AnPr

MySQL Installation. AnPr Name Klasse Datum 1 Allgemeiner Aufbau Relationale Datenbank Management Systeme (RDBMS) werden im Regelfall als Service installiert. Der Zugriff kann über mehrere Kanäle durchgeführt werden, wobei im Regelfall

Mehr

Analyse und praktischer Vergleich von neuen Access- Layer-Technologien in modernen Webanwendungen unter Java. Oliver Kalz

Analyse und praktischer Vergleich von neuen Access- Layer-Technologien in modernen Webanwendungen unter Java. Oliver Kalz Analyse und praktischer Vergleich von neuen Access- Layer-Technologien in modernen Webanwendungen unter Java Oliver Kalz Agenda Grundlagen Objektpersistenz Objektrelationales Mapping Performance Fazit

Mehr

Oracle OLAP 11g: Performance für das Oracle Data Warehouse

Oracle OLAP 11g: Performance für das Oracle Data Warehouse Oracle OLAP 11g: Performance für das Oracle Data Warehouse Marc Bastien Oracle BI Presales Agenda Performanceprobleme in Oracle DWH: gibt s das überhaupt? Mögliche Gründe und Lösungen

Mehr

EXASOL @ Symposium on Scalable Analytics. www.exasol.com. Skalierbare Analysen mit EXASolution

EXASOL @ Symposium on Scalable Analytics. www.exasol.com. Skalierbare Analysen mit EXASolution EXASOL @ Symposium on Scalable Analytics Skalierbare Analysen mit EXASolution EXASOL AG Wer sind wir R&D: + seit 2000 + laufend Forschungsprojekte Produkt: Analytische Datenbank EXASolution Focus auf Komplexität

Mehr

BigTable. 11.12.2012 Else

BigTable. 11.12.2012 Else BigTable 11.12.2012 Else Einführung Distributed Storage System im Einsatz bei Google (2006) speichert strukturierte Daten petabyte-scale, > 1000 Nodes nicht relational, NoSQL setzt auf GFS auf 11.12.2012

Mehr

Die Bedeutung der Prozessmodellierung bei der Weiterentwicklung des DWHs der DAK Der Innovator als Missing Link

Die Bedeutung der Prozessmodellierung bei der Weiterentwicklung des DWHs der DAK Der Innovator als Missing Link Die Bedeutung der Prozessmodellierung bei der Weiterentwicklung des DWHs der DAK Der Innovator als Missing Link Konrad Linner, solvistas GmbH Nürnberg, 20.November 2012 Inhaltsverzeichnis Vorstellung solvistas

Mehr

MySQL 101 Wie man einen MySQL-Server am besten absichert

MySQL 101 Wie man einen MySQL-Server am besten absichert MySQL 101 Wie man einen MySQL-Server am besten absichert Simon Bailey simon.bailey@uibk.ac.at Version 1.1 23. Februar 2003 Change History 21. Jänner 2003: Version 1.0 23. Februar 2002: Version 1.1 Diverse

Mehr

Hadoop. Simon Prewo. Simon Prewo

Hadoop. Simon Prewo. Simon Prewo Hadoop Simon Prewo Simon Prewo 1 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert

Mehr

JDBC. Es kann z.b. eine ODBC-Treiberverbindung eingerichtet werden, damit das JAVA-Programm auf eine ACCESS-DB zugreifen kann.

JDBC. Es kann z.b. eine ODBC-Treiberverbindung eingerichtet werden, damit das JAVA-Programm auf eine ACCESS-DB zugreifen kann. JDBC in 5 Schritten JDBC (Java Database Connectivity) ist eine Sammlung von Klassen und Schnittstellen, mit deren Hilfe man Verbindungen zwischen Javaprogrammen und Datenbanken herstellen kann. 1 Einrichten

Mehr

Safexpert Oracle Datenbank Konnektor. Stand: 02.01.2012. IBF-Automatisierungs-und Sicherheitstechnik GmbH A-6682 Vils Bahnhofstraße 8

Safexpert Oracle Datenbank Konnektor. Stand: 02.01.2012. IBF-Automatisierungs-und Sicherheitstechnik GmbH A-6682 Vils Bahnhofstraße 8 Safexpert Oracle Datenbank Konnektor Stand: 02.01.2012 IBF-Automatisierungs-und Sicherheitstechnik GmbH A-6682 Vils Bahnhofstraße 8 Tel.: +43 (0) 5677 5353 0 E-Mail: office@ibf.at 1 Kurzüberblick über

Mehr