Datenanalyse im Web Einführung in das Thema Prof. Dr. Ingo Claÿen Hochschule für Technik und Wirtschaft Berlin Beispiele für Daten im Web Extraktion und Aggregation von Informationen Datenanalyse im Web Verschiedene Aspekte Big Data
Beispiele für Daten im Web Filme Datenanalyse im Web Ingo Claÿen 2/18
Beispiele für Daten im Web Open Data Datenanalyse im Web Ingo Claÿen 3/18
Beispiele für Daten im Web Autos Datenanalyse im Web Ingo Claÿen 4/18
Beispiele für Daten im Web Bekannte Datenquellen Suchmaschinen (Google, Bing, Yahoo,...) Soziale Netzwerke (Facebook, Xing, Twitter,...) E-Business (Amazon, EBay, Autoscout, ciao,...) Wikipedia, Dmoz Blogs, Foren Datenanalyse im Web Ingo Claÿen 5/18
Extraktion und Aggregation von Informationen Extraktion von Entitäten und Beziehungen OpenCalais Datenanalyse im Web Ingo Claÿen 6/18
Extraktion und Aggregation von Informationen Anwendung von Extraktion und Aggregation Nachrichten-Portale Preissuchmaschinen Hotelportale Flugportale Zitierungsdatenbanken Community Websites Datenanalyse im Web Ingo Claÿen 7/18
Extraktion und Aggregation von Informationen Goggle News Datenanalyse im Web Ingo Claÿen 8/18
Extraktion und Aggregation von Informationen Goolap Datenanalyse im Web Ingo Claÿen 9/18
Extraktion und Aggregation von Informationen DBLife Datenanalyse im Web Ingo Claÿen 10/18
Extraktion und Aggregation von Informationen DBLife Datenanalyse im Web Ingo Claÿen 11/18
Extraktion und Aggregation von Informationen Conference Search Datenanalyse im Web Ingo Claÿen 12/18
Extraktion und Aggregation von Informationen Conference Search Datenanalyse im Web Ingo Claÿen 13/18
Datenanalyse im Web Verschiedene Aspekte Trends Zunehmende Nutzung von Daten aus dem Web Zunahme nutzer-generierter Inhalte Datenspezialisten in Unternehmen, die eine Vielzahl von Informationen aus unterschiedlichen Quellen auswerten Web-basierte Geschäftsmodelle Enorme Datengröÿen Google - Zunahme 20PB pro Tag ebay 6.5 PB, Zunahme 150 Milliarden Datensätze pro Tag Facebook: 2,5 PB Nutzerdaten, Zunahme 15 TB pro Tag Datenanalyse im Web Ingo Claÿen 14/18
Datenanalyse im Web Verschiedene Aspekte Nachgefragte Informationen Empfehlungen Meinungen, Stimmungen Problemlösungen Erhebungen Kundenreaktionen Digitalkameras 6-12 Megapixel unter 400 Euro in Amazon, Ciao, Google Fünf Gröÿte Player im Linux-Bereich und deren Umsatz Wo liegen die Zentralen groÿer IT-Untenehmen Fragenbeantwortungen Welche Kunden haben eine Schadensversicherung gegen Überschwemmung im Einzugsbereichs eines erwarteten Hurricanes Wer erschoss Abraham Lincoln Wie hoch ist die Eiger Nordwand Datenanalyse im Web Ingo Claÿen 15/18
Datenanalyse im Web Verschiedene Aspekte Erhebung Zentralen groÿer IT-Untenehmen Datenanalyse im Web Ingo Claÿen 16/18
Big Data Groÿe Datenmengen Groÿe Datenmengen sind wesentlich Einfache Modelle mit vielen Daten überügeln komplexe Modelle mit kleiner Datenbasis Trainingsdatenmenge hat Einuss auf Klassikationsgenauigkeit Statistische Datenanalyse groÿer Textkörper Verarbeitung groÿer Datenmengen Horizontale Skalierbarkeit. Scale out, not up Fehler treten häug auf Sende Programme an die Daten, nicht umgekehrt Verarbeitung der Daten in sequenziellen Blöcken Programmiermodell, das vor der Komplexität paralleler Verarbeitung abschirmt Nahtlose Skalierbarkeit Datenanalyse im Web Ingo Claÿen 17/18
Big Data Cloud Computing Dienstsichtweise auf Rechnen- und Speicherkapazität. IaaS, PaaS, SaaS Zeit- und volumenbezogene Nutzung und Abrechnung von Rechnenkapazität Dynamische Anpassung an Anforderungen. On Demand Skalierungseekte Groÿe Anzahl gängiger Computer. Commodity Hardware Datenanalyse im Web Ingo Claÿen 18/18