dacore Datenbanksysteme AG Neue Konzepte zur Optimierung der Auslastungsplanung und Big Data im Informationsmanagement

Transkript

1 dacore Datenbanksysteme AG Neue Konzepte zur Optimierung der Auslastungsplanung und Big Data im Informationsmanagement

2 dacore Datenbanksysteme AG Neue Konzepte zur Optimierung der Auslastungsplanung Die Problemstellung Die Ressourcenplanung ist von vielen äußeren Faktoren abhängig Es läuft immer irgendwas anders als eingeplant Prüflinge kommen später Tests dauern länger... oder es gibt Probleme mit den Anlagen Es ist schwer im vornherein die Auslastung der nächste Zeit abzuschätzen Geplanter Start? Ende 2010 dacore Datenbanksysteme AG März 2016 Seite 2

3 dacore Datenbanksysteme AG Ein neuer Ansatz: Predict Schauen wir uns das Problem etwas genauer an Die Verschiebungen treffen uns nie unerwartet ( Ja, sowas dachte ich mir schon fast ) Ähnliche Verzögerungen treten immer wieder auf ( Das war beim letzten mal auch schon so ) Müssen wir eigentlich wirklich für jedes DUT den genauen Teststart kennen oder interessiert uns nicht eigentlich etwas anderes Wie wird die Auslastung in nächster Zeit sein? Werde ich Tests aus Kapagründen nicht rechtzeitig bedienen können? 2010 dacore Datenbanksysteme AG März 2016 Seite 3

4 dacore Datenbanksysteme AG Ein neuer Ansatz: Predict Vorhandene (Alt-)Daten Klassifizierung Modellbildung Auslastungsplanung / Ressourcenplanung Vorhersage basierend auf Auftragslage 2010 dacore Datenbanksysteme AG März 2016 Seite 4

5 dacore Datenbanksysteme AG Klassifikation Gute Datenlage in TestLabPlus Viele Tests Metadaten zu den Tests (Hersteller, Prüfdauer,...) Dokumentation aller Verzögerungen Data Mining und maschinelles Lernen einsetzen! Klassifikation 2010 dacore Datenbanksysteme AG März 2016 Seite 5

6 dacore Datenbanksysteme AG Modellbildung Versicherungsmathematik ( survival analysis ) liefert ideale Grundlage Mathematische Modelle existieren Algorithmen zum fitting & sampling vorhanden Verfahren sind erprobt und robust Schätzen der Modellparameter 2010 dacore Datenbanksysteme AG März 2016 Seite 6

7 dacore Datenbanksysteme AG Vorhersage Vorhersagen mit Hilfe des Modells Wie hoch ist die Wahrscheinlichkeit für bestimmte Events? Wie robust ist meine Planung? Automatische robuste Planung durch Simulation Besser hier einplanen? Geplanter Start? Ende Geplanter Start Ende 2010 dacore Datenbanksysteme AG März 2016 Seite 7

8 Wahrscheinlichkeit für einzelne Tests Wahrscheinlichkeit dacore Datenbanksysteme AG Optimierte Planung Auslastung an Tag x Tag x 2010 dacore Datenbanksysteme AG März 2016 Seite 8

9 dacore Datenbanksysteme AG Optimierte Planung Erwartete Auslastung im nächsten Monat y[, 1] time 2010 dacore Datenbanksysteme AG März 2016 Seite 9

10 dacore Datenbanksysteme AG Optimierte Planung Einsatzmöglichkeiten Nur Tests mit hoher Wahrscheinlichkeit in der Planung Visualisierung der Wahrscheinlichkeit in der Planung Automatische robuste Planung durch Simulation Vorhersage der Auslastung in der nächsten Zeit 2010 dacore Datenbanksysteme AG März 2016 Seite 10

11 Big Data... im Informationsmanagement 2010 dacore Datenbanksysteme AG März 2016 Seite 11

12 Big Data... im Informationsmanagement Die Problemstellung im Informationsmanagmenet Informationen liegen in verschiedenen Dokumenten in verschiedenen Systemen mehr oder weniger strukturiert In Ordnerstrukturen selbst sind Metainformationen enthalten, z.b. in Ordnernamen Andere Systeme enthalten andere Metainformationen (Empfänger/Sender bei s, Spalten bei Datenbanken,...) Eine Suche in allen Systemen ist nicht praktikabel und teilweise nur schwer möglich (auf Netzlaufwerken z.b.) 2010 dacore Datenbanksysteme AG März 2016 Seite 12

13 Big Data Motivation Lookup 2010 dacore Datenbanksysteme AG März 2016 Seite 13

14 Big Data Motivation Lookup Die Idee Daten verfügbar machen, indem man sie durchsuchbar macht ( Was man nicht findet, ist nicht da ) Dateien auf Netzlaufwerken s Daten aus Datenbanksystemen dacore Datenbanksysteme AG März 2016 Seite 14

15 Big Data Funktionsweise einer Suchmaschine Inverser Index Indizierung Suche 2010 dacore Datenbanksysteme AG März 2016 Seite 15

16 Big Data Funktionsweise einer Suchmaschine Die Indizierung Crawlen Textextraktion Indizierung Wortverarbeitung 2010 dacore Datenbanksysteme AG März 2016 Seite 16

17 Big Data Funktionsweise einer Suchmaschine - Crawlen Mechanismen Permanentes Crawlen Zeitgesteuertes Crawlen Vorhandene Connectoren Netzlaufwerk Datenbanken Exchange/Mail Server Erweiterung mit weiteren Crawlern problemlos möglich Netzlaufwerke Datenbanken Exchange Server... Core 2010 dacore Datenbanksysteme AG März 2016 Seite 17

18 Big Data Funktionsweise einer Suchmaschine - Textextraktion Extraktion des Volltexts aus (fast) allen gängigen Formaten Office (Word, Excel, Powerpoint,...) Pdf Open Office... Erweiterung für Spezialformate möglich Volltextextraktion aus (HTML-) s Extraktion von Metadaten Autor Bearbeitungsdatum MIME-Type 2010 dacore Datenbanksysteme AG März 2016 Seite 18

19 Big Data Funktionsweise einer Suchmaschine - Wortverarbeitung Tokenisieren Normalisierung Stop Word Filter Lemmatisierung / Stemming Ggf. weitere Filter 2010 dacore Datenbanksysteme AG März 2016 Seite 19

20 Big Data Funktionsweise einer Suchmaschine - Indizierung Die Suche basiert auf einem inversen Index Effiziente Datenstruktur auf Basis von Apache Lucene Zusätzliche Speicherung von Positionsdaten 2010 dacore Datenbanksysteme AG März 2016 Seite 20

21 Big Data Die Suchanfrage Aktuelles Testsystem bei Dacore enthält ca Dokumente Komplette Indizierung dauert ca. 2 Tage Inverser Index ist ca. 100GB groß Suchanfragen dauern ca ms Benutzung wie google, komplexe Queries möglich Parsing / Wortverarbeitung Inverser Index 2010 dacore Datenbanksysteme AG März 2016 Seite 21

22 Big Data Die Weboberfläche 2010 dacore Datenbanksysteme AG März 2016 Seite 22

23 Ausblicke Big Data, Lookup und Prediction Analyse von Echtdaten zur Vorhersage von Trends zur Auslastungsplanung Erweiterung / Verbesserung der Suche Erweiterung der Connectoren Integration von TestLabPlus in die Suche MessdatenManagement Ausbau des Prototypen Importer für gängige Messdatenformate Basis Auswertealgorithmen 2010 dacore Datenbanksysteme AG März 2016 Seite 23

24 Vielen Dank für Ihre Aufmerksamkeit! dacore Datenbanksysteme AG Hauptstr. 106b D Heroldsberg