dacore Datenbanksysteme AG Neue Konzepte zur Optimierung der Auslastungsplanung und Big Data im Informationsmanagement
dacore Datenbanksysteme AG Neue Konzepte zur Optimierung der Auslastungsplanung Die Problemstellung Die Ressourcenplanung ist von vielen äußeren Faktoren abhängig Es läuft immer irgendwas anders als eingeplant Prüflinge kommen später Tests dauern länger... oder es gibt Probleme mit den Anlagen Es ist schwer im vornherein die Auslastung der nächste Zeit abzuschätzen Geplanter Start? Ende 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 2
dacore Datenbanksysteme AG Ein neuer Ansatz: Predict Schauen wir uns das Problem etwas genauer an Die Verschiebungen treffen uns nie unerwartet ( Ja, sowas dachte ich mir schon fast ) Ähnliche Verzögerungen treten immer wieder auf ( Das war beim letzten mal auch schon so ) Müssen wir eigentlich wirklich für jedes DUT den genauen Teststart kennen oder interessiert uns nicht eigentlich etwas anderes Wie wird die Auslastung in nächster Zeit sein? Werde ich Tests aus Kapagründen nicht rechtzeitig bedienen können? 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 3
dacore Datenbanksysteme AG Ein neuer Ansatz: Predict Vorhandene (Alt-)Daten Klassifizierung Modellbildung Auslastungsplanung / Ressourcenplanung Vorhersage basierend auf Auftragslage 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 4
dacore Datenbanksysteme AG Klassifikation Gute Datenlage in TestLabPlus Viele Tests Metadaten zu den Tests (Hersteller, Prüfdauer,...) Dokumentation aller Verzögerungen Data Mining und maschinelles Lernen einsetzen! Klassifikation 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 5
dacore Datenbanksysteme AG Modellbildung Versicherungsmathematik ( survival analysis ) liefert ideale Grundlage Mathematische Modelle existieren Algorithmen zum fitting & sampling vorhanden Verfahren sind erprobt und robust Schätzen der Modellparameter 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 6
dacore Datenbanksysteme AG Vorhersage Vorhersagen mit Hilfe des Modells Wie hoch ist die Wahrscheinlichkeit für bestimmte Events? Wie robust ist meine Planung? Automatische robuste Planung durch Simulation Besser hier einplanen? Geplanter Start? Ende Geplanter Start Ende 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 7
Wahrscheinlichkeit für einzelne Tests Wahrscheinlichkeit dacore Datenbanksysteme AG Optimierte Planung Auslastung an Tag x Tag x 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 8
dacore Datenbanksysteme AG Optimierte Planung Erwartete Auslastung im nächsten Monat y[, 1] 0 2 4 6 8 10 12 5 10 15 20 25 30 time 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 9
dacore Datenbanksysteme AG Optimierte Planung Einsatzmöglichkeiten Nur Tests mit hoher Wahrscheinlichkeit in der Planung Visualisierung der Wahrscheinlichkeit in der Planung Automatische robuste Planung durch Simulation Vorhersage der Auslastung in der nächsten Zeit 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 10
Big Data... im Informationsmanagement 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 11
Big Data... im Informationsmanagement Die Problemstellung im Informationsmanagmenet Informationen liegen in verschiedenen Dokumenten in verschiedenen Systemen mehr oder weniger strukturiert In Ordnerstrukturen selbst sind Metainformationen enthalten, z.b. in Ordnernamen Andere Systeme enthalten andere Metainformationen (Empfänger/Sender bei Emails, Spalten bei Datenbanken,...) Eine Suche in allen Systemen ist nicht praktikabel und teilweise nur schwer möglich (auf Netzlaufwerken z.b.) 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 12
Big Data Motivation Lookup 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 13
Big Data Motivation Lookup Die Idee Daten verfügbar machen, indem man sie durchsuchbar macht ( Was man nicht findet, ist nicht da ) Dateien auf Netzlaufwerken Emails Daten aus Datenbanksystemen... 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 14
Big Data Funktionsweise einer Suchmaschine Inverser Index Indizierung Suche 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 15
Big Data Funktionsweise einer Suchmaschine Die Indizierung Crawlen Textextraktion Indizierung Wortverarbeitung 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 16
Big Data Funktionsweise einer Suchmaschine - Crawlen Mechanismen Permanentes Crawlen Zeitgesteuertes Crawlen Vorhandene Connectoren Netzlaufwerk Datenbanken Exchange/Mail Server Erweiterung mit weiteren Crawlern problemlos möglich Netzlaufwerke Datenbanken Exchange Server... Core 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 17
Big Data Funktionsweise einer Suchmaschine - Textextraktion Extraktion des Volltexts aus (fast) allen gängigen Formaten Office (Word, Excel, Powerpoint,...) Pdf Open Office... Erweiterung für Spezialformate möglich Volltextextraktion aus (HTML-)Emails Extraktion von Metadaten Autor Bearbeitungsdatum MIME-Type 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 18
Big Data Funktionsweise einer Suchmaschine - Wortverarbeitung Tokenisieren Normalisierung Stop Word Filter Lemmatisierung / Stemming Ggf. weitere Filter 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 19
Big Data Funktionsweise einer Suchmaschine - Indizierung Die Suche basiert auf einem inversen Index Effiziente Datenstruktur auf Basis von Apache Lucene Zusätzliche Speicherung von Positionsdaten 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 20
Big Data Die Suchanfrage Aktuelles Testsystem bei Dacore enthält ca. 860.000 Dokumente Komplette Indizierung dauert ca. 2 Tage Inverser Index ist ca. 100GB groß Suchanfragen dauern ca. 20-200ms Benutzung wie google, komplexe Queries möglich Parsing / Wortverarbeitung Inverser Index 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 21
Big Data Die Weboberfläche 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 22
Ausblicke Big Data, Lookup und Prediction Analyse von Echtdaten zur Vorhersage von Trends zur Auslastungsplanung Erweiterung / Verbesserung der Suche Erweiterung der Connectoren Integration von TestLabPlus in die Suche MessdatenManagement Ausbau des Prototypen Importer für gängige Messdatenformate Basis Auswertealgorithmen 2010 dacore Datenbanksysteme AG www.dacore-dbs.com März 2016 Seite 23
Vielen Dank für Ihre Aufmerksamkeit! dacore Datenbanksysteme AG Hauptstr. 106b D-90562 Heroldsberg info@dacore-dbs.com www.dacore-dbs.com