Algorithm Engineering Workbench

Transkript

1 Praktische Informatik, Uni Siegen 15. November 2006 (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

2 Gliederung 1 Algorithm Engineering 2 Algorithm Engineering Workbench Konzept Verwandte Systeme Entwurf (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

3 Algorithm Engineering Einleitung Eingrenzung Algorithm Engineering umfasst Design, theoretische Analyse, Implementierung und experimentelle Evaluation von Algorithmen und Datenstrukturen (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

4 Algorithm Engineering Einleitung Algorithm Engineering......ergo ist anwendungsorientiert und basiert auf realistischen Modellen der Probleme und Rechner nutzt systematische, reproduzierbare Experimente zur Widerlegung oder Stärkung aussagekräftiger, falsifizierbarer Hypothesen will die Lücken verkleinern, die zwischen den besten theoretischen und den bestem implementierten Algorithmen bestehen Experimente sind integraler Bestandteil des AE Unterstützung des Experimentierprozesses durch ein integriertes Werkzeug ist wünschenswert (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

5 Algorithm Engineering Einleitung Algorithm Engineering......ergo ist anwendungsorientiert und basiert auf realistischen Modellen der Probleme und Rechner nutzt systematische, reproduzierbare Experimente zur Widerlegung oder Stärkung aussagekräftiger, falsifizierbarer Hypothesen will die Lücken verkleinern, die zwischen den besten theoretischen und den bestem implementierten Algorithmen bestehen Experimente sind integraler Bestandteil des AE Unterstützung des Experimentierprozesses durch ein integriertes Werkzeug ist wünschenswert (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

6 Konzept Ziel Stelle eine komfortable Experimentierumgebung bereit Anforderungen: Vereinfache die Durchführung computerbasierter Experimente Dokumentiere den Experimentierkontext automatisch Unterstütze bei der Verarbeitung und Auswertung der Ausgaben Nutze strukturierte Datenformate Nebenbedingungen: Keine Einschränkungen bzgl. der Art der möglichen Experimente Keine Einschränkungen bzgl. des zu verarbeitenden Ausgabeformats Unterstütze Sprach- und Plattformunabhängigkeit (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

7 Konzept Experimentierprozess Algorithm Engineering 1 Sammle Benchmark-Daten 2 (Re)designe Algorithmus 3 (Re)implementiere Algorithmus 4 Führe Benchmark-Test durch 5 Analysiere Ergebnisse 6 Gehe zu Schritt 2 bis ein Abbruchkriterium erfüllt ist 7 Publiziere Ergebnisse (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

8 Konzept Experimentierprozess Algorithm Engineering 1 Sammle Benchmark-Daten in Datenbank 2 (Re)designe Algorithmus 3 (Re)implementiere Algorithmus 4 Führe Benchmark-Test durch 5 Analysiere Ergebnisse 6 Gehe zu Schritt 2 bis ein Abbruchkriterium erfüllt ist 7 Publiziere Ergebnisse (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

9 Konzept Experimentierprozess Algorithm Engineering 1 Sammle Benchmark-Daten in Datenbank 2 (Re)designe Algorithmus 3 (Re)implementiere Algorithmus CVS 4 Führe Benchmark-Test durch 5 Analysiere Ergebnisse 6 Gehe zu Schritt 2 bis ein Abbruchkriterium erfüllt ist 7 Publiziere Ergebnisse (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

10 Konzept Experimentierprozess Algorithm Engineering 1 Sammle Benchmark-Daten in Datenbank 2 (Re)designe Algorithmus 3 (Re)implementiere Algorithmus CVS 4 Führe Benchmark-Test durch Erfasse Kontext 5 Analysiere Ergebnisse 6 Gehe zu Schritt 2 bis ein Abbruchkriterium erfüllt ist 7 Publiziere Ergebnisse (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

11 Konzept Experimentierprozess Algorithm Engineering 1 Sammle Benchmark-Daten in Datenbank 2 (Re)designe Algorithmus 3 (Re)implementiere Algorithmus CVS 4 Führe Benchmark-Test durch Erfasse Kontext 5 Analysiere Ergebnisse Sammle in DB & extrahiere Informationen 6 Gehe zu Schritt 2 bis ein Abbruchkriterium erfüllt ist 7 Publiziere Ergebnisse (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

12 Konzept Experimentierprozess Algorithm Engineering 1 Sammle Benchmark-Daten in Datenbank 2 (Re)designe Algorithmus 3 (Re)implementiere Algorithmus CVS 4 Führe Benchmark-Test durch Erfasse Kontext 5 Analysiere Ergebnisse Sammle in DB & extrahiere Informationen 6 Gehe zu Schritt 2 bis ein Abbruchkriterium erfüllt ist 7 Publiziere Ergebnisse (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

13 Konzept Experimentierprozess Algorithm Engineering 1 Sammle Benchmark-Daten in Datenbank 2 (Re)designe Algorithmus 3 (Re)implementiere Algorithmus CVS 4 Führe Benchmark-Test durch Erfasse Kontext 5 Analysiere Ergebnisse Sammle in DB & extrahiere Informationen 6 Gehe zu Schritt 2 bis ein Abbruchkriterium erfüllt ist 7 Publiziere Ergebnisse Tabellen, Statistiken, Graphen,... (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

14 Verwandte Systeme ExpLab 0.7 Ziel: Komfortable Experimentierumgebung Autoren: Susan Hert, Lutz Kettner, Tobias Polzin und Guido Schäfer (MPI für Informatik) Stand: Mai 2003 Quelle: (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

15 Verwandte Systeme ExpLab 0.7 Betriebssystem: Linux, Solris, IRIX Integriert Standardtools: cvs: Quellcodeverwaltung make: Erstellen von Programmvarianten mittels Compilerflags gnuplot: Visualisierung der Daten python: Textverarbeitung (Transformation) 5 Konsolenprogramme: Konfigurierbar per flags / Textdatei labsetup: Erfasst und dokumentiert den Kontext der Experimente labmex: Erstellt eine Programm und führt es aus labrun: Startet ein Experiment und dokumentiert dessen Kontext labrerun: Wiederholt ein Experiment gemäß dessen log-datei labschedule: Startet eine Serie von Experimenten (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

16 Verwandte Systeme ExpLab 0.7 Verzeichnis- / Dateibasiert Auswertung der Ergebnisse Ergebnisse der Experimente werden in internes Format transformiert (sus, Script-readable User Statistics ): table2sus, text2sus Auswertung der Daten erfolgt dann in Form von ASCII Tabellen: sus2text L A TEX Tabellen: sus2latex Graphen: sus2plot Weiteren sus-dateien: sus2sus (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

17 Verwandte Systeme jeti (Electronic Tool Integration Platform) Ziel: Werkzeugintegration über das Internet Projektpartner: Uni Dortmund (Informatik LS 5) Uni Potsdam Fraunhofer ISST Quelle: (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

18 Entwurf Architektur CVS LaTeX Benchmark Algorithmus spez. Format XML R Kontext Gnuplot... Konf. Datenbank (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

19 Entwurf 1 Eingabedatenverwaltung Realisierung Vorteile Benchmarks in Datenbank statt Dateisystem verwalten Erfassung von Metadaten Textuelle Beschreibung Autor, Datum,... Weitere spezifische / statistische Kennzahlen (teil-)automatisierte Benchmarkauswahl CVS / Subversion scheint wegen des eher statischen Charakters der Daten hier weniger sinnvoll Unterstützt die Reproduzierbarkeit ( Suchfunktionen) Zentrale Speicherung Vereinfacht Sicherung Verwaltung über standardisierte Schnittstellen Ermöglicht den Aufbau weltweit zugänglicher Benchmark-Suiten (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

20 Entwurf 2 Ergebnisverwaltung Realisierung Vorteile Resultate in Datenbank statt Dateisystem verwalten Erfassung des Kontextes Rechnername CPU, RAM, Cache, BS,... Unterstützt die Validierung (dokumentierter Prozess) Zentrale Speicherung Vereinfacht die Sicherung Verwaltung über standardisierte Schnittstellen Ermöglicht den Aufbau weltweit zugänglicher Algorithmen-Leistungsprofile (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

21 Entwurf 3 Analyse Realisierung 1 Resultate in Algorithmen und Analysewerkzeug unabhängiges Zwischenformat wandeln Nutze einheitliches XML-Schema Erfassung in Datenbank 2 Werkzeuge mit aus dem Zwischenformat transformierten Daten bedienen Einmal erstellte Export-Transformationen können direkt von neuen Algorithmen genutzt werden Neue Algorithmen benötigen nur noch eine Import-Transformation Vorteile Reduziert Anzahl benötigter Transformationen (m-algorithmen n-werkzeuge) Algorithmen können Resultate auch direkt in XML-Form erzeugen Daten liegen strukturiert vor Von Nutzern und Werkzeugen gleichermaßen einfach zu interpretieren (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

22 Entwurf 4 Konfigurationsverwaltung Realisierung Vorteile Konfigurationen in Datenbank verwalten Erfassung von Benchmark Algorithmus Parametrisierung Resultaten Kontext Unterstützt die Reproduzierbarkeit Einfache Realisierung von Testserien Zentrale Speicherung Vereinfacht die Sicherung Verwaltung über standardisierte Schnittstellen (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

23 Entwurf Entwurfsentscheidungen Plattformunabhängigkeit: Implementierung in Java Freie Verfügbarkeit: Open Source Freie Werkzeuge (CVS / Subversion, MySQL, LaTeX, Gnuplot, R,... ) Freie Standards (XML,... ) Grafische Oberfläche: rich client (Eclipse plugin) web interface (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

24 Entwurf Netzwerkunterstützung Unterstütze parallele Ausführung von Experimenten im Netzwerk Technologie: Jini Plattformunabhängig Clients bieten ihre Services im Netz an (hier: Führe ein Experiment aus) Server verteilt Experimente und Eingabedaten und verwaltet Ergebnisse Zugriff auf die Dienste über Java-basierte Objekte (Netzwerkkommunikation ist durch die Java-Objekte des Dienstes verdeckt) (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

25 Entwurf Zeiterfassung Problem: Normierung kaum möglich, da u.a. Abhängigkeit von Hardware (CPU, Cache, Speicher, Festplatte,...) Software (Betriebssystem, Compiler,...) Temporäre Faktoren (Aktuelle Auslastung, Installationsalter,...) Ist besondere Unterstützung zur Zeiterfassung überhaupt sinnvoll? (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

26 Entwurf Zeiterfassung Problem: Normierung kaum möglich, da u.a. Abhängigkeit von Hardware (CPU, Cache, Speicher, Festplatte,...) Software (Betriebssystem, Compiler,...) Temporäre Faktoren (Aktuelle Auslastung, Installationsalter,...) Ist besondere Unterstützung zur Zeiterfassung überhaupt sinnvoll? (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

27 Zusammenfassung Zusammenfassung Algorithm Engineering Workbench......unterstützt den Nutzer durch automatische Experimentdurchführung & Dokumentation Verwaltung der Ein- / und Ausgabedaten (teil-)automatisierte Analyse interpretierbare Datenformate Sicherstellung von Reproduzierbarkeit & Validierbarkeit...ist datenbankbasiert plattformunabhängig offen erweiterbar (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20

28 Zusammenfassung Diskussion Akzeptanz: Wünsche potentieller Nutzer analysieren und integrieren Information Retrieval für Benchmark- / Ausgabedaten Weitere Ansätze? Auswertung? Zeiterfassung? Einzelbenutzer- / Mehrbenutzersystem ( Rechteverwaltung)? Beratung?... (Praktische Informatik, Uni Siegen) Algorithm Engineering Workbench 15. November / 20