Fundamentale Ideen der Informatik PH Weingarten Sommersemester 2014 Paul Libbrecht CC-BY. Vorlesung 4: Suche

Transkript

1 Fundamentale Ideen der Informatik PH Weingarten Sommersemester 2014 Paul Libbrecht CC-BY Vorlesung 4: Suche

2 Menü Weshalb debuggen? Wo ist der Bug? Idee: Komplexität Linear Suche Index Suche Lucene Index Suche offen: Suchergebnisse sortieren

3 Themenkarte Verschlüsselung Netzwerk Versionierung Programmverlauf Java Instruktionen Maschinelles Lernen von Neumann Modell Datenstrukturen Komplexität Suche, Index Betriebsystem Klassen & Instanzen Repräsentationen Komprimierung

4 Weshalb Debuggen? Grundidee der Vorlesung: Sie verstehen wie ein Programm abläuft dafür: Effekte ansehen, selber schreiben oder lesen und interpretieren debuggen: ein Debugger benutzen nicht mit der Definition von Pappert! Lernerfahrung durch Bugjagd und Reparatur

5 Wieso IntelliJ IntelliJ IDEA ein Profiwerkzeug ein IDE: Integrated Development environment kann viele Sprachen, viele Medien aber braucht aber etwas Geduld (und RAM) viele benutzen Lernorientierte IDEs BlueJ, Jelliot, sehr begrenzt, kaum Luxus zum editieren, kaum API-orientiert

6 Debuggen zu erklären Aber... Sie verstehen nicht was ist was mehr lesen, zuhören, sich dokumentieren diese Erklärung ist zu einfach... die Informatik basiert oft auf einfache Dinge Sie verstehen nicht, was Sie an dieser Stufe erklären sollten: API zeigen, probieren und Variable sehen, versuchen Sie die Zeile wegzumachen

7 Idee: Komplexität In einem Programmablauf, ist eine Einschätzung der obere Grenze der Menge der Stufen oder des benötigte Platzes Komplexität genannt. Zeit: wann kommen wir an? Seit Erklärungen: Mathefunktion, Schätzen in der Grundschule Horizontal: überall wo ein Programm studiert wird, braucht man seine Erwartungen zu zitieren (zb Progressbars)

8 Beispiel: Termin Finden (mit dem Telefon) n Leute (1, 2, 3,...) brauchen sich zu treffen Organisator o versucht ein passender Termin zu finden indem er jeder anruft Es gibt m Zeitmöglichkeiten o ruft 1, findet Termin a o ruft 2, prüft, passt nicht? zurück zu 1... wieviele Anrufe (max) wenn n Leute?

9 Beispiel: Termin Finden (mit dem Telefon) n=2 m Versuche n=3 m m Versuche Komplexität m n 1 <latexit sha1_base64="6nf3jdi2ehoq/qprkbhuuw4z82m=">aaacyxicjvhlssnafd2nr1pfvzdugkvwy0le1gxrjqsxfywt1cpjoq1d82iyewvpyi9wqx8m/oh+hxfgfnqioihj n=4 m m m Versuche für jeder mehr, multipliziert man durch m

10 Termin Finden (mit Doodle.com) o fragt alle möglichen Termine einer nach dem anderen nur n Telefonaten Komplexität n

11 Suche: Problemstellung eine Vielzahl von Informationen man verliert den Überblick ein Rechner kann viel durchsuchen lass den suchen! eine Anfrage formulieren Ergebnisse ansehen Universitetsbiblioteket : søndre del av langsalen til Fredriksgate

12 Suche: Problemstellung ein Haufen von Information zuviel zu überblicken ein Rechner kann viel durchsuchen lass den suchen! eine Anfrage formulieren Ergebnisse ansehen Fra Katalogsalen i publikumsavdelingen ved Universitetsbiblioteket, 1949

13 Experiment: Ganzes Shakespeare wer kennt das ganzes Shakespeare? ~ Zeilen, ~ Wörter leicht mit einem Rechner zugänglich von Gutenberg freie ebooks kein Urheberrecht bedroht als Text Datei zugänglich (und ) Wir suchen durch alle diese Texte nach einzelne Wörter

14 Simple Search: lineare Suche einfache Idee: das Programm öffnet die Datei und prüft die Anfrage durch allen Zeilen sogenannte sequenzielle Suche Projekt: FundIdeen04-Search (link) laufen, Debuggen Komplexität?

15 SimpleSearch: Grenzen Komplexität (also Zeit) Abhängig von: der Grösse der Dokumentensammlung der Geschwindigkeit des Lesens das Datei wird immer wieder gelesen Ungeeignet für: grosse oder langsame Kollektionen multi-benutzern-anfragen Könnte alles im Speicher ablegen Grösse dann von dem RAM begrenzt Wie macht Google oder Bing?

16 Datenstruktur: Indexbaum <root> K Ein hierarchiches Graf L U (also... ein Baum) E R Knotenetiketten: Buchstaben I Z Blattknotten: Liste der N Byte 33 Dokumentenreferenzen I Operationen: Byte 223 Byte G Byte 779 Suchen: durch die Buchstaben K einfügen: einfach neues Knoten E Kind und/oder neuer Mitglied I der Liste T Byte 88 Byte 115

17 Programm: Index Suche Eine Klasse: IndexNode ein Buchstabe Liste von Kindern Liste von Referenzen Aktionen: Kindknote finden (String) Kind hinzufügen Alles aus einem Wurzel Programm Indexieren: liest Zeilen und fügt Wörter im Index Programm IndexSuchen: lädt das Index erwartet Anfragen druckt Zeilennummer

18 Index Suche: Grenzen Nur ganze Wörter oder Wortanfangsteile Index muss im Speicher abgelegt werden alle Wörter der Welt in einem wäre schwierig Listen von Referenzen zu gross? zu gemeinsame Wörter (Stopwords) wegnehmen Was ist wenn hunderte von Ergebnisse? Ranking

19 Domäne der Informatik: Information Retrieval Information Retrieval: Wissenschaft der Suchprogramme Etabliert, theoretisch und experimentell Trends: Kontext-abhängig ranking, facetting, grafische Ergebnisse, Sprachanalyse, Bildanalyse, Benutzertesting in Aufgaben Beispielwerk: searchuserinterfaces.com Konferenzen: ACM SIGIR, NTCIR, TREC, CLEF...

20 Weiter: mit Lucene das Index durch eine Bibliothek machen die auch für Festplattenspeicherung sorgt Elemente Dokumente mit Felder und, jeder, eine Reihe von Tokens typischerweise: Wortstämme LuceneBuildIndex and LuceneSearch schneller, gestemmt Ranking: tf idf (Definition beim IR-Book)

21 Augaben Komplexität in anderen Kontexten einsehen zb beim Editieren Die Baumstrukturen in Java Variablen und im Baum vergleichen ein viel grösseres Text laden (zb Wikipedia Topartikeln, link)