Datenbanksuchmaschine

Transkript

1 Datenbanksuchmaschine DOAG Regionaltreffen Stuttgart Egon Ritter ci database services gmbh / eritter@ci-database.de ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 1

2 Überblick 1. Internet- und Datenbanksuchmaschinen 2. SQL-Abfragetechniken 3. Volltextrecherche mit strukturierter Suche 4. Integration mit operativen Systemen 5. Fazit ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 2

3 1 Internet- und Datenbanksuchmasch. Internetsuchmaschinen HTML-Seiten, PDF-Dokumente,... Crawler wertet Links aus; Texte werden indiziert 1 Eingabefeld für Suchkriterien Trefferliste mit Dokumenten Qualität der Suchergebnisse wird mit zunehmendem Datenvolumen im Internet besser/schlechter? Probleme bei dynamischen Web-Seiten Technik ist nicht besonders geeignet um z.b. Adressen, Gebrauchtfahrzeuge oder Immobilien zu finden Neue Entwicklungen Bildersuche; Analyse von ganzen Sätzen Meta-Suchmaschine für Datenbankanwendungen ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 3

4 1 Internet- und Datenbanksuchmasch. Datenbanksuchmaschinen Suchklasse festlegen Treffermenge von vornherein stark eingeschränkt und homogen z.b. Artikel, Adressen, Aufträge, Dokumente, Versuche Crawler wertet Feldinhalte und Fremdschlüsselbeziehungen aus 1 oder mehrere Eingabefelder für Suchkriterien Suche mit hierarchischer Baumstruktur (Katalog) Trefferliste mit Objekten der Suchklasse Qualität der Suchergebnisse ist sehr hoch Suche liefert Datenbankinhalte von dynamischen Web-Seiten ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 4

5 1 Internet- und Datenbanksuchmasch. Beispiel einer Datenbanksuchmaschine ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 5

6 1 Internet- und Datenbanksuchmasch. Wir merken uns: Die wichtigen Daten liegen in Datenbanken und nicht in statischen HTML-Seiten Anforderungen an Suchmaschinen: Inhalte von Datenbanken indizieren Einfache Bedienung Überblick über gespeicherte Informationen liefern Schneller Zugriff auf gewünschte Informationen Bei Bedarf mehrere Suchklassen mit jeweils separatem Index aufbauen ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 6

7 2 SQL-Abfragetechniken Einfache Abfragen Select * from artikel where artikelnr = 'A31-124' Primary Key Select * from artikel where bezeichnung like '%Schraube%' Select * from artikel where warengruppe = 'ABX' Index? Select * from artikel where farbe = 'schwarz' and auf_lager = 'J' Binär-Indizes Select * from adressen where soundex(name) = soundex('meier') ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 7

8 2 SQL-Abfragetechniken Komplexere Abfragen Join 1 select p.projnr, p.bezeichnung, ma.name projektleiter from projekte p, mitarbeiter ma where p.persnr_projektleiter = ma.persnr Join 2 select p.projnr, ter1.datum start_datum, ter2.datum ende_datum from projekte p, projekt_termine ter1, projekt_termine ter2 where p.projnr = ter1.projnr (+) and ter1.termintyp (+) = 'Start' and p.projnr = ter2.projnr (+) and ter2.termintyp (+) = 'Ende' Subquery mit Exists select * from versuche where versuchsart = 'Frontcrash 40% Offset' and exists (select 1 from messstellen where sensortyp = 'CM22G' and versuchsnr = versuche.versuchsnr) ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 8

9 2 SQL-Abfragetechniken Komplexe Abfragen Mengenoperatoren select artikelnr from artikel_attribute where attribut = 'Farbe' and wert = 'schwarz' intersect select artikelnr from artikel_attribute where attribut = 'Material' and wert = 'Holz' Subqueries mit Exists auf Detail-Tabelle select * from artikel where exists ( select 1 from artikel_attribute where attribut = 'Farbe' and wert = 'schwarz' and artikelnr = artikel.artikelnr) and exists ( select 1 from artikel_attribute where attribut = 'Material' and wert = 'Holz' and artikelnr = artikel.artikelnr) Joins mit Detail-Tabelle ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 9

10 Oracle Text 2 SQL-Abfragetechniken CONTEXT Index text retrieval application create index doc_idx1 on documents (text) indextype is ctxsys.context parameters ('DATASTORE CTXSYS.DEFAULT_DATASTORE') nach DML-Operationen muss Index synchronisiert werden ctx_ddl.sync_index('doc_idx1', 10M) Select * from documents where CONTAINS (text, 'Oracle AND backup AND Windows%', 1) > 0 CTXCAT Index text fragments with structured criteria select * from documents where CATSEARCH (text, 'Ergebnis', 'author = ''Maier''') > 0 ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 10

11 2 SQL-Abfragetechniken Wir merken uns: Bei großen Datenbeständen und mehreren wenig qualifizierenden Suchkriterien sind nur Zugriffe über Binär-Indizes schnell Am geeignetsten ist zur Zeit ein Oracle Text CONTEXT Index. ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 11

12 3 Volltextrecherche mit strukt. Suche Suchkriterien 1 Eingabefeld Mehrere Eingabefelder Festlegungen für ein Suchfeld: Typ (freies Feld, phonetische Suche, Code, Katalogfeld) Wildcardsuche SQL-Funktionen, die auf den Inhalt des Feldes angewendet werden Tabellen-Felder im Applikationsschema auf Suchfelder mappen ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 12

13 3 Volltextrecherche mit strukt. Suche Security Grants Rollen virtual private database Rollen als Suchkriterium der Suchmaschine mitgeben ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 13

14 3 Volltextrecherche mit strukt. Suche Wir merken uns: Volltextrecherche lässt sich mit strukturierter Suche kombinieren Man muss mit eigenen Funktionen Oracle Text erweitern bzw. Oracle Text Funktionen ersetzen Security-Bedingungen machen eine Abfrage bei richtiger Implementierung nicht wesentlich langsamer ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 14

15 4 Integration mit operativen Systemen Datenbankobjekte Indexowner Index PL/SQL Packages Log-Dateien Index-Synchronisation festlegen Definieren der Security Anforderungen Abhängigkeitsgrad def. Appowner Kopf-Tabelle Referenztabellen Lookuptabellen Detailtabellen grant select on... to indexowner ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 15

16 4 Integration mit operativen Systemen Indizierung Crawler ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 16

17 4 Integration mit operativen Systemen Einbindung in Web-Anwendungen API Funktion mit Suchkriterien als Eingabeparameter liefert als Ergebnis ein SQL-Statement lv_stmt := cids_1.sql_stmt ('$$$$$f1yphauser$$$$$f3ypalbstadt', 1); SELECT id, name FROM cids_1obj WHERE contains (text, ' % AND %', 1) >= 1 JSP (JDBC Zugriff) PL/SQL Prozedur mit htp.print-aufrufen ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 17

18 4 Integration mit operativen Systemen Wir merken uns: Eine Datenbanksuchmaschine kann auf jede Datenbankapplikation aufgesetzt werden Bestehende operative Systeme werden nicht modifiziert Security-Anforderungen werden von vornherein berücksichtigt Integration in Web-Anwendungen Einfaches API Ideal geeignet für Web-Anwendungen mit großer Benutzerzahl Schulung der Abfrage-User in operative Systeme entfällt ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 18

19 5 Fazit Heutige Technik liefert hervorragende Performance, aber es geht noch schneller Datenbanksuchmaschine wird individuell für die Abfrageanwendung eingestellt Geringer Aufwand für techn. Implementierung Suchmaschine ist leicht zu bedienen und erweiterbar Jedem Benutzer die Daten die er sehen darf keep it simple ci database services gmbh Datenbanksuchmaschine für Web-Anwendungen 19