.RQ]HSWI UGLH,PSOHPHQWLHUXQJHLQHU2QOLQH6XFKH DXIHLQHPJUR HQ'DWHQEHVWDQG

Transkript

1 a.rq]hswi UGLH,PSOHPHQWLHUXQJHLQHU2QOLQH6XFKH DXIHLQHPJUR HQ'DWHQEHVWDQG,QKDOWVYHU]HLFKQLV A Aufgabentellung & Ziel... 2 B Allgemeine Har- un Softwareanforerungen... 2 B.1 RDBMS (Datenbankytem)... 2 B.2 Harware/Betriebytem... 2 C Techniche Umetzung... 2 C.1 Grungeanke... 2 C.2 Online-Suche auf Einprozeormachinen... 3 C.3 Online-Suche auf Mehrprozeormachinen... 4 C.4 Gleichzeitige Suche in einem PLZ-Bereich... 7 C.5 Online Synchroniation er Suchateien... 7 D Fazit un Schlubemerkungen /2003 AS Are Solution GmbH Konzept Implementierung einer Online-Suche mit er AS Match(ing)Box Seite 1

2 $ $XIJDEHQVWHOOXQJ =LHO Ziel it e, eine IHKOHUWROHUDQWH, SHUIRUPDQWH XQG V\QFKURQLVLHUWH 2QOLQH6XFKH auf einem erzeitigen *HVDPWEHVWDQG YRQ PHKUHUHQ 0LOOLRQHQ $GUHVVHQ bereitzutellen, wobei ie erforerliche Har- un Software en Erforernien angepat weren kann un erzeit nicht vorgegeben it. )HKOHUWROHUDQW heißt in ieem Zuammenhang, a auch bei geringfügig fehlerhafte Dateneingaben in allen Felern ennoch ie korreponierenen Datenätze im zugruneliegenen Geamtbetan gefunen weren ollen. Neben er Zielvorgabe, alle geuchten Datenätze zu finen, oll arüber hinau jeglicher Overkill vermieen weren,. h. e ollen möglicht keine Datenätze gefunen weren, ie nicht en Sucheingaben entprechen. 3HUIRUPDQW heißt, a ie urchchnittliche Suchauer 1 Sekune nicht weentlich überchreiten ollte. 6\QFKURQ heißt hier, a eventuelle Änerungen, Löchungen un Neuzugänge im Geamtbetan zeitnah in er Online-Suche berückichtigt weren müen,. h. wenn z. B. eine neue Aree im Geamtbetan eingetragen wure, mu eine anchließene Suche nach ieer Aree iee auffinen. % $OOJHPHLQH+DUGXQG6RIWZDUHDQIRUGHUXQJHQ % 5'%06'DWHQEDQNV\VWHP Aufgrun er ehr hohen Datenmenge e Geamtbetan un er Anforerung einer funktionierenen, zeitnahen Synchroniation empfehlen wir ringent en Einatz einer Datenbank, iealerweie Oracle 9.x. Der Einatz einer Datenbank it keine Vorauetzung für en päter ikutierten Einatz er AS Software AS Match(ing)Box, ollte allering au protokollarichen Sicherheitgrünen erfolgen. % +DUGZDUH%HWULHEVV\VWHP Zu empfehlen it hier vernünftigerweie ein leitungtarker Mehrprozeorrechner mit entprechener Autattung hinichtlich RAM-Speicher, performanter Fetplatten etc. Allering wäre auch eine entprechen gut augetattete Winow oer Linux Sytemumgebung enkbar. Ein DXVUHLFKHQGJUR HV5$06SHLFKHUYROXPHQit zu empfehlen. & 7HFKQLVFKH8PVHW]XQJ & *UXQGJHGDQNH Da Softwareproukt AS Match(ing)Box beinhaltet alle notwenigen Funktionalitäten, ie für ie Implementierung einer performanten Online-Suche mit fehlertoleranten Mechanimen notwenig in. Neben en Werkzeugen zum Aufbau einer Suchatei/Suchbetane (vgl. Prouktbechreibung zur AS Match(ing)Box) weren vorgefertigte Suchfunktionen bereitgetellt, ie ieen Anforerungen gerecht weren un urch frei efinierbare Parametriierungen en peziellen Kunenwünchen Konzept Implementierung einer Online-Suche mit er AS Match(ing)Box Seite 2

3 angepat un entprechen optimiert weren können. So können bpw. Häufigkeiten berückichtigt weren, mit enen betimmte Begriffe oer Namen im Areatenbetan auftauchen. (E macht z.b. wenig Sinn nach em Namen Schmit im geamten Verzeichni zu uchen er Name Kleinbrahm könnte hingegen chon aureichen ientifizieren ein!) Bevor eine Online-Suche tattfinen kann, mu ein entprechener Suchbetan auch Suchatei genannt generiert weren. Diee wir ie au en analyierten Originalaten e Geamtbetane generiert un außerhalb er Datenbank auf Betriebytemebene abgelegt. Im Falle einer Oracle Implementierung gechieht ie ozuagen auf Knopfruck. Die Vorgehenweie er Verwenung einer Suchatei außerhalb jeer Datenbank hat ganz entcheiene Vorteile, u. a. ie folgenen: 1. Die Originalaten weren nicht moifiziert oer erweitert, a nur ein Abbil erelben ertellt un auf ieem geucht wir. 2. Die Suchatei enthält nur ie tanariierten, analyierten un komprimierten Informationen, auf enen letztenlich geucht weren oll. Daurch it ie Suchatei um ein Vielfache kleiner al ie Originalatei un ie anchließene Suche it enorm performant. 3. Die Suchatei it völlig unabhängig von er eigentlichen Quelle er Originalaten, e it alo unerheblich, ob ie Originalaten au einer Datenbank oer einer oer mehrerer Dateien kommen. 4. Die Suchatei wir auf Betriebytemebene urchucht,. h. e wir möglicht viel Datenbank- Overhea vermieen. Die ogenannt Suchatei wir normalerweie initial einmal zu Beginn e Prouktioneinatze erzeugt, geeignet iniziert un ann urch ie zugehörigen Synchroniationfunktionen up-to-ate gehalten. E weren auf einer 0K]0DVFKLQHFD'DWHQVlW]H6HNXQGHDQDO\VLHUWXQG LQWHUSUHWLHUW Unter er Vorauetzung, a er Geamtbetan in zehn etwa gleichgroße Teile aufgeplittet wir, auert er $XIEDXMHGHU6XFKGDWHLa$GUHVVHQFD6WXQGHQ. E oll noch einmal erwähnt weren, a er Aufbau er Suchatei nur einmal am Anfang erfolgt un ann urch Synchroniationfunktionen aktualiiert wir. E it jeoch au Performancegrünen innvoll, in betimmten Zeitabtänen en geamten Betan noch einmal neu zu analyieren un ie Suchatei neu aufzubauen (z. B. alle 3 oer 6 Monate). Dieer Aufbau er Suchatei mu elbtvertänlich in einem Zeitfenter erfolgen, in em ie Anwenung nicht zur Verfügung teht (alo z. B. am Wochenene oer an Feiertagen). Der Platzbearf einer Suchatei entpricht ca. 400 MByte für Areen, alo ca. 1 MByte für Areen. Bei einem Betan von (oer mehr) Areen empfiehlt ich au Performancegrünen eine 10-fach parallele Vorgehenweie, alo ein paralleler Aufbau von 10 Suchateien. Diee Parallelität wir weiter unten genauer bechrieben un erklärt. & 2QOLQH6XFKHDXI(LQSUR]HVVRUPDVFKLQHQ Die AS Match(ing)Box it o organiiert, a eine Suchanfrage trotz er Verwenung fehlertoleranter Verfahren (phonetiche Suche) elbt in großen Datenbetänen kurze Antwortzeiten bietet, ie im Durchchnitt nicht weentlich mehr al etwa 1 Sek. betragen ollte. Natürlich in zur Einhaltung ieer Antwortzeiten gewie Grenzen vorgegeben, ie z.b. urch a zu urchuchene Datenvolumen oer en Gra er Fehlertoleranz un nicht zuletzt urch ie Sytemumgebung betimmt weren. Erfahrungwerte mit großen Datenmengen in er Vergangenheit haben gezeigt, a a oben efinierte Ziel eine urchchnittlichen Antwortzeit von 1 Sek. für Datenmengen bi zu etwa 5-8 Millionen Recor mit einer vernünftigen Fehlertoleranz auf Einprozeorytemen erreichbar it. Selbtvertänlich it auch ie Suche in größeren Datenvolumina auf Konzept Implementierung einer Online-Suche mit er AS Match(ing)Box Seite 3

4 Einprozeormachinen möglich, jeoch it zu beenken, a ie ie Antwortzeit erhöhen un ie Trefficherheit beeinträchtigen kann. Wir ie AS Match(ing)Box wie oben empfohlen in einem Datenbankumfel eingeetzt, o wir al Ergebni einer Suchanfrage zunächt er/ie Schlüel (z.b. eineutige Kunennummer) un er Gra er Übereintimmung (0-100%) er Daten zurückgeliefert, ie al mögliche Treffer ientifiziert wuren. Über ieen Schlüel können ann ie gewünchten Originalaten au en hinterlegten Tabellen elektiert un z.b. zur Anzeige gebracht weren. Die Suche elbt wir von einem AS Match(ing)Box Online Server urchgeführt (im folgenen Search- Server genannt), bei em e ich um ein auführbare Programm hanelt, a einereit ie Werkzeuge enthält, um auf ie Suchateien zugreifen zu können, anerereit ie Verbinung zur (Oracle) Datenbank hertellt un mit ieer kommuniziert. & 2QOLQH6XFKHDXI0HKUSUR]HVVRUPDVFKLQHQ Späteten wenn ie Datenmenge ein Volumen von ca. fünf Millionen Recor überteigt, it ie Implementierung einer paralleliierten Suche anzuraten. Hierbei wir eine Suchanfrage in mehrere Prozee aufgeplittet, ie jeweil ijunkte (ich nicht überchneiene Datenmengen) zu verarbeiten haben. Die Antwortzeit für eine Suchanfrage teigt hierbei entprechen mit jeem Proze, er für ie Recherche verwenet wir. Da ie Parallelverarbeitung organiiert un verwaltet weren mu, teigt ie Verarbeitungzeit nicht im gleichen Maße bei jeem zuätzlichen Proze. Trotzem kann man avon augehen, a zehn parallele Prozee ie Antwort bi zu neun mal chneller liefern al ein einziger Proze. Augehen von einer Datenmenge von mehreren Millionen Recor bietet ich ie Aufteilung e Betane in 10 Einzelbereiche an, um omit unterhalb er oben angegebenen Menge zu liegen, ie eine optimale, fehlertolerante Suche gewährleitet. Die Praxi hat gezeigt, a ie erte Ziffer er PLZ ein geeignete Mittel artellt, eine entprechene Unterteilung vorzunehmen. Wir untertellt, a er Datenbetan auch Datenätze enthält, ie keine (gültige) PLZ enthält, ollte zuätzlich ein elfter Betan generiert weren, in en iee Datenätze eingeornet weren. E ergibt ich omit eine Kontellation für ie Suchateien er AS Match(ing)Box, ie wie folgt argetellt weren kann: %LOG3/=%HUHLFKHPLW6HDUFK6HUYHU Konzept Implementierung einer Online-Suche mit er AS Match(ing)Box Seite 4

5 Jeer einzelne PLZ-Bereich kann hierbei an einen eizierten Search-Server geknüpft weren, er betriebytemeitig wieerum al Proze auf einem Prozeor abläuft. Daurch wir erreicht, a bpw. nach einem Namen in allen PLZ-Bereichen gleichzeitig geucht weren kann, wenn jegliche Angabe wie Ort, PLZ un/oer Straße, ie eine Betimmung e PLZ-Bereiche ermöglicht, fehlt. Die omit gewonnene Möglichkeit er parallelen Suche erforert ein zentrale Moul, a einereit ie Weiterleitung einer Suchanfrage an ie Einzelprozee je PLZ-Bereich weiterleitet un ebeno ie von ieen zurückgelieferten Reultate wieer bünelt un al Geamtergebni zur Verfügung tellt. Diee Aufgabe übernimmt a Moul AS Parallel Search Server (AS PSS). %LOG6XFKDQIUDJHDQDOOH3/=%HUHLFKH Konzept Implementierung einer Online-Suche mit er AS Match(ing)Box Seite 5

6 Die Suche in jeem PLZ-Bereich liefert 0-n Reultate, ie nach em Gra er Übereintimmung mit en Eingabeaten (Score) in abteigener Reihenfolge ortiert weren. %LOG5 FNJDEHGHU7UHIIHUDXVDOOHQ3/=%HUHLFKHQXQG% QGHOXQJGHU(UJHEQLVVHLP$6366 GLH*HVDPWHUJHEQLVPHQJHZLUGVRUWLHUWQDFKDEVWHLJHQGHP6FRUHVRUWLHUW Im prouktiven Betrieb finet aber eine Suche nach einem Namen allein ohne zuätzliche Information über en Ort o.ä. relativ elten tatt. Im Regelfall liefert eine Suche nur nach einem Namen in großen Arebetänen ohnehin zu viele Ergebnie, um ofort en gewünchten Datenatz zu ientifizieren. Üblicherweie wir aher z.b. nach einem Namen in einem betimmten Ort geucht, (z.b. Herr Schröer in Hannover ). Seltener kommt e vor, a PLZ oer Straße un Haunummer bekannt in. Abhängig avon kann aber ie gewünchte Suche vor em Verteilen an ie einzelnen Search-Server je PLZ-Bereich innvoll eingechränkt weren: - Wir ie PLZ oer wenigten ie erte Ziffer er PLZ bei er Suchanfrage übergeben, kann ie Suche auf en entprechenen PLZ-Bereich eingegrenzt weren. Konzept Implementierung einer Online-Suche mit er AS Match(ing)Box Seite 6

7 - It er Ort bekannt un wir bei er Suchanfrage übergeben, o ermittelt er AS PSS zunächt ie möglichen PLZ-Bereiche, in enen ieer Ortname phonetich auftritt, o a ie Suche auf iee PLZ-Bereiche eingegrenzt weren kann. & *OHLFK]HLWLJH6XFKHLQHLQHP3/=%HUHLFK Bei einer entprechen hohen Anzahl von Suchanfragen - wie ie in vorliegenem Projekt zu erwarten it - mu avon augegangen weren, a einer oer mehrere PLZ-Bereiche gleichzeitig urchucht weren ollen. Um ieer Anforerung gerecht zu weren, können für jeen PLZ-Bereich mehrere Search-Server getartet weren, ie ich gegeneitig nicht behinern, obwohl ie auf en gleichen Suchateien arbeiten. Die kann ehalb gewährleitet weren, weil jeer Search Server nur leen auf ie Suchatei zugreift un aher keine Dealock o.ä. auftreten können. Darüber hinau benötigt ein wartener Search Server keinerlei Prozeorleitung, o a beenkenlo mehrere Server pro PLZ-Bereich getartet weren können, auch wenn ie Anzahl er laufenen Server Prozee ie Anzahl er verfügbaren Prozeoren eutlich überchreitet. & 2QOLQH6\QFKURQLVDWLRQGHU6XFKGDWHLHQ Inbeonere ann, wenn mehrere Peronen mit em gleichen Datenbetan arbeiten, it eine zeitnahe Synchroniation er Suchateien mit em Originalbetan notwenig. Wir bpw. ein neuer Areatenatz eingefügt oer ein vorhanener moifiziert, ann mu ieer Datenatz im Datenbetan, auf em eine Suche tattfinet (AS Suchatei) ebenfall aktualiiert weren. Hierfür wir er AS Synchroniation Server (AS Sync-Server) verwenet. Der Sync-Server wir über Änerungen im Originalbetan per Datenbank-Trigger informiert un führt ie gewünchte Änerung in er Suchatei urch. Da ieer Mechanimu ehr chnell reagiert, un auch nicht zu erwarten it, a tauene Änerungen im Originalbetan innerhalb weniger Sekunen auftreten, kann avon augegangen weren, a er Suchbetan immer zeitgleich auf em aktuellen Stan it. Einzige Retriktion in ieem Zuammenhang it, a nur ein Sync-Server je PLZ-Bereich getartet weren kann, wa au technicher un fachlicher Sicht aber auch innvoll it, a immer nur ein Proze eine Suchatei änern un iee Änerungen abpeichern arf. Konzept Implementierung einer Online-Suche mit er AS Match(ing)Box Seite 7

8 Bil 4 (Synchroniation) ' )D]LWXQG6FKOXVVEHPHUNXQJHQ Mit en Software Werkzeugen AS Match(ing)Box un en zugehörigen Oracle Server Komponenten it ie gewünchte Aufgabentellung einer performanten un fehlertoleranten Online-Suche im Rahmen einer Call-Center-Löung problemlo möglich. Weitgehen vorgefertigte Sytemfunktionen, ie über Parametriierungen en iniviuellen Wünchen angepat weren können, liefern arüber hinau ie notwenige Flexibilität, ie in Projekten erartiger Größenornungen geboten in. Hierzu zählt z.b. auch ie Möglichkeit er Paralleliierung, ie letztlich wieerum auch ie betmögliche Kombination von Qualität (Trefficherheit) un Performance beeutet. Der in Abchnitt B aufgezeigte Weg er Paralleliierung über ie erte Ziffer er PLZ it abei nur eine von vielen Möglichkeiten, ie aber nach uneren Erfahrungen oft ie einfachte un praktikabelte Löung it. Denkbar in z.b. auch Aufteilungen entprechen er Anfangbuchtaben e Orte oer e Namen. Welcher Weg hier gewählt wir hängt natürlich in tarkem Maße von en äußeren Rahmenbeingen ab, z.b. mit welchen Informationen normalerweie ein Datenatz geucht wir etc. Die AS Match(ing)Box ermöglicht neben er Suche in reinen Areaten (wie Name, Ort, Straße, etc.) auch ie Recherche nach Telefonnummer, -aree, Kontoverbinung, Geburtatum oer auch jeer aneren frei efinierbaren Information. Sofern innvoll, können hierfür auch fehlertolerante Mechanimen angewenet un in en Suchvorgang einbezogen weren Konzept Implementierung einer Online-Suche mit er AS Match(ing)Box Seite 8

9 E kann urchau vernünftig ein, in betimmten Situationen ohne fehlertolerante Verfahren zu arbeiten. Die it z.b. ann gegeben, wenn er Name einer zu uchenen Peron urch Angabe von Vor- un Nachname bereit aureichen eineutig it. Der Name Xaver Schmit ohne Angabe weiterer Informationen tellt ein typiche Beipiel für eine erartige Situation ar. Wir hier mit fehlertoleranten Mechanimen gearbeitet, weren unter Umtänen ehr viele Datenbank- un Vergleichoperationen urchgeführt, ie möglicherweie zu einer unnötig langen Laufzeit führen. Urache it in ieem Fall, a nicht nur alle Peronen mit em Nachnamen Schmit im Geamtbetan geucht weren, onern auch iejenigen, ie en gleichen phonetichen Coe beitzen ( Schmitt, Schmie, Schmi,...). Die AS Match(ing)Box bietet auch Werkzeuge, mit enen Operationen urchgeführt weren können, ie weniger fehlertolerant arbeiten un in ieen Fällen möglicherweie eingeetzt weren ollten. Führen iee ann nicht zum gewünchten Ergebni, kann al nachfolgener Schritt ann immer noch ie fehlertolerantere Suche getartet weren. Konzept Implementierung einer Online-Suche mit er AS Match(ing)Box Seite 9