DB2 Relational Extenders und OO

Transkript

1 Bilder Image Audio DB2 Relational Extenders und OO Text/XML Video Video Spatial Manfred Päßler/Otto Görlich IBM SW Group Manfred Päßler, DM Support, 1

2 Agenda Multimedia Anwendungsgebiete "Objekt-relational" Verwaltung großer Objekte in DB2 DB2 Extendertechnologie DB2 Datalinks Manager DB2 Extenders für Text DB2 Extenders für Audio/Video/Bilder DB2 Spatial Extender 2

3 Multimediale Anwendungsgebiete Interactive training Customer self-service Reference materials (publishing) Video production Complex sales service and support Market/support for two-tiered distribution People-intensive businesses Collaboration within and between companies Complex product design and development Expanding distribution channels Other Source: Gartner Group Manfred Päßler, DM Support, mpaessle@de.ibm.com 3

4 Motivation für OODBMS schneller navigierender Zugriff in komplexen Objektgraphen (z.b. worflow process model) OO Sprachen "passen nicht" zu SQL-DB Host language (C++) versus SQL (2 skills erforderlich, Typkonversion) Mitte der 90er Jahre keine Vererbung in Mainstream RDBMS (heute structured types mit Vererbung in DB2) Materialisierung/Konversion von DB-Objekten nach Sprachobjekten erfordert Persistenzlayer neuer Trend, Mitte 90er "offenes Rennen" zwischen RDBMS und OODBMS 4

5 Flowmarks V1/V2 History und Achillesfersen entwickelt Anfang/Mitte der 90er Jahre in C++ mit Objectstore als Datenbank (Version 3 bis einschließlich 5.0 SP3) Focus auf Funktionsumfang und Benutzbarkeit, nicht auf Robustheit und Skalierbarkeit proprietäres Kommunikationsprotokoll (Telepath) Fehleranfällig, keine garantierte Nachrichtenzustellung (keine Transaktionsklammer um DB und Kommunikation) aufwendige Portierung auf alle Basisprotokolle (TCPIP, APPC,...) Objectstore Datenbank 5

6 Flowmark V2 Systemstruktur Objectstore Database Objectstore Database Server Tier1 Obj. Prot. Obj. cache Flowmark Server Telepath Obj. Prot. Flowmark Buildtime GUI Tier 2 Flowmark Workflow Clients (APIs, GUIs. PEA) Applications Application Data Tier 3 6

7 Objectstore Probleme - Übersicht inkonsistente Datenbanken (database corruptions) schwieriger Nachweis von Fehlern (Komplexität) limitierte Datenbankgröße limitierter Addressspace schlechte Performance bei Queries keine Skalierbarkeit auf SMP keine gute High Availability Lösung keine wirkliche concurrency bei collections mangelnde Datenunabhängigkeit mangelnde Reife der Datenbanktools support policy von ODI Nischenskill auch beim Kunden notwendig (Datenbankadministration) hoher Entwicklungsaufwand zur Umgehung dieser Probleme 7

8 Disclaimer Erfahrungen beziehen sich auf den Zeitraum bis Sommer 1998 von Flowmark verwendete ObjectStore Releases bis einschließlich 5.0 SP3 heute nur noch 2 Flowmark V2 Kunden mit Objectstore in Betrieb 8

9 Limitierte Datenbankgröße praktische Limits OS/2: 250 MB AIX: 1.2 GB Ursache: größere DB praktisch nicht mehr handhabbar Tools wie oscompact brauchen AddressSpace von doppelter DB-Größe Address-Space Grenze auf AIX 2.5 GB nichtlineare Performance-Verschlechterung ab ca Segmenten Maßnahmen (Workarounds) Kunden muessen Anwendung umdesignen Speichern langlaufender Geschäftsvorfälle ausserhalb von Flowmark mehere Flowmark Server mit eigener DB, die über Anwendung synchronisiert werden 9

10 DB2 UDB - Extender DB2 UDB Extender verbindet zwei Welten... relationale Sicht: Eine Sicht auf Daten in "Tabellenform", flache Datenstrukturen Objektsicht: Kapselung von Daten und Funktionen in "Objekte"... und ermöglicht die Integration der Geschäftslogik in die DB Dennoch: Grundlage für die Abfrage bleibt SQL: "Zeige mir alle Mitarbeiter als 4 mal 8 cm Bild, und einem zugehörigem Video, welche vor einem roten Hintergrund stehen, ein Einkommen > DM/Jahr haben, und in den Abt. 20 und 40 arbeiten." Mitgelieferte objektrelationale Erweiterungen (for free!) Text-/ XML-/ Video- /Image- /Audioextender Text Information Extender Kostenpflichtige Features DB2 Net.Search Extender DB2 Datalinks Manager DB2 Spatial Extender Plus viele Extender von Partnern 10

11 Implementierung DB2 Extender durch... 1 LOB TYPES ermöglichen die Speicherung von bis zu 2 GB großen Objekten, mit Unterstützung von minimaler Datenbewegung während der Verarbeitung (locators, file references in Verbindung mit SQL Funktionen wie "position", "substring", "concat" etc). 2 USER-DEFINED FUNCTIONS ermöglichen die Entwicklung von built-in SQL-Funktionen durch eigene C, C++ Funktionen. Polymorphe Implementierungen möglich (Überlagerung gleicher Funktionsnamen mit unterschiedlicher Signatur) 3 DISTINCT TYPES ermöglichen Typsicherheit in den Applikationen durch die Definition neuer Datentypen und zugehöriger Funtionen. 4 TRIGGERs stellen interne Arbeitsprozesse (Indizierung, Queueing,... sicher) 5 Stored Procedures implemetieren Geschäftslogik in der DB 11

12 Weitere OO SQL99 Features der DB2 Objektsicht: Typ Definitionen als Zeilen ("Typed Tables") und Spaltentyp ("Structured Columns") Methodendefinitionen zu Typdefinitionen ("Abstract Data Types") Typ-/Tabellenhierarchien Object Identifier (Eindeutige Kennung der Objekte) (Benutzer- oder Systemgeneriert) Referenzen ("Zeiger" auf andere Objekte) Transformer Funktionen (Internalisierung und Externalisierung von strukturierten Datentypen) 12

13 Structured Data Types "Object Types" with Attributes predefined types user-defined/structured types (-> nesting) Methods implicit "self" parameter can be overloaded Example CREATE TYPE Address_t ( street VARCHAR(30), city VARCHAR(20), state VARCHAR(20)) METHOD tostring( ) RETURNS VARCHAR(72)... CREATE TYPE Person_t AS ( name birthyear addr VARCHAR(20), INTEGER, Address_t) Subtyping & Inheritance Structured type can be a subtype of another structured type single inheritance Subtype inherits attributes and methods from supertype Subtype can define additional attributes and methods CREATE TYPE BusinessAddress_t UNDER Address_t ( company VARCHAR(30),...) 13

14 Structured Types as Column Types Type of a column can be a structured type CREATE TABLE order (..., shipping Address_t,...) SQL syntax for attribute access and method invocation SELECT shipping..tostring() FROM order WHERE shipping..city = 'San Jose' UPDATE order SET shipping..city = 'San Francisco' WHERE... Substitutability one of the key advantages of OO programming languages instances of subtypes are permitted wherever the supertype is structured type columns are heterogenous INSERT INTO order(shipping) VALUES (BusinessAddress_t()) nesting of structured types is heterogenous, too VALUES (Person_t()..addr(BusinessAddress_t())) Transformation functions transform group - pair of (user-defined) functions that convert a column object into a built-in type (and back) SELECT shipping FROM order INTO :addrvar WHERE... UPDATE order SET shipping = :addrvar... application can chose which transform group to use flexibility of retrieving objects based on applications needs external user-defined functions/methods can chose the transform group to be used for object parameters 14

15 Column Types - Representation Column objects are variable-length values single value with internal object representation optimized for nesting, heterogenous objects (substitutability) fast, built-in functionality for attribute access Optimized inline representation column objects may vary significantly in size additional attributes added in subtypes attributes of variable length (VARCHAR, LOB) objects smaller than a threshold (INLINE LENGTH) are stored inline threshold can be specified on a per column basis allows tuning for fast access of average-size objects even LOB attributes can be stored inline dynamic out-of-line storage first, only variable-length attributes (e.g., LOBs) are stored out-of-line if required, the whole object can be stored out-of-line superior performance 15

16 Integration großer Datenbestände mittels DB2 Speicherung außerhalb der Datenbank + Streaming + Flexibilität + Sucheh - Zugriffsrechte - Wartung -Transaktionssicherheit - Konsistenz / Integrität STUDENTS NAME PHOTO Bill Sandy Mary DB2 Extender 16

17 Integration großer Datenbestände mittels DB2 DB2 UDB als Trägersystem für PDM II... oder Umgebung innerhalb - Streaming +- Flexibilität + Suche STUDENTS +Zugriffsrechte +Wartung +Transaktionssicherheit + Konsistenz / Integrität NAME Bill Sandy Mary DB2 Extender PHOTO 17

18 Integration großer Datenbestände mittels DB2... oder mittels Datalinks Referentielle Integrität Zugriffskontrolle Konsistentes Backup und Recovery Transaktionssicherheit Dassault CATIA/VPM Applications SQL API requests File API requests Employee Table Datalink File Filter name dept picture Datalink File Manager file-link type Images in external Files DBMS controls images stored in picture column 18

19 DB2 Extender - Anwendungsbeispiel SOLD ONHAND RATING ARTIST TITLE COVER VIDEO MUSIC SCRIPT PG-13 Arnold The Exter minator R Kevin Dancing with Bulls G Glenn 101 Doll Imitations G Buzz Toy Glory Mix traditional relational data with multimedia data SELECT FROM WHERE Sold, Artist, Music, Cover, Video, Video_Store Rating = 'G', Video-length(video) < 120, contains (SCRIPT, "Great Mail found in a shell") Sold ORDER_BY Datatype Attribute Specialized Search found: "Message in a bottle" 19

20 Architektur der DB2 Text/Audio/Video/Image Extenders Applications SQL Client functions DB2 Client Streamed data DB2 UDB V7 - Extended SQL API - C API Stored Proc. UDT UDF Static data DB2 Datalinks * Servers Externally Stored MM Data Business Data { MM Extensions MM Attributes Data Search Support Data Static data BLOBs Internally Stored MM Data * V7: Text- und TIE V8: XML und AVI Manfred Päßler, DM Support, mpaessle@de.ibm.com 20

21 Volltextsuche mit DB2 DB2 Textextender (ab V2) funktional mächtigste DB2 Textsuchmaschine, als externe UDF implementiert linguistische/fuzzy/phrasensuche mit boolschen Operatoren Thesaurusunterstützung 24 unterstützte Sprachen DBText Information Extender (ab V7.2) Suchfunktion als interne UDF implementiert: wesentlich stärker vom DB2 Optimizer berücksichtigt, dadurch 4-10x schneller als Textextender Einfache Benutzung funktional wie Textexten, aber ohne linguistische Suche, begrenzte Unterstützung der Mehrsprachigkeit DB2 EE: AIX, NT, Solaris Net.Search Extender (ab V7.1) Schnellste Suchmaschine, als Stored Procedure implementiert In-Memory Search Optimierte Speicherung der Daten höchste Skalierbarkeit und Performance (kaum Performance Verluste bei 400 gleichzeitigen Zugriffen auf 4 Mio Sätze (Resp.Time < 1s) begrenzte Unterstützung der Mehrsprachigkeit, keine XML Unterstützung 21 1EPOS

22 ?????? 3xTextsuche?????? Konsolidierung der Textsuchmaschinen in V8 Empfehlung Möglichst: Text Information Extender Falls größtmögliche Funktionalität (linguistische Suche, Mehrsprachigkeit): Textextender Falls größtmögliche Performance: Net.Search Extender 4 Borders Books Time in Seconds M 14M 21M 28M 35M 42M 49M 56M 63M 70M 77M 84M 91M Web Server Hits Per Day 22

23 Audio/Video/Image Extender UDFs für Speicherung in oder außerhalb der Datenbank Retrievel der Objekte in Memory oder Datei Attributextraktionen beim insert Audio: Format, Dauer, Anzahl Kanäle,... unterstützt: AIFF, AIF, AIFC, AU, MIDI, MPEG1, WAV Image: format, thumbnail, Länge, Breite,... unterstützt: _IM, BMP, EPS, EP2, GIF, IMG, IPS, JPG, PCX, PGM, PS, PSC, PS2, TIF, YUG Video: Format, Dauer, Frame-Nummer,... unterstützt: AVI, MPEG1, MPEG2, QT Spezielle Suchmöglichkeiten incl. Ranking: Image: Query by Image Content Video: Shot Change Detection 23

24 Image Extender: QBIC Nach diesen Kategorien kann gesucht werden: Farbdurchschnitt Farbdurchschnitt des Bildes z.b. grün, rot violett Farb-Histogramm Farbverteilung in einem Bild, z.b. 50% Rot und 20% Gelb Farb-Position Bestimmende Farben in bestimmten Bildpositionen Textur Größe, Kontrast und Ausrichtung von Wiederholungsmustern in einem Bild Obige Daten werden in einem Katalogisierungslauf extrahiert und stehen dann für Suchprozesse zur Verfügung Manfred Päßler, DM Support, 24

25 Kombinierte Bild-, Text-, und Katalogsuche This beautiful suit by Cardin is available in our new winter collection. Item #: Type: suit Price: $450 Size: L, M, S Bild Volltext Katalog Bildinhalt Suche Color Pattern Textinhalt Suche "Cardin or Dior" Katalog Suche Type = suit Price < $500 Manfred Päßler, DM Support, 25

26 Video Extender: Scene Change Detection Szenenwechsel: Signifikanter Unterschied zwischen 2 Video Frames Shot: Frames zwischen 2 Szenenwechsel Funktionen: Erkennung von Szenenwechseln Erzeugen und Verwalten des Shot-Katalogs in der Datenbank Extrahieren von Frames Zusammenspiel mit QBIC "Gibt es im Video eine Sonnenaufgangsszene ähnlich diesem Bild? Wenn ja, spiele bitte das Video ab dieser Szene!" Manfred Päßler, DM Support, 26

27 What is XML? A simplified subset of SGML optimized for inter-/intranet applications A text-based tag language similar in style to HTML but with user-definable tags A standard way of sharing structured data A key technology to enable e-business A standard way of separating data from presentation A metalanguage for defining other markup languages, interchange formats and message sets XML is the foundation for a family of technologies XML - HTML? XML markup states what the data is, HTML markup states how the data should be displayed HTML is about presentation and browsing XML is about structured information interchange 27

28 XML Doc Example: Simple Stock Trade data DTD Using Simple Stock Trade Markup Language (SSTML) <?xml version="1.0"?> <order transaction="buy"> <symbol>ibm</symbol> <quantity>1000</quantity> <market/> <status>pending</status> </order> <?xml version="1.0"?> <order transaction="sell"> <symbol>ibm</symbol> <quantity>500</quantity> <!ELEMENT order (symbol,quantity, (market limit_price),status)> <!ELEMENT symbol (#PCDATA)> <!ELEMENT quantity (#PCDATA)> <!ELEMENT market EMPTY> <!ELEMENT limit_price (#PCDATA)> <!ELEMENT status (#PCDATA)> <!ATTLIST order transaction (buy sell) #REQUIRED> <limit_price>200</limit_price> <status>executed</status> </order> 28

29 How is XML used? L e g a c y DTD XML XML Intra and inter company communications XSL Browser based front-end L e g a c y XML based Repositories 29

30 DB2 XML Extender - how DB2 supports XMLS Storing XML Docs as is (into a column or as external file) [UDFs] decompostition into relational [Stored Procedures] Validate while storing Extract/update attribute/element values from XML docs via XPath Syntax [UDFs] DB2 index cruical XML attribute/element values (Side Tables) Fast DB2 search combine XML docs with legacy relational data Fast fulltext search in XML structures [Textextender/Text Information Extender] Retrieve XML docs [UDFs] Composite/Decompostite XML docs from/to relational [Stored Procedures] Store/retrieve/extract/update/composite/decomposite into/from message queue [UDFs+MQSeries] DTD Repository Administration Wizzard [Java Program] SOAP [WebSphere+DB2] 30

31 DB2 XML Extender - Functionality Structural Bioinformatics Application DAD (Data Access Definition) XML DOC user table Store/retrieve update/extract DB2 XML Extender compose/ decompose DB2 collection XML DOC side tables DTD repository External Files 31

32 ???? Two Storage Modells???? Document Centric Approach Store XML Docs "as is" into column Documents already exist, exist externally Documents primarily read-only, update performance not critical Structural text search with section support Documents with large text blocks Data Centric Approach Compose & decompose XML documents from and to data in relational tables Data already stored in database database driven OLTP Transactions operate frequently on values in XML docs Document content update performance is important Rationalize different document sources 32

33 Composition/Decomposition <order key='99'> <customer>thompson</customer> <part key='82' >... </part> <part key='83' >... </part> </order> DAD (Data Access Definition) Mapping Methods: SQL (compostion only) RDB_node (XML-Style for compostion/decomposition) order_key order_tab customer order_key part_tab part_key Thompson

34 Using XML UDFs and Stored Procedures Stores a record into an XML-Table with UDF: SQL INSERT INTO sales_tab(id, NAME, ORDER) VALUES( '1234', 'Sriram Srinivasan', XMLCLOBFromFile('c:/dxx/samples/cmd/order.xml')) ID NAME ORDER 1234 Sriram Srinivasan XML DOC Exports XML documents as varchars into files select db2xml.content(db2xml.xmlvarchar(order), order.xml') from result_tab where ID=1234 Selects attributes and values from stored XML documents SELECT extractvarchar(order, '/Order/Customer/Name') from sales_tab WHERE id > 10 Updates an XML document with UDF UPDATE sales_tab set order = Update(order, '/Order/Customer/Name', 'Heine') WHERE sales_person = 'Sriram Srinivasan' Fulltext search in XML-Doc with Textextender SELECT Order FROM Sales WHERE Contains(txhandle,... section(/order/customer/name), "Heine") = 1 34

35 What are Web Services? A Web service is a set of application functions that perform some useful service on the behalf of a requester......such as informational or transactional functions. A Web service can be described and published to the network for use by other programs across the network, typically the Web. Examples today: a stock quote service, a service to retrieve news from Web news sources, a service to return maps of historic weather events by zip code, currency conversion services, and a service to return highway conditions in California. Web services are modular, related Web services can be aggregated into a larger Web service. An enterprise application can be relativiely easy be transformed into a web service through mapping XML is used for data representation and exchange 35

36 Web Services Architecture Service Provider publishes the availability of its services & responds to requests to use them WSDL - Web Services Description Language Service Requester uses service brokers to find a needed service bind SOAP - Simple Object Access Protocol find publish UDDI - Universal Description, Discovery and Integration Service Broker registers and categorizes published service providers and offers search services 36

37 Soap: Invoke a Web Service 37

38 SOAP and DB2 - Details HelloSample.dadx <?xml version="1.0" encoding="utf-8"?> <DADX xmlns=" <operation name="listdepartments"> <query> <SQL_query>SELECT * FROM DEPARTMENT</SQL_query> </query> </operation> </DADX> Soap Service Runtime WORF 38

39 Invoking the Service <?xml version="1.0"?> <ns1:listdepartmentsresponse SOAP-ENV:encodingStyle=" xmlns:soap-env=" xmlns:ns1="urn:/sample/hellosample.dadx" xmlns:xsd=" xmlns:xsi=" <return> <xsd1:listdepartmentsresult xmlns=" xmlns:xsd1=" <listdepartmentsrow> <DEPTNO>A00</DEPTNO> <DEPTNAME>SPIFFY COMPUTER SERVICE DIV.</DEPTNAME> <MGRNO>000010</MGRNO> <ADMRDEPT>A00</ADMRDEPT> <LOCATION xsi:null="true"/> </listdepartmentsrow> <listdepartmentsrow> <DEPTNO>B01</DEPTNO> <DEPTNAME>PLANNING</DEPTNAME> <MGRNO>000020</MGRNO> <ADMRDEPT>A00</ADMRDEPT> <LOCATION xsi:null="true"/> </listdepartmentsrow>... 39

40 Tools XML Extender Admin GUI Administration DAD Wizzard ("Drag and Drop" mapping DTD <-> relational WebSphere V4 provides Tools for creating Web Service Environment (UDDI, registry, WSDL, SOAP runtime support,...) WORF (Web Service Object Runtime Framework) to implement Web Services with DB2 (so you can define Web Services in DADX) wizzards for creating DADX wizzard for creating DAD from XSchema SOAP test environment Partly beta on Windows(R) NT and Windows(R)

41 alphaworks XML Technologies Xeena Visual DTD IBM XSLTrace XML Parser: XML4J, XPK4J, XML4C, XML4J EA LotusXSL TexML DataCraft P3P Parser RDF for XML XML Security Suite XML Bean Suite XML Translator Generator Dynamic XML PatML XML TreeDiff XML BeanMaker Bean Markup Language (BML) XML EditorMaker XML Enabler XML Diff & Merge Data Descriptor by Example SVG Viewer XML Productivity Kit Visual Transformation XML Generator 41

42 Spatial Data: To help you answer queries like... How many accidents that occurred within.5 kilometers of a highway exit damaged the front bumper of red cars? What is the closest retail outlet for all of the customers who have spent >$3K during 1997 within the Chicago area? Identify customers with home insurance policy living within 1000 yards of a creek -- who DO NOT have flood insurance option. Within the Los Angeles key market, identify the under-performing locations within a 10 minute driving time of a competitor location. GRZ/GAD 42

43 Spatial Extender Geographical DBMS which is tightly integrated with DB2 UDB v7.1 to provide the following spatial functionality: Modelling spatial data 13 spatial types are provided to spatially model real-world entities such as location of customers, boundary of parks, course of rivers, path of cable lines, etc. Conforms to the OpenGIS Consortium (OGC) and ISO standards Storing, indexing, and querying spatial data A spatial index is provided for users to create index on the spatial columns of their business tables Manipulating spatial data A set of OGC-complient spatial operations and predicates e.g. distance is an operation and touch is a predicate Managing spatial resources Administration tools to manage the spatial resources Data exchange utilities Utilities to load/unload spatial data or transform spatial data from one form to another Analyzing and browsing spatial data A geo-browser tool (ESRI) to visualize the result of arbitrary queries based on a designated spatial column Works with all ESRI Tools for manipulating/visualization of spatial data 43

44 Productivity Revolution for Solutions REAL mission: Our REAL Search, access, process, store and manage all forms of digitized information Application Application Relational Database Application Enhanced Relational Database File System 44

45 Interesting Internet Adresses DB2 Homepage DB2 Extenders Homepage DB2 XML Extender Homepage alphaworks - web site for free emerging technologies from IBM. developerworks - web site for product- and platform-independent information on e-business application development e-business - site for more information on IBM e-business products Migration