Vorlesung Einführung in die Bioinformatik

Transkript

1 Vorlesung Einführung in die Bioinformatik Dr. Uwe Scholz

2 Wiederholung I Research Group Internal Data Sources >HY01A03T ATGCTCATG rlkfelfdglgal CCATGGCGT söglölgfllhfd ACAATGCAG löshlkhs TTGCAAGTC hsäkhssäää GTACGTACT fdfdfölklfd GCACG Research Group Analysis Tools Internet External Analysis Tools Dr. Uwe Scholz Folie # 2

3 Wiederholung II Biologische Datenquellen: Verschiedene Plattformen Unterschiedliche Strukturen Heterogene Nutzerschnittstellen Lösungsansatz: Datenintegration Integration: Kombination von Inhalten multipler, oftmals heterogener Quellen Ziel: Informationsfusion Informationsfusion: Kombination, Verdichtung und Interpretation von Daten aus heterogenen Quellen, um daraus neue Informationen abzuleiten Dr. Uwe Scholz Folie # 3

4 Wiederholung III Zwei gebräuchliche Ansätze: Virtuelle oder logische Integration Integration zur Laufzeit nicht immer performant Keine lokale Datenspeicherung Daten immer aktuell Materialisierte oder physische Integration Datenspeicherung durch das Integrationssystem sehr performant Aktualität vom Aktualisierungsintervall abhängig Daten nicht immer aktuell Dr. Uwe Scholz Folie # 4

5 Herausfordeung Heterogenität Heterogenität von Informationssystemen Verschiedene Methoden des Datenzugriffs Unterschiedliche Modelle Abweichende Strukturen Arten der Heterogenität * : Technische Heterogenität Syntaktische Heterogenität Datenmodellheterogenität Strukturelle/Schematische Heterogenität Semantische Heterogenität * verschiedene Unterteilungen in der Literatur Dr. Uwe Scholz Folie # 5

6 Technische Heterogenität Nicht auf Daten bezogen Unterschiede im Zugriff auf Daten Verschiedene Ebenen: Ebene Anfragemöglichkeit Ausprägungen Anfragesprache, parametrisierbare Funktionen, Formulare,... Anfragesprache SQL, XQuery, Volltext,... Austauschformat binär, XML, HTML, tabellarisch (CSV),... Kommunikationsprotokoll HTTP, JDBC, ODBC, SOAP,... [Leser & Naumann: Informationsintegration. dpunkt.verlag, 2006.] Dr. Uwe Scholz Folie # 6

7 Syntaktische Heterogenität Unterschiedliche Darstellung gleicher Sachverhalte Beispiele: Datentypen: integer vs. double Zeichenkodierungen: ASCII vs. Unicode Separatoren: Komma vs. Semikolon vs. Tabulator Dezimaltrennzeichen: Komma vs. Punkt Dr. Uwe Scholz Folie # 7

8 Datenmodellheterogenität I Datenquelle und Integrationssystem verwalten Daten in unterschiedlichen Modellen objektorientiert Dr. Uwe Scholz Folie # 8

9 Datenmodellheterogenität II relational Dr. Uwe Scholz Folie # 9

10 Datenmodellheterogenität III XML <Pflanze> <Name/> <Herkunft/> <Zulassungsjahr/> <Verwendung/> <Pedigree> <Elter_1/> <Elter_2/> </Pedigree> </Pflanze> Dr. Uwe Scholz Folie # 10

11 Strukturelle/Schematische Heterogenität I Abbildung des gleichen Sachverhalts Aber: Die Abbildung erfolgt unterschiedlich Die Entwicklung verschiedener Datenquellen erfolgt autonom unterschiedliche Anforderungen technische Einschränkungen persönliche Präferenzen von Entwicklern Beispiele: 1:1-Beziehung kann als eine oder zwei Relationen modelliert werden Modellierung als Attribut oder Relation Objektrelationales Mapping Dr. Uwe Scholz Folie # 11

12 Strukturelle/Schematische Heterogenität II Dr. Uwe Scholz Folie # 12

13 Semantische Heterogenität I Definition: Semantik bedeutet die Interpretation von Daten in einem bestimmten Kontext Beispiel: unterschiedliche Intension eines Attributnamens Name Vorname? Nachname? Kontext ist erforderlich Synonyme: gleiche Intension, aber unterschiedliche Bezeichnung Homonyme: unterschiedliche Intension, aber gleiche Bezeichnung Semantische Konflikte sind schwierig zu entdecken Dr. Uwe Scholz Folie # 13

14 Semantische Heterogenität II Weitere Beispiele: Unterschiedliche Einheiten: Pflanzenlänge in cm oder m? Verschiedene Kodierungen: 1 klein a klein 2 mittel vs. b mittel 3 groß c groß Unterschiedliche Bedeutung: Boniturskala A: 1 5 Boniturskala B: 0 9 Lösungsansatz: Ontologien Dr. Uwe Scholz Folie # 14

15 Ontologie I Von griech. on: Seiendes; logos: Wort Metaphysica generalis (Aristoteles): Lehre vom Seienden Traditionelle Ontologie: Verhältnis des Seins zum Seienden Ontologie in der Informatik: Definition von Klassen (Konzepte, Objekte) und ihren Beziehungen (Attribute, Rollen) Ist formal definiert Enthält wohldefiniertes Vokabular einer Domäne/eines Bereiches Ziel: Kommunikation zwischen Menschen verbessern Interoperabilität zwischen Systemen verbessern Dr. Uwe Scholz Folie # 15

16 Ontologie II Einsatz in der Biologie Bioontologien Formale Repräsentationen verschiedener biologischer Wissensbereiche, z.b.: Gene Ontology Plant Ontology Trait Ontology Objekte stehen zueinander in Beziehung!!! Abgrenzung zur Taxonomie: hierarchische Gliederung Dr. Uwe Scholz Folie # 16

17 Gene Ontology I Besteht aus drei kontrollierten Vokabularien: Molekulare Funktionen (z.b. oxidoreductase activity) Biologische Prozesse (z.b. oxidative phosphorylation) Zelluläre Komponenten (z.b. mitochondrial matrix) Beispiel: Ein Genprodukt ist in einer zellulären Komponente lokalisiert, ist dort an einem biologischen Prozess beteiligt und führt dabei eine molekulare Funktion aus. Beziehungen in der Gene Ontology: is_a, z.b. nuclear chromosome is_a chromosome part_of, z.b. nucleus part_of cell Dr. Uwe Scholz Folie # 17

18 Gene Ontology II Dr. Uwe Scholz Folie # 18

19 Gene Ontology III Dr. Uwe Scholz Folie # 19

20 Plant Ontology I Bestandteile: Pflanzenstruktur Botanische Terme, die Morphologie und anatomische Strukturen beschreiben Organe, Gewebe, Zelltypen und ihre Beziehungen Wachstums- und Entwicklungsstadien Terme für Wachstums- und Entwicklungsstadien und ihre Beziehungen Embryo, Samenentwicklung, Blüte etc. Dr. Uwe Scholz Folie # 20

21 Plant Ontology II Dr. Uwe Scholz Folie # 21

22 Plant Ontology III Dr. Uwe Scholz Folie # 22

23 Plant Ontology VI Dr. Uwe Scholz Folie # 23

24 Trait Ontology I Beschreibung von Merkmalen als unterscheidbare Eigenschaften von Organismen Beispiele: Pflanzenhöhe Krankheitsresistenz Dr. Uwe Scholz Folie # 24

25 Trait Ontology II Dr. Uwe Scholz Folie # 25

26 Trait Ontology III Dr. Uwe Scholz Folie # 26

27 Environment Ontology I Beschreibungen der Umwelt der untersuchten Pflanzen Beispiele: Wassertemperatur im Gewächshaus Beleuchtungsdauer Dr. Uwe Scholz Folie # 27

28 Environment Ontology II Dr. Uwe Scholz Folie # 28

29 Environment Ontology III Dr. Uwe Scholz Folie # 29

30 Was ist (Daten-)Qualität? Qualität ist die Übereinstimmung zwischen den festgestellten Eigenschaften und den vorher festgelegten Forderungen einer Betrachtungseinheit. [IEC 2371] Datenqualität ist ein mehrdimensionales Maß für die Eignung von Daten, den an ihre Erfassung/Generierung gebundenen Zweck zu erfüllen. [Würthele, 2003] Gute Datenqualität liegt dann vor, wenn die Daten den vom Nutzer verlangten Zweck erfüllen. [Wang & Madnick, 1990] Dr. Uwe Scholz Folie # 30

31 Probleme mit Daten I Annahme: bisherige Probleme gelöst Daten im gemeinsamen Schema Neue Probleme: Datenfehler: Unterschiedliche Formate, z.b. Datum Schreibfehler Inkonsistenzen, z.b. Postleitzahl und Ort Duplikate: z.b. zwei Gerstensorten sind in mehreren Quellen enthalten Datenqualität: Glaubwürdigkeit und Relevanz der Quellen Vollständigkeit: Sind alle relevanten Realweltobjekte integriert? Sind für alle Attribute Ausprägungen vorhanden? Diese Probleme müssen erkannt und gelöst werden Dr. Uwe Scholz Folie # 31

32 Probleme mit Daten II Heterogenität [Quelle: und Felix Datenqualität Naumann, Kai-Uwe Sattler] Dr. Uwe Scholz Folie # 32

33 Bereinigung von Daten I Arten von Datenfehlern: [Naumann: Datenqualität. Informatik-Spektrum, 2007.] Dr. Uwe Scholz Folie # 33

34 Bereinigung von Daten II Einzelne Datenquelle Schemaebene: Unzulässige Werte Verletzung von Attributabhängigkeiten Verletzung von Constraints Datenebene: Fehlende Werte Falsche/veraltete Werte Schreibfehler Integrierte Datenquelle Schemaebene: Strukturelle oder semantische Konflikte Datenebene: Daten aus mehreren Quellen widersprechen sich Unterschiedliche Genauigkeit oder Einheiten Dr. Uwe Scholz Folie # 34

35 Bereinigung von Daten III Entstehung von Fehlern: Eingabe von Daten Alterungsprozess von Daten Transformation von Daten Integration von Daten Fehlermanagement: Profiling Erkundung eines Datenbestandes Z.B. Statistik (min, max, Verteilungen) Assessment Definition von Bedingungen, die erfüllt sein müssen Messung des Erfüllungsgrades Z.B. Pflanzenhöhe < 2m Monitoring Basiert auf Ergebnissen des Assessments Einleiten und Überwachen von Gegenmaßnahmen Dr. Uwe Scholz Folie # 35

36 Bereinigung von Daten IV Beseitigung einfacher Fehler Normalisierung Umwandlung von Texten in Großbuchstaben bessere Vergleichbarkeit Rechtschreibprüfung Standardformate für Datum, Telefonnummer, Personennamen etc. Konvertierung Z.B. Umrechnung von Einheiten Fehlwerte Löschen von Zeilen/Spalten Ersetzen (avg, min, max, Median, Modalwert) Ausreißer Winsorizing Trimming Dr. Uwe Scholz Folie # 36

37 Erkennen von Duplikaten I Duplikat: mehrfache Abbildung desselben Realweltobjektes Vorgehen: Paarweiser Vergleich aller Tupel Berechnung der Ähnlichkeit sim der Tupel Duplikat, wenn die Ähnlichkeit über einem bestimmten Schwellwert liegt, z.b sim 90% Ziele: Möglichst alle Duplikate erkennen Performance Dr. Uwe Scholz Folie # 37

38 Erkennen von Duplikaten II Für numerische Daten Abweichung Z.B. 1 und 0,95 Für alphanumerische Daten: Äquivalenzmethoden Vergleichen zwei Strings Geben TRUE oder FALSE zurück Similarity-Ranking-Methoden Vergleichen ebenfalls zwei Strings Geben zurück, wie groß die Ähnlichkeit ist Dr. Uwe Scholz Folie # 38

39 Äquivalenzmethoden I Lautähnlichkeit Vergleich darüber, wie zwei Strings ausgesprochen klingen Funktioniert ähnlich wie ein Hash-Verfahren Abhängigkeit von der jeweiligen Sprache Z.B. Soundex-Algorithmus englisch Wortstamm Vergleich auf Basis von Wortstämmen Suffixwörterbuch erforderlich Sprachabhängig Groß-/Kleinschreibung Sind zwei Zeichenketten identisch, wenn die Groß- /Kleinschreibung ignoriert wird? Z.B. Gerste und GERSTE Dr. Uwe Scholz Folie # 39

40 Äquivalenzmethoden II Synonyme Haben zwei Strings dieselbe Bedeutung? Benötigt kontrolliertes Vokabular Z.B. Gerste und Hordeum Wildcards Verwendung von Platzhaltern Überprüfung, ob zwei Strings in Teilen übereinstimmen Ein Zeichen, z. B. _ oder?; beliebig viele Zeichen, z. B. % oder * Z.B. Golden% findet Golden Green und Golden Promise Dr. Uwe Scholz Folie # 40

41 Similarity-Ranking-Methoden I Hamming-Ähnlichkeit Hamming-Abstand: Positionsweiser Vergleich zweier Strings gleicher Länge (Hordeum und Horedum) Zählen der Unterschiede (2) Umrechnung in Ähnlichkeitsmaß: hamm( S1, S2) sim hamm ( S1, S2) 1 n Edit-basiert Editierabstand: Anzahl von Operationen, um String 1 in String 2 zu überführen Einfügen, Löschen, Ersetzen (Levenshtein-Distanz) Zusätzlich: Vertauschen (Damerau-Distanz) Levenshtein-Distanz von Hordeum und Horedum ist 2 Umrechnung in Ähnlichkeitsmaß: sim ed ( S1, S 2 ) 1 ed( S1, S2) max{ S, S 1 2 } Dr. Uwe Scholz Folie # 41

42 Similarity-Ranking-Methoden II LCS-basiert Longest Common Substring: Vergleich der Teilstrings zweier Zeichenketten Je länger ein gemeinsamer Substring ist, desto größer ist die Ähnlichkeit Umrechnung in Ähnlichkeitsmaß: sim lcs ( S 1, S 2 lcs( S1, S2) ) max{ S, S } 1 2 Diese Algorithmen reagieren empfindlich Unterschiedliche Längen der Zeichenketten Vertauschungen Dr. Uwe Scholz Folie # 42

43 Similarity-Ranking-Methoden III Alternative: Token-basiert Zerlegung der Strings in Token (Vorkommen eines Zeichens) Vergleich über gemeinsame Token Reihenfolge spielt keine Rolle Dice-Ähnlichkeitskoeffizient S 1 S 2 Schnittmenge S 1 + S 2 Anzahl der verglichenen Elemente D(Hordeum,Horedum) = 2*7/(7+7) = 1 D 2 S S 1 1 S S 2 2 Jaccard-Ähnlichkeitskoeffizient S 1 S 2 Vereinigung J(Hordeum,Horedum) = 7/(7+7-7) = 1 J S S 1 1 S S 2 2 Dr. Uwe Scholz Folie # 43

44 Datenfusion I Datenfusion: Kombination der erkannten Duplikate Ein Realweltobjekt soll nur noch einmal repräsentiert werden Tupel werden durch Kombination mehrerer Quellen angereichert Auftreten von Konflikten ID Name Anbaujahr Herkunftsland Tupel #1 LAC 0815 Avondefiance 1980 NL Tupel #2 LAC 0815 Avondefiance 1980 NL Tupel #3 LAC 0815 Avondefiance Tupel #4 LAC NL Tupel #5 LAC 0815 Avondefiance 1984 GB Dr. Uwe Scholz Folie # 44

45 Datenfusion II Gleichheit Alle Attributausprägungen sind gleich (Tupel #1,#2) Tupel #1 LAC 0815 Avondefiance 1980 NL Tupel #2 LAC 0815 Avondefiance 1980 NL Subsumption (Zusammenfassung) Ein Tupel hat weniger Nullwerte Alle Nicht-Null-Attribute sind identisch (Tupel #1,#2 #3,#4) Tupel #1 LAC 0815 Avondefiance 1980 NL Tupel #2 LAC 0815 Avondefiance 1980 NL Tupel #3 LAC 0815 Avondefiance Tupel #4 LAC NL Dr. Uwe Scholz Folie # 45

46 Datenfusion III Komplementierung (Ergänzung) Tupel subsumieren sich nicht Attribut A mit einem Nicht-Null-Wert hat dieselbe Ausprägung wie Attribut B oder Attribut B hat einen Nullwert (Tupel #3,#4) Konflikt Tupel #3 LAC 0815 Avondefiance Tupel #4 LAC NL Alle anderen Situationen mit Widersprüchen (Tupel #5 mit allen) Tupel #1 LAC 0815 Avondefiance 1980 NL Tupel #2 LAC 0815 Avondefiance 1980 NL Tupel #3 LAC 0815 Avondefiance Tupel #4 LAC NL Tupel #5 LAC 0815 Avondefiance 1984 GB Dr. Uwe Scholz Folie # 46

47 Datenfusion IV Lösungsmöglichkeiten: Union Kombination zweier Relationen mit gleichem Schema Duplikate werden entfernt Join Kombination zweier Relationen mit unterschiedlichem Schema Konfliktlösung: z.b. COALESCE (erster Nicht-Null-Wert) Gruppierung und Aggregation Gruppierung über z.b. eine ID Spezielle Aggregatfunktion für jedes Attribut Dr. Uwe Scholz Folie # 47

48 Datenqualität Datenqualität: Eignung von Daten für einen bestimmten Zweck Messung anhand von Qualitätskriterien Konsistenz: Widerspruchsfreiheit von Daten untereinander Korrektheit: richtige Abbildung eines Sachverhalts Vollständigkeit: hinreichende Füllung von Attributen Genauigkeit: Detaillierung, Nachkommastellen, Homonyme Zuverlässigkeit: Nachvollziehbarkeit, Vertrauenswürdigkeit Verständlichkeit: Beschreibungen für kodierte Werte Verwendbarkeit: Strukturen, die den Import ermöglichen Bewertung durch Nutzer (Verständlichkeit, Verwendbarkeit) Datenquelle (Vollständigkeit, Zuverlässigkeit) Bearbeitung der Anfrage (Konsistenz, Korrektheit, Genauigkeit) Dr. Uwe Scholz Folie # 48

49 Qualitätsprobleme in der Bioinformatik I Ursachen Informationstechnische Ursachen: Heterogene Software Weiterverbreitung von Daten Ursachen während der Datengewinnung: Unzureichende Dokumentation von Primär- und Sekundärdaten Methodenbedingte Fehler Ableitung von Daten Zeitlich begrenzte Projekte und dezentrale Speicherung Biologisch bedingte Ursachen: Entwicklungsstadien Funktionsorte Umweltfaktoren Konzeptionelle Ursachen: Bewertungssysteme Informationssysteme Vorhersagemethoden Nichteinheitliche Vokabulare / Methoden Dr. Uwe Scholz Folie # 49

50 Qualitätsprobleme in der Bioinformatik II Lösungsvorschläge Automatische Erfassung von Daten Performanter Fehlerpotenzial durch manuelle Erfassung verringern Protokollierung Nachvollziehbarkeit durch strukturierte Dokumentation gewährleisten Messverfahren Probleme mit (verschiedenen) Boniturskalen vermeiden Mittelwertvermeidung Einzelne Messwerte für Sorten, Orte, Jahre etc. speichern Vermeidung von Analyseproblemen Datenbanknutzung Zentral Persistent Dr. Uwe Scholz Folie # 50

51 Qualitätsprobleme in der Bioinformatik III Lösungsvorschläge (Fortsetzung) Vermeidung von Ad-hoc-Statistik Gefahr fehlerhafter Anwendung und Fehlerfortpflanzung durch abgeleitete Daten Kennzeichnung abgeleiteter Daten Abgeleitete und/oder vorhergesagte Daten mit Labeln versehen (Quality- Tagging) Kennzeichnung von Daten aus anderen Quellen Parallele Versionierung Vorteile bei abweichenden fachlichen Meinungen und Publikationen Umfassende Verwendung von Metadaten Erlaubte Merkmalsbezeichnungen (kontrolliertes Vokabular) Mapping von Merkmalen verschiedener Quellen (Synonyme, Homonyme) Erlaubte Wertebereiche / Ausprägungen Methoden der Merkmalserfassung Verwendete Einheiten Externe Einflüsse Dr. Uwe Scholz Folie # 51