TokenEdit Der Dateneditor. _15a_de; Tradis GmbH

Transkript

1 TokenEdit Der Dateneditor 1

2 Warum ein Dateneditor? - Anwendungsprogramme sind generell nicht ausgelegt große Datenmengen in einem Durchgang zu bearbeiten. In tabellarischen Darstellungen/Übersichten sind in der Regel die notwendigen Ausprägung und Funktionen nicht vorhanden. - Tabellenkalkulationsprogramme sind wie der Name sagt Kalkulationsprogramme, besitzen keine Funktionen zum schnellen Editieren von Daten und besitzen keine Tokenstruktur. Datenbereinigungsprojekte mit einem Tabellenkalkulationsprogramm sind bei großen Datenmenge in der Regel nicht erfolgreich. Neben den harten Fakten müssen zwei weitere Aspekte berücksichtigt werden: Überschätzt wird die Geschwindigkeit und Ausdauer, unterschätzt wird immer wieder die Bequemlichkeit bei der Dateneingabe und -pflege. - Automatische regelbasierte Programme berücksichtigen nicht genügend die Semantik und spezifische Datenkontexte. Menschen sehen mehr als Computerprogramme. 2

3 TokenEdit Große Datenmengen effizient und sicher bearbeiten! Einzigartige Technologie: Ausdrücke Token Elemente 3

4 Kernstück: Die interne Verarbeitungsstruktur (ATE-Technologie) Nordland Kartoffel 3 kg Elemente wie Begriffe, Wörter und Zahlen Token Logisch zusammengehörende (gebundene) Elemente Ausdruck Anreihung von Token zu einer Information H. Blocher GmbH & Co. Elemente Token Ausdruck (Wörterbücher prüfen Wörter) (Referenzdaten prüfen Token) Weitere Beispiele: VW Cabriolet 155 kw 155 KW ist ein Token dessen Elemente zusammengehören. An der Breiten Wiese Straßen-, Ortsnamen, etc. sind mit Wörterbüchern nicht zu bearbeiten. B CE 20 Das Autokennzeichen ist ein Ausdruck bestehend aus Token und Buchstaben/Zahlen. 4

5 NUR WAS ERKANNT WIRD, KANN AUCH KORRIGIET WERDEN! Felder: Artnr. Artikelbezeichnung (Ausdruck, Zelleninhalt, ) WGR VPE Datensatz Nordland Kartoffel 3 kg deutscher Anbau Food Beutel Datensatz Schnippelbohnen 500 g aus Biokultur Food Beutel Datensatz A. Paff Dornfelder Rotwein 1 l 2013er Food Flasche Datensatz LEGO Steine & Co. Bauplatte Rasen 25 x 25 cm Spiel Box Datensatz Holzschraube 6x240 verzinkt Senkkopf Torx KT lose 5

6 1. Tokenerkennung und verarbeitung (das Kernstück des Editors) Individuell anpassbarer Tokenanalyzer zum Erkennen von Inhalten, bis hin zur Möglichkeit von semantischen Analysen. Betrachtungsweise: Ausdrücke Token Elemente in der Folge u. a. eine einfache Bearbeitung von Token Editieren und Verarbeiten, Abgleich mit Referenzen Individuelle Darstellungsmöglichkeiten Medienneutrales Speichern von Token 6

7 2. Spezielle Basis- und Systematik-Funktionen wie Direktes Markieren, Kopieren, Verschieben und Editieren 1-Klick-Technik zum Positionieren des Cursors, 1-Klick-Technik zum Markieren von Elementen und Token, Automatisches Entfernen/Löschen von Leerzeichen (LZA) Funktionstastenunterstützung beim Verschieben/Kopieren Zelleditor für Sonderzeichen (Zeilenumbrüche, TAB, usw.) Feldlängenanzeige, Bearbeitungsstatus, Sortierarten, usw. 7

8 3. Integrierte Fehlertoleranz Fehlertoleranz im Kern integriert für u. a. Autovervollständigungen beim Editieren, Abgleich mit Referenzdaten Bessere Suchoptionen (Felder, Wildcards, Fuzzy, Distanzsuche ) 8

9 4. Umfangreiche und individuell anpassbare Regelwerke Leistungsstarke Aktionen / Regeln ermöglichen eine schnelle Bearbeitung von Daten. Regeln u. a. Umwandeln Groß-/Kleinschreibungen, Leerzeichen löschen Generieren von Tokenlisten, Automatisches Einfügen von Werten, Einfügen/Löschen von Zeichen, Prüfen von gültigen Zeichen, Einbindung von eigenen Aktionen (Java-Methoden) Mehrere Aktionsfenster für ein schnelles Anwenden verschiedener Regeln. 9

10 5. Datenabgleiche mit Wörterbüchern wie Duden und anderen (Rechtschreibung und Grammatik), Tokenlisten, postalische Referenzen, Artikel- und sonstige Referenzen (Referenzdaten) Effizientes Prüfen und Korrigieren von großen Datenmengen Automatische Abgleiche verschiedene Modi zur Auswahl Zerlegung von Ausdrücken in prüfungsrelevante Token Anzeigen von Vorschlägen im Dialogfenster zur individuellen Beurteilung und Übernahme. 10

11 6. Dublettenprüfung und Daten konsolidieren (TE2, ab voraussichtlich 2017/Q1) aus unterschiedlichen Strukturen Daten zusammenführen, prüfen und korrigieren! Daten mit unterschiedlichen Strukturen in einer Datei zusammenführen Dublettenprüfung auf Zeilen- und Ausdrucksebene Dubletten scharf und unscharf finden. Zusammenführen der besten Werte aus verschiedenen Datensätzen Filtern von zusammengehörenden Werten zum optimalen Arbeiten. 11

12 7. Daten konsolidieren (Beispiel) (Markieren - Zusammenführen) 1 Herr F. Meier Hohenweg 2 Winterberg 2 Ferdinand Meier Winterberg 3 Hr. Ferdi Meyer Hohenweg Winterb Masterdatensatz:: 1 Herr Ferdinand Meier Hohenweg Winterberg

13 TokenEdit Codaware DIBo TokenEdit Architektur/Bausteine Tokenanalyzer, -verarbeitung und -darstellung Regelbasierte Bearbeitung 1) Import (csv, Excel, DB, XML,...) Export (csv, DB, XML, ) TokenEdit Kernel - ATE Technologie - Tokenbasierte Daten-/ Verarbeitungsstruktur Merkmale für Workflowsteuerung Datenabgleiche, Rechtschreibung Schnittstelle für spezifische Bearbeitung Basis- und Systematik- Funktionen Daten konsolidieren 1) Dublettenprüfung, -bereinigung 1) In Verbindung mit TE2 (voraussichtlich 2017/Q1-Q2) _15a_de;

14 Mehr Informationen unter TokenEdit TokenEdit - direkt zum Herunterladen TokenEdit Download 14