Datenintegration, Datenmigration und ETL

ETL ist der Dreiklang der Datenintegration und Datenmigration. Als ETL-Tool kann DATANAUT Daten aus heterogenen Datenstrukturen individuell extrahieren, transformieren und in eine beliebige Zielstruktur laden. Der Abruf von Daten zur Datenintegration kann somit aus allen Datenbanksystemen oder Dateiformaten erfolgen.

Daten extrahieren

Mit DATANAUT kann eine asynchrone Extraktion von Daten periodisch, ereignisgesteuert oder anfragegesteuert erfolgen. Erzeugt eine Datenquelle in regelmäßigen Abständen oder bei Erreichen einer bestimmten Anzahl von Änderungen einen Auszug der betroffenen Daten, können diese von DATANAUT zeitgesteuert oder bei Bedarf abgerufen werden. DATANAUT kann auch selbständig Daten aus beliebigen Quellen abfragen, übertragen und weiter verarbeiten. Durch den frei definierbaren Aufbau Ihrer Extraktionsprozesse, können Sie Datenzugriffe in der Art gestalten, dass die Quellsysteme nur geringfügig belastet werden. DATANAUT bietet dazu Merkmale wie Iterationsschleifen, so dass große Datenmengen durch automatisch parametrisierte Abfragen selbstständig partitioniert und bereit gestellt werden. Beim Zugriff auf Datenbanken werden gängige Systeme wie der Microsoft SQL Server, Advantage Database Server, PostgreSQL, ORACLE oder MySQL direkt unterstützt. Über die ODBC-Schnittstelle können weitere Datenbanken und dateibasierte Datenstrukturen wie CSV oder EXCEL angesprochen werden. Auch BLOB-Werte, SQL-Dumps oder XML-Datenströme können verarbeitet werden. Konnektoren oder andere Komponenten werden nicht benötigt. Sind die Strukturen mehrerer Quellen kompatibel, können Sie Daten mit nur einem einzigen Arbeitsschritt extrahieren. Über konfigurierbare Datenbankcontainer wird dazu ein Pool von Datenbankverbindungen als Quelle zusammengefasst und automatisch sukzessiv abgearbeitet.

Daten transformieren

Bei der Transformation unterstützt DATANAUT neben der Datenbereinigung die regelbasierte Adaption von Daten und Strukturen an gewünschte Zielstrukturen und Formate. Dies geschieht in einem eigenen Arbeitsbereich, der so genannten Staging-Area. Als Staging-Area kann eine beliebige Datenbank genutzt werden, darunter auch lokale und administrationsfreie Datenbanken die SQL unterstützen, wie beispielsweise der Advantage Database Server von SAP oder der Microsoft SQL Server Express LocalDB. Zur Verbesserung der Transformationsperformance werden auch Datenbanken unterstützt, die Daten und Schemainformationen dediziert im Arbeitsspeicher halten können. DATANAUT kann syntaktische und semantische Transformationen sowie Aggreationen auf jeder beliebigen Datenbank ausführen. Die als Staging-Area definierte Datenbank bestimmt dabei die SQL-Syntax, sowie Art und Umfang der zur Verfügung stehenden Stammdaten, die für die Verbesserung, Umsetzung und Korrektur genutzt werden können. Die Stammdaten werden einfach bei Bedarf geladen oder regelmäßig repliziert. Semantische Transformationen können von DATANAUT ebenfalls direkt in SQL ausgeführt werden, um Daten zu modifizieren, anzureichern oder Duplikate zu eliminieren. Zusätzlich können Aggregationen jeder Art vorab durch eine frei definierte Logik auf Basis von SQL berechnet und für den späteren Ladeprozess bereit gestellt werden. Durch die Möglichkeit alle Skriptsprachen einzusetzen, können darüber hinaus auch dateibasierte Quellen wie XML beispielsweise durch XSLT – Styles direkt im ETL-Prozess von DATANAUT individuell behandelt und vorbereitet werden. In allen Skripten können Sie die DATANAUT Textersetzungsklasse verwenden, um den Code dynamisch zu gestalten. Die Textersetzungsklasse bezieht Informationen aus anderen Dateninstanzen auf Basis von Variablen, oder aus dem Betriebssystem auf dem DATANAUT läuft. Die Definition und Nutzung erfolgt über Platzhalter, die zur Laufzeit automatisch ersetzt werden. Somit werden alle Anforderungen umfassend abgedeckt, die für die Transformation von Daten anfallen. Der Freiraum der Prozessgestaltung geht auf Grund der zahlreichen individuellen Möglichkeiten zur Datenbearbeitung jedoch weit über rein modellbasierte Ansätze hinaus.

Daten laden

DATANAUT unterstützt das Laden von Daten aus der Staging-Area in jedes Data-Warehouse und in jede andere Datenstruktur. Die Integration der transformierten Daten in die Zielstrukturen, kann auch durch eine weitere Schematransformation unterstützt werden. Um eine Versionshistorie für so genannte Slowly Changing Dimensions abzubilden, greift DATANAUT auf Transaktionsmechanismen der Datenbanken zurück, um die Datenintegrität zu sichern. Durch SQL können auch eigene Regeln zur Darstellung von Datenversionen oder zum Erstellen von Änderungsprotokollen abgebildet werden, die neben bereits vorliegenden internen Datenbankregeln implementiert werden können. Auf Basis gesteuerter Iterationsschleifen, können Sie transformierte Daten partitioniert in die Zielstruktur einbringen. Dadurch wird ein effizienter Ladeprozess ermöglicht, der eine Bereitstellung mit geringer Last ermöglicht. Für verschiedene direkt unterstützte Datenbanken steht eine Übertragungsoptimierung zur Verfügung. Hierbei werden größere Datenpakete zusammen gefasst und komprimiert. Im Zusammenhang mit dem ebenfalls geringeren Protokollüberhang, können Daten so deutlich schneller in die Datenbank eingebracht werden.

DATANAUT bietet alle Funktionen für Datenintegration, Datenmigration und ETL

DATANAUT beinhaltet alle Kontrollstrukturen und Funktionen, die für ETL und die Integration oder Migration von Daten benötigt werden. Die Extraktion von Daten aus unterschiedlichen Strukturen ist problemlos möglich. Dabei können verschiedene Merkmale genutzt werden, um die Last bei der Datenabfrage gering zu halten. Die Transformation von Daten erfolgt auf der Stage-Area, einer frei wählbaren Dateninstanz die ohne Ressourcen im Data-Warehouse oder anderen Zielstrukturen auskommt. Regeln und Prozessschritte für syntaktische und semantische Transformationen sowie für die Aggreation, können vollständig frei aufgestellt und implementiert werden und sind nicht an vordefinierte Modelle gebunden. Das Laden von Daten erfolgt unter Bewahrung der Datenintegrität in optimierten Prozessen, die nur eine geringe Last im Zielsystem beanspruchen. Über integrierte Funktionen wie der DATANAUT Textersetzungsklasse können Sie Daten und Codes zusätzlich dynamisch anreichern. Mit DATANAUT können Sie skriptbasierte Lösungen für Datenintegration und ETL organisieren, steuern, ausführen und überwachen. Auf Grund der umfassenden Funktionsbibliothek sowie der Möglichkeit, den Datenfluss dynamisch zu gestalten, können auch komplexe Szenarien abgebildet werden.