10 Tipps: Datenkonsolidierung
Wenn Sie sich für Datenkonsolidierung interessieren, finden Sie in diesem Beitrag verschiedene Tipps und Denkanstöße zum besseren Verständnis.
Das wichtigste zum Thema
Das Ziel einer Datenkonsolidierung ist die inhaltliche Richtigkeit und Vollständigkeit von vorhandenen Daten. Dafür werden die Daten evaluiert und dann verändert oder neu erzeugt, damit diese die notwendigen Merkmale und Strukturen aufweisen.
Um die Daten anschließend zu nutzen, können sie dafür im ursprünglichen System verbleiben, als auch durch Schnittstellen in Datenbanken, Dateiformate wie XML, JSON, EXCEL oder CSV oder direkt über eine API etwa in Online-Shops, CRM-Systeme oder andere Cloud-Lösungen überführt werden.
Integritätsprobleme bei Änderungen an Formaten und Werten vermeiden
In Verbindung mit einer Datenkonsolidierung werden Datenstrukturen angepasst und neu aufgesetzt, oft ändern sich Datenformate und Inhalte. Zum Erreichen der Ziele ist oft eine Transformation der Daten und Strukturen notwendig, jedoch können die Daten fehlerbehaftet sein. So können später Probleme auftreten, die die Nutzung der konsolidierten Daten erschweren, verhindern oder sogar korrumpieren, weil bestimmte Daten fehlerhaft sind.
Unser Tipp:
Eine umfassende und vollständige Prüfung aller Anwendungen sowie nachgelagerter Lösungen und Prozesse ist notwendig. Dabei soll geprüft werden, ob die neuen Daten etwaige Auswirkungen auf die Speicher- und Verarbeitungsprozesse der Lösungen haben, die die konsolidierten Daten nutzen.
Fehler in Logik oder Herangehensweise vernichten unter Umständen Daten
Durch eine fehlerhafte Logik oder falsche Herangehensweise können Daten irrtümlich verändert oder vernichtet werden. Zudem besteht die Gefahr, dass die Performance des betroffenen IT-Systems sinkt. Solche Probleme sind häufig auf einen direkten Zugriff auf Live-Daten zurückzuführen. Es werden schreibende Datenzugriffe zugelassen und vorgenommen, ohne dass die Konsolidierung definitiv prozesssicher ist. Tabelleninhalte oder sogar ganze Datenbanken können bereits durch einen einzigen Fehler in der Programmierung - aufgrund von Datenveränderungen - korrumpieren und aufwendige Wiederherstellungsszenarien auslösen.
Unser Tipp:
Stellen Sie sicher, dass das projektführende Team Datenreplikate erhält, welche im Bedarfsfall schnell und einfach auf Basis aktueller Daten erneuert werden können. Test-Daten sollten nur auf isolierten IT-Systemen oder auf mobilen Datenträgern bereitgestellt werden.
Datensicherung ist nicht immer gleich Datensicherung
Mit einer einmaligen Konsolidierung geht häufig eine Verwaisung des alten Datenbestands einher, da mit Projektabschluss zumeist nur noch der konsolidierte Datenbestand genutzt wird. Treten Fehler bei der Sicherung von Daten auf, kann dies einem Verlust gleichkommen, wenn später Fehler bemerkt und Daten wiederhergestellt werden müssen.
Unser Tipp:
Sie sollten die Sicherungsstrategien im Kontext von Konsolidierungsprojekten dahingehend prüfen, ob sich die zu konsolidierenden Datenbestände langfristig konsistent und in angemessener Zeit wiederherstellen lassen. Empfehlenswert ist in diesem Zusammenhang, die alte Datenbasis zusätzlich auf externen Datenträgern redundant zu speichern.
Vorbereitung und Fachkompetenz sind alles
Ein Konsolidierungsprojekt kann wegen unvorhergesehener Probleme aufwändig werden, was zu unnötigen Mehrkosten oder zum Abbruch führen kann. Auch fehlerhafte Ergebnisse sind nicht selten die Folge, weil die Umsetzung durch mangelhafte Vorbereitung und Planung leidet. Die Bewältigung der Komplexität in der Datenkonsolidierung ist einerseits Sache der IT. Die Lösung besteht aus einzelnen logischen Schritten sowie der physischen Umsetzung durch Programmierung. Dies setzt umfassende Kenntnisse und Erfahrung, sowie adäquate Software-Werkzeuge voraus. Andererseits sind auf Seiten des Kunden adäquate Ansprechpartner zu stellen, die über die notwendige Entscheidungskompetenz und das inhaltliche Wissen verfügen, das Projekt zu begleiten. Zudem müssen die Ansprechpartner die notwendige Zeit und den Freiraum haben, benötigte Daten und Informationen zeitnah zu beschaffen und alle sich ergebenden Fragen entsprechend zu beantworten.
Unser Tipp:
Die zeitnahe gegenseitige Weitergabe von Informationen zu Voraussetzungen, Stati und Änderungen, sowie das entsprechende Feedback stellt die elementare Grundlage für ein erfolgreiches Gelingen dar. Setzen Sie frühzeitig auf Transparenz und Einbindung des eigenen Fachpersonals. Wenn die für die Datenkonsolidierung notwendigen Strukturen und die automatisierten Verarbeitungsprozesse geschaffen sind, sollte Ihre Fachabteilung nach Absprache mit dem Entwicklungsteam unmittelbaren Datenzugriff erhalten und eine zeitnahe Prüfung der Daten auf Plausibilität erfolgen.
Unsinnige Konsolidierungsprojekte identifizieren
Maßnahmen, die auf die Eliminierung von Dubletten, die Angleichung unterschiedlicher Datenbestände sowie das Zusammenführen von Datenbeständen abzielen, sind Beispiele für sinnvolle Datenkonsolidierung. Zu den weniger sinnvollen Maßnahmen gehört die Reduzierung von Speicherplatz für Daten durch logische Datenkonsolidierung, da Sie die Kosten für schnellere oder größere Speichersysteme sicher nicht tragen möchten.
Unser Tipp:
Prüfen Sie, ob bestimmte Kondsolidierungsmaßnahmen überhaupt nötig sind bzw. ob diese in einem angemessenen Kosten- und Nutzen-Verhältnis stehen. Konsolidierungsmaßnahmen können am Ende viel aufwändiger werden, weil sie sich schlechter planen und kalkulieren lassen, als die Aufrüstung von Servern, Festplatten und Sicherungslizenzen. Häufig hilft schon der Einsatz kostenloser Deduplizierungslogik, oder Komprimierung.
Strategien prüfen, Feedback nutzen
Nicht konsolidierte Daten können sich auf Prozesse der Datensynchronisation, der Datenreplikation, den Datenexport, sowie ETL-Lösungen auswirken. Tangieren diese Daten die Arbeit in einem Kernsystem wie dem ERP, kann das Probleme, Störungen und Fehler nach sich ziehen. Viele Lösungen berücksichtigen zwar eine mangelnde Konsistenz von Daten und gleichen dies durch Anpassungen aus, doch der Aufwand steigt mit jedem System an. Schlecht konsolidierte Daten in Kernsystemen führen zudem zu latenter Mehrarbeit, sowie zur Verbreitung der Daten an alle nachnutzenden Instanzen.
Unser Tipp:
Die Kenntniss über die Umstände, die nicht konsolidierte Daten auslösen, sollte dazu führen, dass der Aufwand für die ständigen Workarounds in fachgerechte Konsolidierungsmaßnahmen umgewidmet wird.
Redundanzen - Vorsicht, kann nicht weg!
Je nach Perspektive sind Redundanzen von Daten mehr oder weniger eine nützliche Begleiterscheinung, digitaler Datenmüll oder eine Handlungsaufforderung zur Normalisierung. Der Wegfall von Daten-Redundanzen kann aber die Funktionalität von Software beeinträchtigen. Beabsichtigte und verwendete Redundanzen sind daher häufig Bestandteil von Lösungen, die ohne das elementare Vorhandensein dieser Redundanzen nicht auskommen.
Unser Tipp:
Nicht in jedem Szenario dürfen Redundanzen von Daten im Rahmen einer Konsolidierungsmaßnahme bedenkenlos beseitigt werden. Daher müssen Sie die Auswirkungen der geplanten Datenkonsolidierung auf etwaig angebundenen Lösungen berücksichtigen, wie beispielsweise im Fall eines durch ETL-Prozesse angebundenem Data-Warehouse.
Rechtliche Rahmenbedingungen beachten
Werden Daten konsolidiert, kann dies mit dem Wegfall bestimmter Geschäftsdaten oder dem Zugriff Dritter auf personenbezogene Daten einhergehen. Konsolidierungsmaßnahmen können daher rechtliche Aspekte tangieren, beispielweise die Aufbewahrungspflicht und den Datenschutz.
Unser Tipp:
Beachten Sie, dass Sie im Hinblick auf personenbezogene Daten verpflichtet sind, einen Auftragsverarbeitungsvertrag nach der jeweils gültigen DSGVO abzuschließen, sofern Sie die Dienstleistung beauftragen. Dies entbindet nicht von Fehlern in der Umsetzung, schafft jedoch den elementaren rechtlichen Rahmen für die Herausgabe der Daten. Bei der Umlagerung von Daten auf externe Speichereinheiten oder in dezentrale Datenbankinstanzen sollte zudem sichergestellt werden, dass diese Daten auch nach Systemausfällen wieder verfügbar gemacht werden können.
Auf progressive Lösungen setzen und EXCEL unbedingt vermeiden
Die Abwesenheit von Fachwissen und ungeeignete Werkzeuge wie EXCEL sind das Gegenteil einer idealen Basis, um die operativen Schritte einer Datenkonsolidierung zu steuern, auszuführen und die Ergebnisse zu verifizieren. Dabei sollen vor allem unerwünschte Zustände in den Daten, Strukturprobleme oder inhaltliche Fehler durch die Maßnahmen identifiziert und behoben werden. Derartige Ansätze produzieren jedoch häufig neue Fehler, oder benötigen sehr viel Zeit, bis die geplante Transformation abgeschlossen ist. Zu allem Überfluß können mit vielen sogenannten Tools oft nicht einmal aktuelle und reproduzierbare Ergebnisse bereitgestellt, noch mit großen Datenmengen adäquat umgegangen werden.
Unser Tipp:
Setzen Sie auf progressive Software-Produkte statt auf EXCEL. Das ideale Werkzeug zur Datenkonsolidierung erledigt notwendige Konsolidierungsprozesse nach der Einrichtung vollständig und zeitnah. Funktionen wie programmierbare datengetriebene Prozess-Schritte, die auch bei großen Datenmengen und verschiedenen Datenquellen automatisch im Hintergrund arbeiten können, sind eine erhebliche Arbeitserleichterung. Nur so können manuelle Eingriffe eliminiert und Bearbeitungszeiten dauerhaft reduziert werden. In Verbindung mit fachgerechten Dienstleistungen kommen Sie damit sicher an Ziel.
Fallback und Wiederanlauf einplanen
Die finale Konsolidierung der Daten kann scheitern, obwohl alle vorhergehenden Schritte und die Tests erfolgreich waren. Dies ist vor allem dann häufig der Fall, wenn viele Daten in komplexen Strukturen gegeben sind.
Unser Tipp:
Sichern Sie sich ab, indem Sie Daten mehrstufig sukzessiv konsolidieren. So fallen Fallback- und Wiederanlaufszenarien weniger komplex aus. In jedem Fall sollten Sie diese einplanen und sicherstellen, dass diese möglichst vollständig auf den bereits bewährten Standards aufsetzen.
