10 Tipps zur Datenkonsolidierung

In diesem Beitrag finden Sie verschiedene Tipps rund um das Thema.

Das Ziel der Datenkonsolidierung ist das Erreichen inhaltlicher Richtigkeit und Vollständigkeit von Daten in der notwendigen Struktur. Dazu werden Daten evaluiert, verändert oder neu erzeugt, damit diese zu einem bestimmten Zeitpunkt die erforderlichen Merkmale aufweisen.

Daten können nach einer Konsolidierung in ihrem ursprünglichen System verbleiben, oder durch eine Schnittstelle in ein Datenbank-System, einen Online-Shop oder auch nach EXCEL überführt werden. In diesem Zusammenhang kann zwischen permanenten sowie einmaligen Datenkonsolidierungsmaßnahmen unterschieden werden. Im Kontext von Projekten mit Schnittstellen beispielsweise, die organisatorisch eine Datenintegrationsmaßnahme darstellen, ist zumeist eine permanente Datenkonsolidierung erforderlich, um das Ziel der effektiven Nutzbarkeit der Daten in den anzubindenden Lösungen umsetzen zu können.

Tipps für eine erfolgreiche Datenkonsolidierung

In Verbindung mit einer Datenkonsolidierung werden Datenstrukturen angepasst und neu aufgesetzt, oft ändern sich Datenformate und Inhalte. Für die Zielsetzung ist eine Transformation der Daten und Strukturen notwendig, die bereits selbst fehlerbehaftet sein kann. So können später Probleme auftreten, die die Nutzung der konsolidierten Daten erschweren, verhindern oder sogar korrumpieren, weil bestimmte Daten fehlerhaft sind.

Tipp: Eine umfassende und vollständige Prüfung aller Anwendungen sowie nachgelagerter Lösungen und Prozesse ist notwendig. Dabei soll geprüft werden, ob die neuen Daten etwaige Auswirkungen auf die Speicher- und Verarbeitungsprozesse der Lösungen haben, die die konsolidierten Daten nutzen.

Durch eine fehlerhafte Logik oder falsche Herangehensweise können Daten irrtümlich verändert oder vernichtet werden. Zudem besteht die Gefahr, dass die Performance des betroffenen IT-Systems sinkt. Solche Probleme sind häufig auf einen direkten Zugriff auf Live-Daten zurückzuführen. Es werden schreibende Datenzugriffe zugelassen und vorgenommen, ohne dass die Konsolidierung definitiv prozesssicher ist. Tabelleninhalte oder sogar ganze Datenbanken können bereits durch einen einzigen Fehler in der Programmierung - aufgrund von Datenveränderungen - korrumpieren und aufwendige Wiederherstellungsszenarien auslösen.

Tipp: Stellen Sie sicher, dass das projektführende Team Datenreplikate erhält, welche im Bedarfsfall schnell und einfach auf Basis aktueller Daten erneuert werden können. Test-Daten sollten nur auf isolierten IT-Systemen oder auf mobilen Datenträgern bereitgestellt werden.

Mit einer einmaligen Konsolidierung geht häufig eine Verwaisung des alten Datenbestands einher, da mit Projektabschluss zumeist nur noch der konsolidierte Datenbestand genutzt wird. Treten Fehler bei der Sicherung von Daten auf, kann dies einem Verlust gleichkommen, wenn später Fehler bemerkt und Daten wiederhergestellt werden müssen.

Tipp: Sie sollten die Sicherungsstrategien im Kontext von Konsolidierungsprojekten dahingehend prüfen, ob sich die zu konsolidierenden Datenbestände langfristig konsistent und in angemessener Zeit wiederherstellen lassen. Empfehlenswert ist in diesem Zusammenhang, die alte Datenbasis zusätzlich auf externen Datenträgern redundant zu speichern.

Ein Konsolidierungsprojekt kann wegen unvorhergesehener Probleme aufwändig werden, was zu unnötigen Mehrkosten oder zum Abbruch führen kann. Auch fehlerhafte Ergebnisse sind nicht selten die Folge, weil die Umsetzung durch mangelhafte Vorbereitung und Planung leidet. Die Bewältigung der Komplexität in der Datenkonsolidierung ist einerseits Sache der IT. Die Lösung besteht aus einzelnen logischen Schritten sowie der physischen Umsetzung durch Programmierung. Dies setzt umfassende Kenntnisse und Erfahrung, sowie adäquate Software-Werkzeuge voraus. Andererseits sind auf Seiten des Kunden adäquate Ansprechpartner zu stellen, die über die notwendige Entscheidungskompetenz und das inhaltliche Wissen verfügen, das Projekt zu begleiten. Zudem müssen die Ansprechpartner die notwendige Zeit und den Freiraum haben, benötigte Daten und Informationen zeitnah zu beschaffen und alle sich ergebenden Fragen entsprechend zu beantworten.

Tipp: Die zeitnahe gegenseitige Weitergabe von Informationen zu Voraussetzungen, Stati und Änderungen, sowie das entsprechende Feedback stellt die elementare Grundlage für ein erfolgreiches Gelingen dar. Setzen Sie frühzeitig auf Transparenz und Einbindung des eigenen Fachpersonals. Wenn die für die Datenkonsolidierung notwendigen Strukturen und die automatisierten Verarbeitungsprozesse geschaffen sind, sollte Ihre Fachabteilung nach Absprache mit dem Entwicklungsteam unmittelbaren Datenzugriff erhalten und eine zeitnahe Prüfung der Daten auf Plausibilität erfolgen.

Maßnahmen, die auf die Eliminierung von Dubletten, die Angleichung unterschiedlicher Datenbestände sowie das Zusammenführen von Datenbeständen abzielen, sind Beispiele für sinnvolle Datenkonsolidierung. Zu den weniger sinnvollen Maßnahmen gehört die Reduzierung von Speicherplatz für Daten durch logische Datenkonsolidierung, da Sie die Kosten für schnellere oder größere Speichersysteme sicher nicht tragen möchten.

Tipp: Prüfen Sie, ob bestimmte Kondsolidierungsmaßnahmen überhaupt nötig sind bzw. ob diese in einem angemessenen Kosten- und Nutzen-Verhältnis stehen. Konsolidierungsmaßnahmen können am Ende viel aufwändiger werden, weil sie sich schlechter planen und kalkulieren lassen, als die Aufrüstung von Servern, Festplatten und Sicherungslizenzen. Häufig hilft schon der Einsatz kostenloser Deduplizierungslogik, oder Komprimierung.

Nicht konsolidierte Daten können sich auf Prozesse der Datensynchronisation, der Datenreplikation, den Datenexport, sowie ETL-Lösungen auswirken. Tangieren diese Daten die Arbeit in einem Kernsystem wie dem ERP, kann das Probleme, Störungen und Fehler nach sich ziehen. Viele Lösungen berücksichtigen zwar eine mangelnde Konsistenz von Daten und gleichen dies durch Anpassungen aus, doch der Aufwand steigt mit jedem System an. Schlecht konsolidierte Daten in Kernsystemen führen zudem zu latenter Mehrarbeit, sowie zur Verbreitung der Daten an alle nachnutzenden Instanzen.

Tipp: Die Kenntniss über die Umstände, die nicht konsolidierte Daten auslösen, sollte dazu führen, dass der Aufwand für die ständigen Workarounds in fachgerechte Konsolidierungsmaßnahmen umgewidmet wird.

Je nach Perspektive sind Redundanzen von Daten mehr oder weniger eine nützliche Begleiterscheinung, digitaler Datenmüll oder eine Handlungsaufforderung zur Normalisierung. Der Wegfall von Daten-Redundanzen kann aber die Funktionalität von Software beeinträchtigen. Beabsichtigte und verwendete Redundanzen sind daher häufig Bestandteil von Lösungen, die ohne das elementare Vorhandensein dieser Redundanzen nicht auskommen.

Tipp: Nicht in jedem Szenario dürfen Redundanzen von Daten im Rahmen einer Konsolidierungsmaßnahme bedenkenlos beseitigt werden. Daher müssen Sie die Auswirkungen der geplanten Datenkonsolidierung auf etwaig angebundenen Lösungen berücksichtigen, wie beispielsweise im Fall eines durch ETL-Prozesse angebundenem Data-Warehouse.

Werden Daten konsolidiert, kann dies mit dem Wegfall bestimmter Geschäftsdaten oder dem Zugriff Dritter auf personenbezogene Daten einhergehen. Konsolidierungsmaßnahmen können daher rechtliche Aspekte tangieren, beispielweise die Aufbewahrungspflicht und den Datenschutz.

Tipp: Beachten Sie, dass Sie im Hinblick auf personenbezogene Daten verplichtet sind, einen Auftragsverarbeitungsvertrag nach der jeweils gültigen DSGVO abzuschließen, sofern Sie die Dienstleistung beauftragen. Dies entbindet nicht von Fehlern in der Umsetzung, schafft jedoch den elementaren rechtlichen Rahmen für die Herausgabe der Daten. Bei der Umlagerung von Daten auf externe Speichereinheiten oder in dezentrale Datenbankinstanzen sollte zudem sichergestellt werden, dass diese Daten auch nach Systemausfällen wieder verfügbar gemacht werden können.

Die Abwesenheit von Fachwissen und ungeeignete Werkzeuge wie EXCEL sind das Gegenteil einer idealen Basis, um die operativen Schritte einer Datenkonsolidierung zu steuern, auszuführen und die Ergebnisse zu verifizieren. Dabei sollen vor allem unerwünschte Zustände in den Daten, Strukturprobleme oder inhaltliche Fehler durch die Maßnahmen identifiziert und behoben werden. Derartige Ansätze produzieren jedoch häufig neue Fehler, oder benötigen sehr viel Zeit, bis die geplante Transformation abgeschlossen ist. Zu allem Überfluß können mit vielen sogenannten Tools oft nicht einmal aktuelle und reproduzierbare Ergebnisse bereitgestellt, noch mit großen Datenmengen adäquat umgegangen werden.

Tipp: Setzen Sie auf progressive Software-Produkte statt auf EXCEL. Das ideale Werkzeug zur Datenkonsolidierung erledigt notwendige Konsolidierungsprozesse nach der Einrichtung vollständig und zeitnah. Funktionen wie programmierbare datengetriebene Prozess-Schritte, die auch bei großen Datenmengen und verschiedenen Datenquellen automatisch im Hintergrund arbeiten können, sind eine erhebliche Arbeitserleichterung. Nur so können manuelle Eingriffe eliminiert und Bearbeitungszeiten dauerhaft reduziert werden. In Verbindung mit fachgerechten Dienstleistungen kommen Sie damit sicher an Ziel.

Die finale Konsolidierung der Daten kann scheitern, obwohl alle vorhergehenden Schritte und die Tests erfolgreich waren. Dies ist vor allem dann häufig der Fall, wenn viele Daten in komplexen Strukturen gegeben sind.

Tipp: Sichern Sie sich ab, indem Sie Daten mehrstufig sukzessiv konsolidieren. So fallen Fallback- und Wiederanlaufszenarien weniger komplex aus. In jedem Fall sollten Sie diese einplanen und sicherstellen, dass diese möglichst vollständig auf den bereits bewährten Standards aufsetzen.

Sie benötigen weitere Informationen oder haben Fragen?

Wir nehmen uns der Sache gerne an - setzen Sie sich einfach mit uns in Verbindung.

Kontaktformular