Datenkonvertierung vs. Datenmigration: Was ist der Unterschied?

In der Vergangenheit habe ich als Migrationsleiter gearbeitet und jetzt arbeite ich als Konvertierungsleiter für eines der ERP-Implementierungsprojekte. Da ich an beiden gearbeitet habe (Migration / Konvertierung), ist dies ein Versuch, den Unterschied zwischen Migration und Konvertierung zu verdeutlichen.

Die Begriffe Datenkonvertierung und Datenmigration werden im Internet manchmal noch synonym verwendet. Sie bedeuten jedoch verschiedene Dinge. Datenkonvertierung ist die Umwandlung von Daten von einem Format in ein anderes. Es bedeutet, Daten aus der Quelle zu extrahieren, zu transformieren und die Daten basierend auf einer Reihe von Anforderungen in das Zielsystem zu laden.

Datenmigration ist der Prozess der Übertragung von Daten zwischen Silos, Formaten oder Systemen. Daher ist die Datenkonvertierung nur der erste Schritt in diesem komplizierten Prozess. Mit Ausnahme der Datenkonvertierung umfasst die Datenmigration das Data Profiling, die Datenbereinigung, die Datenvalidierung und den laufenden Prozess der Datenqualitätssicherung im Zielsystem.

Beide Begriffe werden von vielen Internetquellen synonym verwendet. Ich denke, der Grund dafür könnte sein, dass es sehr wenige Situationen gibt, in denen ein Unternehmen die Daten konvertieren muss, ohne sie zu migrieren.

Was ist die Notwendigkeit der Migration / Konvertierung?

Migration / Konvertierung sind erforderlich, wenn wir von einer Version auf eine andere aktualisieren (z. B. Oracle Apps R11 auf Oracle Apps R12) oder Daten von einem Legacy-System auf Oracle Apps verschieben. Vor dem Verschieben der Daten sollten diese validiert und nur gültige Datensätze in Oracle Apps eingegeben werden.

Wenn beide Systeme (Ziel und Quelle) nicht dieselbe Struktur für Daten haben (Tabellen sind nicht gleich / Tabellenstruktur ist nicht gleich / Die Daten, die in der Datenbank gespeichert werden, sind nicht gleich), müssen sie übersetzt werden (z. upgrade von Oracle 11i auf R12, wo Tabellenstrukturen nicht gleich sind), dann sagen wir es als Konvertierung (jede Art von Übersetzung von Daten in Quelldaten, um sie für das Zielsystem geeignet zu machen), andernfalls Migration. Die Neuimplementierung derselben Oracle Apps-Version ist ein gutes Beispiel für die Datenmigration.

Was ist Konvertierung?

Konvertierung von Daten bedeutet, die Daten in das Zielsystem zu übersetzen (Daten sollten entsprechend dem Zielsystem formatiert werden) und dann die übersetzten Daten mithilfe von Schnittstellenprogrammen / APIs zu verschieben.

• Identifizieren Sie die Daten, die in ein neues System importiert werden sollen (Geschäftsanforderung).
• Extrahieren Sie in Flat File / Staging-Tabelle
• Übersetzen / Konvertieren / Formatieren Sie die Daten
• Laden Sie die Daten nach der Validierung in die Schnittstellentabelle (mit SQL * Loader / DB Link / Anderen) (wenn Sie die Daten über die Schnittstelle laden) und starten Sie dann das gleichzeitige Programm der Standardschnittstelle, um die Daten in Oracle Apps-Basistabellen zu laden
• Wenn Sie die API verwenden, rufen Sie die Daten ab, validieren Sie sie und rufen Sie dann die API auf, um die Daten zu importieren

weil Sie ein vollständiges Verständnis der Quelle haben müssen, von der Sie konvertieren, und dann das Format, in das Sie konvertieren. Wenn Sie dies nicht tun, laufen Sie Gefahr, Ihre Daten zu gefährden und ihre Integrität während des Konvertierungsprozesses zu ruinieren.

Beispiel: Konvertierung von Daten wie Lieferanten, Kunden von Oracle ERP nach Workday ERP.

Was ist Migration?

Migration von Daten bedeutet, die Daten von einem System auf ein anderes zu verschieben, wobei Schnittstellenprogramme / APIs verwendet werden, bei denen beide Systeme dieselbe Datenstruktur haben.

Prozess der Migration von Daten:
• Identifizieren Sie die Daten, die in ein neues System importiert werden sollen (Geschäftsanforderung).
* Extrahieren Sie die Daten in eine flache Datei / Staging-Tabelle
• Laden Sie die Daten in die Schnittstellentabelle (mit SQL * Loader / DB Link / Anderen) nach der Validierung (Wenn die Daten über die Schnittstelle geladen werden)

Der Migrationsprozess ist sehr detailliert und kann Monate dauern. Hier ist ein allgemeiner Prozess, dem eine typische Datenmigration folgen würde.

1. Datenbanküberprüfung: Überprüfung der Datenbank und Überprüfung der aktuellen Implementierung.
2. Datenzuordnung: Überprüfen Sie die Tabellen und Daten in der Datenbank gründlich, um eindeutige Tabellen und Spalten sowie mögliche Datendiskrepanzen oder -inkonsistenzen zu finden. Es ist wichtig zu verfolgen, in welchen Tabellen sich die Daten derzeit befinden und wohin die Daten mithilfe der Datenzuordnung migriert werden.
3. Migration: Sobald das Mapping abgeschlossen ist, können die migrierten Daten von der ursprünglichen Datenbank in die neue Datenbank übertragen werden, die getestet und in Produktion genommen werden kann.

Wenn sich die Datenkonvertierung mit einzelnen Datenfeldern befasst, ist die Datenmigration der Vorgang des Verschiebens und Zusammenführens ganzer Datenbanken oder Programme.

Zum Beispiel migriert Clients Daten aus mehreren Datenbanken in eine einzige Datenbank oder migriert Daten von einem CRM / ERP-System in ein anderes.

Die Datenmigration mag auf den ersten Blick einfach erscheinen, ist aber genau wie die Datenkonvertierung ziemlich komplex! Es handelt sich in der Regel um das sogenannte Data Mapping, einen strategischen Prozess, der Daten von einer Datenbank in eine andere abbildet, indem untersucht wird, wo sich die Daten derzeit befinden und wo sie sich befinden, sobald sie verschoben wurden.

Bevor Sie Daten migrieren, müssen Sie sicherstellen, dass die Datenfelder in Ihrer alten Datenbank in der neuen Datenbank vorhanden sind. Sie müssen auch verstehen, wie beide Programme mit verschiedenen Arten von Dateiformaten umgehen und ob Datenfelder während des Prozesses zusammengeführt werden oder nicht.

Wie unterscheiden sich Konvertierung/Migration und Schnittstelle?

Es gibt eine gute Anzahl von Parametern, anhand derer sie kategorisiert werden können. Nehmen Sie einige von ihnen:

Häufigkeit
• Konvertierungen / Migration sind ein einmaliges Ereignis
• Schnittstellen sind im Gange
Auftreten in der Projektzeitleiste
• Konvertierungen / Migration vor der Produktion ausgeführt
• Schnittstellen während der Produktion ausgeführt
Art der Ausführung
• Konvertierungen / Migration sind Batch
• Schnittstellen können Batch- oder Echtzeit sein
Komplexität
• Konvertierung / Migration ist sehr komplex, es hängt völlig von den Daten ab mapping-Aktivität.
* Die Koordination mit anderen Systemen macht Schnittstellen komplexer
Wartung
• Die Wartung der Schnittstelle ist eine kostenintensive Aufgabe.

Danke Yogesh