Konwersja danych a migracja danych: jaka jest różnica?

w przeszłości pracowałem jako lider migracji, a teraz pracuję jako lider konwersji dla jednego z projektów wdrożeniowych ERP. Ponieważ prace nad obydwoma(migracją/konwersją) są próbą przedstawienia różnicy między migracją a konwersją.

terminy Konwersja danych i migracja danych są nadal czasami używane zamiennie w Internecie. Jednak znaczą one różne rzeczy. Konwersja danych to przekształcenie danych z jednego formatu do drugiego. Oznacza to wyodrębnienie danych ze źródła, przekształcenie ich i załadowanie danych do systemu docelowego w oparciu o zestaw wymagań.

Migracja danych to proces przesyłania danych między silosami, formatami lub systemami. Dlatego konwersja danych jest tylko pierwszym krokiem w tym skomplikowanym procesie. Oprócz konwersji danych, migracja danych obejmuje profilowanie danych, czyszczenie danych, walidację danych i bieżący proces zapewnienia jakości danych w systemie docelowym.

oba terminy są używane jako synonimy wielu zasobów internetowych. Myślę, że powodem tego może być to, że istnieje bardzo niewiele sytuacji, w których firma musi konwertować dane bez migracji.

jaka jest potrzeba migracji / konwersji?

migracja/Konwersja są wymagane, gdy aktualizujemy wersję do innej (np. Oracle Apps R11 do Oracle Apps R12) lub przenosimy dane z niektórych starszych systemów do Oracle Apps. Będzie masa danych (czasami miliony, a nawet więcej), które należy przenieść z jednego systemu do drugiego, a przed przeniesieniem danych należy je zweryfikować i wprowadzić tylko prawidłowe rekordy do aplikacji Oracle.

jeĹ “li oba systemy (docelowy i ĹşrĂłdĹ’ owy) nie majÄ … tej samej struktury danych (tabele nie sÄ … takie same/struktura tabel nie jest taka sama/dane przechowywane w bazie danych nie sÄ … takie same), naleĹźy je przetĹ ‘ umaczyÄ ‡ (np. aktualizacja z Oracle 11i do R12 gdzie struktury tabel nie są takie same) wtedy mówimy to jako konwersję (dowolny rodzaj tłumaczenia danych na dane źródłowe, aby nadawały się do systemu docelowego) inaczej migrację. Reimplementacja tej samej wersji Oracle apps jest dobrym przykładem migracji danych.

co to jest konwersja?

Konwersja danych oznacza tłumaczenie danych do systemu docelowego suite (dane powinny być sformatowane zgodnie z systemem docelowym), a następnie przeniesienie przetłumaczonych danych za pomocą programów/interfejsów API.

• Zidentyfikuj dane, które mają zostać zaimportowane do nowego systemu (wymóg Biznesowy).
• Rozpakuj do płaskiego pliku/tabeli stopniowej
• Przetłumacz/przekonwertuj/sformatuj dane
• załaduj dane do tabeli interfejsu (za pomocą SQL* Loader/DB Link/Others) po walidacji (jeśli ładujesz dane za pomocą interfejsu), a następnie uruchom standardowy program współbieżny interfejsu, aby załadować dane do tabel bazowych Oracle Apps
• jeśli używasz API, Pobierz dane, zweryfikuj je, a następnie zadzwoń do API, aby zaimportować dane

konwersja może być skomplikowane, ponieważ musisz mieć pełne zrozumienie źródła, z którego konwertujesz, a następnie formatu, na który konwertujesz. Jeśli tego nie zrobisz, ryzykujesz narażenie swoich danych i zrujnowanie ich integralności podczas procesu konwersji.

przykład: konwersja danych takich jak dostawcy, klienci z Oracle ERP do Workday ERP.

co to jest migracja?

Migracja danych oznacza przenoszenie danych z jednego systemu do drugiego za pomocą programów/interfejsów API, w których oba systemy mają tę samą strukturę danych.

proces migracji danych:• Rozpakuj dane do płaskiego pliku / tabeli Stagingowej

proces migracji jest bardzo szczegółowy i może trwać miesiące. Oto ogólny proces, po którym nastąpi typowa migracja danych.

1. przegląd bazy danych: przeprowadzany jest przegląd bazy danych i przegląd bieżącego wdrożenia.
2. Mapowanie Danych: Dokładnie przejrzyj tabele i dane w bazie danych, aby znaleźć unikalne tabele i kolumny, a także potencjalne rozbieżności lub niespójności danych. Ważne jest, aby śledzić tabele, w których obecnie znajdują się Dane i gdzie będą one migrowane za pomocą mapowania danych.
3. migracja: po zakończeniu mapowania migrowane dane mogą zostać przeniesione z oryginalnej bazy danych do nowej bazy danych, którą można przetestować i wprowadzić do produkcji.

gdzie konwersja danych dotyczy poszczególnych pól danych, migracja danych jest procesem przenoszenia i łączenia całych baz danych lub programów.

na przykład klienci migrują dane z wielu baz danych do jednej bazy danych lub migrują dane z jednego systemu CRM/ERP do drugiego.

migracja danych może wydawać się prosta na pierwszy rzut oka, ale podobnie jak konwersja danych, jest dość złożona! Zwykle obejmuje to tak zwane mapowanie danych, strategiczny proces, który mapuje dane z jednej bazy danych do drugiej, patrząc na to, gdzie dane obecnie żyją i gdzie będą żyć po przeniesieniu.

przed migracją danych należy upewnić się, że pola danych w starej bazie danych istnieją w nowej bazie danych. Musisz także zrozumieć, w jaki sposób oba programy obsługują różne typy formatów plików i czy podczas procesu zostaną scalone jakiekolwiek pola danych.

czym różni się konwersja/migracja i interfejs?

istnieje wiele parametrów, na których można je skategoryzować. Weź kilka z nich:

Częstotliwość
• konwersje/migracja są jednorazowym zdarzeniem
• interfejsy są w toku
występowanie w osi czasu projektu
• konwersje/migracja wykonywane przed produkcją
• interfejsy wykonywane podczas produkcji
sposób wykonania
• konwersje/migracja są wsadowe
• interfejsy mogą być wsadowe lub w czasie rzeczywistym
złożoność
• Konwersja/migracja ma bardzo złożony charakter, jest całkowicie zależna od Po mapowaniu danych.
• koordynacja z innymi systemami sprawia, że interfejsy są bardziej złożone
Konserwacja
* Konserwacja interfejsu jest zadaniem kosztownym.

Dzięki Yogesh