nowoczesna architektura danych przedsiębiorstwa

dane są niezbędnym zasobem wymaganym przez każde przedsiębiorstwo, aby skutecznie konkurować w dzisiejszej gospodarce. Jednak wartość zasobów danych może być zrealizowana tylko wtedy, gdy są one wykorzystywane strategicznie, operacyjnie, konsekwentnie i dokładnie w całej firmie. W przeszłości było to trudne. Dzisiejsze przedsiębiorstwa zwracają się do danych jako usługi (Daas) w ramach swojej strategii przetwarzania danych w chmurze, aby zapewnić wysoki poziom SLA, nadzór nad danymi, dokładność i wysoką dostępność wymaganą przez klientów i strategię biznesową. Aby w pełni wykorzystać podejście DaaS, muszą mieć nowoczesną architekturę danych.

czym jest architektura danych?

zaprojektowana przez architektów danych Architektura danych standaryzuje sposób, w jaki przedsiębiorstwa gromadzą, przechowują, przekształcają, dystrybuują i wykorzystują dane w celu pomocy analitykom danych i ludziom w organizacji w podejmowaniu lepszych decyzji w oparciu o analizę biznesową w czasie rzeczywistym. Architektura danych jest podstawą modelowania danych i architektury informacji, które sprawiają, że dane są użyteczne i użyteczne w całej organizacji.

chociaż Architektura danych nie jest nowa, nowoczesna architektura danych przedsiębiorstwa (lub nowoczesna architektura danych) jest i ewoluowała, gdy firmy coraz częściej przechodzą do chmury. Tylko Chmura zapewnia szybkość, skalowalność i łatwość obsługi, potrzebne do efektywnego wykorzystania nowoczesnej architektury danych. W miarę przechodzenia firm do infrastruktur opartych na chmurze ich architektura danych jest również przekształcana.

czym jest nowoczesna architektura danych?

nowoczesna architektura danych koncentruje się na dostosowywaniu danych do możliwości chmury. Tradycyjna architektura danych została zbudowana w oparciu o lokalne modele danych, które pochłonęły mnóstwo czasu na przetwarzanie danych i zarządzanie danymi. Dzięki infrastrukturze wyodrębnionej przez chmurę, nowoczesna architektura danych koncentruje się na tym, aby dane były tak łatwe do uzyskania i jak najbardziej użyteczne dla firmy i klienta. Ułatwia to łatwość, szybkość, współpracę, analizę w czasie rzeczywistym i spójność.

nowoczesna architektura danych to:

1. zbudowany dla użytkowników końcowych do konsumpcji. Chmura pozwala użytkownikom końcowym określić, jakich danych potrzebują do podejmowania decyzji biznesowych, a architektom danych zaprojektować dostęp do danych, który zapewni im to, czego potrzebują.
2. zautomatyzowane z potokami danych i przepływami danych. Nikt nie ma czasu czekać na powolne przetwarzanie danych. Dzięki integracji z chmurą i danymi przedsiębiorstwa mogą zautomatyzować cały proces zarządzania danymi, dzięki czemu dane płynnie i swobodnie przepływają wszędzie tam, gdzie są potrzebne w organizacji, przy jednoczesnym zachowaniu nadzoru nad danymi. Integracja danych jest kluczem do zapewnienia, że każda część całości łączy się.
3. Nowoczesna architektura danych przedsiębiorstwa wykorzystuje możliwości sztucznej inteligencji (AI) i uczenia maszynowego (ML) w celu automatyzacji przetwarzania danych, rozpoznawania nowych typów danych, oczyszczania danych, naprawiania problemów z jakością danych, eksploracji danych, zapewnienia utrzymania standardów danych oraz analizy i analizy danych powierzchniowych. AI / ML jest kluczem do szybkości i dokładności automatyzacji.
4. skalowalne, aby sprostać nieprzewidywalnym wymaganiom. Dane są generowane i zużywane w nadzwyczajnych tempie, a ponieważ firmy borykają się z wahaniami popytu konsumentów, muszą być w stanie skalować dane w górę i w dół, automatycznie i w przystępnej cenie.
5. udostępniane dla zaufanej współpracy. Udostępniane dane mają kluczowe znaczenie dla zapewnienia, że wszyscy pracują z tego samego źródła danych prawdy. Udostępniane dane pomagają również w rozwiązywaniu silosów działów i ułatwianiu współpracy w bardziej zaufany sposób.
6. bezpieczne z założenia. Dla większości przedsiębiorstw dane są ich najcenniejszym zasobem. Nowoczesna architektura danych uwzględnia bezpieczeństwo danych dzięki kontrolowanemu dostępowi i autoryzacji danych, a także zgodność z przepisami i regulacjami dotyczącymi prywatności danych, takimi jak GDPR i HIPAA.

jeśli tworzysz architekturę danych od zera w chmurze, tworzenie tych cech jest łatwe. Jednak większość przedsiębiorstw korzysta ze starszej infrastruktury lokalnej w chmurze, a często z wielu chmur. Ich dane znajdują się w wielu miejscach i są zazwyczaj silnie silosowane. Migracje danych do chmury i integracja danych są priorytetem.

oprócz sześciu cech nowoczesnej architektury danych, będziesz również chciał mieć pewność, że twój projekt ułatwia następujące czynności:

• umożliwia przejście do samoobsługi i wielu typów użytkowników (integratorzy, analitycy danych, liderzy biznesu, interesariusze)
• umożliwia hiper-połączone Przedsiębiorstwo (myśl o danych jako nerwach łączących każdą część ciała, płynnie przesyłając informacje w razie potrzeby)
• przenosi raportowanie do analizy predykcyjnej i nakazowej w celu uzyskania wglądu w czasie rzeczywistym, rekomendacji opartych na sztucznej inteligencji i natychmiastowego podejmowania decyzji 3150>
• dowody na przyszłość dla nowych źródeł danych, aplikacji niższego szczebla i przypadków użycia

3 etapy współczesnych danych Enterprise journey

ponieważ przedsiębiorstwa przekształcają się cyfrowo i przechodzą w kierunku chmury, zazwyczaj przechodzą etapową podróż w celu uzyskania nowoczesnej architektury danych.

można to podzielić na trzy główne etapy:

Etap 1 — lokalne

większość przedsiębiorstw ma systemy lokalne, z narzędziami do przechowywania i przetwarzania dużych zbiorów danych oraz wykonywania złożonych transformacji. To środowisko jest trudne z następujących powodów:

• aby rozpocząć, wymaga dużych inwestycji kapitałowych z góry i dużych inwestycji w koszty operacyjne (OpEx) dla niezbędnego personelu
• potrzebuje specjalistycznego, dedykowanego zestawu umiejętności do zarządzania narzędziami big data
• skutkuje to powolnym czasem reakcji, w tym czasem realizacji zakupów, wysyłki i instalacji środowiska danych

przedsiębiorstwa działają w ten sposób przez wiele lat.wiele dziesięcioleci i zazwyczaj mają duże inwestycje w modele lokalne. Nie tylko istnieją inwestycje finansowe, ale ryzyko utraty danych lub odłączenia niestandardowych integracji może być zbyt duże, aby umożliwić całkowitą migrację chmury. Wiele przedsiębiorstw ma dane, które według nich muszą pozostać w zasięgu własnych serwerów, dlatego stosuje podejście chmury hybrydowej.

Etap 2-Chmura: Wirtualna chmura prywatna (VPC)

po wdrożeniu chmury drugim etapem jest “lift and shift”, w którym przedsiębiorstwa po prostu przenoszą klastry lokalne do dostawcy chmury działającego w sieci wirtualnej chmury prywatnej i mogą korzystać z korzyści IaaS, takich jak niższe koszty. Forrester twierdzi, że organizacje wdrażające w chmurze oszczędzają 20-60 procent w stosunku do kosztów infrastruktury lokalnej, ponieważ większość z nich nadmiernie rozbudowuje swoje serwery i pamięć masową, a następnie musi zarządzać tymi środowiskami.

jednak ten etap nadal ma kilka poważnych wyzwań, ponieważ:

• nie robi nic, aby rozwiązać problemy związane z zarządzaniem i utrzymaniem środowiska
• ma wysokie koszty operacyjne
• nie wypełnia luki w zestawie umiejętności i umiejętności wymaganych do zarządzania usługami działającymi w VPC
• ma wolny czas reakcji
• nie obsługuje natywnych usług przechowywania w chmurze

zarządzanie chmurami lokalnymi i prywatnymi jest skomplikowane, co często zmusza przedsiębiorstwa do poszukiwania najlepszego sposobu zarządzania środowiskiem Chmurowym. Prowadzi to do przejścia na zarządzane usługi w chmurze.

Etap 3-Chmura: Big Data jako usługa

na tym etapie przedsiębiorstwa dostrzegły wyzwania i podejmują je, przechodząc do usług zarządzanych w chmurze, takich jak IBM, Microsoft i Google. Te usługi zarządzane uwalniają przedsiębiorstwo od złożoności zarządzania i utrzymania środowisk przetwarzania na dużą skalę i obniżają cenne wydatki na OpEx.

inne zalety to:

• funkcje na żądanie, które wykorzystują zasoby pamięci masowej i obliczeniowe tylko wtedy, gdy są potrzebne, zmniejszając w ten sposób OpEx
• znacznie prostszy sposób skalowania w górę iw dół do wolumenów terabajtów/petabajtów
• krótszy czas reakcji na potrzeby biznesowe

ponadto zarządzane w chmurze platformy big data zostały zaprojektowane z usługami przechowywania w chmurze. Mają natywną integrację z pamięcią masową w chmurze, dzięki czemu można używać pamięci masowej w chmurze jako rozproszonego komponentu pamięci masowej nadającego się do przechowywania danych w jeziorach.

porozmawiajmy trochę o przechowywaniu danych.

nowoczesna architektura danych potrzebuje jezior danych

hurtownia danych przechowuje dane ustrukturyzowane (np. z systemów transakcyjnych). Jest zoptymalizowany do analizy danych relacyjnych, a nie danych pół / nieustrukturyzowanych. Tak więc, przed zapisem ze źródła danych do hurtowni danych, struktura musi zostać zdefiniowana, a dane muszą zostać wyczyszczone i przekształcone. Wymaga to czasu i utrudnia uzyskanie użytecznych danych tak szybko, jak wymaga tego Przedsiębiorstwo. Ponadto, przy tak dużej ilości nowych danych dostępnych, koszt hurtowni danych jest w rzeczywistości bardzo wygórowany.

jeziora danych obsługują nowoczesną architekturę danych.

w przeciwieństwie do hurtowni danych, jezioro danych jest zbiorem wszystkich typów danych: strukturalnych, półstrukturalnych i niestrukturalnych. Dane są przechowywane w formacie raw bez potrzeby stosowania jakiejkolwiek struktury lub schematu. W rzeczywistości nie trzeba definiować struktury danych podczas ich przechwytywania, tylko podczas ich odczytu. Ponieważ jeziora danych są wysoce skalowalne, obsługują większe ilości danych po niższej cenie. Jezioro danych umożliwia przechowywanie danych ze źródeł relacyjnych (takich jak relacyjne bazy danych) i nierelacyjnych (urządzenia/ maszyny IoT, media społecznościowe itp.) bez ETL (extract, transform, load), co znacznie przyspiesza udostępnianie danych do analizy.

4 cechy nowoczesnej architektury danych przedsiębiorstwa

istnieją cztery podstawowe cechy nowoczesnej architektury danych przedsiębiorstwa: 1) cykl danych, 2) przechowywanie danych, 3) platforma integracji i 4) dostarczanie danych.

cykl danych

przedsiębiorstwa stale napotykają nowe źródła danych i muszą je przechwytywać, zanim poznają ewentualny przypadek użycia. Przechwycone dane są wyodrębniane w celu wypełnienia znanych przypadków użycia, a także przechowywane dla przyszłych nieokreślonych przypadków użycia. Następnie dane przychodzące muszą być zgodne ze standardami korporacyjnymi, aby zapewnić ład, jakość, spójność, zgodność z przepisami i dokładność dla konsumentów niższego szczebla, niezależnie od ich potrzeb biznesowych, umiejętności lub zrozumienia architektury danych. Po zebraniu danych i dostosowaniu ich do standardów korporacyjnych usługi udoskonalania przygotowują dane dla swoich przyszłych aplikacji i / lub przypadków użycia.

przechowywanie danych

dane są przechowywane w jeziorze danych. Pomyśl o jeziorze danych jako nowoczesnej fabryce danych, a wewnątrz jeziora znajdują się” kontenery ” dla różnych etapów przetwarzania danych. Pierwszym kontenerem jest kontener lądujący, do którego przychodzące surowe dane są odbierane niezależnie od ich formy, transportu lub źródła. Tutaj trafiają nieczyste dane. Decyzje o tym, jakie surowe dane zachować, są podejmowane tutaj. Przechowywane dane są przenoszone do zgodnego kontenera.

zgodny kontener to miejsce, w którym oczyszczane są surowe dane i zapewniana jest jakość danych. Kontener conform zapewnia, że przedsiębiorstwo pracuje ze spójnym zestawem danych zgodnym ze standardami.

następnie mamy rafinowany pojemnik, który przygotowuje dane do ostatecznego celu dostawy i mogą istnieć podzbiory rafinerii w zależności od przypadków użycia. Po udoskonaleniu danych są one przygotowywane do dostarczenia do miejsca docelowego. Po dostarczeniu może zostać przeniesiony do obszaru roboczego, z którego mogą korzystać analitycy danych, zarchiwizowany do długotrwałego przechowywania lub usunięty.

platforma integracji danych

platforma integracji pobiera dane z różnych źródeł i łączy je, aby zapewnić jednolity widok. W nowoczesnej architekturze danych platforma integracji musi być wystarczająco elastyczna, aby obsługiwać wszystkie wymagane źródła danych i cele, a także usługi danych na każdym etapie cyklu danych. Musi być w stanie obsługiwać dane ze schematem i bez niego oraz zarządzać metadanymi. Ponadto musi być w stanie obsłużyć integrację i przetwarzanie wymagane do:

• przechwytywanie danych o wysokiej prędkości, różnorodności i wolumenie
• integracja aplikacji o niskim opóźnieniu
• przetwarzanie zgodności danych o dużej objętości
• integracja danych od dostarczenia do celu
• zużycie API (niezbędne w ekosystemach B2B)

ponadto powyższe scenariusze muszą być udostępniane szerokiej społeczności użytkowników, od wysoko wykwalifikowanych specjalistów IT po użytkowników biznesowych, którzy muszą przyspieszyć realizację projektu biznesowego w odpowiedzi na szybko zmieniające się otoczenie biznesowe. We współczesnym przedsiębiorstwie analitycy i analitycy danych są wzywani do odpowiedzi na strategiczne pytania i odblokowania innowacji w bezprecedensowym tempie i po prostu nie mają luksusu polegania na organizacji IT w celu udostępnienia krytycznie niezbędnych informacji. Samoobsługa nie jest już luksusem ani wygodą, ale jest teraz wymogiem o krytycznym znaczeniu. Możliwość szybkiego tworzenia potoków danych jest niezbędna, aby firma mogła poruszać się z taką prędkością, jakiej potrzebuje w erze cyfrowej.

dostarczanie danych

wreszcie dane muszą być dostarczane do odpowiednich celów. Bezpieczna dostępność danych jest integralną częścią nowoczesnej architektury danych. Nadzór, Bezpieczeństwo, Kontrola dostępu oparta na rolach (RBAC), umowa SLA, dławienie i analiza użytkowania mają kluczowe znaczenie dla dostarczania danych do zamierzonych użytkowników, zarówno pracowników wewnętrznych, jak i partnerów zewnętrznych.

przedsiębiorstwa, które stosują podejście data-as-a-service, zapewniają najwyższy poziom dostępności, dostępności i obsługi klienta bez kosztów ciągłych ćwiczeń IT lub konieczności naruszania bezpieczeństwa lub wewnętrznej własności intelektualnej. Dane są dostarczane do końcowych miejsc docelowych, które obejmują centra danych, aplikacje, pliki, stawy danych, stoły do nauki danych, rozwiązania oparte na sztucznej inteligencji i ekosystemy API.

Zbuduj solidną nowoczesną architekturę danych

solidna nowoczesna architektura danych przedsiębiorstwa zapewni przedsiębiorstwom dostępność, szybkość, elastyczność i niezawodność, aby zoptymalizować każde źródło danych i wykorzystać je do podejmowania lepszych decyzji biznesowych. SnapLogic zapewnia integrację danych za pośrednictwem inteligentnej platformy integracyjnej jako usługi, pomagając przedsiębiorstwom budować nowoczesne architektury danych, aby w przyszłości zabezpieczyć swoje potrzeby w zakresie danych.