moderne Bedrijfsdataarchitectuur

gegevens zijn een essentiële troef die elke onderneming nodig heeft om effectief te kunnen concurreren in de huidige economie. Toch kan de waarde van data assets alleen worden gerealiseerd wanneer ze strategisch, operationeel, consistent en nauwkeurig worden gebruikt in het hele bedrijf. Dit is historisch gezien een uitdaging geweest. De ondernemingen van vandaag wenden zich tot data-as-a-service (DaaS) als onderdeel van hun clouddatastrategie om een hoog niveau van SLA, data-governance, nauwkeurigheid en hoge beschikbaarheid te garanderen die klanten en bedrijfsstrategie vereisen. Om een DaaS-aanpak volledig te benutten, moeten ze beschikken over een moderne dataarchitectuur.

Wat is gegevensarchitectuur?

data architecture is ontworpen door data architects en standaardiseert hoe ondernemingen gegevens verzamelen, opslaan, transformeren, distribueren en gebruiken om data-analisten en mensen in de organisatie te helpen betere beslissingen te nemen op basis van real-time business intelligence. Data-architectuur is de basis voor data-modellering en informatie-architectuur, die beide data bruikbaar en nuttig maken in de hele organisatie.

hoewel gegevensarchitectuur niet nieuw is, is en is de moderne bedrijfsdataarchitectuur (of moderne dataarchitectuur) geëvolueerd omdat bedrijven steeds meer naar de cloud verhuizen. Alleen de cloud zorgt voor de snelheid, schaalbaarheid en gebruiksgemak die nodig zijn om de moderne dataarchitectuur effectief te maken. Terwijl bedrijven overstappen op cloud-gebaseerde infrastructuren, wordt ook hun data-architectuur getransformeerd.

Wat is moderne dataarchitectuur?

een moderne gegevensarchitectuur richt zich op het afstemmen van gegevens op de mogelijkheden die door de cloud worden aangedreven. Traditionele dataarchitectuur werd gebouwd op On-premise datamodellen die veel tijd in beslag namen voor gegevensverwerking en databeheer. Met de infrastructuur die door de cloud wordt geabstraheerd, richt de moderne dataarchitectuur zich op het zo eenvoudig mogelijk toegankelijk maken van data en zo nuttig mogelijk maken voor het bedrijf en de klant. Het vergemakkelijkt gemak, snelheid, samenwerking, real-time analyse en consistentie.

een moderne dataarchitectuur is:

1. gebouwd voor eindgebruikers om te consumeren. De cloud stelt eindgebruikers in staat om te bepalen welke data ze nodig hebben voor zakelijke beslissingen en data architects om toegang tot data te ontwerpen die levert wat ze nodig hebben.
2. geautomatiseerd met gegevenspijpleidingen en gegevensstromen. Niemand heeft tijd om te wachten op trage gegevensverwerking. Met de cloud-en data-integratie kunnen bedrijven het volledige databeheerproces automatiseren, zodat gegevens soepel en vrij kunnen stromen overal waar ze moeten gaan in de organisatie, terwijl ze nog steeds gegevensbeheer behouden. Data-integratie is de sleutel om ervoor te zorgen dat elk deel van het geheel verbindt.
3. samengesteld door AI / ML. Moderne enterprise data-architectuur maakt gebruik van de kracht van kunstmatige intelligentie (AI) en machine learning (ML) om gegevensverwerking te automatiseren, nieuwe gegevenstypen te herkennen, gegevens te reinigen, problemen met de gegevenskwaliteit op te lossen, datamining uit te voeren, ervoor te zorgen dat gegevensstandaarden worden gehandhaafd, en Surface data analytics en inzichten. AI / ML is de sleutel tot de snelheid en nauwkeurigheid achter automatisering.
4. schaalbaar om aan onvoorspelbare eisen te voldoen. Gegevens worden gegenereerd en geconsumeerd tegen buitengewone snelheden, en als bedrijven omgaan met schommelingen in de vraag van consumenten, moeten ze in staat zijn om gegevens op en neer te schalen, automatisch en betaalbaar.
5. deelbaar voor vertrouwde samenwerking. Gedeelde gegevens zijn van cruciaal belang om ervoor te zorgen dat iedereen werkt vanuit dezelfde gegevensbron van waarheid. Gedeelde gegevens helpen ook om afdelingssilo ‘ s af te breken en een gemakkelijkere, meer vertrouwde samenwerking te bevorderen.
6. beveiligd door ontwerp. Voor de meeste ondernemingen zijn gegevens hun meest waardevolle bezit. Moderne gegevensarchitectuur houdt rekening met gegevensbeveiliging met gecontroleerde toegang tot en autorisatie van gegevens, evenals met naleving van wet-en regelgeving inzake gegevensbescherming, zoals GDPR en HIPAA.

als u een dataarchitectuur vanuit het niets in de cloud maakt, is het bouwen van deze kenmerken Eenvoudig. Maar de meeste bedrijven zijn overspannen legacy on-premise infrastructuur met cloud, en vaak multi-cloud. Hun gegevens bevinden zich op meerdere plaatsen en is meestal zwaar geïsoleerd. Data migraties naar de cloud en data integraties zijn een prioriteit.

naast de zes kenmerken van een moderne dataarchitectuur, wilt u er ook voor zorgen dat uw ontwerp het volgende vergemakkelijkt::

• ondersteunt een overstap naar self-service en meerdere typen gebruikers (integrators, data scientists, line of business leaders, stakeholders)
• maakt een hyper-connected onderneming mogelijk (denk aan data als de zenuwen die elk deel van het lichaam verbinden, naadloos informatie doorgeven indien nodig)
• verschuift rapportage naar voorspellende en prescriptieve analytics voor real-time inzichten, AI-gedreven aanbevelingen en in-the-moment besluitvorming
• toekomstproeven voor nieuwe gegevens bronnen, downstreamtoepassingen en use cases

3 stadia van de moderne gegevens enterprise journey

omdat bedrijven digitaal transformeren en naar de cloud verschuiven, ondergaan ze doorgaans een gefaseerde reis om een moderne dataarchitectuur te realiseren.

dit kan worden onderverdeeld in drie hoofdfasen:

Fase 1 — on-Premises

de meeste ondernemingen beschikken over systemen ter plaatse, met de instrumenten om big data-sets op te slaan en te verwerken en complexe transformaties uit te voeren. Deze omgeving is uitdagend om de volgende redenen:

• het vereist een grote kapitaalinvestering vooraf om aan de slag te gaan en een grote investering in exploitatiekosten (OPEX) voor het benodigde personeel
• het vereist een gespecialiseerde, specifieke vaardigheden om de big data-tools te beheren
• het resulteert in een langzame reactietijd, inclusief de aanlooptijd bij aankoop, verzending en installatie van de gegevensomgeving

ondernemingen hebben al vele decennia op deze manier gewerkt en hebben doorgaans zware investeringen in on-premise modellen. Niet alleen is er financiële investering, maar het risico van het verliezen van gegevens of het loskoppelen van aangepaste integraties kan te groot zijn voor een volledige cloud migratie. Veel bedrijven hebben gegevens die ze nodig vinden om binnen het bereik van hun eigen servers te blijven en dus kiezen voor een hybride cloudbenadering.

Fase 2-Cloud: Virtual Private Cloud (VPC)

naarmate zij de cloud gebruiken, is de tweede fase van het traject “lift and shift”, waarbij ondernemingen eenvoudig on-premise clusters verplaatsen naar een cloudprovider die in een virtueel privé cloudnetwerk draait en kunnen profiteren van IaaS-voordelen, zoals lagere kosten. Forrester meldt dat organisaties die in de cloud implementeren 20-60 procent besparen ten opzichte van de on-premise infrastructuurkosten, omdat de meeste overprovision hun servers en opslag en vervolgens deze omgevingen moeten beheren.

deze fase heeft echter nog enkele grote uitdagingen, aangezien het:

• biedt geen oplossing voor de uitdagingen van het beheren en onderhouden van de omgeving
• heeft een hoge OpEx
• biedt geen oplossing voor de vaardigheidskloof, en de vaardigheden die nodig zijn voor het beheren van de diensten die in de VPC draaien
• heeft een trage responstijd
• ondersteunt geen native cloudopslagservices

het beheren van lokale en private clouds is complex, waardoor bedrijven vaak op zoek gaan naar een betere manier om de cloud-omgeving te beheren. Dit leidt tot de overstap naar managed cloud services.

Fase 3-Cloud: Big Data as a Service

in dit stadium hebben bedrijven de uitdagingen onderkend en pakken ze aan door over te stappen op cloud-managed services zoals IBM, Microsoft en Google. Deze managed services bevrijden de onderneming van de complexiteit van het beheren en onderhouden van de at-scale verwerkingsomgevingen, en verlagen waardevolle OpEx-uitgaven.

andere voordelen zijn::

• On-demand mogelijkheden die opslag-en computerbronnen alleen gebruiken wanneer dat nodig is, waardoor OpEx
• wordt verminderd een veel eenvoudiger manier om op en neer te schalen naar Terabyte/Petabyte volumes
• snellere responstijden voor zakelijke behoeften

Bovendien zijn door de cloud beheerde big data-platforms ontworpen met cloudopslagdiensten. Ze hebben native integratie met de cloudopslag, zodat u de cloudopslag kunt gebruiken als een gedistribueerde opslagcomponent die geschikt is voor data lake-opslag.

laten we het eens hebben over gegevensopslag.

moderne gegevensarchitectuur heeft gegevenslakens

een datawarehouse slaat gestructureerde gegevens op (d.w.z. van transactionele systemen). Het is geoptimaliseerd om relationele gegevens te analyseren, niet semi / ongestructureerde gegevens. Dus, voordat u van de gegevensbron naar het datawarehouse schrijft, moet de structuur worden gedefinieerd en moet de gegevens worden schoongemaakt en getransformeerd. Dit kost tijd en maakt het moeilijker om bruikbare gegevens te krijgen met de snelheid die een onderneming nodig heeft. Ook, met zoveel nieuwe data beschikbaar, De kosten van Data warehousing is eigenlijk zeer prohibitief.

Data lakes ondersteunen moderne gegevensarchitectuur.

in tegenstelling tot een datawarehouse is een Datameer een verzameling van alle gegevenstypen: gestructureerd, semi-gestructureerd en ongestructureerd. Gegevens worden opgeslagen in zijn raw-formaat zonder de noodzaak voor een structuur of schema. In feite hoeft u de gegevensstructuur niet te definiëren wanneer deze wordt vastgelegd, alleen wanneer deze wordt gelezen. Omdat data lakes zeer schaalbaar zijn, ondersteunen ze grotere hoeveelheden data tegen een goedkopere prijs. En, met een data lake, kunt u gegevens van relationele bronnen (zoals relationele databases) en van niet-relationele bronnen (IoT apparaten/ machines, sociale media, enz.) zonder ETL (extract, transform, load), waardoor gegevens veel sneller beschikbaar zijn voor analyse.

4 kenmerken van een moderne bedrijfsdataarchitectuur

er zijn vier primaire kenmerken van een moderne bedrijfsdataarchitectuur: 1) de gegevenscyclus, 2) gegevensopslag, 3) een integratieplatform en 4) gegevenslevering.

Gegevenscyclus

ondernemingen hebben voortdurend te maken met nieuwe gegevensbronnen en moeten gegevens vastleggen voordat zij het uiteindelijke gebruik kennen. Vastgelegde gegevens worden geëxtraheerd om bekende use cases bevolken evenals gehouden voor toekomstige ongedefinieerde use cases. Vervolgens moeten de inkomende gegevens voldoen aan bedrijfsnormen om governance, kwaliteit, consistentie, naleving van de regelgeving en nauwkeurigheid voor downstreamgebruikers te garanderen, ongeacht hun zakelijke behoefte, vaardigheden of inzicht in gegevensarchitectuur. Zodra de gegevens zijn vastgelegd en in overeenstemming zijn met de bedrijfsstandaarden, bereiden verfijningsdiensten de gegevens voor op de uiteindelijke downstreamtoepassing en/of use cases.

gegevensopslag

gegevens worden opgeslagen in het gegevensmeer. Denk aan het data lake als een moderne datafabriek, en binnen het meer zijn “containers” voor verschillende stadia van gegevensverwerking. De eerste container is de landing container, waar inkomende ruwe gegevens worden ontvangen, ongeacht de vorm, het transport of de bron. Dit is waar ongezuiverde data naartoe gaat. Hier worden beslissingen genomen over welke ruwe gegevens moeten worden bewaard. Gegevens die worden bewaard, worden verplaatst naar de geconformeerde container.

de conforme container is waar ruwe gegevens worden gereinigd en de gegevenskwaliteit wordt gewaarborgd. De conforme container zorgt ervoor dat de onderneming werkt met een consistente dataset die voldoet aan de normen.

vervolgens hebben we de geraffineerde container die gegevens voorbereidt voor de uiteindelijke leveringsdoelstelling, en er kunnen subsets van raffinaderijen zijn, afhankelijk van de use cases. Zodra de gegevens zijn verfijnd, wordt het geënsceneerd voor levering aan zijn bestemming. Na levering kan het worden verplaatst naar een werkgebied voor gegevenswetenschappers te gebruiken, gearchiveerd voor langdurige opslag, of verwijderd.

Data-integratieplatform

het integratieplatform neemt gegevens uit verschillende bronnen en combineert deze om een uniforme weergave te bieden. In een moderne dataarchitectuur moet het integratieplatform flexibel genoeg zijn om alle vereiste gegevensbronnen en doelen te ondersteunen, evenals de datadiensten gedurende elke fase van de gegevenscyclus. Het moet in staat zijn om gegevens met en zonder schema te ondersteunen en metadata te beheren. Daarnaast moet het in staat zijn om de integratie en verwerking die nodig is voor:

• gegevensverzameling met hoge snelheid, variëteit en volume
• integratie van toepassingen met lage latentie
• verwerking van gegevensconformiteit met hoge volumes
• gegevensintegratie van levering naar doel
• API-verbruik (essentieel voor B2B-ecosystemen))

verder moeten de bovenstaande scenario ‘ s toegankelijk worden gemaakt voor een brede gebruikersgemeenschap, variërend van hoogopgeleide IT-professionals tot zakelijke gebruikers die een lijnproject moeten versnellen in reactie op een snel veranderende bedrijfsomgeving. In de moderne onderneming worden analisten en datawetenschappers opgeroepen om strategische vragen te beantwoorden en innovatie te ontgrendelen in een ongekend tempo en hebben simpelweg niet de luxe om afhankelijk te zijn van een IT-organisatie om de kritisch noodzakelijke informatie beschikbaar te maken. Self-service is niet langer een luxe Of gemak, maar is nu een missiekritische eis. In staat zijn om snel data pijpleidingen te bouwen is essentieel om het bedrijf te bewegen op de snelheid die het nodig heeft in een digitaal tijdperk.

Gegevenslevering

ten slotte moeten de gegevens worden geleverd om de juiste doelstellingen te bereiken. Veilige datatoegankelijkheid is een integraal onderdeel van de moderne dataarchitectuur. Governance, beveiliging, role-based access control (RBAC), SLA, throttling en usage analytics zijn allemaal cruciaal voor het leveren van gegevens aan de beoogde gebruikers, of het nu interne medewerkers of externe partners zijn.

ondernemingen die een “data-as-a-service” – benadering hanteren, zorgen voor de hoogste niveaus van beschikbaarheid, toegankelijkheid en klantervaring zonder dat dit ten koste gaat van constante it-brandoefeningen of zonder de veiligheid of de interne intellectuele eigendom in gevaar te brengen. Data wordt geleverd aan de eindbestemmingen, waaronder data marts, applicaties, bestanden, Data vijvers, Data science workbenches, AI-enabled oplossingen en API-ecosystemen.

Bouw een robuuste moderne data-architectuur

een robuuste moderne enterprise data-architectuur zal ervoor zorgen dat bedrijven de toegankelijkheid, snelheid, flexibiliteit en betrouwbaarheid hebben om elke gegevensbron te optimaliseren en deze te gebruiken om betere zakelijke beslissingen te nemen. SnapLogic biedt data-integratie via zijn intelligent integration platform as a service, het helpen van bedrijven bouwen van moderne data-architecturen om toekomstbestendig hun data behoeften.