moderne Enterprise data Architecture

Data er et vigtigt aktiv, der kræves af enhver virksomhed for at konkurrere effektivt i dagens økonomi. Alligevel kan værdien af dataaktiver kun realiseres, når de bruges strategisk, operationelt, konsekvent og præcist på tværs af virksomheden. Det har historisk set været en udfordring. Dagens virksomheder henvender sig til data-as-a-service (DaaS) som en del af deres cloud-datastrategi for at sikre høje niveauer af SLA, datastyring, nøjagtighed og høj tilgængelighed krævet af kunder og forretningsstrategi. For fuldt ud at udnytte en DaaS-tilgang skal de have en moderne dataarkitektur på plads.

hvad er dataarkitektur?

data architecture er designet af data architects og standardiserer, hvordan virksomheder indsamler, lagrer, transformerer, distribuerer og bruger data med det formål at hjælpe dataanalytikere og mennesker i organisationen med at træffe bedre beslutninger baseret på business intelligence i realtid. Dataarkitektur er grundlaget for datamodellering og informationsarkitektur, som begge gør data brugbare og nyttige på tværs af organisationen.

mens dataarkitektur ikke er ny, er og har moderne virksomhedsdataarkitektur (eller moderne dataarkitektur) udviklet sig, når virksomheder i stigende grad flytter til skyen. Kun skyen muliggør den hastighed, skalerbarhed og brugervenlighed, der er nødvendig for at gøre moderne dataarkitektur effektiv. Da virksomheder flytter til skybaserede infrastrukturer, transformeres deres dataarkitektur også.

hvad er moderne dataarkitektur?

en moderne dataarkitektur fokuserer på at tilpasse data til de funktioner, der drives af skyen. Traditionel dataarkitektur blev bygget på lokale datamodeller, der brugte masser af tid til databehandling og datastyring. Med infrastrukturen abstraheret væk af skyen fokuserer moderne dataarkitektur på at gøre data så lette at få adgang til og så nyttige for virksomheden og kunden som muligt. Det letter lethed, hastighed, samarbejde, realtidsanalyse og konsistens.

en moderne dataarkitektur er:

1. bygget til slutbrugere at forbruge. Skyen gør det muligt for slutbrugere at bestemme, hvilke data de har brug for til forretningsbeslutninger, og dataarkitekter til at designe dataadgang, der leverer det, de har brug for.
2. automatiseret med datarørledninger og datastrømme. Ingen har tid til at vente på langsom databehandling. Med cloud-og dataintegrationen kan virksomheder automatisere hele datastyringsprocessen, så data flyder jævnt og frit overalt, hvor de skal gå i organisationen, mens de stadig opretholder datastyring. Dataintegration er nøglen til at sikre, at alle dele af helheden forbinder.
3. kurateret af AI / ML. Moderne virksomhedsdataarkitektur udnytter kraften i kunstig intelligens (AI) og maskinindlæring (ML) til at automatisere databehandling, genkende nye datatyper, rense data, løse datakvalitetsproblemer, udføre datamining, sikre, at datastandarder opretholdes, og overfladedataanalyse og indsigt. AI / ML er nøglen til hastigheden og nøjagtigheden bag automatisering.
4. skalerbar for at imødekomme uforudsigelige krav. Data genereres og forbruges til ekstraordinære priser, og da virksomheder håndterer udsving i forbrugernes krav, skal de være i stand til at skalere data op og ned, automatisk og overkommeligt.
5. delbar til betroet samarbejde. Delte data er afgørende for at sikre, at alle arbejder fra den samme datakilde af sandhed. Delte data hjælper også med at nedbryde afdelingssiloer og fremme lettere, mere pålideligt samarbejde.
6. sikker efter design. For de fleste virksomheder er data deres mest værdifulde aktiv. Moderne dataarkitektur tager højde for datasikkerhed med kontrolleret datatilgang og-godkendelse samt overholdelse af databeskyttelseslove og-regler som GDPR og HIPAA.

hvis du opretter en dataarkitektur fra bunden i skyen, er det nemt at opbygge disse egenskaber. Men de fleste virksomheder strækker sig over arv på stedet infrastruktur med cloud, og ofte multi-cloud. Deres data findes flere steder og er typisk stærkt siloed. Datamigrationer til skyen og dataintegrationer er en prioritet.

ud over de seks egenskaber ved en moderne dataarkitektur vil du også sikre dig, at dit design letter følgende:

• understøtter en overgang til selvbetjening og flere typer brugere (integratorer, dataforskere, virksomhedsledere, interessenter)
• muliggør en hyperforbundet virksomhed (tænk på data som nerverne, der forbinder alle dele af kroppen, problemfrit transmitterer information efter behov)
• skifter rapportering til forudsigelig og receptpligtig analyse for indsigt i realtid, AI-drevne anbefalinger og beslutningstagning i øjeblikket
• fremtidssikringer for nye datakilder, nedstrømsapplikationer og brugssager

3 stadier af moderne data enterprise journey

da virksomheder transformerer digitalt og skifter mod skyen, gennemgår de typisk en trinvis rejse for at opnå en moderne dataarkitektur.

dette kan opdeles i tre hovedfaser:

Trin 1 — Lokalt

de fleste virksomheder har lokale systemer med værktøjerne til at gemme og behandle store datasæt og udføre komplekse transformationer. Dette miljø er udfordrende af følgende grunde:

• det kræver en stor kapitalinvestering på forhånd for at komme i gang og en stor investering i driftsudgifter (Opeks) for det nødvendige personale
• det har brug for et specialiseret, dedikeret færdighedssæt til at styre big data-værktøjerne
• det resulterer i en langsom responstid, inklusive ledetiden i indkøb, forsendelse og installation af datamiljøet

virksomheder har fungeret som dette i mange årtier, og har typisk store investeringer i on-premise modeller. Der er ikke kun økonomiske investeringer, men risikoen for at miste data eller afbryde tilpassede integrationer kan være for stor til en komplet cloud-migration. Mange virksomheder har data, som de føler behov for at forblive inden for deres egne servere og så tage en hybrid cloud-tilgang.

Trin 2-Sky: Virtual Private Cloud (VPC)

når de vedtager skyen, er den anden fase i rejsen “lift and shift”, hvor virksomheder simpelthen flytter lokale klynger til en skyudbyder, der kører i et virtuelt privat skynetværk og kan drage fordel af IaaS-fordele, såsom lavere omkostninger. Forrester rapporterer, at organisationer, der implementerer i skyen, sparer 20-60 procent i forhold til lokale infrastrukturomkostninger, da de fleste overprovierer deres servere og opbevaring og derefter har brug for at styre disse miljøer.

denne fase har dog stadig nogle store udfordringer, da det:

• gør intet for at tackle udfordringerne ved at styre og vedligeholde miljøet
• har høj Opeks
• adresserer ikke det færdighedsindstillede hul, og de færdigheder, der kræves for at styre de tjenester, der kører i VPC
• har en langsom responstid
• understøtter ikke native cloud storage services

håndtering af lokale og private skyer er kompleks, hvilket ofte får virksomheder til at lede efter en bedre måde at styre skymiljøet på. Dette fører til at flytte til administrerede skytjenester.

Trin 3-Sky: Big Data som en tjeneste

på dette tidspunkt har virksomheder erkendt udfordringerne og adresserer dem ved at flytte til skystyrede tjenester som IBM, Microsoft og Google. Disse administrerede tjenester frigør virksomheden fra kompleksiteten ved at styre og vedligeholde forarbejdningsmiljøerne i skala, og lavere værdifulde Opeks-udgifter.

andre fordele inkluderer:

• on-demand-funktioner, der kun bruger lager-og computerressourcer, når det er nødvendigt, hvilket reducerer opeks
• en meget enklere måde at skalere op og ned til Terabyte/Petabyte-volumener
• hurtigere responstider for forretningsbehov

derudover er cloud-administrerede big data-platforme designet med cloud-lagringstjenester. De har indbygget integration med cloud storage, så du kan bruge cloud storage som en distribueret lagerkomponent, der er egnet til datalagring.

lad os tale lidt om datalagring.

moderne dataarkitektur har brug for datasøer

et datalager lagrer strukturerede data (dvs.fra transaktionssystemer). Det er optimeret til at analysere relationelle data, ikke semi/ustrukturerede data. Så før du skriver fra datakilden til datalageret, skal strukturen defineres, og data skal rengøres og transformeres. Dette tager tid og gør det vanskeligere at få brugbare data med den hastighed, en virksomhed har brug for. Også med så mange nye data til rådighed er omkostningerne ved datalagring faktisk meget uoverkommelige.

Data søer understøtter moderne dataarkitektur.

i modsætning til et datalager er en datasø en samling af alle datatyper: struktureret, semistruktureret og ustruktureret. Data gemmes i sin rå format uden behov for nogen struktur eller skema. Faktisk behøver du ikke at definere datastrukturen, når den er fanget, kun når den læses. Da datasøer er meget skalerbare, understøtter de større datamængder til en billigere pris. Og med en datasø kan du gemme data fra relationelle kilder (som relationelle databaser) og fra ikke-relationelle kilder (IoT-enheder/ maskiner, sociale medier osv.) uden ETL (ekstrakt, transformation, belastning), hvilket gør data tilgængelige til analyse meget hurtigere.

4 funktioner i en moderne virksomhedsdataarkitektur

der er fire primære funktioner i en moderne virksomhedsdataarkitektur: 1) datacyklussen, 2) datalagring, 3) en integrationsplatform og 4) datalevering.

datacyklus

virksomheder støder konstant på nye datakilder og har brug for at fange data, før de kender den eventuelle brugssag. Indfangede data udvindes for at udfylde kendte brugssager såvel som opbevares i fremtidige udefinerede brugssager. Derefter skal de indgående data være i overensstemmelse med virksomhedens standarder for at sikre styring, kvalitet, konsistens, overholdelse af lovgivningen og nøjagtighed for forbrugere i nedstrøms, uanset deres forretningsbehov, færdigheder eller forståelse af dataarkitektur. Når dataene er blevet fanget og i overensstemmelse med virksomhedens standarder, forbereder raffinementstjenester dataene til dets eventuelle efterfølgende applikations-og/eller brugssager.

datalagring

Data gemmes i datasøen. Tænk på datasøen som en moderne datafabrik, og inden for søen er “containere” til forskellige stadier af databehandling. Den første container er landingscontaineren, hvor indgående rådata modtages uanset form, transport eller kilde. Det er her, urensede data går. Beslutninger om, hvilke rådata der skal opbevares, træffes her. Data, der opbevares, flyttes til den konformerede beholder.

den konformerede container er, hvor rådata renses og datakvaliteten sikres. Conform container sikrer, at virksomheden arbejder med et konsistent datasæt, der er i overensstemmelse med standarder.

Dernæst har vi den raffinerede container, der forbereder data til dets eventuelle leveringsmål, og der kan være undergrupper af raffinaderier afhængigt af brugssager. Når dataene er raffineret, er de iscenesat til levering til destinationen. Efter levering kan det flyttes til et arbejdsområde, som dataforskere kan bruge, arkiveres til langtidsopbevaring eller slettes.

dataintegrationsplatform

integrationsplatformen tager data fra forskellige kilder og kombinerer dem for at give en samlet visning. I en moderne dataarkitektur skal integrationsplatformen være fleksibel nok til at understøtte alle de krævede datakilder og mål samt datatjenesterne gennem hvert trin i datacyklussen. Det skal være i stand til at understøtte data med og uden skema og administrere metadata. Derudover skal det være i stand til at håndtere den integration og behandling, der kræves til:

• datafangst med høj hastighed, variation og volumen
• integration af applikationer med lav latenstid
• behandling af data med høj lydstyrke
• dataintegration fra levering til mål
• API-forbrug (essentielt for B2B-økosystemer)

desuden skal scenarierne ovenfor gøres tilgængelige for et bredt brugersamfund lige fra højtuddannede IT-fagfolk til forretningsbrugere, der har brug for at fremskynde et forretningsprojekt som reaktion på et hurtigt skiftende forretningsmiljø. I den moderne virksomhed opfordres analytikere og dataforskere til at besvare strategiske spørgsmål og låse innovation op i et hidtil uset tempo og har simpelthen ikke den luksus at være afhængig af en IT-organisation for at stille den kritisk nødvendige information til rådighed. Selvbetjening er ikke længere en luksus eller bekvemmelighed, men er nu et missionskritisk krav. At være i stand til hurtigt at opbygge datarørledninger er afgørende for at holde virksomheden i bevægelse med den hastighed, den har brug for i en digital tidsalder.

datalevering

endelig skal data leveres til de relevante mål. Sikker datatilgængelighed er integreret i moderne dataarkitektur. Governance, sikkerhed, rollebaseret adgangskontrol (RBAC), SLA, throttling og usage analytics er alle afgørende for at levere data til de tilsigtede brugere, hvad enten det er interne medarbejdere eller eksterne partnere.

virksomheder, der tager en data-as-a-service leveringsmetode, sikrer de højeste niveauer af tilgængelighed, tilgængelighed og kundeoplevelse uden bekostning af konstante it-brandøvelser eller at skulle gå på kompromis med sikkerhed eller intern intellektuel ejendomsret. Data bliver leveret til sine endelige destinationer, som vil omfatte data marts, applikationer, filer, data damme, data science arbejdsbænke, AI-aktiverede løsninger og API-økosystemer.

Byg en robust moderne dataarkitektur

en robust moderne virksomhedsdataarkitektur vil sikre, at virksomheder har tilgængelighed, hastighed, fleksibilitet og pålidelighed til at optimere enhver datakilde og bruge den til at træffe bedre forretningsbeslutninger. SnapLogic leverer dataintegration gennem sin intelligente integrationsplatform som en service, der hjælper virksomheder med at opbygge moderne dataarkitekturer for at fremtidssikre deres databehov.