Moderne Bedriftsdataarkitektur

Data er en viktig ressurs som kreves av alle bedrifter for å konkurrere effektivt i dagens økonomi. Likevel kan verdien av dataressurser bare realiseres når de brukes strategisk, operasjonelt, konsekvent og nøyaktig på tvers av virksomheten. Det har historisk sett vært utfordrende. Dagens bedrifter bruker data-as-a-service (DaaS) som en del av deres cloud data strategi for å sikre høye NIVÅER AV SLA, datastyring, nøyaktighet og høy tilgjengelighet som kreves av kunder og forretningsstrategi. For å fullt ut utnytte En DaaS-tilnærming må de ha en moderne dataarkitektur på plass.

hva er dataarkitektur?

Data architecture er designet av data architects og standardiserer hvordan bedrifter samler inn, lagrer, transformerer, distribuerer og bruker data med det formål å hjelpe dataanalytikere og personer i organisasjonen til å ta bedre beslutninger basert på sanntids forretningsintelligens. Dataarkitektur er grunnlaget for datamodellering og informasjonsarkitektur, som begge gjør data brukbare og nyttige på tvers av organisasjonen.

mens dataarkitektur ikke er ny, er moderne bedriftsdataarkitektur (eller moderne dataarkitektur) og har utviklet seg etter hvert som bedrifter i økende grad flytter til skyen. Bare skyen muliggjør hastigheten, skalerbarheten og brukervennligheten som trengs for å gjøre moderne dataarkitektur effektiv. Etter hvert som bedrifter flytter til skybaserte infrastrukturer, blir deres dataarkitektur også forvandlet.

hva er moderne dataarkitektur?

en moderne dataarkitektur fokuserer på å tilpasse data til funksjonene som drives av skyen. Tradisjonell dataarkitektur ble bygget på lokale datamodeller som brukte massevis av tid til databehandling og datahåndtering. Med infrastrukturen abstrahert bort av skyen, fokuserer moderne dataarkitektur på å gjøre data så lett tilgjengelig og så nyttig for virksomheten og kunden som mulig. Det letter letthet, hastighet, samarbeid, sanntidsanalyse og konsistens.

en moderne dataarkitektur er:

1. Bygget for sluttbrukere å konsumere. Skyen gjør det mulig for sluttbrukere å bestemme hvilke data de trenger for forretningsbeslutninger og dataarkitekter å designe datatilgang som leverer det de trenger.
2. Automatisert med datasamlebånd og datastrømmer. Ingen har tid til å vente på langsom databehandling. Med sky-og dataintegrasjon kan bedrifter automatisere hele datastyringsprosessen slik at dataene flyter jevnt og fritt overalt hvor de trenger å gå i organisasjonen, samtidig som de opprettholder datastyring. Dataintegrasjon er nøkkelen til å sørge for at alle deler av hele kobles sammen.
3. Kuratert AV AI / ML. Moderne bedriftsdataarkitektur utnytter kraften i kunstig intelligens (AI) og maskinlæring (ML) for å automatisere databehandling, gjenkjenne nye datatyper, rense data, fikse datakvalitetsproblemer, utføre datautvinning, sikre at datastandarder opprettholdes og overflate dataanalyse og innsikt. AI / ML er nøkkelen til hastigheten og nøyaktigheten bak automatisering.
4. Skalerbar for å møte uforutsigbare krav. Data genereres og forbrukes til ekstraordinære priser, og når bedrifter håndterer svingninger i forbrukernes krav, må de kunne skalere data opp og ned, automatisk og rimelig.
5. Kan Deles for pålitelig samarbeid. Delte data er avgjørende for å sikre at alle jobber fra samme datakilde av sannhet. Delte data bidrar også til å bryte ned avdelingssiloer og fremme enklere, mer pålitelig samarbeid.
6. Sikker ved design. For de fleste bedrifter er data deres mest verdifulle ressurs. Moderne dataarkitektur tar hensyn til datasikkerhet med kontrollert datatilgang og autorisasjon, samt overholdelse av personvernlover og forskrifter som GDPR og HIPAA.

hvis du lager en dataarkitektur fra bunnen av i skyen, er det enkelt å bygge disse egenskapene. Men de fleste bedrifter er straddling eldre on-premise infrastruktur med sky, og ofte multi-cloud. Deres data ligger på flere steder og er vanligvis tungt siled. Dataoverføringer til skyen og dataintegrasjoner er en prioritet.

i tillegg til de seks egenskapene til en moderne dataarkitektur, vil du også sørge for at designet ditt letter følgende:

• Støtter en overgang til selvbetjening og flere typer brukere (integratorer, datavitenskapere, bedriftsledere, interessenter)
• Muliggjør en hyperkoblet bedrift (tenk på data som nerver som forbinder alle deler av kroppen, overfører sømløst informasjon etter behov)
• Skifter rapportering til prediktiv og prescriptiv analyse for sanntidsinnsikt, AI-drevne anbefalinger og beslutningstaking i øyeblikket
• fremtidssikre for nye datakilder, nedstrømsapplikasjoner og brukstilfeller

3 stadier av moderne data enterprise journey

fordi bedrifter transformerer digitalt og skifter mot skyen, gjennomgår de vanligvis en gradvis reise for å oppnå en moderne dataarkitektur.

Dette kan deles inn i tre hovedtrinn:

Trinn 1 — Lokalt

de fleste bedrifter har lokale systemer, med verktøyene for å lagre og behandle store datasett og utføre komplekse transformasjoner. Dette miljøet er utfordrende av følgende grunner:

• det krever en stor kapitalinvestering foran for å komme i gang og en stor investering i driftskostnader (OpEx) for nødvendig personell
• Det trenger et spesialisert, dedikert ferdighetssett for å administrere big data-verktøyene
• det resulterer i en langsom responstid, inkludert ledetiden i innkjøp, frakt og installasjon av datamiljøet

Bedrifter har operert slik for mange tiår, og har vanligvis store investeringer i on-premise modeller. Ikke bare er det finansielle investeringer, men risikoen for å miste data eller koble fra tilpassede integrasjoner kan være for stor for en komplett skyoverføring. Mange bedrifter har data de føler behov for å forbli i sine egne servere og så ta en hybrid sky tilnærming.

Trinn 2-Sky: Virtual Private Cloud (VPC)

når de tar i bruk skyen, er den andre fasen i reisen “løft og skift”, der bedrifter ganske enkelt flytter lokale klynger til en skyleverandør som kjører i et virtuelt privat sky-nettverk og kan dra nytte av IaaS-fordeler, for eksempel lavere kostnader. Forrester rapporterer at organisasjoner som distribuerer i skyen, sparer 20-60 prosent over lokale infrastrukturkostnader, siden de fleste overproviserer serverne og lagringen og deretter må administrere disse miljøene.

men dette stadiet har fortsatt noen store utfordringer, som det:

• Gjør ingenting for å løse utfordringene med å administrere og vedlikeholde miljøet
• Har høy OpEx
• tar ikke opp ferdighetssettet, og ferdighetene som kreves for å administrere tjenestene som kjører I VPC
• har en langsom responstid
• støtter ikke innfødte skylagringstjenester

administrasjon av lokale og private skyer er komplisert, noe som Ofte Fører til at bedrifter ser etter en bedre måte å administrere skymiljøet på. Dette fører til flytting til administrerte skytjenester.

Trinn 3-Sky: Big Data Som En Tjeneste

på dette stadiet har bedrifter anerkjent utfordringene og adresserer dem ved å flytte til skystyrte tjenester som IBM, Microsoft og Google. Disse administrerte tjenestene frigjør bedriften fra kompleksiteten ved å administrere og vedlikeholde skalabehandlingsmiljøene, og reduserer verdifulle opex-utgifter.

Andre fordeler inkluderer:

• on-demand-funksjoner som bare bruker lagrings-og databehandlingsressurser når det er nødvendig, og dermed reduserer OpEx
• en mye enklere måte å skalere opp Og ned Til Terabyte/Petabyte-volumer
• Raskere responstid for forretningsbehov

i Tillegg er skystyrte big data-plattformer designet med skylagringstjenester. De har innebygd integrasjon med skylagringen, slik at du kan bruke skylagringen som en distribuert lagringskomponent som passer for datalagring.

La oss snakke litt om datalagring.

Moderne dataarkitektur trenger datasjøer

et datalager lagrer strukturerte data (dvs.fra transaksjonssystemer). Den er optimalisert for å analysere relasjonsdata, ikke semi / ustrukturerte data. Så, før du skriver fra datakilden til datalageret, må strukturen defineres, og data må rengjøres og transformeres. Dette tar tid og gjør det vanskeligere å få brukbare data med den hastigheten en bedrift trenger. Også, med så mye nye data tilgjengelig, er kostnaden for datavarehus faktisk veldig uoverkommelig.

datasjøer støtter moderne dataarkitektur.

i Motsetning til et datalager er en datasjø en samling av alle datatyper: strukturert, halvstrukturert og ustrukturert. Data lagres i raw-format uten behov for noen struktur eller skjema. Faktisk trenger du ikke å definere datastrukturen når den er fanget, bare når den leses. Fordi datasjøer er svært skalerbare, støtter de større datamengder til en billigere pris. Og med en datasjø kan du lagre data fra relasjonelle kilder (som relasjonsdatabaser) og fra ikke-relasjonelle kilder(iot-enheter/ maskiner, sosiale medier, etc.) uten ETL (extract, transform, load), som gjør data tilgjengelig for analyse mye raskere.

4 funksjoner i en moderne bedriftsdataarkitektur

det er fire hovedtrekk i en moderne bedriftsdataarkitektur: 1) datasyklusen, 2) datalagring, 3) en integrasjonsplattform og 4) datalevering.

datasyklus

Bedrifter møter stadig nye datakilder og trenger å fange opp data før de kjenner til eventuell brukstilfelle. Fangede data hentes ut for å fylle ut kjente brukssaker, samt holdes for fremtidige udefinerte brukssaker. Deretter må innkommende data være i samsvar med bedriftens standarder for å sikre styring, kvalitet, konsistens, forskriftssamsvar og nøyaktighet for nedstrøms forbrukere, uavhengig av deres forretningsbehov, ferdighetssett eller forståelse av dataarkitektur. Når dataene har blitt fanget og i samsvar med bedriftens standarder, forbereder refinement services dataene for eventuell nedstrøms applikasjon og / eller brukstilfeller.

datalagring

Data lagres i datasjøen. Tenk på datasjøen som en moderne datafabrikk, og i sjøen er “containere” for ulike stadier av databehandling. Den første beholderen er landingsbeholderen, hvor innkommende rådata mottas uavhengig av form, transport eller kilde. Det er her urensede data går. Beslutninger om hvilke rådata som skal beholdes, gjøres her. Data som beholdes, flyttes til den samsvarende beholderen.

den konformerte beholderen er der rådata renses og datakvalitet sikres. Conform-beholderen sikrer at bedriften arbeider med et konsistent datasett som er i samsvar med standarder.

deretter har vi den raffinerte beholderen som forbereder data for det endelige leveringsmålet, og det kan være delsett av raffinerier avhengig av brukstilfellene. Når dataene er raffinert, er det iscenesatt for levering til bestemmelsesstedet. Etter levering kan det flyttes til et arbeidsområde for dataforskere å bruke, arkiveres for langtidslagring eller slettes.

dataintegrasjonsplattform

integrasjonsplattformen tar data fra forskjellige kilder og kombinerer dem for å gi en enhetlig visning. I en moderne dataarkitektur må integrasjonsplattformen være fleksibel nok til å støtte alle nødvendige datakilder og mål, samt datatjenestene gjennom hvert trinn i datasyklusen. Det må være i stand til å støtte data med og uten skjema og administrere metadata. I tillegg må den kunne håndtere integrasjonen og behandlingen som kreves for:

• datafangst Med høy hastighet, variasjon og volum
• applikasjonsintegrasjon med Lav latens
• behandling Av høyvolumdata i samsvar med samsvar
• dataintegrasjon fra levering til mål
• API-forbruk (viktig FOR b2b-økosystemer)

videre må scenariene ovenfor gjøres tilgjengelige for et bredt brukerfellesskap som spenner fra dyktige IT-fagfolk til forretningsbrukere som trenger å akselerere et forretningsprosjekt som svar på et raskt skiftende forretningsmiljø. I den moderne virksomheten blir analytikere og datavitenskapere bedt om å svare på strategiske spørsmål og låse opp innovasjon i et hidtil uset tempo og har rett og slett ikke luksusen av å være avhengig av EN IT-organisasjon for å gjøre den kritisk nødvendige informasjonen tilgjengelig. Selvbetjening er ikke lenger en luksus eller bekvemmelighet, men er nå et virksomhetskritisk krav. Å kunne bygge datasamlebånd raskt er viktig for å holde virksomheten i gang med den hastigheten den trenger i en digital tidsalder.

datalevering

til Slutt må data leveres til de aktuelle målene. Sikker datatilgjengelighet er integrert i moderne dataarkitektur. Styring, sikkerhet, rollebasert tilgangskontroll (RBAC), SLA, struping og bruksanalyse er alle avgjørende for å levere data til sine tiltenkte brukere, enten det er interne ansatte eller eksterne partnere.

Bedrifter som tar en data-as-a-service-leveringsmetode, sikrer de høyeste nivåene av tilgjengelighet, tilgjengelighet og kundeopplevelse uten bekostning av konstant IT-brannøvelser eller å måtte kompromittere sikkerhet eller intern immateriell eiendom. Data blir levert til sine endelige destinasjoner som vil inkludere datamarker, applikasjoner, filer, datadammer, datavitenskapsbenker, AI-aktiverte løsninger og API-økosystemer.

Bygg en robust moderne dataarkitektur

en robust moderne bedriftsdataarkitektur vil sikre at bedrifter har tilgjengelighet, hastighet, fleksibilitet og pålitelighet for å optimalisere hver datakilde og bruke den til å ta bedre forretningsbeslutninger. SnapLogic gir dataintegrasjon gjennom sin intelligente integrasjonsplattform som en tjeneste, og hjelper bedrifter med å bygge moderne dataarkitekturer for å fremtidssikre deres databehov.