Modern Enterprise data Architecture

Data är en viktig tillgång som krävs av varje företag för att konkurrera effektivt i dagens ekonomi. Ändå kan värdet på datatillgångar endast realiseras när de används strategiskt, operativt, konsekvent och korrekt i hela verksamheten. Att göra det har historiskt varit utmanande. Dagens företag vänder sig till data-as-a-service (DaaS) som en del av deras molndatastrategi för att säkerställa höga nivåer av SLA, datastyrning, noggrannhet och hög tillgänglighet som efterfrågas av kunder och affärsstrategi. För att fullt ut utnyttja en DaaS-strategi måste de ha en modern dataarkitektur på plats.

vad är dataarkitektur?

data architecture är designad av data architects och standardiserar hur företag samlar in, lagrar, omvandlar, distribuerar och använder data i syfte att hjälpa dataanalytiker och personer i organisationen att fatta bättre beslut baserat på realtids Business intelligence. Dataarkitektur är grunden för datamodellering och informationsarkitektur, som båda gör data användbara och användbara i hela organisationen.

medan dataarkitektur inte är ny, är modern företagsdataarkitektur (eller modern dataarkitektur) och har utvecklats när företag alltmer flyttar till molnet. Endast molnet möjliggör den hastighet, skalbarhet och användarvänlighet som behövs för att göra modern dataarkitektur effektiv. När företag flyttar till molnbaserade infrastrukturer omvandlas deras dataarkitektur också.

vad är modern dataarkitektur?

en modern dataarkitektur fokuserar på att anpassa data till de funktioner som drivs av molnet. Traditionell dataarkitektur byggdes på lokala datamodeller som förbrukade massor av tid för databehandling och datahantering. Med infrastrukturen abstraherad av molnet fokuserar modern dataarkitektur på att göra data så lättillgängliga och så användbara för verksamheten och kunden som möjligt. Det underlättar enkelhet, snabbhet, samarbete, realtidsanalys och konsistens.

en modern dataarkitektur är:

1. byggd för slutanvändare att konsumera. Molnet gör det möjligt för slutanvändare att bestämma vilken data de behöver för affärsbeslut och dataarkitekter att utforma dataåtkomst som levererar vad de behöver.
2. automatiserad med datapipelines och dataflöden. Ingen har tid att vänta på långsam databehandling. Med molnet och dataintegrationen kan företag automatisera hela datahanteringsprocessen så att data flyter smidigt och fritt överallt där den behöver gå i organisationen, samtidigt som datastyrningen upprätthålls. Dataintegration är nyckeln till att se till att varje del av helheten ansluter.
3. kuraterad av AI / ML. Modern företagsdataarkitektur utnyttjar kraften i artificiell intelligens (AI) och maskininlärning (ML) för att automatisera databehandling, känna igen nya datatyper, Rensa data, fixa datakvalitetsproblem, utföra datautvinning, se till att datastandarder upprätthålls och ytdataanalys och insikter. AI / ML är nyckeln till hastigheten och noggrannheten bakom automation.
4. skalbar för att möta oförutsägbara krav. Data genereras och konsumeras till extraordinära priser, och eftersom företag hanterar fluktuationer i konsumenternas krav måste de kunna skala data upp och ner, automatiskt och billigt.
5. delbar för betrodda samarbete. Delade data är avgörande för att säkerställa att alla arbetar från samma datakälla av sanning. Delade data hjälper också till att bryta ner avdelningssilor och främja enklare och mer pålitligt samarbete.
6. säker genom design. För de flesta företag är data deras mest värdefulla tillgång. Modern dataarkitektur tar hänsyn till datasäkerhet med kontrollerad dataåtkomst och auktorisering, samt efterlevnad av lagar och förordningar om datasekretess som GDPR och HIPAA.

om du skapar en dataarkitektur från grunden i molnet är det enkelt att bygga dessa egenskaper. Men de flesta företag sträcker sig över äldre lokal infrastruktur med moln, och ofta flera moln. Deras data finns på flera ställen och är vanligtvis starkt silade. Datamigreringar till molnet och dataintegrationer är en prioritet.

förutom de sex egenskaperna hos en modern dataarkitektur, vill du också se till att din design underlättar följande:

• stöder en övergång till självbetjäning och flera typer av användare (integratörer, datavetenskapare, företagsledare, intressenter)
• möjliggör ett hyperanslutet företag (tänk på data som nerverna som förbinder alla delar av kroppen, sömlöst överför information efter behov)
• skiftar rapportering till prediktiv och föreskrivande analys för realtidsinsikter, AI-drivna rekommendationer och beslutsfattande i ögonblicket
• framtidssäkra för nya datakällor, nedströmsapplikationer och användningsfall

3 stadier av moderna data enterprise journey

eftersom företag digitalt transformerar och flyttar mot molnet, genomgår de vanligtvis en stegvis resa för att uppnå en modern dataarkitektur.

detta kan delas upp i tre huvudfaser:

Steg 1 — Lokalt

de flesta företag har lokala system med verktygen för att lagra och bearbeta stora dataset och utföra komplexa omvandlingar. Denna miljö är utmanande av följande skäl:

• det kräver en stor kapitalinvestering på framsidan för att komma igång och en stor investering i driftskostnader (OpEx) för nödvändig personal
• det behöver en specialiserad, dedikerad kompetens för att hantera big data-verktygen
• det resulterar i en långsam svarstid, inklusive ledtiden vid inköp, frakt och installation av datamiljön

företagen har fungerat så här för många decennier, och har vanligtvis stora investeringar i modeller på plats. Det finns inte bara finansiella investeringar, men risken att förlora data eller koppla bort anpassade integrationer kan vara för stor för en fullständig molnmigrering. Många företag har data som de anser måste förbli inom ramen för sina egna servrar och så ta en hybrid moln strategi.

Steg 2-Moln: Virtual Private Cloud (VPC)

när de antar molnet är det andra steget i resan “lift and shift”, där företag helt enkelt flyttar lokala kluster till en molnleverantör som körs i ett virtuellt privat molnnätverk och kan dra nytta av IaaS-fördelar, till exempel lägre kostnad. Forrester rapporterar att organisationer som distribuerar i molnet sparar 20-60 procent över lokal infrastrukturkostnad, eftersom de flesta överprovision sina servrar och lagring och sedan behöver hantera dessa miljöer.

men det här steget har fortfarande några stora utmaningar, eftersom det:

• gör ingenting för att hantera utmaningarna med att hantera och underhålla miljön
• har hög OpEx
• tar inte upp kompetensuppsättningen och de färdigheter som krävs för att hantera de tjänster som körs i VPC
• har en långsam svarstid
• stöder inte inbyggda molnlagringstjänster

att hantera lokala och privata moln är komplext, vilket ofta leder till att företag letar efter ett bättre sätt att hantera molnmiljön. Detta leder till att man flyttar till hanterade molntjänster.

Steg 3-Moln: Big Data som en tjänst

i detta skede har företag insett utmaningarna och adresserar dem genom att flytta till molnhanterade tjänster som IBM, Microsoft och Google. Dessa hanterade tjänster frigör företaget från komplexiteten i att hantera och underhålla de storskaliga bearbetningsmiljöerna och sänka värdefulla OPEX-utgifter.

andra fördelar inkluderar:

• on-demand-funktioner som endast använder lagrings-och datorresurser när det behövs, vilket minskar OpEx
• ett mycket enklare sätt att skala upp och ner till Terabyte/Petabyte-volymer
• snabbare svarstider för affärsbehov

dessutom är molnhanterade big data-plattformar utformade med molnlagringstjänster. De har inbyggd integration med molnlagringen, så du kan använda molnlagringen som en distribuerad lagringskomponent som är lämplig för datasjölagring.

Låt oss prata lite om datalagring.

Modern dataarkitektur behöver data sjöar

ett datalager lagrar strukturerad data (dvs. från transaktionssystem). Det är optimerat för att analysera relationsdata, inte semi/ostrukturerad data. Så innan du skriver från datakällan till datalagret måste strukturen definieras och data måste rengöras och transformeras. Detta tar tid och gör det svårare att få användbar data med den hastighet ett företag behöver. Med så mycket ny data tillgänglig är kostnaden för datalagring faktiskt mycket oöverkomlig.

data lakes stöder modern dataarkitektur.

till skillnad från ett datalager är en datasjö en samling av alla datatyper: strukturerad, halvstrukturerad och ostrukturerad. Data lagras i dess raw-format utan behov av någon struktur eller schema. Faktum är att du inte behöver definiera datastrukturen när den fångas, bara när den läses. Eftersom datasjöar är mycket skalbara stöder de större datamängder till ett billigare pris. Och med en datasjö kan du lagra data från relationella källor (som relationsdatabaser) och från icke-relationella källor (IoT-enheter/ maskiner, sociala medier etc.) utan ETL (extract, transform, load), vilket gör data tillgängliga för analys mycket snabbare.

4 funktioner i en modern företagsdataarkitektur

det finns fyra primära funktioner i en modern företagsdataarkitektur: 1) datacykeln, 2) datalagring, 3) en integrationsplattform och 4) dataleverans.

datacykel

företag stöter ständigt på nya datakällor och behöver fånga data innan de vet det eventuella användningsfallet. Fångade data extraheras för att fylla kända användningsfall samt hålls för framtida odefinierade användningsfall. Då måste inkommande data överensstämma med företagsstandarder för att säkerställa styrning, kvalitet, konsistens, regelefterlevnad och noggrannhet för efterföljande konsumenter, oavsett deras affärsbehov, kompetensuppsättning eller förståelse för dataarkitektur. När uppgifterna har samlats in och anpassats till företagets standarder, förädlingstjänster förbereda data för dess eventuella nedströms tillämpning och/eller användningsfall.

datalagring

Data lagras i datasjön. Tänk på data lake som en modern datafabrik, och inom sjön finns “containrar” för olika stadier av databehandling. Den första behållaren är landningsbehållaren, där inkommande rådata tas emot oavsett form, transport eller källa. Det är här orenade data går. Beslut om vilka rådata som ska behållas fattas här. Data som lagras flyttas till den överensstämmande behållaren.

den överensstämmande behållaren är där rådata rensas och datakvaliteten säkerställs. Conform behållaren säkerställer att företaget arbetar med en konsekvent datamängd som är kompatibel med standarder.

därefter har vi den raffinerade behållaren som förbereder data för sitt eventuella leveransmål, och det kan finnas delmängder av raffinaderier beroende på användningsfall. När data har förfinats är den iscensatt för leverans till sin destination. Efter leverans kan den flyttas till ett arbetsområde för datavetare att använda, arkiveras för långvarig lagring eller raderas.

dataintegrationsplattform

integrationsplattformen tar data från olika källor och kombinerar dem för att ge en enhetlig vy. I en modern dataarkitektur måste integrationsplattformen vara tillräckligt flexibel för att stödja alla nödvändiga datakällor och mål samt datatjänsterna genom varje steg i datacykeln. Det måste kunna stödja data med och utan schema och hantera metadata. Dessutom måste den kunna hantera den integration och bearbetning som krävs för:

• datainsamling med hög hastighet, variation och volym
• applikationsintegration med låg latens
• dataöverensstämmelsebehandling med hög volym
• dataintegration från leverans till mål
• API-konsumtion (viktigt för B2B-ekosystem)

vidare måste scenarierna ovan göras tillgängliga för en bred användargemenskap som sträcker sig från högkvalificerade IT-proffs till företagsanvändare som behöver påskynda ett affärsprojekt som svar på en snabbt föränderlig affärsmiljö. I det moderna företaget uppmanas analytiker och datavetenskapare att svara på strategiska frågor och låsa upp innovation i en aldrig tidigare skådad takt och helt enkelt inte har lyxen att vara beroende av en IT-organisation för att göra den kritiskt nödvändiga informationen tillgänglig. Självbetjäning är inte längre en lyx eller bekvämlighet utan är nu ett uppdragskritiskt krav. Att snabbt kunna bygga datapipelines är viktigt för att hålla verksamheten i rörelse med den hastighet den behöver i en digital tid.

dataleverans

Slutligen måste data levereras till lämpliga mål. Säker datatillgänglighet är en integrerad del av modern dataarkitektur. Styrning, säkerhet, rollbaserad åtkomstkontroll (RBAC), SLA, strypning och användningsanalys är alla viktiga för att leverera data till sina avsedda användare, oavsett om de är interna anställda eller externa partners.

företag som tar en data-as-a-service-leveransmetod säkerställer de högsta nivåerna av tillgänglighet, tillgänglighet och kundupplevelse utan bekostnad av ständiga it-brandövningar eller att kompromissa med säkerhet eller intern immateriell egendom. Data får levereras till sina slutdestinationer som kommer att omfatta data marts, applikationer, filer, data dammar, Data science arbetsbänkar, AI-aktiverade lösningar, och API-ekosystem.

Bygg en robust modern dataarkitektur

en robust modern företagsdataarkitektur säkerställer att företag har tillgänglighet, hastighet, flexibilitet och tillförlitlighet för att optimera varje datakälla och använda den för att fatta bättre affärsbeslut. SnapLogic tillhandahåller dataintegration genom sin intelligenta integrationsplattform som en tjänst, vilket hjälper företag att bygga moderna dataarkitekturer för att framtidssäkra sina databehov.