modern enterprise Data Architecture

datele sunt un atu esențial cerut de fiecare întreprindere pentru a concura eficient în economia de astăzi. Cu toate acestea, valoarea activelor de date poate fi realizată numai atunci când sunt utilizate strategic, operațional, consecvent și precis în întreaga afacere. Acest lucru a fost istoric o provocare. Întreprinderile de astăzi apelează la data-as-a-service (DaaS) ca parte a strategiei lor de date cloud pentru a asigura niveluri ridicate de SLA, guvernanța datelor, acuratețea și disponibilitatea ridicată cerute de clienți și strategia de afaceri. Pentru a utiliza pe deplin o abordare DaaS, trebuie să aibă o arhitectură modernă de date.

ce este arhitectura datelor?

proiectat de data architects, arhitectura datelor standardizează modul în care întreprinderile colectează, stochează, transformă, distribuie și utilizează date în scopul de a ajuta analiștii de date și oamenii din organizație să ia decizii mai bune bazate pe informații de afaceri în timp real. Arhitectura datelor este fundamentul pentru modelarea datelor și arhitectura informațiilor, ambele făcând datele utilizabile și utile în întreaga organizație.

în timp ce arhitectura de date nu este nouă, arhitectura modernă de date a întreprinderii (sau arhitectura modernă de date) este și a evoluat pe măsură ce întreprinderile se mută din ce în ce mai mult în cloud. Doar cloud-ul permite viteza, scalabilitatea și ușurința de Utilizare necesare pentru a face arhitectura modernă de date eficientă. Pe măsură ce companiile se îndreaptă către infrastructuri bazate pe cloud, arhitectura lor de date este, de asemenea, transformată.

ce este arhitectura modernă de date?

o arhitectură modernă de date se concentrează pe alinierea datelor la capacitățile alimentate de cloud. Arhitectura tradițională a datelor a fost construită pe modele de date on-premise care au consumat o tonă de timp pentru prelucrarea și gestionarea datelor. Cu infrastructura abstractizată de cloud, arhitectura modernă de date se concentrează pe a face datele cât mai ușor de accesat și cât mai utile pentru afaceri și client. Facilitează ușurința, viteza, colaborarea, analiza în timp real și coerența.

o arhitectură modernă de date este:

1. construit pentru utilizatorii finali de a consuma. Cloud-ul permite utilizatorilor finali să determine ce date au nevoie pentru deciziile de afaceri și arhitecților de date să proiecteze accesul la date care să ofere ceea ce au nevoie.
2. automatizat cu conducte de date și fluxuri de date. Nimeni nu are timp să aștepte procesarea lentă a datelor. Cu integrarea cloud și a datelor, întreprinderile pot automatiza întregul proces de gestionare a datelor, astfel încât datele să curgă lin și liber oriunde trebuie să meargă în organizație, menținând în același timp guvernanța datelor. Integrarea datelor este esențială pentru a vă asigura că fiecare parte a întregului se conectează.
3. curatoriat de AI/ML. Arhitectura modernă de date a întreprinderii valorifică puterea inteligenței artificiale (AI) și a învățării automate (ML) pentru a automatiza procesarea datelor, a recunoaște noi tipuri de date, a curăța datele, a remedia problemele de calitate a datelor, a efectua extragerea datelor, a asigura menținerea standardelor de date și a analizelor și informațiilor de suprafață. AI / ML este cheia vitezei și preciziei din spatele automatizării.
4. scalabil pentru a satisface cererile imprevizibile. Datele sunt generate și consumate la rate extraordinare și, pe măsură ce întreprinderile se confruntă cu fluctuații ale cererilor consumatorilor, trebuie să poată scala datele în sus și în jos, în mod automat și accesibil.
5. Partajabil pentru colaborare de încredere. Datele partajate sunt esențiale pentru a ne asigura că toată lumea lucrează din aceeași sursă de adevăr. Datele partajate ajută, de asemenea, la descompunerea silozurilor departamentale și la încurajarea unei colaborări mai ușoare și mai de încredere.
6. securizat prin proiectare. Pentru majoritatea întreprinderilor, datele sunt cel mai valoros activ al acestora. Arhitectura modernă a datelor ia în considerare securitatea datelor cu acces și autorizare controlată a datelor, precum și respectarea legilor și reglementărilor privind confidențialitatea datelor, cum ar fi GDPR și HIPAA.

dacă creați o arhitectură de date de la zero în cloud, atunci construirea acestor caracteristici este ușoară. Dar cele mai multe întreprinderi sunt straddling moștenire infrastructura on-premise cu nor, și de multe ori multi-cloud. Datele lor se află în mai multe locuri și este de obicei puternic siloed. Migrarea datelor în cloud și integrarea datelor sunt o prioritate.

pe lângă cele șase caracteristici ale unei arhitecturi moderne de date, veți dori, de asemenea, să vă asigurați că designul dvs. facilitează următoarele:

• sprijină trecerea la autoservire și mai multe tipuri de utilizatori (integratori, oameni de știință de date, lideri de afaceri, părți interesate)
• permite o întreprindere hiper-conectată (gândiți-vă la date ca la nervii care conectează fiecare parte a corpului, transmitând fără probleme informații după cum este necesar)
• mută raportarea către analize predictive și prescriptive pentru informații în timp real, recomandări bazate pe AI și luarea deciziilor în acest moment
• dovezi viitoare pentru noi surse de date, aplicații în aval și cazuri de utilizare

3 etapele datelor moderne enterprise journey

deoarece întreprinderile se transformă digital și se deplasează spre cloud, ele suferă de obicei o călătorie pe etape pentru a obține o arhitectură modernă de date.

aceasta poate fi împărțită în trei etape principale:

Etapa 1 — On-Premises

majoritatea întreprinderilor au sisteme on-premises, cu instrumentele necesare pentru a stoca și procesa seturi mari de date și pentru a efectua transformări complexe. Acest mediu este o provocare din următoarele motive:

• este nevoie de o investiție de capital mare în față pentru a începe și o investiție mare în cheltuielile de exploatare (OpEx) pentru personalul necesar
• are nevoie de un set de competențe specializat și dedicat pentru a gestiona instrumentele big data
• rezultă un timp de răspuns lent, inclusiv timpul de livrare în achiziționarea, transportul și instalarea mediului de date

întreprinderile au funcționat astfel multe decenii, și de obicei au investiții grele în modele on-premise. Nu numai că există investiții financiare, dar riscul de a pierde date sau de a deconecta integrările personalizate poate fi prea mare pentru o migrare completă în cloud. Multe întreprinderi au date pe care le consideră necesare pentru a rămâne în sfera propriilor servere și, prin urmare, adoptă o abordare cloud hibridă.

Etapa 2-Cloud: Virtual Private Cloud (VPC)

pe măsură ce adoptă cloud-ul, a doua etapă a călătoriei este “lift and shift”, unde întreprinderile pur și simplu mută clusterele locale către un furnizor de cloud care rulează într-o rețea cloud privată virtuală și pot profita de beneficiile IaaS, cum ar fi costuri mai mici. Forrester raportează că organizațiile care se desfășoară în cloud economisesc 20-60% peste costul infrastructurii locale, deoarece majoritatea își supra-furnizează serverele și stocarea și apoi trebuie să gestioneze aceste medii.

cu toate acestea, această etapă are încă unele provocări majore, deoarece:

• nu face nimic pentru a aborda provocările legate de gestionarea și menținerea mediului
• are OpEx ridicat
• nu abordează decalajul stabilit de calificare, și abilitățile necesare pentru a gestiona serviciile care rulează în VPC
• are un timp de răspuns lent
• nu acceptă servicii de stocare cloud native

gestionarea cloud-urilor on-premise și private este complexă, ceea ce determină adesea întreprinderile să caute o modalitate mai bună de a gestiona mediul cloud. Acest lucru duce la trecerea la serviciile cloud gestionate.

Etapa 3-Cloud: Big Data as a Service

în această etapă, întreprinderile au recunoscut provocările și le abordează trecând la servicii gestionate în cloud, cum ar fi IBM, Microsoft și Google. Aceste servicii gestionate eliberează întreprinderea de complexitatea gestionării și menținerii mediilor de procesare la scară largă și de cheltuieli OpEx mai mici.

alte avantaje includ:

• capabilități la cerere care utilizează resurse de stocare și calcul numai atunci când este necesar, reducând astfel OpEx
• o modalitate mult mai simplă de a scala în sus și în jos la volume de Terabyte/Petabyte
• timpi de răspuns mai rapizi pentru nevoile de afaceri

în plus, platformele de date mari gestionate în cloud sunt proiectate cu servicii de stocare în cloud. Au integrare nativă cu stocarea în cloud, astfel încât să puteți utiliza stocarea în cloud ca o componentă de stocare distribuită adecvată pentru stocarea lacurilor de date.

să vorbim puțin despre stocarea datelor.

arhitectura modernă de date are nevoie de lacuri de date

un depozit de date stochează date structurate (adică din sisteme tranzacționale). Este optimizat pentru a analiza datele relaționale, nu datele semi/nestructurate. Deci, înainte de a scrie de la sursa de date la depozitul de date, structura trebuie definită, iar datele trebuie curățate și transformate. Acest lucru necesită timp și face mai dificilă obținerea datelor utilizabile la viteza de care are nevoie o întreprindere. De asemenea, cu atât de multe date noi disponibile, costul depozitării datelor este de fapt foarte prohibitiv.

lacurile de date acceptă arhitectura modernă a datelor.

spre deosebire de un depozit de date, un lac de date este o colecție de toate tipurile de date: structurate, semi-structurate și nestructurate. Datele sunt stocate în formatul raw fără a fi nevoie de nici o structură sau schemă. De fapt, nu trebuie să definiți structura datelor atunci când este capturată, ci doar atunci când este citită. Deoarece lacurile de date sunt foarte scalabile, ele acceptă volume mai mari de date la un preț mai ieftin. Și, cu un lac de date, puteți stoca date din surse relaționale (cum ar fi baze de date relaționale) și din surse non-relaționale (dispozitive/ mașini IoT, social media etc.) fără ETL (extract, transform, load), ceea ce face ca datele să fie disponibile pentru analiză mult mai rapid.

4 caracteristici ale unei arhitecturi moderne de date pentru întreprinderi

există patru caracteristici principale ale unei arhitecturi moderne de date pentru întreprinderi: 1) ciclul de date, 2) stocarea datelor, 3) o platformă de integrare și 4) livrarea datelor.

ciclul de date

întreprinderile întâlnesc în mod constant noi surse de date și trebuie să capteze date înainte de a cunoaște eventuala utilizare. Datele capturate sunt extrase pentru a popula cazurile de utilizare cunoscute, precum și pentru cazurile de utilizare viitoare nedefinite. Apoi, datele de intrare trebuie să fie conforme cu standardele corporative pentru a asigura guvernanța, calitatea, coerența, conformitatea cu reglementările și acuratețea consumatorilor din aval, indiferent de nevoia lor de afaceri, setul de competențe sau înțelegerea arhitecturii datelor. Odată ce datele au fost capturate și conforme cu standardele corporative, serviciile de rafinare pregătesc datele pentru eventualele cazuri de aplicare și/sau utilizare în aval.

stocarea datelor

datele sunt stocate în lacul de date. Gândiți-vă la lacul de date ca la o fabrică modernă de date, iar în interiorul lacului sunt “containere” pentru diferite etape ale procesării datelor. Primul container este containerul de aterizare, unde datele brute de intrare sunt primite indiferent de forma, transportul sau sursa sa. Aici merg datele necurățate. Deciziile cu privire la datele brute de păstrat sunt luate aici. Datele care sunt păstrate sunt mutate în containerul conformat.

containerul conformat este locul în care datele brute sunt curățate și calitatea datelor este asigurată. Containerul conform asigură că întreprinderea lucrează cu un set de date consistent care respectă standardele.

în continuare, avem containerul rafinat care pregătește date pentru eventuala sa țintă de livrare și pot exista subseturi de rafinării în funcție de cazurile de utilizare. Odată ce datele sunt rafinate, este pus în scenă pentru livrare la destinație. După livrare, acesta poate fi mutat într-o zonă de lucru pentru oamenii de știință de date pentru a utiliza, arhivate pentru stocarea pe termen lung, sau șterse.

platforma de integrare a datelor

platforma de integrare preia date din diferite surse și le combină pentru a oferi o vizualizare unificată. Într-o arhitectură modernă de date, platforma de integrare trebuie să fie suficient de flexibilă pentru a susține toate sursele și țintele de date necesare, precum și serviciile de date prin fiecare etapă a ciclului de date. Trebuie să poată suporta date cu și fără schemă și să gestioneze metadatele. În plus, trebuie să poată gestiona integrarea și procesarea necesare pentru:

• captură de date de mare viteză, varietate și volum
• integrare de aplicații cu latență redusă
• procesare de conformitate a datelor cu volum mare
• integrare de date de la livrare la țintă
• consum API (esențial pentru ecosistemele B2B)

în plus, scenariile de mai sus trebuie să fie accesibile unei comunități largi de utilizatori, de la profesioniști IT cu înaltă calificare până la utilizatori de afaceri care trebuie să accelereze o linie de proiect de afaceri ca răspuns la un mediu de afaceri în schimbare rapidă. În întreprinderea modernă, analiștii și oamenii de știință de date sunt chemați să răspundă la întrebări strategice și să deblocheze inovația într-un ritm fără precedent și pur și simplu nu au luxul de a fi dependenți de o organizație IT pentru a pune la dispoziție informațiile critice necesare. Autoservirea nu mai este un lux sau comoditate, ci este acum o cerință critică pentru misiune. Capacitatea de a construi rapid conducte de date este esențială pentru a menține afacerea în mișcare la viteza de care are nevoie într-o eră digitală.

data delivery

în cele din urmă, datele trebuie să fie livrate la obiectivele sale corespunzătoare. Accesibilitatea securizată a datelor este parte integrantă a arhitecturii moderne a datelor. Guvernanța, securitatea, controlul accesului bazat pe roluri (RBAC), SLA, limitarea și analizele de Utilizare sunt toate esențiale pentru furnizarea de date utilizatorilor intenționați, indiferent dacă sunt angajați interni sau parteneri externi.

întreprinderile care adoptă o abordare de livrare a datelor ca serviciu asigură cele mai înalte niveluri de disponibilitate, accesibilitate și experiență a clienților, fără a fi nevoie să compromită securitatea sau proprietatea intelectuală internă. Datele sunt livrate către destinațiile sale finale, care vor include marturi de date, aplicații, fișiere, iazuri de date, bancuri de lucru pentru știința datelor, soluții compatibile cu AI și ecosisteme API.

construiți o arhitectură robustă de date modernă

o arhitectură robustă de date de întreprindere modernă va asigura că întreprinderile au accesibilitatea, viteza, flexibilitatea și fiabilitatea pentru a optimiza fiecare sursă de date și a o utiliza pentru a lua decizii de afaceri mai bune. SnapLogic oferă integrarea datelor prin intermediul platformei sale inteligente de integrare ca serviciu, ajutând întreprinderile să construiască arhitecturi moderne de date pentru a-și asigura nevoile de date în viitor.