Modern Enterprise Data Architecture

az adatok alapvető eszköz szükséges minden vállalkozás számára, hogy hatékonyan versenyezzenek a mai gazdaságban. Az adatvagyonok értéke azonban csak akkor valósítható meg, ha stratégiailag, működési szempontból, következetesen és pontosan használják őket az egész üzletágban. Ez történelmileg kihívást jelentett. Napjaink vállalkozásai a felhőalapú adatstratégiájuk részeként az adat-mint-szolgáltatás (DAA) felé fordulnak, hogy biztosítsák a magas szintű SLA-t, az adatirányítást, a pontosságot és az ügyfelek által igényelt magas rendelkezésre állást és az üzleti stratégiát. A DaaS megközelítés teljes kihasználásához modern adatarchitektúrával kell rendelkezniük.

mi az adatarchitektúra?

a data architecture szabványosítja, hogy a vállalatok hogyan gyűjtenek, tárolnak, alakítanak át, terjesztenek és használnak adatokat abból a célból, hogy segítsenek az adatelemzőknek és a szervezet munkatársainak jobb döntéseket hozni a valós idejű üzleti intelligencia alapján. Az adatarchitektúra az adatmodellezés és az információarchitektúra alapja, amelyek mindegyike felhasználhatóvá és hasznossá teszi az adatokat a szervezetben.

míg az adatarchitektúra nem új, a modern vállalati adatarchitektúra (vagy modern adatarchitektúra) fejlődött, ahogy a vállalkozások egyre inkább áttérnek a felhőre. Csak a felhő teszi lehetővé a modern adatarchitektúra hatékonyabbá tételéhez szükséges sebességet, skálázhatóságot és egyszerű használatot. Ahogy a vállalkozások áttérnek a felhőalapú infrastruktúrákra, az adatarchitektúrájuk is átalakul.

mi a modern adatarchitektúra?

a modern adatarchitektúra arra összpontosít, hogy az adatokat a felhő által működtetett képességekhez igazítsa. A hagyományos adatarchitektúra olyan helyszíni adatmodellekre épült, amelyek rengeteg időt emésztettek fel az adatfeldolgozásra és az adatkezelésre. A felhő által elvont infrastruktúrával a modern adatarchitektúra arra összpontosít, hogy az adatokat a lehető legkönnyebben hozzáférhetővé és a lehető leghasznosabbá tegye a vállalkozás és az ügyfél számára. Megkönnyíti az egyszerűséget, a sebességet, az együttműködést, a valós idejű elemzést és a következetességet.

egy modern adatarchitektúra:

1. a végfelhasználók számára készült. A felhő lehetővé teszi a végfelhasználók számára, hogy meghatározzák, milyen adatokra van szükségük az üzleti döntésekhez, az adatépítészek pedig az adathozzáférés megtervezéséhez, amely biztosítja, amire szükségük van.
2. automatizált adatvezetékekkel és adatáramlásokkal. Senkinek nincs ideje várni a lassú adatfeldolgozásra. A felhő-és adatintegrációval a vállalatok automatizálhatják a teljes adatkezelési folyamatot, így az adatok zökkenőmentesen és szabadon áramlanak a szervezeten belül mindenhol, ahol csak szükséges, miközben továbbra is fenntartják az adatirányítást. Az adatintegráció kulcsfontosságú annak biztosításához, hogy az egész minden része összekapcsolódjon.
3. kurátora AI / ML. A Modern vállalati adatarchitektúra kihasználja a mesterséges intelligencia (AI) és a gépi tanulás (ML) erejét az adatfeldolgozás automatizálásához, az új adattípusok felismeréséhez, az adatok tisztításához, az adatminőségi problémák megoldásához, az adatbányászathoz, az adatstandardok fenntartásához, valamint az adatok elemzéséhez és betekintéséhez. Az AI / ML kulcsfontosságú az automatizálás gyorsaságához és pontosságához.
4. skálázható a kiszámíthatatlan igények kielégítésére. Az adatok előállítása és felhasználása rendkívüli ütemben történik, és mivel a vállalkozások a fogyasztói igények ingadozásaival foglalkoznak, képesnek kell lenniük az adatok automatikus és megfizethető méretezésére.
5. megosztható a megbízható együttműködéshez. A megosztott adatok kritikus fontosságúak annak biztosításához, hogy mindenki ugyanazon adatforrásból dolgozzon. A megosztott adatok segítenek lebontani a megyei silókat és elősegíteni a könnyebb, megbízhatóbb együttműködést.
6. biztonságos tervezés. A legtöbb vállalkozás számára az adat a legértékesebb eszköz. A Modern adatarchitektúra figyelembe veszi az adatbiztonságot az ellenőrzött adathozzáféréssel és engedélyezéssel, valamint az adatvédelmi törvényeknek és rendeleteknek, például a GDPR-nak és a HIPAA-nak való megfelelést.

ha adatarchitektúrát hoz létre a semmiből a felhőben, akkor ezeket a jellemzőket könnyű felépíteni. A legtöbb vállalkozás azonban a régi helyszíni infrastruktúrát felhővel, gyakran több felhővel is összekapcsolja. Adataik több helyen találhatók, és jellemzően erősen silózottak. Az adatmigráció a felhőbe és az adatintegráció prioritás.

a modern adatarchitektúra hat jellemzője mellett azt is biztosítani kell, hogy a tervezés megkönnyítse a következőket:

• támogatja az önkiszolgáló és többféle felhasználó felé történő elmozdulást (integrátorok, adattudósok, üzleti vezetők, érdekelt felek)
• lehetővé teszi a hiperkapcsolatos vállalkozást (gondoljon az adatokra, mint a test minden részét összekötő idegekre, szükség szerint zökkenőmentesen továbbítva az információkat)
• a jelentéstétel a prediktív és előíró elemzésre vált, valós idejű betekintést, AI-vezérelt ajánlásokat és pillanatnyi döntéshozatalt tesz lehetővé
• új adatforrások, downstream alkalmazások és felhasználási esetek jövőbiztosításai

3 a modern adatok szakaszai enterprise journey

mivel a vállalatok digitálisan átalakulnak és áttérnek a felhő felé, jellemzően szakaszos úton mennek keresztül a modern adatarchitektúra elérése érdekében.

ez három fő szakaszra bontható:

1.szakasz — helyszíni

a legtöbb vállalkozás rendelkezik helyszíni rendszerekkel, amelyek nagy adatkészletek tárolására és feldolgozására, valamint komplex átalakítások végrehajtására szolgálnak. Ez a környezet kihívást jelent a következő okok miatt:

• ez megköveteli a nagy tőkebefektetés elöl Az induláshoz, és egy nagy beruházás a működési költségek (OpEx) a szükséges személyzet
• szüksége van egy speciális, dedikált skill set kezelni a big data eszközök
• ez azt eredményezi, hogy a lassú válaszidő, beleértve az átfutási idő a beszerzési, szállítási, és telepítése az adatkörnyezet

vállalkozások működtek, mint ez a sok évtizede, és jellemzően nagy beruházásokat helyszíni modellek. Nem csak pénzügyi befektetés van, hanem az adatok elvesztésének vagy a testreszabott integrációk leválasztásának kockázata is túl nagy lehet a teljes felhőáttelepítéshez. Sok vállalat rendelkezik olyan adatokkal, amelyekről úgy érzi, hogy saját szervereik hatáskörében kell maradniuk, ezért hibrid felhő megközelítést alkalmaznak.

2. Szakasz-Felhő: Virtual Private Cloud (VPC)

a felhő bevezetésekor az út második szakasza a “lift and shift”, ahol a vállalkozások egyszerűen áthelyezik a helyszíni klasztereket egy virtuális magánfelhő-hálózaton futó felhőszolgáltatóhoz, és kihasználhatják az IaaS előnyeit, például az alacsonyabb költségeket. A Forrester jelentése szerint a felhőben telepített szervezetek 20-60% – ot takarítanak meg a helyszíni infrastruktúra költségeinél, mivel a legtöbb túlteljesíti szervereit és tárhelyét, majd kezelnie kell ezeket a környezeteket.

ennek a szakasznak azonban még mindig vannak jelentős kihívásai, mivel:

• nem tesz semmit a kihívások kezelése és fenntartása a környezet
• magas OpEx
• nem foglalkozik a készség-set szakadék, és a készségek kezeléséhez szükséges szolgáltatások futó VPC
• van egy lassú válaszidő
• nem támogatja a natív felhő tárolási szolgáltatások

a helyszíni és magánfelhők kezelése összetett, ami gyakran arra készteti a vállalkozásokat, hogy jobb módot keressenek a felhőkörnyezet kezelésére. Ez a menedzselt felhőszolgáltatásokra való áttéréshez vezet.

3. Szakasz-Felhő: A Big Data mint szolgáltatás

ebben a szakaszban a vállalatok felismerték a kihívásokat, és olyan felhőalapú szolgáltatásokra váltanak, mint az IBM, a Microsoft és a Google. Ezek a menedzselt szolgáltatások megszabadítják a vállalatot a méretarányú feldolgozási környezetek kezelésének és fenntartásának bonyolultságától, és csökkentik az értékes OpEx-kiadásokat.

további előnyök a következők:

• igény szerinti képességek, amelyek csak szükség esetén használják a tárolási és számítási erőforrásokat, így csökkentve az OpEx
• sokkal egyszerűbb módja a Terabyte/Petabyte kötetekre történő fel-és le méretezésnek
• gyorsabb válaszidő az üzleti igényekhez

ezenkívül a felhőalapú big data platformokat felhőalapú tárolási szolgáltatásokkal tervezték. Natív integrációjuk van a felhőtárolóval, így a felhőtárolót elosztott tárolókomponensként használhatja, amely alkalmas a data lake tárolására.

beszéljünk egy kicsit az adattárolásról.

a Modern adatarchitektúrának adatlakokra van szüksége

az adattárház strukturált adatokat tárol (azaz tranzakciós rendszerekből). A relációs adatok elemzésére van optimalizálva, nem pedig félig / strukturálatlan adatokra. Tehát, mielőtt az adatforrásból az adattárházba írnánk, meg kell határozni a struktúrát, és az adatokat meg kell tisztítani és átalakítani. Ez időt vesz igénybe, és megnehezíti a használható adatok megszerzését olyan sebességgel, amelyre a vállalkozásnak szüksége van. Emellett annyi új adat áll rendelkezésre, hogy az adattárház költsége valójában nagyon megfizethetetlen.

az adat tavak támogatják a modern adatarchitektúrát.

az adattárháztól eltérően az adattó minden adattípus gyűjteménye: strukturált, félig strukturált és strukturálatlan. Az adatokat raw formátumban tárolják anélkül, hogy bármilyen struktúrára vagy sémára lenne szükség. Valójában nem kell meghatároznia az adatstruktúrát, amikor rögzíti, csak akkor, ha elolvassa. Mivel az adat tavak nagymértékben skálázhatók, nagyobb mennyiségű adatot támogatnak olcsóbb áron. A data lake segítségével relációs forrásokból (például relációs adatbázisokból) és nem relációs forrásokból (IoT eszközök/ gépek, közösségi média stb.) ETL (extract, transform, load) nélkül, amely az adatokat sokkal gyorsabban elérhetővé teszi az elemzéshez.

4 a modern vállalati adatarchitektúra jellemzői

a modern vállalati adatarchitektúrának négy elsődleges jellemzője van: 1) az adatciklus, 2) Adattárolás, 3) integrációs platform és 4) adatszolgáltatás.

Adatciklus

a vállalkozások folyamatosan új adatforrásokkal találkoznak, és adatokat kell rögzíteniük, mielőtt megismernék az esetleges felhasználási esetet. A rögzített adatokat kinyerjük az ismert használati esetek feltöltésére,valamint a jövőbeni meghatározatlan Használati esetekre. Ezután a bejövő adatokat meg kell felelni a vállalati szabványoknak, hogy biztosítsák az irányítást, a minőséget, a következetességet, a szabályozási megfelelést és a pontosságot a downstream fogyasztók számára, függetlenül üzleti igényeiktől, készségeiktől vagy az adatarchitektúra megértésétől. Miután az adatokat rögzítették és megfeleltek a vállalati szabványoknak, a finomítási szolgáltatások előkészítik az adatokat az esetleges későbbi alkalmazásokhoz és/vagy Felhasználási esetekhez.

Adattárolás

az adatok tárolása az adat tóban történik. Gondolj az adat-Tóra, mint egy modern adatgyárra, és a tóban vannak “konténerek” az adatfeldolgozás különböző szakaszaihoz. Az első tároló a leszálló tároló, ahol a bejövő nyers adatokat formájától, szállításától vagy forrásától függetlenül fogadják. Ez az, ahol a tisztátalan adatok mennek. Itt döntenek arról, hogy milyen nyers adatokat kell megőrizni. A tárolt adatok a megfelelő tárolóba kerülnek.

a megfelelő tárolóban tisztítják a nyers adatokat, és biztosítják az adatok minőségét. A konform tároló biztosítja, hogy a vállalat következetes, a szabványoknak megfelelő adathalmazzal dolgozzon.

ezután megvan a finomított konténer, amely előkészíti az adatokat az esetleges szállítási célhoz, és a Felhasználási esetektől függően lehetnek finomítók részhalmazai. Az Adatok finomítása után a rendeltetési helyre történő kézbesítésre kerül sor. Szállítás után áthelyezhető egy munkaterületre, amelyet az adattudósok használhatnak, archiválhatók hosszú távú tárolás céljából, vagy törölhetők.

adatintegrációs platform

az integrációs platform különböző forrásokból származó adatokat vesz fel, és egyesíti őket, hogy egységes nézetet biztosítson. Egy modern adatarchitektúrában az integrációs platformnak elég rugalmasnak kell lennie ahhoz, hogy támogassa az összes szükséges adatforrást és célt, valamint az adatszolgáltatásokat az adatciklus minden szakaszában. Képesnek kell lennie arra, hogy támogassa az adatokat sémával és anélkül, és kezelje a metaadatokat. Ezenkívül képesnek kell lennie arra, hogy kezelje a szükséges integrációt és feldolgozást:

• nagy sebességű, változatos és térfogatú adatgyűjtés
• alacsony késleltetésű alkalmazásintegráció
• nagy mennyiségű adatmegfelelőség feldolgozása
• adatintegráció a kézbesítéstől a célig
• API-fogyasztás (elengedhetetlen a B2B ökoszisztémákhoz)

ezenkívül a fenti forgatókönyveket széles felhasználói közösség számára hozzáférhetővé kell tenni, kezdve a magasan képzett informatikai szakemberektől az üzleti felhasználókig, akiknek fel kell gyorsítaniuk az üzleti projektet a gyorsan változó üzleti környezetre reagálva. A modern vállalkozásban az elemzőket és az adatkutatókat arra kérik, hogy válaszoljanak a stratégiai kérdésekre, és soha nem látott ütemben oldják meg az innovációt, és egyszerűen nem engedhetik meg maguknak azt a luxust, hogy egy informatikai szervezettől függjenek a kritikusan szükséges információk rendelkezésre bocsátása érdekében. Az önkiszolgálás már nem luxus vagy kényelem, hanem küldetéskritikus követelmény. Az adatvezetékek gyors felépítése elengedhetetlen ahhoz, hogy az üzleti élet a digitális korban szükséges sebességgel mozogjon.

adatszolgáltatás

végül az adatokat a megfelelő célokhoz kell eljuttatni. A biztonságos adatelérhetőség szerves része a modern adatarchitektúrának. Az irányítás, a biztonság, a szerepkör-alapú hozzáférés-vezérlés (RBAC), az SLA, a fojtás és a használatelemzés mind kritikus fontosságú ahhoz, hogy adatokat szolgáltasson a tervezett felhasználóknak, legyen szó belső alkalmazottakról vagy külső partnerekről.

azok a vállalkozások, amelyek az adat-mint-szolgáltatás-szállítási megközelítést alkalmazzák, biztosítják a legmagasabb szintű rendelkezésre állást, hozzáférhetőséget és ügyfélélményt anélkül, hogy állandó informatikai tűzgyakorlatokat kellene fizetniük, vagy veszélyeztetniük kellene a biztonságot vagy a belső szellemi tulajdont. Az adatokat a végső rendeltetési helyekre szállítják, amelyek magukban foglalják az adatpiacokat, az alkalmazásokat, a fájlokat, az adattavakat, az adattudományi munkaasztalokat, az AI-kompatibilis megoldásokat és az API-ökoszisztémákat.

robusztus, modern adatarchitektúra felépítése

a robusztus, modern vállalati adatarchitektúra biztosítja, hogy a vállalatok hozzáférhetőek, gyorsak, rugalmasak és megbízhatóak legyenek minden adatforrás optimalizálásához és jobb üzleti döntések meghozatalához. A SnapLogic intelligens integrációs platformján keresztül nyújt adatintegrációt szolgáltatásként, segítve a vállalkozásokat modern adatarchitektúrák felépítésében az adatigényeik jövőbiztosításához.