Bevezetés Az adatminőségi Szolgáltatásokba

vonatkozik: SQL Server (az összes támogatott verzió)

a Data Quality Services (DQS) által biztosított adatminőségi megoldás lehetővé teszi az adatkezelő vagy informatikai szakember számára, hogy megőrizze adataik minőségét, és biztosítsa, hogy az adatok alkalmasak legyenek az üzleti használatra. A DQS egy tudásközpontú megoldás, amely számítógéppel támogatott és interaktív módon kezeli az adatforrások integritását és minőségét. A DQS lehetővé teszi, hogy felfedezze, felépítse és kezelje az adataival kapcsolatos ismereteket. Ezután felhasználhatja ezt a tudást az adatok tisztítására, illesztésére és profilozására. A referenciaadatszolgáltatók felhőalapú szolgáltatásait is felhasználhatja egy DQS adatminőségi projektben.

a DQS üzleti igénye

a helytelen adatok felhasználói belépési hibákból, az átvitel vagy a tárolás sérüléséből, a nem egyező adatszótár-definíciókból, valamint egyéb adatminőségi és folyamatproblémákból eredhetnek. A különböző adatstandardokat használó különböző forrásokból származó adatok összesítése következetlen adatokat eredményezhet, csakúgy, mint egy önkényes szabály alkalmazása vagy a korábbi adatok felülírása. A helytelen adatok befolyásolják a vállalkozás azon képességét, hogy teljesítse üzleti funkcióit és szolgáltatásokat nyújtson ügyfeleinek, ami a hitelesség és a bevétel elvesztéséhez, az ügyfelek elégedetlenségéhez és a megfelelőségi problémákhoz vezet. Az automatizált rendszerek gyakran nem működnek helytelen adatokkal, és a rossz adatok pazarolják a kézi folyamatokat végző emberek idejét és energiáját. A helytelen adatok pusztítást okozhatnak az adatok elemzésével, jelentésével, adatbányászatával és raktározásával.

a jó minőségű adatok kritikus fontosságúak a vállalkozások és intézmények hatékonysága szempontjából. Bármely méretű szervezet használhatja a DQ-kat az adatok információs értékének javítására, így az adatok jobban megfelelnek a rendeltetésszerű használatnak. Az adatminőségi megoldás megbízhatóbbá, hozzáférhetőbbé és újrafelhasználhatóbbá teheti az adatokat. Javíthatja az adatok teljességét, pontosságát, megfelelőségét és következetességét, megoldhatja az üzleti intelligencia vagy az adattárház munkaterheléseiben, valamint az operatív OLTP rendszerekben a rossz adatok által okozott problémákat.

a DQS lehetővé teszi az üzleti felhasználók, információs dolgozók vagy informatikai szakemberek számára, akik sem adatbázis-szakértők, sem programozók, hogy minimális beállítási vagy előkészítési idővel létrehozzák, fenntartsák és végrehajtsák szervezetük adatminőségi műveleteit.

válasz, hogy szükség van a DQS

adatminőség nincs meghatározva abszolút értelemben. Ez attól függ, hogy az adatok megfelelőek-e arra a célra, amelyre szánták. A DQS azonosítja a potenciálisan helytelen adatokat, és felméri annak valószínűségét, hogy az adatok valóban helytelenek. A DQS szemantikai megértést nyújt az adatokról, így eldöntheti azok megfelelőségét. A DQS lehetővé teszi a hiányosságok, a megfelelőség hiánya, az inkonzisztencia, a pontatlanság, a érvénytelenség és az adatok duplikációjának megoldását.

a DQS a következő szolgáltatásokat nyújtja az adatminőségi problémák megoldásához.

• adattisztítás: helytelen vagy hiányos adatok módosítása, eltávolítása vagy gazdagítása, mind számítógéppel támogatott, mind interaktív folyamatok felhasználásával. További információ: adattisztítás.

• egyezés: a szemantikai másolatok azonosítása egy szabályalapú folyamatban, amely lehetővé teszi annak meghatározását, hogy mi minősül egyezésnek, és végrehajtja a duplikációt. További információ: adategyeztetés.

• referenciaadat-szolgáltatások: az adatok minőségének ellenőrzése egy referenciaadat-szolgáltató szolgáltatásainak felhasználásával. Az adatok tisztításához, érvényesítéséhez, egyeztetéséhez és gazdagításához használhatja a Microsoft Azure Marketplace referenciaadat-szolgáltatásait. További információ: referenciaadat-szolgáltatások A DQS – ban.

• profilalkotás: az elemzés egy adatforrás, hogy betekintést nyújtson az adatok minőségét minden szakaszában a tudás felfedezés, domain menedzsment, matching, és adattisztítás folyamatokat. A profilozás hatékony eszköz a DQS adatminőségi megoldásában. Olyan adatminőségi megoldást hozhat létre, amelyben a profilozás ugyanolyan fontos, mint a tudásmenedzsment, az illesztés vagy az adattisztítás. További információkért lásd: Adatprofilozás és értesítések a DQS-ban.

• Monitoring: az adatminőségi tevékenységek állapotának nyomon követése és meghatározása. A megfigyelés lehetővé teszi annak ellenőrzését, hogy az adatminőségi megoldás azt teszi-e, amire tervezték. További információ: DQS adminisztráció.

• Tudásbázis: az adatminőségi szolgáltatások egy tudásközpontú megoldás, amely az adatokat a DQS segítségével felépített ismeretek alapján elemzi. Ez lehetővé teszi, hogy olyan adatminőségi folyamatokat hozzon létre, amelyek folyamatosan javítják az adataival kapcsolatos ismereteket, és ezáltal folyamatosan javítják az adatok minőségét.

az alábbi ábra a DQS folyamatot mutatja be:

Tudásközpontú megoldás

a DQS Tudásbázis háromféle tudást tárol: a dobozon kívüli tudást, az adatminőségi szerver által generált tudást és a felhasználó által generált tudást. A DQS lehetővé teszi, hogy az adataival kapcsolatos ismereteket a tudásbázisban tárolja, üzleti szabályokat adjon hozzá, és tetszés szerint módosítsa a tudást, majd alkalmazza az adatok integritásának és helyességének tesztelésére. A Tudásbázis felépítése után folyamatosan fejlesztheti, majd újra felhasználhatja több adatminőség-fejlesztési folyamatban.

Tudásbázis a tudásbázisban azonosítja a potenciálisan hibás adatokat, és javasolja az adatok módosítását. Meg lehet találni az adatok egyezés, amely lehetővé teszi, hogy végre adatok deduplikáció. Összehasonlíthatja a forrásadatokat az adatminőségi szolgáltatók által fenntartott és garantált felhőalapú referenciaadatokkal. Az adatkezelő vagy informatikai szakember ellenőrzi mind a tudásbázisban lévő ismereteket, mind az adatokon végrehajtandó változtatásokat, valamint elvégzi a tisztítási, deduplikációs és referenciaadat-szolgáltatásokat.

a Tudásbázis egy adott típusú adatforráshoz kapcsolódó összes tudást tárol. Fenntarthat például egy tudásbázist egy ügyféladatbázishoz, egy másik tudásbázist pedig egy munkavállalói adatbázishoz. A tudás egy vagy több adattartományban található, amelyek mindegyike egy adattípus szemantikai ábrázolása egy adatmezőben. Az ügyféladatbázis tudásbázisában lehetnek domainek a cégnevekhez, címekhez, névjegyekhez, kapcsolattartási adatokhoz stb. A tartomány megbízható értékeket, érvénytelen értékeket és hibás adatokat tartalmaz. A Domain tudás magában foglalja a szinonim asszociációkat, a kifejezéskapcsolatokat, az érvényesítési és üzleti szabályokat, valamint a megfelelő irányelveket. Ezzel a tudással felfegyverkezve az adatkezelő megalapozott döntést hozhat arról, hogy kijavítja-e a tartomány értékeinek konkrét példányait.

a DQS lehetővé teszi importálási és exportálási műveletek végrehajtását tudásbázissal. DQS fájl segítségével importálhat vagy exportálhat domaineket vagy tudásbázisokat. Értékeket vagy tartományokat importálhat egy Excel fájlból. A tudásbázison alapuló tisztítási folyamat során talált értékeket vissza is importálhatja egy tartományba. Ezek a műveletek lehetővé teszik a Tudásbázis folyamatos fejlesztését, biztosítva, hogy a döntések és felfedezések során szerzett tudás visszakerüljön a tudásbázisba.

a DQS tudásközpontú megoldása két alapvető lépést használ az adatok tisztításához:

• a tudásbázist építő tudásmenedzsment folyamat

• adatminőségi projekt, amely a forrásadatok módosítását javasolja a tudásbázisban szereplő ismeretek alapján.

további információkért lásd: DQS tudásbázisok, domainek és adatminőségi projektek (DQS).

DQS Components

az adatminőségi szolgáltatások az adatminőségi kiszolgálóból és az adatminőségi kliensből állnak. Ezek az összetevők lehetővé teszik az adatminőségi szolgáltatások más SQL Server-műveletektől elkülönített végrehajtását. Mindkettő az SQL Server telepítőprogramjából van telepítve.

az adatminőség-kiszolgáló három SQL Server-katalógusként van megvalósítva, amelyeket az SQL Server Management Studio-ban kezelhet és felügyelhet (DQS_MAIN, DQS_PROJECTS és DQS_STAGING_DATA). A DQS_MAIN tartalmazza a DQS tárolt eljárásokat, a DQS motort és a közzétett tudásbázisokat. A DQS_PROJECTS a Tudásbázis kezeléséhez és a DQS projekttevékenységekhez szükséges adatokat tartalmazza. A DQS_STAGING_DATA egy köztes átmeneti adatbázist biztosít, ahol másolhatja a forrásadatokat a DQS műveletek végrehajtásához, majd exportálhatja a feldolgozott adatokat.

a Data Quality Client egy önálló alkalmazás, amely lehetővé teszi a tudásmenedzsment, az adatminőségi projektek és az adminisztráció egyetlen felhasználói felületen történő végrehajtását. Az alkalmazás mind az adatkezelők, mind a DQS rendszergazdák számára készült. Ez egy önálló futtatható fájl, amely elvégzi a tudás felfedezés, domain menedzsment, megfelelő politika létrehozása, adattisztítás, megfelelő, profilalkotás, monitoring, és a szerver adminisztráció. A Data Quality Client telepíthető és futtatható ugyanazon a számítógépen, mint a Data Quality Server, vagy távolról egy külön számítógépen. Az adatminőség-ügyfél számos művelete varázsló-vezérelt a könnyű használat érdekében.

az Integration Services és a Master Data Services adatminőségi funkciói

Az Data Quality Services által biztosított adatminőségi funkciók az SQL Server Integration Services (SSIS) egyik összetevőjébe és a Master Data Services (MDS) szolgáltatásaiba vannak beépítve, hogy lehetővé tegyék az adatminőségi folyamatok végrehajtását az említett Szolgáltatásokon belül.

DQS tisztító összetevő az integrációs szolgáltatásokban

az integrációs szolgáltatások DQS tisztító összetevője lehetővé teszi az adattisztítást az integrációs szolgáltatások csomagjának részeként. A csomag futtatásakor az adattisztítás kötegelt fájlként fut. Ez egy alternatíva a tisztító projekt futtatásához az Adatminőségű ügyfélalkalmazásban. Az adatok minőségét automatikusan biztosíthatja. Nem kell végrehajtania az adattisztítási projekt interaktív lépéseit az adatminőségi Ügyfélalkalmazáson belül. Az adattisztítási folyamatot olyan adatfolyamon belül is felveheti, amely más integrációs szolgáltatások összetevőit tartalmazza. További információ: DQS tisztító transzformáció.

adatminőségi folyamatok a Törzsadatszolgáltatásokban

az adatminőségi szolgáltatások funkcionalitása integrálva van a Törzsadatszolgáltatásokba (MDS), így a Microsoft SQL Server 2014 Master Data Services bővítményében a forrásadatokon és törzsadatokon duplikációt hajthat végre. Az illesztés végrehajtásához töltse be az MDS által kezelt adatokat egy Excel munkalapba, kombinálja azokat az MDS által nem kezelt adatokkal, majd hajtsa végre az illesztést az Excelben. Az adatminőség-kiszolgáló összetevőit MDS-sel kell telepíteni. További információ: adatminőség-egyeztetés az Excel MDS-bővítményében.