Úvod do služeb kvality dat

platí pro: SQL Server (všechny podporované verze)

řešení kvality dat poskytované společností Data Quality Services (DQS) umožňuje správci dat nebo IT profesionálům udržovat kvalitu svých dat a zajistit, aby data byla vhodná pro jejich obchodní využití. DQS je řešení založené na znalostech, které poskytuje počítačové i interaktivní způsoby řízení integrity a kvality vašich datových zdrojů. DQS umožňuje objevovat, budovat a spravovat znalosti o vašich datech. Tyto znalosti pak můžete použít k čištění dat, párování, a profilování. Můžete také využít cloudové služby poskytovatelů referenčních dat v projektu kvality dat DQS.

obchodní potřeba DQS

nesprávná data mohou být důsledkem chyb při zadávání uživatelů, poškození při přenosu nebo ukládání, neshodných definic slovníku dat a dalších problémů s kvalitou dat a procesem. Agregace dat z různých zdrojů, které používají různé datové standardy, může mít za následek nekonzistentní data, stejně jako použití libovolného pravidla nebo přepsání historických dat. Nesprávné údaje ovlivňují schopnost podniku vykonávat své obchodní funkce a poskytovat služby svým zákazníkům, což má za následek ztrátu důvěryhodnosti a příjmů, nespokojenost zákazníků a problémy s dodržováním předpisů. Automatizované systémy často nepracují s nesprávnými daty a špatná data plýtvají časem a energií lidí provádějících manuální procesy. Nesprávná data mohou způsobit zmatek při analýze dat, vykazování, dolování dat a skladování.

vysoce kvalitní údaje jsou rozhodující pro efektivitu podniků a institucí. Organizace jakékoli velikosti může pomocí DQS zlepšit informační hodnotu svých dat a učinit data vhodnějšími pro zamýšlené použití. Řešení kvality dat může učinit data spolehlivějšími, přístupnějšími a opakovaně použitelnými. Může zlepšit úplnost, přesnost, shodu a konzistenci vašich dat, vyřešit problémy způsobené špatnými daty v pracovních zátěžích business intelligence nebo data warehouse, stejně jako v provozních systémech OLTP.

DQS umožňuje firemnímu uživateli, informačnímu pracovníkovi nebo it profesionálovi, který není odborníkem na databázi ani programátorem, vytvářet, udržovat a provádět operace kvality dat své organizace s minimálním časem nastavení nebo přípravy.

odpověď na tuto potřebu pomocí DQS

kvalita dat není definována v absolutních číslech. Záleží na tom, zda jsou údaje vhodné pro účel, pro který jsou určeny. DQS identifikuje potenciálně nesprávné údaje, a poskytuje vám posouzení pravděpodobnosti, že data jsou ve skutečnosti nesprávná. DQS vám poskytuje sémantické porozumění datům, takže můžete rozhodnout o jejich vhodnosti. DQS vám umožňuje vyřešit problémy týkající se neúplnosti, nedostatečné shody, nekonzistence, nepřesnosti, neplatnosti a duplikace dat.

DQS poskytuje následující funkce pro řešení problémů s kvalitou dat.

• čištění dat: modifikace, odstranění nebo obohacení dat, která jsou nesprávná nebo neúplná, pomocí počítačových i interaktivních procesů. Další informace naleznete v části čištění dat.

• shoda: identifikace sémantických duplikátů v procesu založeném na pravidlech, který vám umožní určit, co představuje shodu, a provést de-duplikaci. Pro více informací, viz shoda dat.

• referenční datové služby: ověření kvality vašich údajů pomocí služeb Poskytovatele referenčních údajů. Můžete použít referenční datové služby z Microsoft Azure Marketplace očistit, ověřit, zápas, a obohatit data. Pro více informací, viz referenční datové služby v DQS.

• profilování: analýza zdroje dat poskytnout vhled do kvality dat v každé fázi poznání objev, Správa domén, párování a čištění dat procesy. Profilování je mocný nástroj v řešení kvality dat DQS. Můžete vytvořit řešení kvality dat, ve kterém je profilování stejně důležité jako správa znalostí,párování nebo čištění dat. Pro více informací, viz profilování dat a oznámení v DQS.

• monitorování: sledování a stanovení stavu činností v oblasti kvality dat. Monitorování vám umožní ověřit, zda vaše řešení kvality dat dělá to, k čemu bylo navrženo. Další informace naleznete v části Správa DQS.

• znalostní báze: služby kvality dat jsou znalostní řešení, které analyzuje data na základě znalostí, které vytváříte pomocí DQS. To vám umožní vytvářet procesy kvality dat, které neustále zlepšují znalosti o vašich datech, a tím neustále zlepšují kvalitu vašich dat.

následující obrázek zobrazuje proces DQS:

znalostní řešení

znalostní báze DQS je repozitářem tří typů znalostí: out-of-the-box znalostí, znalostí generovaných serverem kvality dat a znalostí generovaných uživatelem. DQS umožňuje ukládat znalosti o vašich datech do znalostní báze, přidávat obchodní pravidla a upravovat znalosti, jak uznáte za vhodné, a poté je použít k testování integrity a správnosti dat. Poté, co vytvoříte znalostní základnu, můžete ji neustále vylepšovat a poté ji znovu použít ve více procesech zlepšování kvality dat.

znalosti ve znalostní bázi identifikují potenciálně nesprávná data a navrhují změny dat. Může najít datové shody, což vám umožní provádět deduplikaci dat. Může porovnávat zdrojová data s cloudovými referenčními daty udržovanými a zaručenými poskytovateli kvality dat. Správce dat nebo IT profesionál ověřuje znalosti ve znalostní bázi i změny, které mají být provedeny v datech, a provádí čištění, deduplikace, a referenční datové služby.

znalostní báze ukládá všechny znalosti týkající se konkrétního typu zdroje dat. Můžete například udržovat jednu znalostní základnu pro databázi zákazníků a další znalostní základnu pro databázi zaměstnanců. Znalosti jsou obsaženy v jedné nebo více datových doménách, z nichž každá je sémantickou reprezentací typu dat v datovém poli. Znalostní báze pro databázi zákazníků může mít domény pro názvy společností, adresy, kontakty, kontaktní informace atd. Doména obsahuje seznam důvěryhodných hodnot, neplatných hodnot a chybných dat. Znalost domény zahrnuje asociace synonymum, termínové vztahy, validace a obchodní pravidla, a odpovídající zásady. Vyzbrojeni těmito znalostmi, správce dat může učinit informované rozhodnutí o tom, zda opravit konkrétní instance hodnot v doméně.

DQS umožňuje provádět importní a exportní operace se znalostní bází. Můžete importovat nebo exportovat domény nebo znalostní báze pomocí souboru DQS. Hodnoty nebo domény můžete importovat ze souboru aplikace Excel. Můžete také importovat hodnoty, které byly nalezeny procesem čištění založeným na znalostní bázi, zpět do domény. Tyto operace vám umožňují neustále zlepšovat znalostní základnu a zajistit, aby znalosti získané prostřednictvím rozhodnutí a objevů byly směrovány zpět do znalostní základny.

řešení založené na znalostech DQS používá k čištění dat dva základní kroky:

• proces řízení znalostí, který buduje znalostní základnu

• projekt kvality dat, který navrhuje změny zdrojových dat na základě znalostí ve znalostní bázi.

další informace naleznete v části DQS Knowledge Bases and domain and Data Quality Projects (DQS).

komponenty DQS

služby kvality dat se skládají ze serveru kvality dat a klienta kvality dat. Tyto komponenty umožňují provádět služby kvality dat odděleně od ostatních operací SQL Serveru. Oba jsou nainstalovány v rámci instalačního programu SQL Server.

Data Quality Server je implementován jako tři katalogy SQL Serveru, které můžete spravovat a sledovat v SQL Server Management Studio (DQS_MAIN, DQS_PROJECTS a DQS_STAGING_DATA). Dqs_main zahrnuje DQS uložené procedury, motor DQS a publikované znalostní báze. Dqs_projects obsahuje data, která jsou potřebná pro správu znalostní báze a aktivity projektu DQS. DQS_STAGING_DATA poskytuje meziprodukt staging databáze, kde můžete zkopírovat zdrojová data provádět operace DQS, a pak exportovat zpracovaná data.

Data Quality Client je samostatná aplikace, která umožňuje provádět správu znalostí, projekty kvality dat a správu V jednom uživatelském rozhraní. Aplikace je určena jak pro správce dat, tak pro správce DQS. Jedná se o samostatný spustitelný soubor, který provádí zjišťování znalostí, správu domén, vytváření zásad shody, čištění dat, párování, profilování, monitorování a správu serveru. Data Quality Client lze nainstalovat a spustit na stejném počítači jako Data Quality Server nebo vzdáleně na samostatném počítači. Mnoho operací v klientovi kvality dat je řízeno průvodcem pro snadné použití.

funkce kvality dat v integračních službách a hlavních datových službách

funkce kvality dat poskytované službami kvality dat je integrována do komponenty SQL Server Integration Services (SSIS) a do funkcí Master Data Services (MDS), která vám umožní provádět procesy kvality dat v rámci těchto služeb.

DQS Cleansing component in Integration Services

DQS Cleansing component in Integration Services umožňuje provádět čištění dat jako součást balíčku integračních služeb. Když je balíček spuštěn, čištění dat se spustí jako dávkový soubor. Jedná se o alternativu ke spuštění očistného projektu v klientské aplikaci pro kvalitu dat. Kvalitu svých dat můžete zajistit automaticky. V klientské aplikaci pro kvalitu dat nemusíte provádět interaktivní kroky projektu čištění dat. Proces čištění dat můžete zahrnout do datového toku, který obsahuje další komponenty integračních služeb. Pro více informací, viz transformace čištění DQS.

procesy kvality dat v Master Data Services

funkce služby kvality dat byla integrována do Master Data Services (MDS), takže můžete provádět de-duplikaci zdrojových dat a kmenových dat v rámci doplňku Microsoft SQL Server 2014 Master Data Services pro Microsoft Excel. Chcete-li provést shodu, načtěte data spravovaná MDS do listu aplikace Excel, zkombinujte je s daty nespravovanými MDS a poté proveďte shodu v aplikaci Excel. Komponenty serveru kvality dat musí být nainstalovány pomocí MDS. Pro více informací, viz shoda kvality dat v doplňku MDS pro Excel.