introduktion till Datakvalitetstjänster

gäller för: SQL Server (alla versioner som stöds)

datakvalitetslösningen som tillhandahålls av Data Quality Services (DQS) gör det möjligt för en dataförvaltare eller IT-professionell att upprätthålla kvaliteten på sina data och se till att data är lämpade för sin affärsanvändning. DQS är en kunskapsdriven lösning som ger både datorassisterade och interaktiva sätt att hantera integriteten och kvaliteten på dina datakällor. Med DQS kan du upptäcka, bygga och hantera kunskap om dina data. Du kan sedan använda den kunskapen för att utföra datarensning, matchning och profilering. Du kan också utnyttja de molnbaserade tjänsterna hos referensdataleverantörer i ett DQS-datakvalitetsprojekt.

affärsbehovet för DQS

felaktiga data kan bero på användarinmatningsfel, korruption i överföring eller lagring, felaktiga dataordboksdefinitioner och andra datakvalitets-och processproblem. Att samla data från olika källor som använder olika datastandarder kan resultera i inkonsekventa data, liksom att tillämpa en godtycklig regel eller skriva över historiska data. Felaktiga uppgifter påverkar ett företags förmåga att utföra sina affärsfunktioner och tillhandahålla tjänster till sina kunder, vilket resulterar i förlust av trovärdighet och intäkter, kundnöjdhet och efterlevnadsproblem. Automatiserade system fungerar ofta inte med felaktiga data, och dåliga data slösar bort tid och energi hos personer som utför manuella processer. Felaktiga uppgifter kan orsaka kaos med dataanalys, rapportering, datautvinning och lagring.

högkvalitativa data är avgörande för företagens och institutionernas effektivitet. En organisation av vilken storlek som helst kan använda DQS för att förbättra informationsvärdet för sina data, vilket gör uppgifterna mer lämpliga för den avsedda användningen. En datakvalitetslösning kan göra data mer tillförlitliga, tillgängliga och återanvändbara. Det kan förbättra fullständigheten, noggrannheten, överensstämmelsen och konsistensen av dina data, lösa problem som orsakas av dåliga data i business intelligence eller data warehouse arbetsbelastningar, såväl som i operativa OLTP-system.

DQS gör det möjligt för en företagsanvändare, informationsarbetare eller IT-professionell som varken är databasexpert eller programmerare att skapa, underhålla och utföra organisationens datakvalitetsoperationer med minimal installation eller förberedelsetid.

att svara på det behovet med DQS

datakvalitet definieras inte i absoluta termer. Det beror på om uppgifterna är lämpliga för det ändamål för vilket de är avsedda. DQS identifierar potentiellt felaktiga uppgifter och ger dig en bedömning av sannolikheten för att uppgifterna faktiskt är felaktiga. DQS ger dig en semantisk förståelse av data så att du kan bestämma dess lämplighet. Med DQS kan du lösa problem som rör ofullständighet, bristande överensstämmelse, inkonsekvens, felaktighet, invaliditet och dataduplikering.

DQS innehåller följande funktioner för att lösa datakvalitetsproblem.

• datarensning: modifiering, borttagning eller berikning av data som är felaktiga eller ofullständiga, med hjälp av både datorassisterade och interaktiva processer. Mer information finns i Datarengöring.

• matchning: identifiering av semantiska dubbletter i en regelbaserad process som gör att du kan avgöra vad som utgör en matchning och utföra deduplikation. Mer information finns i datamatchning.

• Referensdatatjänster: verifiering av kvaliteten på dina data med hjälp av en referensdataleverantörs tjänster. Du kan använda referensdatatjänster från Microsoft Azure Marketplace för att rensa, validera, matcha och berika data. För mer information, se Referensdatatjänster i DQS.

• profilering: analysen av en datakälla för att ge insikt i kvaliteten på data i varje steg i kunskapsupptäckt, domänhantering, matchning och datarensning processer. Profilering är ett kraftfullt verktyg i en DQS-datakvalitetslösning. Du kan skapa en datakvalitetslösning där profilering är lika viktig som kunskapshantering, matchning eller datarensning. För mer information, se dataprofilering och meddelanden i DQS.

• övervakning: spårning och bestämning av tillståndet för datakvalitetsaktiviteter. Övervakning gör att du kan verifiera att din datakvalitetslösning gör vad den var avsedd att göra. För mer information, se DQS Administration.

• kunskapsbas: Data Quality Services är en kunskapsdriven lösning som analyserar data baserat på kunskap som du bygger med DQS. Detta gör det möjligt för dig att skapa datakvalitetsprocesser som kontinuerligt ökar kunskapen om dina data och därigenom kontinuerligt förbättrar kvaliteten på dina data.

följande illustration visar DQS-processen:

en kunskapsdriven lösning

DQS knowledge base är ett förråd av tre typer av kunskap: out-of-the-box kunskap, kunskap som genereras av data Quality Server, och kunskap som genereras av användaren. Med DQS kan du lagra kunskap om dina data i kunskapsbasen, lägga till affärsregler och ändra kunskapen som du tycker är lämplig och sedan tillämpa den för att testa integriteten och korrektheten hos data. När du har byggt kunskapsbasen kan du kontinuerligt förbättra den och sedan återanvända den i flera datakvalitetsförbättringsprocesser.

kunskap i en kunskapsbas identifierar potentiellt felaktiga data och föreslår ändringar av data. Det kan hitta data matchningar, så att du kan utföra data deduplication. Det kan jämföra källdata med molnbaserade referensdata som underhålls och garanteras av datakvalitetsleverantörer. Dataförvaltaren eller IT-proffsen verifierar både kunskapen i kunskapsbasen och de ändringar som ska göras i data och utför rengörings -, deduplicerings-och referensdatatjänsterna.

en kunskapsbas lagrar all kunskap relaterad till en viss typ av datakälla. Du kan till exempel behålla en kunskapsbas för en kunddatabas och en annan kunskapsbas för en medarbetardatabas. Kunskap finns i en eller flera datadomäner, som var och en är en semantisk representation av en typ av data i ett datafält. En kunskapsbas för en kunddatabas kan ha domäner för företagsnamn, adresser, kontakter, kontaktinformation och så vidare. En domän innehåller en lista med betrodda värden, ogiltiga värden och felaktiga data. Domänkunskap inkluderar synonymföreningar, termrelationer, validerings-och affärsregler och matchningspolicyer. Beväpnad med denna kunskap kan dataförvaltaren fatta ett välgrundat beslut om huruvida specifika instanser av värdena i en domän ska korrigeras.

DQS gör att du kan utföra import-och exportoperationer med en kunskapsbas. Du kan importera eller exportera domäner eller kunskapsbaser med en DQS-fil. Du kan importera värden eller domäner från en Excel-fil. Du kan också importera värden som har hittats genom en rensningsprocess baserad på kunskapsbasen tillbaka till en domän. Dessa operationer gör det möjligt för dig att ständigt förbättra en kunskapsbas och se till att kunskap som erhållits genom beslut och upptäckter dirigeras tillbaka till kunskapsbasen.

DQS kunskapsdrivna lösning använder två grundläggande steg för att rensa data:

• en kunskapshanteringsprocess som bygger kunskapsbasen

• ett datakvalitetsprojekt som föreslår ändringar av källdata baserat på kunskapen i kunskapsbasen.

mer information finns i DQS Knowledge Bases and Domains and Data Quality Projects (DQS).

DQS-komponenter

Data Quality Services består av data Quality Server och Data Quality Client. Med dessa komponenter kan du utföra datakvalitetstjänster separat från andra SQL Server-operationer. Båda är installerade från SQL Server-installationsprogrammet.

Data Quality Server implementeras som tre SQL Server-kataloger som du kan hantera och övervaka i SQL Server Management Studio (DQS_MAIN, DQS_PROJECTS och DQS_STAGING_DATA). Dqs_main innehåller DQS-lagrade procedurer, DQS-motorn och publicerade kunskapsbaser. DQS_PROJECTS innehåller data som krävs för knowledge base management och DQS projektaktiviteter. Dqs_staging_data tillhandahåller en mellanliggande iscensättningsdatabas där du kan kopiera dina källdata för att utföra DQS-operationer och sedan Exportera dina bearbetade data.

Data Quality Client är ett fristående program som gör att du kan utföra kunskapshantering, datakvalitetsprojekt och administration i ett användargränssnitt. Applikationen är utformad för både dataförvaltare och DQS-administratörer. Det är en fristående körbar fil som utför kunskapsupptäckt, domänhantering, matchande policyskapande, datarensning, matchning, profilering, övervakning och serveradministration. Data Quality Client kan installeras och köras på samma dator som Data Quality Server eller på distans på en separat dator. Många operationer i Data Quality Client är wizard-driven för enkel användning.

Datakvalitetsfunktionalitet i integrationstjänster och Masterdatatjänster

datakvalitetsfunktionalitet som tillhandahålls av Datakvalitetstjänster är inbyggd i en komponent i SQL Server Integration Services (SSIS) och i funktioner i Master Data Services (MDS) för att du ska kunna utföra datakvalitetsprocesser inom dessa tjänster.

DQS rengöringskomponent i integrationstjänster

DQS rengöringskomponent i integrationstjänster gör att du kan utföra datarensning som en del av ett Integrationstjänstpaket. När paketet körs körs datarensning som en batchfil. Detta är ett alternativ till att köra ett rengöringsprojekt i Data Quality Client-applikationen. Du kan säkerställa kvaliteten på dina data automatiskt. Du behöver inte utföra de interaktiva stegen i ett datarengöringsprojekt i Data Quality Client-programmet. Du kan inkludera datarengöringsprocessen i ett dataflöde som innehåller andra komponenter för integrationstjänster. Mer information finns i DQS Cleansing Transformation.

Datakvalitetsprocesser i Master Data Services

datakvalitetstjänsternas funktionalitet har integrerats i Master Data Services (MDS), så att du kan utföra deduplikation på källdata och masterdata i Microsoft SQL Server 2014 Master Data Services-tillägg för Microsoft Excel. Om du vill utföra matchning läser du in data som hanteras av MDS i ett Excel-kalkylblad, kombinerar det med data som inte hanteras av MDS och utför sedan matchning i Excel. Datakvalitetsserverkomponenterna måste installeras med MDS. Mer information finns i Datakvalitetsmatchning i MDS-tillägget för Excel.