Introduksjon Til Datakvalitetstjenester

Gjelder for: SQL Server (alle støttede versjoner)

datakvalitetsløsningen som Leveres Av Data Quality Services (DQS), gjør det mulig for en dataforvalter eller IT-tekniker å opprettholde kvaliteten på dataene og sikre at dataene er egnet for forretningsbruk. DQS er en kunnskapsdrevet løsning som gir både datamaskinassisterte og interaktive måter å håndtere integriteten og kvaliteten på datakildene dine. DQS lar deg oppdage, bygge og administrere kunnskap om dataene dine. Du kan deretter bruke denne kunnskapen til å utføre datarensing, matching og profilering. Du kan også utnytte de skybaserte tjenestene til referansedataleverandører i ET dqs-datakvalitetsprosjekt.

Forretningsbehovet FOR DQS

Uriktige data kan skyldes feil i brukeroppføringen, korrupsjon i overføring eller lagring, feilaktige dataordlistedefinisjoner og andre datakvalitet og prosessproblemer. Aggregering av data fra forskjellige kilder som bruker forskjellige datastandarder kan resultere i inkonsekvente data, som kan bruke en vilkårlig regel eller overskrive historiske data. Uriktige data påvirker en bedrifts evne til å utføre sine forretningsfunksjoner og levere tjenester til sine kunder, noe som resulterer i tap av troverdighet og inntekter, kundemisnøye og samsvarsproblemer. Automatiserte systemer fungerer ofte ikke med feil data, og dårlige data spilder tid og energi for folk som utfører manuelle prosesser. Uriktige data kan skape kaos med dataanalyse, rapportering, data mining, og lagring.

data av Høy kvalitet er avgjørende for effektiviteten til bedrifter og institusjoner. En organisasjon av alle størrelser kan bruke DQS til å forbedre informasjonsverdien av dataene, noe som gjør dataene mer egnet for den tiltenkte bruken. En løsning for datakvalitet kan gjøre dataene mer pålitelige, tilgjengelige og gjenbrukbare. Det kan forbedre fullstendigheten, nøyaktigheten, samsvaret og konsistensen til dataene dine, løse problemer forårsaket av dårlige data i business intelligence-eller datalagerarbeidsbelastninger, samt i operasjonelle OLTP-systemer.

DQS gjør det mulig for en bedriftsbruker, informasjonsarbeider eller IT-profesjonell som verken er databaseekspert eller programmerer å opprette, vedlikeholde og utføre organisasjonens datakvalitet med minimal oppsett eller forberedelsestid.

Svar På Det Behovet MED DQS

datakvalitet er ikke definert i absolutte termer. Det avhenger av om dataene er passende for formålet de er ment for. DQS identifiserer potensielt uriktige data, og gir deg en vurdering av sannsynligheten for at dataene faktisk er uriktige. DQS gir deg en semantisk forståelse av dataene, slik at du kan bestemme hensiktsmessigheten. MED DQS kan du løse problemer som involverer ufullstendighet, manglende samsvar, inkonsekvens, unøyaktighet, ugyldighet og dataduplisering.

DQS har følgende funksjoner for å løse problemer med datakvalitet.

• Datarensing: endring, fjerning eller berikelse av data som er feil eller ufullstendig, ved hjelp av både datamaskinassisterte og interaktive prosesser. Hvis du vil ha mer informasjon, kan Du se Datarensing.

• Matching: identifisering av semantiske duplikater i en regelbasert prosess som gjør det mulig å bestemme hva som utgjør en kamp og utføre de-duplisering. Hvis Du vil ha Mer informasjon, kan Du se Datamatching.

• Referansedatatjenester: verifisering av kvaliteten på dataene dine ved hjelp av tjenestene til en referansedataleverandør. Du kan bruke referansedatatjenester Fra Microsoft Azure Marketplace til å rense, validere, matche og berike data. For mer informasjon, se Referanse Datatjenester I DQS.

• Profilering: analysen av en datakilde for å gi innsikt i kvaliteten på dataene i hvert trinn i kunnskap oppdagelse, domene ledelse, matching, og data rensing prosesser. Profilering er et kraftig verktøy i EN dqs datakvalitetsløsning. Du kan lage en datakvalitetsløsning der profilering er like viktig som kunnskapshåndtering, matching eller datarensing. For mer informasjon, se Dataprofilering og Varsler I DQS.

• Overvåking: sporing og bestemmelse av tilstanden til datakvalitetsaktiviteter. Overvåking gjør det mulig å kontrollere at datakvalitetsløsningen gjør det den var designet for å gjøre. FOR mer informasjon, se Dqs Administrasjon.

• Kunnskapsbase: Data Quality Services er en kunnskapsbasert løsning som analyserer data basert på kunnskap som du bygger med DQS. Dette gjør det mulig for deg å lage datakvalitetsprosesser som kontinuerlig forbedrer kunnskapen om dataene dine og dermed kontinuerlig forbedrer kvaliteten på dataene dine.

illustrasjonen nedenfor viser DQS-prosessen:

En Kunnskapsdrevet Løsning

dqs knowledge base er et oppbevaringssted for tre typer kunnskap: out-of-the-box kunnskap, kunnskap generert Av Datakvalitet Server, og kunnskap generert av brukeren. MED DQS kan du lagre kunnskap om dataene dine i kunnskapsbasen, legge til forretningsregler og endre kunnskapen etter eget ønske, og deretter bruke den til å teste dataenes integritet og korrekthet. Når du bygger kunnskapsbasen, kan du kontinuerlig forbedre den, og deretter bruke den på nytt i flere prosesser for forbedring av datakvalitet.

Kunnskap i en kunnskapsbase identifiserer potensielt uriktige data og foreslår endringer i dataene. Det kan finne data kamper, slik at du kan utføre data deduplisering. Den kan sammenligne kildedata med skybaserte referansedata som vedlikeholdes og garanteres av datakvalitetsleverandører. Data steward eller IT-profesjonelle verifiserer både kunnskapen i kunnskapsbasen og endringene som skal gjøres i dataene, og utfører rensing, deduplisering og referansedatatjenester.

en kunnskapsbase lagrer all kunnskap knyttet til en bestemt type datakilde. Du kan for eksempel opprettholde en kunnskapsbase for en kundedatabase og en annen kunnskapsbase for en ansattdatabase. Kunnskap finnes i ett eller flere datadomener, som hver er en semantisk representasjon av en type data i et datafelt. En kunnskapsbase for en kundedatabase kan ha domener for firmanavn, adresser, kontakter, kontaktinformasjon og så videre. Et domene inneholder en liste over klarerte verdier, ugyldige verdier og feilaktige data. Domenekunnskap omfatter synonymforeninger, termrelasjoner, validering og forretningsregler og samsvarspolicyer. Med denne kunnskapen kan dataforvalteren ta en informert beslutning om å korrigere bestemte forekomster av verdiene i et domene.

DQS lar deg utføre import og eksport operasjoner med en kunnskapsbase. Du kan importere eller eksportere domener eller kunnskapsbaser ved hjelp AV EN dqs-fil. Du kan importere verdier eller domener fra En Excel-fil. Du kan også importere verdier som er funnet av en renseprosess basert på kunnskapsbasen, tilbake til et domene. Disse operasjonene gjør det mulig for deg å kontinuerlig forbedre en kunnskapsbase, og sørge for at kunnskap oppnådd gjennom beslutninger og funn blir rutet tilbake til kunnskapsbasen.

dqs kunnskapsbaserte løsning bruker to grunnleggende trinn for å rense data:

• en kunnskapshåndteringsprosess som bygger kunnskapsbasen

• et datakvalitetsprosjekt som foreslår endringer i kildedataene basert på kunnskapen i kunnskapsbasen.

FOR mer informasjon, se Dqs Kunnskapsbaser Og Domener Og Datakvalitetsprosjekter (Dqs).

Dqs-Komponenter

Datakvalitetstjenester består Av Datakvalitetsserver og Datakvalitetsklient. Med disse komponentene kan du utføre datakvalitetstjenester separat fra ANDRE SQL Server-operasjoner. Begge er installert fra SQL Server setup program.

Datakvalitetsserver er implementert som tre SQL Server-kataloger som du kan administrere og overvåke I SQL Server Management Studio (DQS_MAIN, DQS_PROJECTS og DQS_STAGING_DATA). DQS_MAIN inkluderer dqs-lagrede prosedyrer, dqs-motoren og publiserte kunnskapsbaser. DQS_PROJECTS inneholder data som kreves for knowledge base management og dqs prosjektaktiviteter. DQS_STAGING_DATA gir en mellomliggende staging database der du kan kopiere kildedataene til å utføre dqs operasjoner, og deretter eksportere behandlede data.

Data Quality Client Er et frittstående program som lar deg utføre kunnskapshåndtering, datakvalitetsprosjekter og administrasjon i ett brukergrensesnitt. Søknaden er designet for både data forvaltere og dqs administratorer. Det er en frittstående kjørbar fil som utfører kunnskapsoppdagelse, domeneadministrasjon, samsvarende policyoppretting, datarensing, matching, profilering, overvåking og serveradministrasjon. Data Quality Client kan installeres og kjøres på samme datamaskin som Data Quality Server eller eksternt på en egen datamaskin. Mange operasjoner I Datakvalitetsklienten er veiviserdrevet for enkel bruk.

Datakvalitetsfunksjonalitet I Integrasjonstjenester Og Masterdatatjenester

datakvalitetsfunksjonalitet levert Av Datakvalitetstjenester er innebygd i EN komponent I SQL Server Integration Services (SSIS) og i funksjoner I Masterdatatjenester (Mds) slik at du kan utføre datakvalitetsprosesser i disse tjenestene.

dqs Cleansing component I Integration Services

DQS Cleansing component i Integration Services gjør det mulig å utføre datarensing som en del av En Integration Services-pakke. Når pakken kjøres, kjøres datarensing som en satsvis fil. Dette er et alternativ til å kjøre et renseprosjekt i Datakvalitetsklientprogrammet. Du kan sikre kvaliteten på dataene dine automatisk. Du trenger ikke å utføre de interaktive trinnene i et datarensingsprosjekt i Klientprogrammet Datakvalitet. Du kan inkludere data renseprosessen i en dataflyt som inneholder Andre Integration Services-komponenter. Hvis DU vil ha mer informasjon, kan DU se Dqs Cleansing Transformation.

Datakvalitetsprosesser I Master Data Services

Funksjonalitet For Datakvalitetstjenester er integrert I Master Data Services (Mds), slik at Du kan utføre de-duplisering på kildedata og masterdata i Microsoft SQL Server 2014 Master Data Services-Tillegget For Microsoft Excel. Hvis du vil utføre samsvar, laster du inn data som administreres AV MDS i Et Excel-regneark, kombinerer det med data som ikke administreres AV MDS, og utfører deretter samsvar i Excel. Datakvalitetsserverkomponentene må installeres MED MDS. Hvis Du vil ha Mer informasjon, kan Du se Samsvar Med Datakvalitet i Mds-Tillegget For Excel.