Inleiding tot diensten voor gegevenskwaliteit

is van toepassing op: SQL Server (alle ondersteunde versies)

de oplossing voor gegevenskwaliteit die wordt geleverd door Data Quality Services (DQS) stelt een data steward of IT-professional in staat de kwaliteit van hun gegevens te handhaven en ervoor te zorgen dat de gegevens geschikt zijn voor het zakelijke gebruik. DQS is een kennisgestuurde oplossing die zowel computergestuurde als interactieve manieren biedt om de integriteit en kwaliteit van uw gegevensbronnen te beheren. DQS stelt u in staat om kennis over uw gegevens te ontdekken, op te bouwen en te beheren. U kunt die kennis vervolgens gebruiken om gegevens te reinigen, matchen en profileren uit te voeren. U kunt ook gebruikmaken van de cloudgebaseerde diensten van referentiedataproviders in een DQS-project voor gegevenskwaliteit.

de zakelijke behoefte aan DQ ‘ s

onjuiste gegevens kunnen het gevolg zijn van fouten bij het invoeren door de gebruiker, corruptie in de transmissie of opslag, onjuiste definities van gegevenswoordenboek en andere problemen met de kwaliteit van gegevens en processen. Het aggregeren van gegevens uit verschillende bronnen die verschillende gegevensstandaarden gebruiken, kan resulteren in inconsistente gegevens, evenals het toepassen van een willekeurige regel of het overschrijven van historische gegevens. Onjuiste gegevens zijn van invloed op het vermogen van een bedrijf om zijn zakelijke functies uit te voeren en om diensten te verlenen aan zijn klanten, wat resulteert in een verlies van geloofwaardigheid en inkomsten, ontevredenheid van de klant, en compliance kwesties. Geautomatiseerde systemen werken vaak niet met onjuiste gegevens en slechte gegevens verspillen tijd en energie van mensen die handmatige processen uitvoeren. Onjuiste gegevens kunnen schade aanrichten met gegevensanalyse, rapportage, datamining en opslag.

hoogwaardige gegevens zijn van cruciaal belang voor de efficiëntie van bedrijven en instellingen. Een organisatie van elke omvang kan DQ ‘ s gebruiken om de informatiewaarde van haar gegevens te verbeteren, waardoor de gegevens meer geschikt zijn voor het beoogde gebruik. Een oplossing voor gegevenskwaliteit kan gegevens betrouwbaarder, toegankelijker en herbruikbaar maken. Het kan de volledigheid, nauwkeurigheid, Conformiteit en consistentie van uw gegevens verbeteren en problemen oplossen die worden veroorzaakt door slechte gegevens in business intelligence of Data warehouse workloads, evenals in operationele OLTP-systemen.

DQS stelt een zakelijke gebruiker, informatiewerker of IT-professional die noch een database-expert noch een programmeur is in staat om de gegevenskwaliteitsoperaties van hun organisatie te creëren, te onderhouden en uit te voeren met een minimale setup-of voorbereidingstijd.

die behoefte beantwoorden met DQS

de gegevenskwaliteit wordt niet in absolute termen gedefinieerd. Het hangt af van de vraag of gegevens geschikt zijn voor het doel waarvoor ze zijn bedoeld. DQS identificeert mogelijk onjuiste gegevens en geeft u een beoordeling van de waarschijnlijkheid dat de gegevens in feite onjuist zijn. DQS biedt u een semantisch begrip van de gegevens, zodat u de geschiktheid ervan kunt bepalen. DQS stelt u in staat om problemen op te lossen met betrekking tot onvolledigheid, gebrek aan overeenstemming, inconsistentie, onnauwkeurigheid, ongeldigheid en duplicatie van gegevens.

DQS biedt de volgende functies om problemen met de gegevenskwaliteit op te lossen.

• Gegevensreiniging: het wijzigen, verwijderen of verrijken van gegevens die onjuist of onvolledig zijn, met behulp van zowel computergesteunde als interactieve processen. Zie Gegevensreiniging voor meer informatie.

• Matching: de identificatie van semantische duplicaten in een op regels gebaseerd proces waarmee u kunt bepalen wat een match is en de-duplicatie kunt uitvoeren. Zie gegevensvergelijking voor meer informatie.

• referentiegegevens: verificatie van de kwaliteit van uw gegevens met behulp van de diensten van een leverancier van referentiegegevens. U kunt reference data services van Microsoft Azure Marketplace gebruiken om gegevens te reinigen, te valideren, te matchen en te verrijken. Zie Reference Data Services in DQS voor meer informatie.

• profilering: de analyse van een gegevensbron om inzicht te geven in de kwaliteit van de gegevens in elke fase van de kennisontdekking, domeinbeheer, matching en data cleansing processen. Profilering is een krachtige tool in een DQS-oplossing voor gegevenskwaliteit. U kunt een oplossing voor gegevenskwaliteit creëren waarbij profilering net zo belangrijk is als kennisbeheer, matching of gegevensreiniging. Zie gegevensprofilering en meldingen in DQS voor meer informatie.

• Monitoring: het volgen en bepalen van de toestand van de activiteiten op het gebied van gegevenskwaliteit. Monitoring stelt u in staat om te controleren of uw oplossing voor gegevenskwaliteit doet waarvoor deze is ontworpen. Zie DQS-beheer voor meer informatie.

• Knowledge Base: Data Quality Services is een kennisgestuurde oplossing die data analyseert op basis van kennis die je bouwt met DQS. Zo kunt u processen voor gegevenskwaliteit creëren die de kennis over uw gegevens voortdurend verbeteren en daarmee de kwaliteit van uw gegevens voortdurend verbeteren.

de volgende afbeelding toont het DQS-proces:

een Kennisgestuurde oplossing

de DQS knowledge base is een opslagplaats van drie soorten kennis: out-of-the-box kennis, kennis gegenereerd door Data Quality Server en kennis gegenereerd door de gebruiker. DQS stelt u in staat om kennis over uw gegevens op te slaan in de knowledge base, zakelijke regels toe te voegen en de kennis naar eigen goeddunken aan te passen en vervolgens toe te passen om de integriteit en juistheid van de gegevens te testen. Nadat je de knowledge base hebt opgebouwd, kun je deze continu verbeteren en vervolgens hergebruiken in meerdere processen voor kwaliteitsverbetering van data.

kennis in een kennisbank identificeert mogelijk onjuiste gegevens en stelt wijzigingen in de gegevens voor. Het kan gegevens matches vinden, zodat u gegevens deduplicatie uit te voeren. Het kan brongegevens vergelijken met cloudgebaseerde referentiegegevens die worden onderhouden en gegarandeerd door leveranciers van gegevenskwaliteit. De data steward of IT-professional verifieert zowel de kennis in de kennisbasis als de aan te brengen wijzigingen in de gegevens en voert de diensten voor reiniging, deduplicatie en referentiegegevens uit.

een kennisbank slaat alle kennis met betrekking tot een specifiek type gegevensbron op. U kunt bijvoorbeeld een kennisbank voor een klantendatabase en een andere kennisbank voor een medewerkerdatabase behouden. Kennis is opgenomen in een of meer datadomeinen, die elk een semantische weergave zijn van een type gegevens in een gegevensveld. Een kennisbank voor een klantendatabase kan domeinen voor bedrijfsnamen, adressen, contacten, contactgegevens, enzovoort hebben. Een domein bevat een lijst met vertrouwde waarden, ongeldige waarden en onjuiste gegevens. Domein kennis omvat Synoniemen verenigingen, term relaties, validatie en zakelijke regels, en matching beleid. Gewapend met deze kennis, kan de data steward een weloverwogen beslissing nemen over het al dan niet corrigeren van specifieke gevallen van de waarden in een domein.

met DQS kunt u importeren en exporteren met een kennisbank. U kunt domeinen of kennisbanken importeren of exporteren met behulp van een DQS-bestand. U kunt waarden of domeinen importeren uit een Excel-bestand. U kunt ook waarden importeren die zijn gevonden door een reinigingsproces op basis van de knowledge base terug in een domein. Deze operaties stellen u in staat om voortdurend een kennisbasis te verbeteren en ervoor te zorgen dat kennis die door beslissingen en ontdekkingen is opgedaan, terug naar de kennisbasis wordt geleid.

de DQS kennisgestuurde oplossing maakt gebruik van twee fundamentele stappen om gegevens te reinigen:

• een kennismanagementproces dat de kennisbasis bouwt

• een datakwaliteit project dat wijzigingen aan de brongegevens voorstelt op basis van de kennis in de kennisbasis.

zie DQS Knowledge Bases and Domains and Data Quality Projects (DQS) voor meer informatie.

DQS-componenten

Data Quality Services bestaat uit Data Quality Server en Data Quality Client. Met deze componenten kunt u services voor gegevenskwaliteit afzonderlijk uitvoeren van andere SQL Server-bewerkingen. Beide worden geïnstalleerd vanuit het SQL Server setup programma.

Data Quality Server is geïmplementeerd als drie SQL Server catalogi die u kunt beheren en bewaken in de SQL Server Management Studio (DQS_MAIN, DQS_PROJECTS, en DQS_STAGING_DATA). DQS_MAIN bevat DQS opgeslagen procedures, de DQS engine, en gepubliceerde kennisbases. Dqs_projects bevat gegevens die nodig zijn voor knowledge base management en DQS projectactiviteiten. Dqs_staging_data biedt een intermediate staging database waar u uw brongegevens kunt kopiëren om DQS-bewerkingen uit te voeren en vervolgens uw verwerkte gegevens te exporteren.

Data Quality Client is een standalone applicatie die u in staat stelt om kennisbeheer, data quality projecten en beheer uit te voeren in één gebruikersinterface. De applicatie is ontworpen voor zowel data stewards en DQS-beheerders. Het is een stand-alone uitvoerbaar bestand dat kennisontdekking, domeinbeheer, het maken van matchingbeleid, het opschonen van gegevens, matching, profilering, monitoring en Serverbeheer uitvoert. Data Quality Client kan worden geïnstalleerd en uitgevoerd op dezelfde computer als Data Quality Server of op afstand op een afzonderlijke computer. Veel bewerkingen in Data Quality Client zijn wizard-driven voor gebruiksgemak.

functionaliteit voor gegevenskwaliteit in integratieservices en Stamdataservices

functionaliteit voor gegevenskwaliteit die wordt geleverd door Data Quality Services is ingebouwd in een component van SQL Server Integration Services (SSIS) en in functies van Stamdataservices (MDS) om u in staat te stellen processen voor gegevenskwaliteit binnen deze services uit te voeren.

DQS Cleansing component in Integration Services

de DQS Cleansing component in Integration Services stelt u in staat om gegevens te reinigen als onderdeel van een Integration Services pakket. Wanneer het pakket wordt uitgevoerd, data cleansing wordt uitgevoerd als een batch-bestand. Dit is een alternatief voor het uitvoeren van een reinigingsproject in de Data Quality Client applicatie. U kunt de kwaliteit van uw gegevens automatisch garanderen. U hoeft niet de interactieve stappen van een data cleansing project uit te voeren binnen de Data Quality Client applicatie. U kunt het gegevensreinigingsproces opnemen in een gegevensstroom die andere componenten van integratieservices bevat. Zie DQS Cleansing Transformation voor meer informatie.

processen voor gegevenskwaliteit in Stamdataservices

de functionaliteit voor gegevenskwaliteit is geïntegreerd in Stamdataservices (MDS), zodat u de duplicatie van brongegevens en stamgegevens kunt uitvoeren binnen de Microsoft SQL Server 2014 Stamdataservices-invoegtoepassing voor Microsoft Excel. Als u matching wilt uitvoeren, laadt u gegevens die door MDS worden beheerd in een Excel-werkblad, combineert u deze met gegevens die niet door MDS worden beheerd en voert u vervolgens matching uit binnen Excel. De componenten van de server voor gegevenskwaliteit moeten met MDS worden geïnstalleerd. Zie Gegevenskwaliteitsaanpassing in de MDS-invoegtoepassing voor Excel voor meer informatie.