Introduction to Data Quality Services

koskee: SQL Server (kaikki tuetut versiot)

Data Quality Servicesin (DQS) tarjoama datalaaturatkaisu mahdollistaa sen, että data-stuertti tai IT-ammattilainen voi ylläpitää datansa laatua ja varmistaa, että tieto soveltuu sen yrityskäyttöön. DQS on tietoon perustuva ratkaisu, joka tarjoaa sekä tietokoneavusteisia että interaktiivisia tapoja hallita tietolähteiden eheyttä ja laatua. DQS: n avulla voit löytää, rakentaa ja hallita tietojasi. Voit sitten käyttää tätä tietoa suorittaa tietojen puhdistus, matching, ja profilointi. Voit myös hyödyntää referenssitietojen tarjoajien pilvipohjaisia palveluja DQS-datalaatuprojektissa.

tietojen Laadunvalvontatarve

virheelliset tiedot voivat johtua käyttäjien syöttövirheistä, tietojen siirto-tai tallennusvirheistä, tietojen ristiriitaisista määritelmistä sekä muista tietojen laatu-ja prosessiongelmista. Eri lähteistä, joissa käytetään erilaisia datastandardeja, saatujen tietojen yhdistäminen voi johtaa epäjohdonmukaisiin tietoihin, samoin kuin mielivaltaisen säännön soveltaminen tai historiatietojen korvaaminen. Virheelliset tiedot vaikuttavat yrityksen kykyyn suoriutua liiketoiminnoistaan ja tarjota palveluja asiakkailleen, mikä johtaa uskottavuuden ja tulojen menetykseen, asiakkaiden tyytymättömyyteen ja vaatimustenmukaisuusongelmiin. Automaattiset järjestelmät eivät useinkaan toimi virheellisten tietojen kanssa, ja huono data tuhlaa manuaalisia prosesseja suorittavien ihmisten aikaa ja energiaa. Virheelliset tiedot voivat aiheuttaa tuhoa tietojen analysoinnissa, raportoinnissa, tiedon louhinnassa ja varastoinnissa.

laadukas data on ratkaisevan tärkeää yritysten ja laitosten tehokkuuden kannalta. Minkä kokoinen organisaatio tahansa voi käyttää DQS: ää parantaakseen tietonsa informaatioarvoa, jolloin tieto soveltuu paremmin käyttötarkoitukseensa. Datalaaturatkaisu voi tehdä datasta luotettavamman, helpommin saatavilla olevan ja uudelleenkäytettävän. Se voi parantaa tietojesi täydellisyyttä, tarkkuutta, yhdenmukaisuutta ja johdonmukaisuutta ja ratkaista huonon datan aiheuttamat ongelmat liiketoimintatiedon tai tietovaraston työkuormissa sekä toiminnallisissa OLTP-järjestelmissä.

DQS: n avulla Yrityskäyttäjä, tietotyöntekijä tai IT-ammattilainen, joka ei ole tietokantaekspertti eikä ohjelmoija, voi luoda, ylläpitää ja toteuttaa organisaationsa tiedonlaatutoimintoja minimaalisella asennus-tai valmistautumisajalla.

tähän tarpeeseen vastaamista, kun tietojen laatu on

, ei ole määritelty absoluuttisesti. Se riippuu siitä, soveltuvatko tiedot siihen tarkoitukseen, johon ne on tarkoitettu. DQS tunnistaa mahdollisesti virheelliset tiedot ja antaa arvion siitä, kuinka todennäköistä on, että tiedot ovat todellisuudessa virheellisiä. DQS tarjoaa semanttisen ymmärryksen datasta, jotta voit päättää sen asianmukaisuudesta. DQS: n avulla voit ratkaista ongelmia, jotka liittyvät epätäydellisyyteen, virheettömyyteen, epäjohdonmukaisuuteen, epätarkkuuteen, pätemättömyyteen ja tietojen päällekkäisyyteen.

DQS tarjoaa seuraavat ominaisuudet tietojen laatuongelmien ratkaisemiseksi.

• tietojen puhdistus: virheellisen tai epätäydellisen tiedon muokkaaminen, poistaminen tai rikastaminen sekä tietokoneavusteisilla että interaktiivisilla prosesseilla. Lisätietoja on kohdassa Data Cleansing.

• täsmäys: semanttisten kaksoiskappaleiden tunnistaminen sääntöpohjaisessa prosessissa, jonka avulla voit määrittää, mikä on ottelu ja suorittaa päällekkäisyyden poistamisen. Lisätietoja on ohjeaiheessa tietojen täsmääminen.

• Viitetietopalvelut: tietojen laadun varmistaminen käyttämällä viitetietojen tarjoajan palveluja. Voit käyttää Microsoft Azure Marketplacen viitetietopalveluja tietojen puhdistamiseen, validointiin, sovittamiseen ja rikastamiseen. Lisätietoja, Katso viite Data Services DQS.

• profilointi: tietolähteen analysointi, jotta saadaan tietoa tietojen laadusta tiedon löytämisen, toimialueen hallinnan, yhteensovittamisen ja tietojen puhdistuksen kaikissa vaiheissa. Profilointi on tehokas työkalu DQS-tietojen laaturatkaisussa. Voit luoda tiedonlaaturatkaisun, jossa profilointi on yhtä tärkeää kuin tiedonhallinta, yhteensovittaminen tai tietojen puhdistus. Lisätietoja on ohjeaiheessa tietojen profilointi ja ilmoitukset DQS: ssä.

• seuranta: tietojen laatua koskevien toimien tilan seuranta ja määrittäminen. Seurannan avulla voit tarkistaa, että tietojen laatu ratkaisu tekee mitä se on suunniteltu tekemään. Lisätietoja, Katso DQS Administration.

• Knowledge Base: Data Quality Services on tietoon perustuva ratkaisu, joka analysoi tietoja perustuen DQS: llä rakennettuun tietoon. Näin voit luoda tietojen laatuprosesseja, jotka jatkuvasti lisäävät tietojesi tuntemusta ja siten jatkuvasti parantavat tietojesi laatua.

seuraavassa kuvassa näkyy DQS-prosessi:

tietoon perustuva ratkaisu

tietojen laadun tietopohja on kolmentyyppisen tiedon säilytyspaikka: Out-of-the-box-tieto, Data Quality Serverin tuottama tieto ja käyttäjän tuottama tieto. DQS: n avulla voit tallentaa tietojasi koskevia tietoja tietopohjaan, lisätä liiketoimintasääntöjä ja muokata tietoja parhaaksi katsomallasi tavalla ja sitten soveltaa niitä testataksesi tietojen eheyttä ja oikeellisuutta. Kun olet rakentanut tietopohjan, voit jatkuvasti parantaa sitä ja sitten käyttää sitä uudelleen useissa tiedon laadun parantamisprosesseissa.

tietopohjassa oleva tieto tunnistaa mahdollisesti virheellisiä tietoja ja ehdottaa niihin muutoksia. Se voi löytää tiedot ottelut, jonka avulla voit suorittaa tietojen deduplication. Se voi verrata lähdetietoja pilvipohjaiseen viitetietoon, jota tietojen laadun tarjoajat ylläpitävät ja takaavat. Tietovalvoja tai IT-ammattilainen tarkastaa sekä tietopohjan tiedot että tietoihin tehtävät muutokset sekä suorittaa puhdistus -, deduplication-ja referenssitietopalvelut.

tietopohja tallentaa kaiken tietyntyyppiseen tietolähteeseen liittyvän tiedon. Voit esimerkiksi ylläpitää yhtä tietopohjaa asiakastietokantaa varten ja toista tietopohjaa työntekijätietokantaa varten. Tieto sisältyy yhteen tai useampaan tietoalueeseen, joista jokainen on semanttinen esitys tietyntyyppisestä datasta tietokentässä. Asiakastietokannan tietopohjassa voi olla verkkotunnuksia yritysten nimiä, osoitteita, yhteystietoja, yhteystietoja ja niin edelleen. Toimialue sisältää luettelon luotettavista arvoista, virheellisistä arvoista ja virheellisistä tiedoista. Domain knowledge sisältää synonyymiyhdistykset, termisuhteet, validointi-ja liiketoimintasäännöt sekä vastaavat käytännöt. Aseistettu tämän tiedon, data steward voi tehdä tietoon perustuvan päätöksen siitä, onko korjata tiettyjä tapauksia arvojen verkkotunnuksen.

DQS mahdollistaa tuonti-ja vientitoiminnan tietopohjalla. Voit tuoda tai viedä verkkotunnuksia tai tietopohjia käyttämällä DQS-tiedostoa. Voit tuoda arvoja tai verkkotunnuksia Excel-tiedostosta. Voit myös tuoda tietopohjaan perustuvalla puhdistusprosessilla löytyneitä arvoja takaisin verkkotunnukseen. Näiden operaatioiden avulla voit jatkuvasti parantaa tietopohjaa varmistaen, että päätösten ja löytöjen kautta saatu tieto ohjataan takaisin tietopohjaan.

DQS-tietopohjainen ratkaisu käyttää kahta perusvaihetta tietojen puhdistamiseen:

• tiedonhallintaprosessi, joka rakentaa tietopohjaa

• tiedon laatuhanke, jossa ehdotetaan muutoksia lähdeaineistoon tietopohjassa olevan tiedon perusteella.

lisätietoja on ohjeaiheessa DQS Knowledge Bases and Domains and Data Quality Projects (DQS).

DQS Components

Data Quality Services koostuu Data Quality Server ja Data Quality Client. Näiden komponenttien avulla voit suorittaa tietojen laatupalveluja erillään muista SQL Server-toiminnoista. Molemmat asennetaan SQL Server setup-ohjelman sisältä.

Data Quality Server on toteutettu kolmena SQL Server-luettelona, joita voit hallita ja seurata SQL Server Management studiossa (DQS_MAIN, DQS_PROJECTS ja DQS_STAGING_DATA). DQS_MAIN sisältää DQS-tallennetut menettelyt, DQS-Moottorin ja julkaistut tietopohjat. DQS_PROJECTS sisältää tietoja, joita tarvitaan tietopohjan hallintaan ja DQS-hanketoimintaan. DQS_STAGING_DATA tarjoaa välivaiheen valmistelutietokannan, jossa voit kopioida lähdetiedot suorittaaksesi DQS-toiminnot ja viedä sitten käsitellyt tiedot.

Data Quality Client on itsenäinen sovellus, joka mahdollistaa tiedonhallinnan, tietojen laatuprojektien ja hallinnan yhdessä käyttöliittymässä. Sovellus on suunniteltu sekä tietojen valvojille että DQS-ylläpitäjille. Se on itsenäinen suoritettavan tiedoston, joka suorittaa tiedon löytämisen, verkkotunnuksen hallinta, matching policy luominen, tietojen puhdistus, matching, profilointi, seuranta, ja palvelimen hallinta. Data Quality Client voidaan asentaa ja ajaa samassa tietokoneessa kuin Data Quality Server tai etänä erillisessä tietokoneessa. Monet toiminnot Data Quality Client ovat ohjattuja helppokäyttöisyyden vuoksi.

Integraatiopalveluissa ja Master Data-palveluissa

Data Quality Services-palvelun tarjoamat tiedon laatutoiminnot on integroitu SQL Server Integration Services (SSIS) – komponenttiin ja Master Data Services (MDS) – ominaisuuksiin, jotta voit suorittaa tietojen laatuprosesseja kyseisissä palveluissa.

DQS-Puhdistuskomponentti Integraatiopalveluissa

Integraatiopalveluiden DQS-Puhdistuskomponentti mahdollistaa tietojen puhdistamisen osana Integraatiopalvelupakettia. Kun paketti ajetaan, data cleansing suoritetaan eräajotiedostona. Tämä on vaihtoehto puhdistusprojektin ajamiselle Data Quality Client-sovelluksessa. Voit varmistaa tietojen laadun automaattisesti. Sinun ei tarvitse suorittaa tietojen puhdistusprojektin interaktiivisia vaiheita Data Quality Client-sovelluksessa. Voit sisällyttää tietojen puhdistusprosessin tietovirtaan, joka sisältää muita Integraatiopalvelujen komponentteja. Lisätietoja on ohjeaiheessa DQS Cleansing Transformation.

tietojen laatuprosessit Master Data Services

tietojen laatupalvelujen toiminnallisuus on integroitu Master Data Services (MDS)-järjestelmään, joten voit poistaa lähdetietojen ja master datan päällekkäisyyksiä Microsoft SQL Server 2014 Master Data Services-lisäosassa Microsoft Excelissä. Jos haluat suorittaa yhteensopivuuden, lataa MDS: n hallinnoimat tiedot Excel-laskentataulukkoon, yhdistä se tietoihin, joita MDS ei hallinnoi, ja suorita matching Excelissä. Datalaadun palvelinkomponentit on asennettava MDS: llä. Lisätietoja, Katso tietojen laadun Matching MDS Add-in Excel.