Introducere în serviciile de calitate a datelor

se aplică la: SQL Server (toate versiunile acceptate)

soluția de calitate a datelor furnizată de Data quality Services (DQS) permite unui administrator de date sau unui profesionist IT să mențină calitatea datelor și să se asigure că datele sunt potrivite pentru utilizarea sa comercială. DQS este o soluție bazată pe cunoaștere, care oferă atât modalități asistate de calculator și interactive pentru a gestiona integritatea și calitatea surselor de date. DQS vă permite să descoperiți, să construiți și să gestionați cunoștințe despre datele dvs. Apoi, puteți utiliza aceste cunoștințe pentru a efectua curățarea, potrivirea și profilarea datelor. De asemenea, puteți utiliza serviciile bazate pe cloud ale furnizorilor de date de referință într-un proiect de calitate a datelor DQS.

nevoia de afaceri pentru DQS

datele incorecte pot rezulta din erori de introducere a utilizatorului, corupție în transmisie sau stocare, definiții nepotrivite ale dicționarului de date și alte probleme de calitate și proces ale datelor. Agregarea datelor din diferite surse care utilizează standarde de date diferite poate duce la date inconsistente, la fel ca aplicarea unei reguli arbitrare sau suprascrierea datelor istorice. Datele incorecte afectează capacitatea unei companii de a-și îndeplini funcțiile de afaceri și de a furniza servicii clienților săi, ducând la pierderea credibilității și a veniturilor, nemulțumirea clienților și probleme de conformitate. Sistemele automate nu funcționează adesea cu date incorecte, iar datele proaste irosesc timpul și energia persoanelor care efectuează procese manuale. Datele incorecte pot face ravagii cu analiza datelor, raportarea, extragerea datelor și depozitarea.

datele de înaltă calitate sunt esențiale pentru eficiența întreprinderilor și a instituțiilor. O organizație de orice dimensiune poate utiliza DQS pentru a îmbunătăți valoarea informațională a datelor sale, făcând datele mai potrivite pentru utilizarea prevăzută. O soluție de calitate a datelor poate face datele mai fiabile, accesibile și reutilizabile. Poate îmbunătăți completitudinea, acuratețea, conformitatea și coerența datelor dvs., rezolvând problemele cauzate de datele proaste din volumul de lucru business intelligence sau data warehouse, precum și din sistemele OLTP operaționale.

DQS permite unui utilizator de afaceri, lucrător de informații sau profesionist IT care nu este nici expert în baze de date, nici programator să creeze, să mențină și să execute operațiunile de calitate a datelor organizației lor cu un timp minim de configurare sau pregătire.

răspunsul la această nevoie cu DQS

Calitatea Datelor nu este definită în termeni absoluți. Depinde dacă datele sunt adecvate scopului pentru care sunt destinate. DQS identifică date potențial incorecte și vă oferă o evaluare a probabilității ca datele să fie de fapt incorecte. DQS vă oferă o înțelegere semantică a datelor, astfel încât să puteți decide oportunitatea acesteia. DQS vă permite să rezolvați problemele care implică incompletitudine, lipsă de conformitate, inconsecvență, inexactitate, invaliditate și duplicarea datelor.

DQS oferă următoarele caracteristici pentru a rezolva problemele de calitate a datelor.

• curățarea datelor: modificarea, eliminarea sau îmbogățirea datelor incorecte sau incomplete, utilizând atât procese asistate de computer, cât și procese interactive. Pentru mai multe informații, consultați Curățarea datelor.

• potrivire: identificarea duplicatelor semantice într-un proces bazat pe reguli care vă permite să determinați ce constituie o potrivire și să efectuați de-duplicarea. Pentru mai multe informații, consultați potrivirea datelor.

• servicii de date de referință: verificarea calității datelor dvs. utilizând serviciile unui furnizor de date de referință. Puteți utiliza serviciile de date de referință de la Microsoft Azure Marketplace pentru a curăța, valida, potrivi și îmbogăți datele. Pentru mai multe informații, consultați servicii de date de referință în DQS.

• profilare: analiza unei surse de date pentru a oferi o perspectivă asupra calității datelor în fiecare etapă a descoperirii cunoștințelor, a gestionării domeniului, a potrivirii și a proceselor de curățare a datelor. Profilarea este un instrument puternic într-o soluție de calitate a datelor DQS. Puteți crea o soluție de calitate a datelor în care profilarea este la fel de importantă ca gestionarea cunoștințelor, potrivirea sau curățarea datelor. Pentru mai multe informații, consultați profilarea datelor și notificările din DQS.

• monitorizare: urmărirea și determinarea stării activităților de calitate a datelor. Monitorizarea vă permite să verificați dacă soluția dvs. de calitate a datelor face ceea ce a fost proiectată să facă. Pentru mai multe informații, consultați Administrarea DQS.

• baza de cunoștințe: Data Quality Services este o soluție bazată pe cunoaștere care analizează datele pe baza cunoștințelor pe care le construiți cu DQS. Acest lucru vă permite să creați procese de calitate a datelor care îmbunătățesc continuu cunoștințele despre datele dvs. și, astfel, îmbunătățește continuu calitatea datelor dvs.

următoarea ilustrație afișează procesul DQS:

o soluție bazată pe cunoaștere

baza de cunoștințe DQS este un depozit de trei tipuri de cunoștințe: cunoștințe out-of-the-box, cunoștințe generate de serverul de calitate a datelor și cunoștințe generate de utilizator. DQS vă permite să stocați cunoștințe despre datele dvs. în baza de cunoștințe, să adăugați reguli de afaceri și să modificați cunoștințele după cum doriți, apoi să le aplicați pentru a testa integritatea și corectitudinea datelor. După ce construiți baza de cunoștințe, o puteți îmbunătăți continuu și apoi o puteți reutiliza în mai multe procese de îmbunătățire a calității datelor.

cunoștințele dintr-o bază de cunoștințe identifică date potențial incorecte și propun modificări ale datelor. Poate găsi potriviri de date, permițându-vă să efectuați deduplicarea datelor. Poate compara datele sursă cu datele de referință bazate pe cloud menținute și garantate de furnizorii de calitate a datelor. Administratorul de date sau profesionistul it verifică atât cunoștințele din Baza de cunoștințe, cât și modificările care trebuie aduse datelor și execută serviciile de curățare, deduplicare și date de referință.

o bază de cunoștințe stochează toate cunoștințele legate de un anumit tip de sursă de date. De exemplu, puteți menține o bază de cunoștințe pentru o bază de date pentru clienți și o altă bază de cunoștințe pentru o bază de date pentru angajați. Cunoașterea este conținută într-unul sau mai multe domenii de date, fiecare dintre acestea fiind o reprezentare semantică a unui tip de date într-un câmp de date. O bază de cunoștințe pentru o bază de date a clienților poate avea domenii pentru nume de companii, adrese, contacte, informații de contact și așa mai departe. Un domeniu conține o listă de valori de încredere, valori nevalide și date eronate. Cunoașterea domeniului include asociații de sinonime, relații pe termen lung, reguli de validare și de afaceri și politici de potrivire. Înarmat cu aceste cunoștințe, administratorul de date poate lua o decizie informată cu privire la corectarea anumitor instanțe ale valorilor dintr-un domeniu.

DQS vă permite să efectuați operațiuni de import și export cu o bază de cunoștințe. Puteți importa sau exporta domenii sau baze de cunoștințe utilizând un fișier DQS. Puteți importa valori sau domenii dintr-un fișier Excel. De asemenea, puteți importa valori care au fost găsite printr-un proces de curățare bazat pe baza de cunoștințe înapoi într-un domeniu. Aceste operațiuni vă permit să îmbunătățiți continuu o bază de cunoștințe, asigurându-vă că cunoștințele dobândite prin decizii și descoperiri sunt direcționate înapoi în baza de cunoștințe.

soluția bazată pe cunoștințe DQS utilizează doi pași fundamentali pentru curățarea datelor:

• un proces de gestionare a cunoștințelor care construiește baza de cunoștințe

• un proiect de calitate a datelor care propune modificări ale datelor sursă pe baza cunoștințelor din Baza de cunoștințe.

pentru mai multe informații, consultați bazele de cunoștințe și domeniile DQS și proiectele privind Calitatea Datelor (DQS).

componente DQS

servicii de calitate a datelor constă din Server de calitate a datelor și Client de calitate a datelor. Aceste componente vă permit să efectuați servicii de calitate a datelor separat de alte operațiuni SQL Server. Ambele sunt instalate din cadrul programului de instalare SQL Server.

Data Quality Server este implementat ca trei cataloage SQL Server pe care le puteți gestiona și monitoriza în SQL Server Management Studio (DQS_MAIN, DQS_PROJECTS și DQS_STAGING_DATA). DQS_MAIN include proceduri stocate DQS, motorul DQS și baze de cunoștințe publicate. DQS_PROJECTS include date care sunt necesare pentru managementul bazei de cunoștințe și activitățile proiectului DQS. DQS_STAGING_DATA oferă o bază de date intermediară în care puteți copia datele sursă pentru a efectua operațiuni DQS, apoi exportați datele procesate.

Data Quality Client este o aplicație independentă care vă permite să efectuați gestionarea cunoștințelor, proiecte de calitate a datelor și administrare într-o singură interfață de utilizator. Aplicația este concepută atât pentru administratorii de date, cât și pentru administratorii DQS. Este un fișier executabil autonom care efectuează descoperirea cunoștințelor, gestionarea domeniului, crearea de politici de potrivire, curățarea datelor, potrivirea, profilarea, monitorizarea și administrarea serverului. Clientul de calitate a datelor poate fi instalat și rulat pe același computer ca Data quality Server sau de la distanță pe un computer separat. Multe operațiuni în Client de calitate a datelor sunt wizard-condus pentru ușurința de utilizare.

funcționalitatea calității datelor în Integration Services și Master Data Services

funcționalitatea calității datelor furnizată de Data Quality Services este încorporată într-o componentă a SQL Server Integration Services (SSIS) și în caracteristici ale Master Data Services (MDS) pentru a vă permite să efectuați procese de calitate a datelor în cadrul acestor servicii.

componenta de curățare DQS în Integration Services

componenta de curățare DQS în Integration Services vă permite să efectuați curățarea datelor ca parte a unui pachet de servicii de integrare. Când pachetul este rulat, curățarea datelor se execută ca fișier batch. Aceasta este o alternativă la rularea unui proiect de curățare în aplicația Client Data Quality. Puteți asigura automat calitatea datelor dvs. Nu trebuie să efectuați pașii interactivi ai unui proiect de curățare a datelor în cadrul aplicației Client Data Quality. Puteți include procesul de curățare a datelor într-un flux de date care conține alte componente de servicii de integrare. Pentru mai multe informații, consultați transformarea curățării DQS.

procese de calitate a datelor în Master Data Services

funcționalitatea Data Quality Services a fost integrată în Master Data Services (MDS), astfel încât să puteți efectua de-duplicarea datelor sursă și a datelor master în programul de completare Microsoft SQL Server 2014 Master Data Services pentru Microsoft Excel. Pentru a efectua potrivirea, încărcați datele gestionate de MDS într-o foaie de lucru Excel, combinați-le cu datele care nu sunt gestionate de MDS, apoi efectuați potrivirea în Excel. Componentele serverului de calitate a datelor trebuie instalate cu MDS. Pentru mai multe informații, consultați potrivirea calității datelor în programul de completare MDS pentru Excel.