データ品質サービスの概要

に適用されます: SQL Server(サポートされているすべてのバージョン)

Data Quality Services(DQS)が提供するデータ品質ソリューションにより、データスチュワードまたはITプロフェッショナルは、データの品質を維持し、データがビジネス使用に適していることを確認できます。 DQSは、データソースの整合性と品質を管理するためのコンピュータ支援と対話型の両方の方法を提供する知識主導型ソリューションです。 DQSを使用すると、データに関する知識を検出、構築、および管理できます。 その後、その知識を使用して、データのクレンジング、照合、およびプロファイリングを実行できます。 また、dqsデータ品質プロジェクトで参照データプロバイダーのクラウドベースのサービスを活用することもできます。

DQSのビジネスニーズ

不正なデータは、ユーザー入力エラー、送信またはストレージの破損、データディクショナリ定義の不一致、およびその他のデータ品質およ 異なるデータ標準を使用する異なるソースからのデータを集計すると、任意のルールを適用したり、履歴データを上書きしたりするなど、データに一貫性がない 誤ったデータは、ビジネス機能を実行し、顧客にサービスを提供するビジネスの能力に影響を与え、その結果、信頼性と収益、顧客の不満、およびコンプライアンス 自動化されたシステムは、多くの場合、誤ったデータでは動作しませんし、悪いデータは、手動プロセスを実行する人々の時間とエネルギーを無駄にします。 誤ったデータは、データ分析、レポート作成、データマイニング、および倉庫管理で大混乱を招く可能性があります。

高品質のデータは、企業や機関の効率性にとって重要です。 どのような規模の組織でも、DQSを使用してデータの情報価値を向上させ、データを意図した使用に適したものにすることができます。 データ品質ソリューションは、データをより信頼性が高く、アクセスしやすく、再利用可能にすることができます。 これにより、データの完全性、正確性、適合性、一貫性が向上し、ビジネスインテリジェンスやデータウェアハウスのワークロード、および運用OLTPシステムの不良デー

dqsを使用すると、データベースの専門家でもプログラマでもないビジネスユーザー、インフォメーションワーカー、またはITプロフェッショナルが、最小限のセットアップ

DQSでその必要性に答える

データ品質は絶対的な用語で定義されていません。 それは、データが意図されている目的に適しているかどうかに依存します。 DQSは、不正確なデータを識別し、データが実際に不正確である可能性の評価を提供します。 DQSでは、データの意味を理解できるため、データの妥当性を判断できます。 DQSを使用すると、不完全さ、適合性の欠如、不一致、不正確さ、無効性、およびデータの重複などの問題を解決できます。

DQSは、データ品質の問題を解決するために次の機能を提供します。

• データクレンジング:コンピュータ支援プロセスと対話型プロセスの両方を使用して、不正確または不完全なデータの変更、削除、または強化。 詳細については、”データクレンジング”を参照してください。

• マッチング: 一致を構成するものを決定し、重複排除を実行できるようにする、ルールベースのプロセスにおけるセマンティック重複の識別。 詳細については、”データ照合”を参照してください。

• 参照データサービス：参照データプロバイダーのサービスを使用して、データの品質を検証します。 Microsoft Azure Marketplaceの参照データサービスを使用して、データの浄化、検証、照合、および強化を行うことができます。 詳細については、”DQSのデータサービスの参照”を参照してください。

• プロファイリング: ナレッジ検出、ドメイン管理、照合、およびデータクレンジングプロセスのすべての段階でデータの品質に関する洞察を提供するためのデータソースの分析。 プロファイリングは、DQSデータ品質ソリューションの強力なツールです。 プロファイリングがナレッジマネジメント、マッチング、データクレンジングと同じくらい重要なデータ品質ソリューションを作成できます。 詳細については、”DQSでのデータプロファイリングと通知”を参照してください。

• 監視：データ品質活動の状態の追跡と決定。 監視を使用すると、データ品質ソリューションが設計されたことを実行していることを確認できます。 詳細については、”DQS管理”を参照してください。

• ナレッジベース:Data Quality Servicesは、DQSを使用して構築したナレッジに基づいてデータを分析するナレッジドリブンソリューションです。 これにより、データに関する知識を継続的に向上させるデータ品質プロセスを作成し、その際にデータの品質を継続的に向上させることができます。

次の図は、DQSプロセスを示しています:

ナレッジドリブンソリューション

DQSナレッジベースは、すぐに使用できるナレッジ、Data Quality Serverによって生成されたナレッジ、およびユー DQSを使用すると、データに関するナレッジをナレッジベースに保存し、ビジネスルールを追加して適切にナレッジを変更し、それを適用してデータの整合性 ナレッジベースを構築した後は、継続的に改善し、複数のデータ品質改善プロセスで再利用できます。

ナレッジベース内のナレッジは、潜在的に不正なデータを識別し、データへの変更を提案します。 一致するデータが検出されるため、データ重複排除を実行できます。 これは、データ品質プロバイダによって維持され、保証されたクラウドベースの参照データとソースデータを比較することができます。 データスチュワードまたはITプロフェッショナルは、ナレッジベースの知識とデータに加えられる変更の両方を検証し、クレンジング、重複排除、および参照デー

ナレッジベースには、特定のタイプのデータソースに関連するすべてのナレッジが格納されます。 たとえば、顧客データベースの1つのナレッジベースと従業員データベースの別のナレッジベースを管理できます。 知識は、1つまたは複数のデータ領域に含まれ、それぞれがデータフィールド内のデータの種類の意味表現である。 顧客データベースのナレッジベースには、会社名、住所、連絡先、連絡先情報などのドメインが含まれている場合があります。 ドメインには、信頼された値、無効な値、および誤ったデータの一覧が含まれています。 ドメインの知識には、同義語の関連付け、用語の関係、検証ルールとビジネスルール、および一致するポリシーが含まれます。 この知識を活用して、データスチュワードは、ドメイン内の値の特定のインスタンスを修正するかどうかについて情報に基づいた決定を行うことがで

dqsを使用すると、ナレッジベースを使用してインポートおよびエクスポート操作を実行できます。 Dqsファイルを使用して、ドメインまたはナレッジベースをインポートまたはエクスポートできます。 Excelファイルから値またはドメインをインポートできます。 また、ナレッジベースに基づいてクレンジングプロセスによって検出された値をドメインにインポートすることもできます。 これらの操作を使用すると、ナレッジベースを継続的に改善し、意思決定や発見によって得られた知識がナレッジベースに戻されるようにします。

DQSナレッジドリブンソリューションは、データを浄化するために二つの基本的な手順を使用します:

• ナレッジベースを構築するナレッジマネジメントプロセス

• ナレッジベースのナレッジに基づいてソースデータへの変更を提案するデータ品質プロジェクト。

詳細については、”Dqsナレッジベースとドメイン”および”データ品質プロジェクト(DQS)”を参照してください。

Dqsコンポーネント

Data Qualityサービスは、Data QualityサーバーとData Qualityクライアントで構成されます。 これらのコンポーネントを使用すると、他のSQL Server操作とは別にdata quality servicesを実行できます。 両方とも、SQL Serverセットアッププログラム内からインストールされます。

Data Quality Serverは、SQL Server Management Studioで管理および監視できる3つのSQL Serverカタログとして実装されています(DQS_MAIN、DQS_PROJECTS、およびDQS_STAGING_DATA)。 DQS_MAINには、DQSストアドプロシージャ、DQSエンジン、およびパブリッシュされたナレッジベースが含まれています。 DQS_PROJECTSには、ナレッジベース管理およびDQSプロジェクト活動に必要なデータが含まれます。 DQS_STAGING_DATAは、ソースデータをコピーしてDQS操作を実行し、処理されたデータをエクスポートできる中間ステージングデータベースを提供します。

Data Quality Clientは、ナレッジ管理、データ品質プロジェクト、および管理を1つのユーザーインターフェイスで実行できるスタンドアロンアプリケーションです。 アプリケーションは、データスチュワードとDQS管理者の両方のために設計されています。 これは、ナレッジ検出、ドメイン管理、照合ポリシーの作成、データクレンジング、照合、プロファイリング、監視、およびサーバー管理を実行するスタンドアロンの実 Data Quality Clientは、Data Quality Serverと同じコンピュータにインストールして実行することも、別のコンピュータにリモートで実行することもできます。 Data Quality Clientの多くの操作は、使いやすさのためにウィザード駆動です。

Integration ServicesおよびMaster Data Servicesのデータ品質機能

Data Quality Servicesで提供されるデータ品質機能は、SQL Server Integration Services(SSIS)のコンポーネントとMaster Data Services(MDS)の機能に組み込まれており、これらのサー

Integration ServicesのDQSクレンジングコンポーネント

Integration ServicesのDQSクレンジングコンポーネントを使用すると、Integration Servicesパッケージの一部としてデータクレンジングを実行で パッケージを実行すると、データクレンジングがバッチファイルとして実行されます。 これは、Data Qualityクライアントアプリケーションでクレンジングプロジェクトを実行する代わりに使用できます。 あなたは自動的にあなたのデータの品質を確保することができます。 Data Qualityクライアントアプリケーション内で、データクレンジングプロジェクトの対話式手順を実行する必要はありません。 他のIntegration Servicesコンポーネントを含むデータフロー内にデータクレンジングプロセスを含めることができます。 詳細については、”DQSクレンジング変換”を参照してください。

マスターデータサービスのデータ品質プロセス

データ品質サービス機能はマスターデータサービス(MDS)に統合されているため、Microsoft SQL Server2014マスターデータサービスMicrosoft Excel用アドイン 照合を実行するには、Mdsで管理されているデータをExcelワークシートに読み込み、MDSで管理されていないデータと結合してから、Excel内で照合を実行します。 Data Qualityサーバーコンポーネントは、MDSと共にインストールする必要があります。 詳細については、”MdsアドインFor Excelでのデータ品質の一致”を参照してください。