データ品質定義

データ品質定義は、データ品質ルールの汎用形式を表します。 これは、実際のデータに結合されていない論理変数を使用して、ルールの評価または条件を記述します。 したがって、任意の数の データ品質ルールで使用できます。 データ品質定義を変更すると、その定義から派生したすべてのルールの検証ロジックも変更されます。

プロジェクトでデータ品質定義を作成および管理します。 データ品質定義を他のプロジェクトで再利用できるようにするには、データ品質定義をカタログに公開します。

データ品質ルール

データ品質ルールは、評価のために論理変数を実際のデータに バインド します。 ルールは、特定の条件を評価および検証することによってデータの品質を評価するために、物理データに対して実行されます。 各ルール実行は、ルールの出力表に定義されている潜在的な例外に関する統計と情報を提供します。

プロジェクトでデータ品質ルールを作成、管理、および実行します。

1 つ以上のデータ品質定義からルールを作成することも、SQL ステートメントを使用してデータ品質ルールを作成することもできます。 データ品質定義から作成されたルールは、どの列がルール条件に準拠し、どの列が準拠しないかをキャプチャーします。 非準拠レコードのチェックには、SQL ベースのルールの方が適しています。

例えば、税 ID を検証するとします。 したがって、概念は TaxID exists および Validate TaxIDのようになります。

現在、以下のオプションがあります。

• データ品質定義からルールを作成します。 どちらの概念についても、論理変数 tax_idの評価ロジックを使用してデータ品質定義を作成できます。 最初の条件は、税 ID (または TaxID) が存在する必要があること、2 番目の条件は、税 ID が定義された形式を満たす必要があることです。

  データ品質定義 TaxID exists: tax_id exists
  データ品質定義 TaxID: tax_id matches_format 'AA99-A999-9999'

  次に、以下のいずれかのオプションを選択します。

  • 検証する税 ID を含む列ごとに、2 つのデータ品質ルールを定義します。 最初の規則は、定義 TaxID exists の論理変数 tax_id を列にバインドします。 2 番目の規則は、定義 「Validate」 TaxID の論理変数 tax_id を列にバインドします。
  • 検証対象の税 ID を含む列ごとに、1 つのデータ品質ルールを定義し、そのルールで両方のデータ品質定義を使用します。 TaxID exists と Validate TaxID のいずれかの定義の論理変数 tax_id を列にバインドします。
  • 1 つのデータ品質ルールを定義し、そのルールで両方のデータ品質定義を使用します。 TaxID exists と Validate TaxID のいずれかの定義にある論理変数 tax_id を、 Parameter from columnタイプのパラメーター・セットにバインドします。 検証する税 ID を含むすべての列をそのパラメーター・セットに追加します。

• SQL ベースのルールを作成します。 select tax_id from taxschema.taxtable where tax_id is null or not regexp_like(tax_id, '^[a-zA-Z]{2}[0-9]{2}-[a-zA-Z][0-9]{3}-[0-9]{4}$')

もっと見る

• データ品質定義の管理
• データ品質ルールの管理

親トピック: データ品質の管理