Tables de génération de rapports de règles de qualité de données

Retourner à la version anglaise de la documentation

Dernière mise à jour : 13 déc. 2024

Tables de génération de rapports de règles de qualité de données

Vérifiez les déclarations Postgres, Db2 pour les tables sont liées à la qualité des données.

Domaine	Nom de la table	Descriptif
Règles de qualité des données	dq_issues_for_asset_columns	Problèmes de qualité de données pour une colonne.
Règles de qualité des données	dq_issues_for_assets	Problèmes observés lorsque les actifs font l'objet d'une analyse de la qualité afin de déterminer la qualité globale des données.
Règles de qualité des données	vérification_dq	Informations sur les contrôles de qualité des données.
Règles de qualité des données	dq_v4_dimensions	Informations sur les dimensions de qualité de la règle, par exemple, s'il y a des doublons.
Règles de qualité des données	dq_rule_definitions	Définition de la règle de qualité de données.
Règles de qualité des données	dq_rules_defs	Définitions de règle de qualité de données.
Règles de qualité des données	règle_dq	Informations sur la règle de qualité de données.
Règles de qualité des données	dq_rule_bindings	Liaisons de règle pour la règle de qualité de données.
Règles de qualité des données	exécution_règle_dq	Heure planifiée pour le travail de règle de qualité de données.

Table dq_issues_for_asset_columns

Cette table comporte les colonnes suivantes:

issue_id -Identificateur du problème d'actif.
asset_id -Identificateur de l'actif.
container_id -Identificateur du projet.
column_name -Nom de la colonne pour laquelle vous exécutez les règles de qualité de données et l'analyse.
check_id -Identificateur du contrôle de qualité des données.
number_of_occurences -Nombre d'occurrences trouvées pour le contrôle de la qualité des données.
number_of_tested_records -Nombre d'enregistrements testés trouvés pour le contrôle de la qualité des données.
percent_occurences -Pourcentage des occurrences.
score -Score trouvé après l'exécution d'une vérification.
status -Statut en cours d'un problème.
ignored -Indicateur permettant d'identifier si le problème en cours est lié au problème de qualité des données.

Postgres

Instruction CREATE TABLE :

CREATE TABLE IF NOT EXISTS dq_issues_for_asset_columns (
  issue_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  container_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  column_name character varying(256) COLLATE pg_catalog.default NOT NULL,
  asset_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  check_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  number_of_occurrences bigint NOT NULL DEFAULT 0,
  number_of_tested_records bigint NOT NULL DEFAULT 0,
  percent_occurrences double precision,
  score double precision,
  status character varying(16) COLLATE pg_catalog.default NOT NULL,
  ignored boolean NOT NULL,
  tech_start timestamp(6) without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end timestamp(6) without time zone NOT NULL DEFAULT to_timestamp('9999-12-30' :: text, 'YYYY-MM-DD' :: text),
  ts_id timestamp(6) without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
  CONSTRAINT dq_issues_for_asset_columns_pkey PRIMARY KEY (issue_id, asset_id, container_id, column_name),
  CONSTRAINT fk_dq_issues_for_asset_columns_container_data_asset_columns_6 FOREIGN KEY (container_id, asset_id, column_name) REFERENCES container_data_asset_columns (container_id, asset_id, name) MATCH SIMPLE ON UPDATE NO ACTION ON DELETE CASCADE,
  CONSTRAINT fk_dq_issues_for_asset_columns_dq_checks_5 FOREIGN KEY (container_id, check_id) REFERENCES dq_checks (container_id, check_id) MATCH SIMPLE ON UPDATE NO ACTION ON DELETE CASCADE
)

Db2

Instruction CREATE TABLE :

CREATE TABLE DQ_ISSUES_FOR_ASSET_COLUMNS (
  ISSUE_ID VARCHAR(36 OCTETS) NOT NULL,
  CONTAINER_ID VARCHAR(36 OCTETS) NOT NULL,
  COLUMN_NAME VARCHAR(256 OCTETS) NOT NULL,
  ASSET_ID VARCHAR(36 OCTETS) NOT NULL,
  CHECK_ID VARCHAR(36 OCTETS) NOT NULL,
  NUMBER_OF_OCCURRENCES BIGINT NOT NULL WITH DEFAULT 0,
  NUMBER_OF_TESTED_RECORDS BIGINT NOT NULL WITH DEFAULT 0,
  PERCENT_OCCURRENCES DOUBLE,
  SCORE DOUBLE,
  STATUS VARCHAR(16 OCTETS) NOT NULL,
  IGNORED BOOLEAN NOT NULL,
  TECH_START TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
  TECH_END TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
  TS_ID TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
  PERIOD SYSTEM_TIME (TECH_START, TECH_END)
) IN USERSPACE1 ORGANIZE BY ROW;

Instructions ALTER TABLE:

ALTER TABLE
  DQ_ISSUES_FOR_ASSET_COLUMNS
ADD
  PRIMARY KEY (
    ISSUE_ID,
    ASSET_ID,
    CONTAINER_ID,
    COLUMN_NAME
  ) ENFORCED;

ALTER TABLE
  DQ_ISSUES_FOR_ASSET_COLUMNS
ADD
  CONSTRAINT FK_DQ_ISSUES_FOR_ASSET_COLUMNS_CONTAINER_DATA_ASSET_COLUMNS_6 FOREIGN KEY (CONTAINER_ID, ASSET_ID, COLUMN_NAME) REFERENCES CONTAINER_DATA_ASSET_COLUMNS (CONTAINER_ID, ASSET_ID, NAME) ON DELETE CASCADE ON UPDATE NO ACTION ENFORCED ENABLE QUERY OPTIMIZATION;

ALTER TABLE
  DQ_ISSUES_FOR_ASSET_COLUMNS
ADD
  CONSTRAINT FK_DQ_ISSUES_FOR_ASSET_COLUMNS_DQ_CHECKS_5 FOREIGN KEY (CHECK_ID, CONTAINER_ID) REFERENCES DQ_CHECKS (CHECK_ID, CONTAINER_ID) ON DELETE CASCADE ON UPDATE NO ACTION ENFORCED ENABLE QUERY OPTIMIZATION;

dq_issues_for_assets

Cette table comporte les colonnes suivantes:

issue_id -Identificateur du problème d'actif.
container_id -Identificateur du projet.
asset_id -Identificateur de l'actif.
check_id -Identificateur du contrôle de qualité des données.
number_of_occurences -Nombre d'occurrences trouvées pour le contrôle de la qualité des données.
number_of_tested_records -Nombre d'enregistrements testés trouvés pour le contrôle de la qualité des données.
percent_occurences -Pourcentage des occurrences.
score -Score trouvé après l'exécution d'une vérification.
status -Statut en cours d'un problème.
ignored -Indicateur permettant d'identifier si le problème en cours participe au problème de qualité de données.

Postgres

Instruction CREATE TABLE :

CREATE TABLE IF NOT EXISTS dq_issues_for_assets (
  issue_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  container_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  asset_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  check_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  number_of_occurrences bigint NOT NULL DEFAULT 0,
  number_of_tested_records bigint NOT NULL DEFAULT 0,
  percent_occurrences double precision,
  score double precision,
  status character varying(16) COLLATE pg_catalog.default NOT NULL,
  ignored boolean NOT NULL,
  tech_start timestamp(6) without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end timestamp(6) without time zone NOT NULL DEFAULT to_timestamp('9999-12-30' :: text, 'YYYY-MM-DD' :: text),
  ts_id timestamp(6) without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
  CONSTRAINT dq_issues_for_assets_pkey PRIMARY KEY (issue_id, asset_id, container_id),
  CONSTRAINT fk_dq_issues_for_assets_container_data_assets_4 FOREIGN KEY (container_id, asset_id) REFERENCES container_data_assets (container_id, asset_id) MATCH SIMPLE ON UPDATE NO ACTION ON DELETE CASCADE,
  CONSTRAINT fk_dq_issues_for_assets_dq_checks_3 FOREIGN KEY (container_id, check_id) REFERENCES dq_checks (container_id, check_id) MATCH SIMPLE ON UPDATE NO ACTION ON DELETE CASCADE
)

Db2

Instruction CREATE TABLE :

CREATE TABLE DQ_ISSUES_FOR_ASSETS (
  ISSUE_ID VARCHAR(36 OCTETS) NOT NULL,
  CONTAINER_ID VARCHAR(36 OCTETS) NOT NULL,
  ASSET_ID VARCHAR(36 OCTETS) NOT NULL,
  CHECK_ID VARCHAR(36 OCTETS) NOT NULL,
  NUMBER_OF_OCCURRENCES BIGINT NOT NULL WITH DEFAULT 0,
  NUMBER_OF_TESTED_RECORDS BIGINT NOT NULL WITH DEFAULT 0,
  PERCENT_OCCURRENCES DOUBLE,
  SCORE DOUBLE,
  STATUS VARCHAR(16 OCTETS) NOT NULL,
  IGNORED BOOLEAN NOT NULL,
  TECH_START TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
  TECH_END TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
  TS_ID TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
  PERIOD SYSTEM_TIME (TECH_START, TECH_END)
) IN USERSPACE1 ORGANIZE BY ROW;

Instructions ALTER TABLE:

ALTER TABLE
  DQ_ISSUES_FOR_ASSETS
ADD
  PRIMARY KEY (ISSUE_ID, ASSET_ID, CONTAINER_ID) ENFORCED;

ALTER TABLE
  DQ_ISSUES_FOR_ASSETS
ADD
  CONSTRAINT FK_DQ_ISSUES_FOR_ASSETS_CONTAINER_DATA_ASSETS_4 FOREIGN KEY (CONTAINER_ID, ASSET_ID) REFERENCES CONTAINER_DATA_ASSETS (CONTAINER_ID, ASSET_ID) ON DELETE CASCADE ON UPDATE NO ACTION ENFORCED ENABLE QUERY OPTIMIZATION;

ALTER TABLE
  DQ_ISSUES_FOR_ASSETS
ADD
  CONSTRAINT FK_DQ_ISSUES_FOR_ASSETS_DQ_CHECKS_3 FOREIGN KEY (CHECK_ID, CONTAINER_ID) REFERENCES DQ_CHECKS (CHECK_ID, CONTAINER_ID) ON DELETE CASCADE ON UPDATE NO ACTION ENFORCED ENABLE QUERY OPTIMIZATION;

Table dq_checks

Cette table comporte les colonnes suivantes:

check_id -Identificateur du contrôle de qualité des données.
container_id -Identificateur du projet.
dq_check_type -Type de contrôle de la qualité des données (peut être profilling ou data_rule).
dq_check_name -Nom du contrôle de la qualité des données.
dq_dimension_id -Identificateur de la dimension de qualité de données.
created_by -Utilisateur qui a créé ce contrôle de qualité de données.
created_on -Heure de création du contrôle de la qualité des données.

Postgres

Instruction CREATE TABLE :

CREATE TABLE IF NOT EXISTS dq_checks (
  check_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  container_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  dq_check_type character varying(256) COLLATE pg_catalog.default NOT NULL,
  dq_check_name character varying(256) COLLATE pg_catalog.default NOT NULL,
  dq_dimension_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  created_by character varying(256) COLLATE pg_catalog.default NOT NULL,
  created_on timestamp(6) without time zone NOT NULL,
  tech_start timestamp(6) without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end timestamp(6) without time zone NOT NULL DEFAULT to_timestamp('9999-12-30' :: text, 'YYYY-MM-DD' :: text),
  ts_id timestamp(6) without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
  CONSTRAINT dq_checks_pkey PRIMARY KEY (check_id, container_id),
  CONSTRAINT fk_dq_checks_containers_1 FOREIGN KEY (container_id) REFERENCES containers (container_id) MATCH SIMPLE ON UPDATE NO ACTION ON DELETE CASCADE,
  CONSTRAINT fk_dq_checks_dq_v4_dimensions_2 FOREIGN KEY (dq_dimension_id) REFERENCES dq_v4_dimensions (dimension_id) MATCH SIMPLE ON UPDATE NO ACTION ON DELETE CASCADE
)

Db2

Instruction CREATE TABLE :

 CREATE TABLE   DQ_CHECKS   (
 CHECK_ID  VARCHAR(36 OCTETS) NOT NULL ,
 CONTAINER_ID  VARCHAR(36 OCTETS) NOT NULL ,
 DQ_CHECK_TYPE  VARCHAR(256 OCTETS) NOT NULL ,
 DQ_CHECK_NAME  VARCHAR(256 OCTETS) NOT NULL ,
 DQ_DIMENSION_ID  VARCHAR(36 OCTETS) NOT NULL ,
 CREATED_BY  VARCHAR(256 OCTETS) NOT NULL ,
 CREATED_ON  TIMESTAMP(12) NOT NULL ,
 TECH_START  TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN ,
 TECH_END  TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END ,
 TS_ID  TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID ,
 PERIOD SYSTEM_TIME ( TECH_START , TECH_END ) )
 IN  USERSPACE1
 ORGANIZE BY ROW;

Instructions ALTER TABLE:

 ALTER TABLE   DQ_CHECKS
 ADD PRIMARY KEY
 ( CHECK_ID ,
 CONTAINER_ID )
 ENFORCED;

ALTER TABLE   DQ_CHECKS
ADD CONSTRAINT  FK_DQ_CHECKS_CONTAINERS_1  FOREIGN KEY
( CONTAINER_ID )
REFERENCES   CONTAINERS
( CONTAINER_ID )
ON DELETE CASCADE
ON UPDATE NO ACTION
ENFORCED
ENABLE QUERY OPTIMIZATION;

ALTER TABLE   DQ_CHECKS
ADD CONSTRAINT  FK_DQ_CHECKS_DQ_V4_DIMENSIONS_2  FOREIGN KEY
( DQ_DIMENSION_ID )
REFERENCES   DQ_V4_DIMENSIONS
( DIMENSION_ID )
ON DELETE CASCADE
ON UPDATE NO ACTION
ENFORCED
ENABLE QUERY OPTIMIZATION;

Table dq_v4_dimensions

Ce tableau contient des informations sur les dimensions de qualité de la règle.

Cette table comporte les colonnes suivantes:

dimension_id -Identificateur de la dimension de qualité de données.
name -Nom de la dimension de qualité de données.
description -Description de la dimension de qualité de données.

Postgres

Instruction CREATE TABLE :

create table dq_v4_dimensions(dimension_id varchar(128) not null,
container_id varchar(36) not null,
name varchar(256) not null,
description varchar(256) not null,
tech_start TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
tech_end TIMESTAMP(6) not null default to_timestamp('9999-12-30', 'YYYY-MM-DD'),
ts_id TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
primary key(dimension_id,
container_id))

Instruction ALTER TABLE :

alter table dq_v4_dimensions add constraint fk_dq_v4_dimensions_containers_1 foreign key (container_id) references containers(container_id) on
delete
	cascade on
	update
	no action

Instruction ALTER TABLE :

ALTER TABLE IF EXISTS  dq_v4_dimensions
    OWNER to postgres;

Db2

Instruction CREATE TABLE :

create table dq_v4_dimensions(dimension_id varchar(128) not null,
container_id varchar(36) not null,
name varchar(256) not null,
description varchar(256) not null,
tech_start TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row begin,
tech_end TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row
end,
ts_id TIMESTAMP(12) not null generated always as transaction start ID,
primary key(dimension_id,
container_id),
period SYSTEM_TIME (tech_start,
tech_end) ) ORGANIZE by row

Instruction ALTER TABLE :

alter table dq_v4_dimensions add constraint fk_dq_v4_dimensions_containers_1 foreign key (container_id) references containers(container_id) on
delete
	cascade on
	update
	no action

Table dq_rule_definitions

Cette table contient les métadonnées réelles de la règle de qualité de données.

Cette table comporte les colonnes suivantes:

rule_definition_id -Identificateur de la définition de règle de qualité de données.
container_id -Identificateur du catalogue ou du projet.
expression -Expression de la définition de règle de qualité de données.
dq_dimension_id -Identificateur de la dimension de qualité de données.
name -Nom de la définition de qualité de données.

Postgres

Instruction CREATE TABLE :

create table dq_rule_definitions(rule_definition_id varchar(128) not null,
container_id varchar(36) not null,
expression text not null,
dq_dimension_id varchar(128),
name varchar(256) not null,
tech_start TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
tech_end TIMESTAMP(6) not null default to_timestamp('9999-12-30', 'YYYY-MM-DD'),
ts_id TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
primary key(rule_definition_id))

Instructions ALTER TABLE:

alter table dq_rule_definitions add constraint fk_dq_rule_definitions_containers_2 foreign key (container_id) references containers(container_id) on
delete
	cascade on
	update
	no action

alter table dq_rule_definitions add constraint fk_dq_rule_definitions_dq_v4_dimensions_3 foreign key (dq_dimension_id,
container_id) references dq_v4_dimensions(dimension_id,
container_id) on
delete
	cascade on
	update
	no action

Db2

Instruction CREATE TABLE :

create table dq_rule_definitions(rule_definition_id varchar(128) not null,
container_id varchar(36) not null,
expression clob not null,
dq_dimension_id varchar(128),
name varchar(256) not null,
tech_start TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row begin,
tech_end TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row
end,
ts_id TIMESTAMP(12) not null generated always as transaction start ID,
primary key(rule_definition_id),
period SYSTEM_TIME (tech_start,
tech_end) ) ORGANIZE by row

Instructions ALTER TABLE:

alter table dq_rule_definitions add constraint fk_dq_rule_definitions_containers_2 foreign key (container_id) references containers(container_id) on
delete
	cascade on
	update
	no action

alter table dq_rule_definitions add constraint fk_dq_rule_definitions_dq_v4_dimensions_3 foreign key (dq_dimension_id,
container_id) references dq_v4_dimensions(dimension_id,
container_id) on
delete
	cascade on
	update
	no action

Table dq_rules_defs

Ce tableau contient les détails de la liaison entre la règle et la définition, car plusieurs liaisons peuvent être effectuées.

Cette table comporte les colonnes suivantes:

rule_id -Identificateur de la règle de qualité de données.
rule_definition_id -Identificateur de la définition de règle.
disambiguator -Numéro de l'ambiguïté.

Postgres

Instruction CREATE TABLE :

create table dq_rules_defs(rule_id varchar(128) not null,
rule_definition_id varchar(128) not null,
disambiguator integer,
tech_start TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
tech_end TIMESTAMP(6) not null default to_timestamp('9999-12-30', 'YYYY-MM-DD'),
ts_id TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
primary key(rule_id,
rule_definition_id))

Instructions ALTER TABLE:

alter table dq_rules_defs add constraint fk_dq_rules_defs_dq_rules_1 foreign key (rule_id) references dq_rules(rule_id) on
delete
	cascade on
	update
	no action

alter table dq_rules_defs add constraint fk_dq_rules_defs_dq_rule_definitions_2 foreign key (rule_definition_id) references dq_rule_definitions(rule_definition_id) on
delete
	cascade on
	update
	no action

Db2

Instruction CREATE TABLE :

create table dq_rules_defs(rule_id varchar(128) not null,
rule_definition_id varchar(128) not null,
disambiguator integer,
tech_start TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row begin,
tech_end TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row
end,
ts_id TIMESTAMP(12) not null generated always as transaction start ID,
primary key(rule_id,
rule_definition_id),
period SYSTEM_TIME (tech_start,
tech_end) ) ORGANIZE by row

Instructions ALTER TABLE:

alter table dq_rules_defs add constraint fk_dq_rules_defs_dq_rules_1 foreign key (rule_id) references dq_rules(rule_id) on
delete
	cascade on
	update
	no action

alter table dq_rules_defs add constraint fk_dq_rules_defs_dq_rule_definitions_2 foreign key (rule_definition_id) references dq_rule_definitions(rule_definition_id) on
delete
	cascade on
	update
	no action

Table dq_rules

Cette table contient des informations sur les règles de qualité des données.

Cette table comporte les colonnes suivantes:

rule_id -Identificateur de la règle de qualité de données.
container_id -Identificateur du catalogue ou du projet.
dq_dimension_id -Identificateur de la dimension de règle de qualité de données.
name -Nom de la règle de qualité de données.
output_asset_id -Identificateur de l'actif de sortie.
output_asset_container_id -Identificateur du catalogue ou du projet de sortie.

Postgres

Instruction CREATE TABLE :

create table dq_rules(rule_id varchar(128) not null,
container_id varchar(36) not null,
dq_dimension_id varchar(128),
name varchar(256) not null,
output_asset_id varchar(128),
output_asset_container_id varchar(36),
tech_start TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
tech_end TIMESTAMP(6) not null default to_timestamp('9999-12-30', 'YYYY-MM-DD'),
ts_id TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
primary key(rule_id))

Instruction ALTER TABLE :

alter table dq_rules add constraint fk_dq_rules_dq_v4_dimensions_5 foreign key (dq_dimension_id,
container_id) references dq_v4_dimensions(dimension_id,
container_id) on
delete
	cascade on
	update
	no action

Db2

Instruction CREATE TABLE :

create table dq_rules(rule_id varchar(128) not null,
container_id varchar(36) not null,
dq_dimension_id varchar(128),
name varchar(256) not null,
output_asset_id varchar(128),
output_asset_container_id varchar(36),
tech_start TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row begin,
tech_end TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row
end,
ts_id TIMESTAMP(12) not null generated always as transaction start ID,
primary key(rule_id),
period SYSTEM_TIME (tech_start,
tech_end) ) ORGANIZE by row

Instruction ALTER TABLE :

alter table dq_rules add constraint fk_dq_rules_dq_v4_dimensions_5 foreign key (dq_dimension_id,
container_id) references dq_v4_dimensions(dimension_id,
container_id) on
delete
	cascade on
	update
	no action

Table dq_rule_bindings

Ce tableau contient des informations sur les liaisons de règle de qualité de données.

Cette table comporte les colonnes suivantes:

rule_id -Identificateur de la règle de qualité de données.
rule_definition_id -Identificateur de la définition de règle.
variable_name -Identificateur de la variable liée à la colonne pour la règle de qualité de données.
column_name -Nom de la colonne.
container_id -Identificateur du catalogue ou du projet.
asset_id -Identificateur de l'actif.

Postgres

Instruction CREATE TABLE :

create table dq_rule_bindings(rule_id varchar(128) not null,
variable_name varchar(256) not null,
column_name varchar(256) not null,
container_id varchar(36) not null,
asset_id varchar(128) not null,
rule_definition_id varchar(128) default 'na' not null,
tech_start TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
tech_end TIMESTAMP(6) not null default to_timestamp('9999-12-30', 'YYYY-MM-DD'),
ts_id TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
primary key(rule_id,
rule_definition_id,
variable_name,
column_name))

Instructions ALTER TABLE:

alter table dq_rule_bindings add constraint fk_dq_rule_bindings_dq_rules_6 foreign key (rule_id) references dq_rules(rule_id) on
delete
	cascade on
	update
	no action

alter table dq_rule_bindings add constraint fk_dq_rule_bindings_container_data_asset_columns_7 foreign key (container_id,
asset_id,
column_name) references container_data_asset_columns(container_id,
asset_id,
name) on
delete
	cascade on
	update
	no action

alter table dq_rule_bindings add constraint fk_dq_rule_bindings_dq_rules_defs_3 foreign key (rule_id,
rule_definition_id) references dq_rules_defs(rule_id,
rule_definition_id) on
delete
	cascade on
	update
	no action

Db2

Instruction CREATE TABLE :

create table dq_rule_bindings(rule_id varchar(128) not null,
variable_name varchar(256) not null,
column_name varchar(256) not null,
container_id varchar(36) not null,
asset_id varchar(128) not null,
rule_definition_id varchar(128) default 'na' not null,
tech_start TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row begin,
tech_end TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row
end,
ts_id TIMESTAMP(12) not null generated always as transaction start ID,
primary key(rule_id,
rule_definition_id,
variable_name,
column_name),
period SYSTEM_TIME (tech_start,
tech_end) ) ORGANIZE by row

Instructions ALTER TABLE:

alter table dq_rule_bindings add constraint fk_dq_rule_bindings_dq_rules_6 foreign key (rule_id) references dq_rules(rule_id) on
delete
	cascade on
	update
	no action

alter table dq_rule_bindings add constraint fk_dq_rule_bindings_container_data_asset_columns_7 foreign key (container_id,
asset_id,
column_name) references container_data_asset_columns(container_id,
asset_id,
name) on
delete
	cascade on
	update
	no action

alter table dq_rule_bindings add constraint fk_dq_rule_bindings_dq_rules_defs_3 foreign key (rule_id,
rule_definition_id) references dq_rules_defs(rule_id,
rule_definition_id) on
delete
	cascade on
	update
	no action

Table dq_rule_execution

Cette table contient des informations sur le travail de règle pour la règle de qualité de données.

Cette table comporte les colonnes suivantes:

dq_rule_id -Identificateur de la règle de qualité de données.
execution_id -Identificateur du travail pour le travail de règle de qualité de données.
start_time -Heure de début du travail pour le travail de règle de qualité de données.
end_time -Heure de fin du travail pour le travail de règle de qualité de données.
nb_tested_rows -Nombre de lignes testées pour le travail de règle de qualité de données.
nb_passing_rows -Nombre de lignes de transmission pour le travail de règle de qualité de données.
nb_failing_rows -Nombre de lignes ayant échoué pour le travail de règle de qualité de données.
percent_passing_rows -Pourcentage de lignes transmises pour le travail de règle de qualité de données.
percent_failing_rows -Pourcentage de lignes ayant échoué pour le travail de règle de qualité de données.
sampling_used -Indique si l'échantillonnage est utilisé pour la règle de qualité de données.
sample_size -Taille d'échantillonnage de la règle de qualité de données.
sample_type -Type d'échantillonnage de la règle de qualité de données.
flow_job_id - L'identifiant de la tâche de flux DataStage.
flow_job_run_id - L'identifiant de l'exécution de la tâche de flux DataStage.

Postgres

Instruction CREATE TABLE :

CREATE TABLE "globalschema".dq_rule_execution(
  dq_rule_id varchar(128) NOT NULL,
  execution_id varchar(256) NOT NULL,
  start_time timestamp(6) NOT NULL,
  end_time timestamp(6) NOT NULL,
  nb_tested_rows bigint NOT NULL,
  nb_passing_rows bigint NOT NULL,
  nb_failing_rows bigint NOT NULL,
  percent_passing_rows float NOT NULL,
  percent_failing_rows float NOT NULL,
  sampling_used decimal(1) CHECK (
    sampling_used in (0, 1)
  ) NOT NULL,
  sample_size bigint,
  sample_type varchar(256),
  flow_job_id varchar(128),
  flow_job_run_id varchar(128),
  tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30', 'YYYY-MM-DD'),
  ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY(dq_rule_id, execution_id)
)

Instruction ALTER TABLE :

alter table dq_rule_execution add constraint fk_dq_rule_execution_dq_rules_8 foreign key (dq_rule_id) references dq_rules(rule_id) on
delete
	cascade on
	update
	no action

Db2

Instruction CREATE TABLE :

CREATE TABLE "globalschema".dq_rule_execution(
  dq_rule_id varchar(128) NOT NULL,
  execution_id varchar(256) NOT NULL,
  start_time timestamp(6) NOT NULL,
  end_time timestamp(6) NOT NULL,
  nb_tested_rows bigint NOT NULL,
  nb_passing_rows bigint NOT NULL,
  nb_failing_rows bigint NOT NULL,
  percent_passing_rows float NOT NULL,
  percent_failing_rows float NOT NULL,
  sampling_used decimal(1) CHECK (
    sampling_used in (0, 1)
  ) NOT NULL,
  sample_size bigint,
  sample_type varchar(256),
  flow_job_id varchar(128),
  flow_job_run_id varchar(128),
  tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30', 'YYYY-MM-DD'),
  ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY(dq_rule_id, execution_id)
)

Instruction ALTER TABLE :

alter table dq_rule_execution add constraint fk_dq_rule_execution_dq_rules_8 foreign key (dq_rule_id) references dq_rules(rule_id) on
delete
	cascade on
	update
	no action

Serveur MS SQL

Instruction CREATE TABLE :

CREATE TABLE "globalschema".dq_rule_execution(
  dq_rule_id varchar(128) NOT NULL,
  execution_id varchar(256) NOT NULL,
  start_time DATETIME2 NOT NULL,
  end_time DATETIME2 NOT NULL,
  nb_tested_rows bigint NOT NULL,
  nb_passing_rows bigint NOT NULL,
  nb_failing_rows bigint NOT NULL,
  percent_passing_rows float NOT NULL,
  percent_failing_rows float NOT NULL,
  sampling_used decimal(1) CHECK (
    sampling_used in (0, 1)
  ) NOT NULL,
  sample_size bigint,
  sample_type varchar(256),
  flow_job_id varchar(128),
  flow_job_run_id varchar(128),
  tech_start DATETIME2 GENERATED ALWAYS AS ROW START NOT NULL,
  tech_end DATETIME2 GENERATED ALWAYS AS ROW END NOT NULL,
  ts_id DATETIME2 DEFAULT CURRENT_TIMESTAMP NOT NULL,
  CONSTRAINT PK_dq_rule_execution_globalschema PRIMARY KEY(dq_rule_id, execution_id),
  PERIOD FOR SYSTEM_TIME (tech_start, tech_end)
) WITH (
  SYSTEM_VERSIONING = ON (
    HISTORY_TABLE = "globalschema".hist_dq_rule_execution
  )
)

En savoir plus

Rubrique parent: Tables de génération de rapports