Gestion de la qualité des données

Dernière mise à jour : 08 avr. 2025

Mesurez, surveillez et gérez la qualité de vos données pour vous assurer qu'elles répondent à vos attentes et à vos normes pour des cas d'utilisation spécifiques.

Les données de bonne qualité sont dans un état qui peut généralement être défini comme adapté à l'utilisation, sans défautou répondant aux attentes et aux exigences. La qualité des données est mesurée par rapport aux dimensions de qualité par défaut Exactitude, Exhaustivité, Cohérence, Actualité, Unicitéet Validité, ainsi qu'à toute dimension de qualité personnalisée.

L'analyse de la qualité des données fournit des réponses aux questions suivantes:

Quelle est la qualité globale d'un actif de données?
Parmi les actifs de données, lequel a la meilleure qualité?
Comment la qualité d'un actif de données a-t-elle changé au fil du temps?
L'actif de données répond-il à mes attentes en matière de qualité?

Exigences et restrictions

Pour la gestion de la qualité des données, les exigences et restrictions suivantes existent.

Services requis

La gestion de la qualité des données requiert les services suivants:

IBM Knowledge Catalog
DataStage ou DataStage as a Service Anywhere
Avec DataStage, vous pouvez exécuter des règles de qualité des données dans les régions prises en charge. Avec DataStage as a Service Anywhere, vous pouvez exécuter des règles de qualité des données en dehors d'IBM Cloud en utilisant des moteurs distants. Pour plus d'informations sur la configuration des moteurs distants, consultez la documentationDataStage as a Service Anywhere.

Outils de qualité des données

Vous utilisez les outils suivants:

Formats de données

Les formats de données suivants sont pris en charge:

Tables à partir de sources de données relationnelles et non relationnelles
Delta Lake et les tables Iceberg de certains connecteurs de stockage de fichiers
Tableau : Avro, CSV, Parquet, ORC ; pour les ressources de données téléchargées à partir du système de fichiers local, CSV uniquement

Pour plus d'informations sur les connecteurs pris en charge, voir Sources de données prises en charge pour l'organisation et la qualité des données.

Taille des données

Les tâches de gestion de la qualité des données peuvent être effectuées sur des données de n'importe quelle taille.

Droits requis

Vos rôles déterminent les tâches de gestion de la qualité des données que vous pouvez effectuer:

Pour afficher les définitions et les règles de qualité de données, vous devez disposer au moins du rôle Afficheur dans le projet.
Pour créer, éditer ou supprimer des définitions et des règles de qualité de données, vous devez disposer du rôle Admin ou Editeur dans le projet. En outre, vous devez disposer de l'autorisation utilisateur Gérer les ressources de qualité des données.
Pour exécuter les règles de qualité des données, vous devez avoir le rôle d' administrateur ou d' éditeur dans le projet et le droit d'utilisateur Exécuter les règles de qualité des données.
Pour afficher les données qui ont causé des problèmes de qualité des données (la table de sortie) à partir de l'historique de l'exécution des règles ou de la page Qualité des données, vous devez disposer de l'autorisation d'accès aux détails des problèmes. Cependant, la ressource de données dans le projet qui est créé pour la table de sortie est accessible à toute personne qui peut accéder à la connexion. Pour limiter l'accès à ces données, la connexion à la source de données où la table de sortie est stockée doit être configurée avec des informations d'identification personnelles.
Pour créer, modifier ou supprimer des règles SLA relatives à la qualité des données, vous devez disposer de ces droits d'utilisateur :
- Accès aux artefacts de gouvernance
- Gérer les règles de qualité des données (SLA)

Espaces de travail

Vous pouvez effectuer des tâches de gestion de la qualité des données dans des projets. Les informations sur la qualité des données en lecture seule sont disponibles dans les catalogues.

Analyse et surveillance de la qualité de données

Utilisez l'analyse et la surveillance de la qualité des données pour évaluer les données en fonction de critères spécifiques. Utilisez ces critères d'évaluation à plusieurs reprises au fil du temps pour voir des changements importants dans la qualité des données en cours de validation.

Après la conception d'un contrôle de la qualité des données, vous disposez des options suivantes:

Créez une définition de qualité de données qui définit la logique de la vérification de données, quelle que soit la source de données. La définition contient des variables logiques ou des références que vous liez ou liez à des données réelles (par exemple, source de données, table et colonne ou tables jointes) lorsque vous créez une règle de qualité de données qui peut être exécutée.

Une fois que vous avez créé une règle de qualité de données avec les liaisons requises en fonction d'une définition de qualité de données sélectionnée, cette règle peut être exécutée. La règle produit des statistiques pertinentes et peut générer une table de sortie, en fonction de la configuration de la règle.
Créez une règle de qualité de données SQL.

La fonctionnalité d'une règle de qualité de données peut aller d'un simple test sur une seule colonne à l'évaluation de plusieurs colonnes dans et entre les sources de données.

Evaluation de la qualité des données

Pour déterminer si vos données sont de bonne qualité, vérifiez dans quelle mesure elles répondent à vos attentes et identifiez les anomalies dans les données. L'évaluation de la qualité des données permet également de comprendre la structure et le contenu de vos données.

Contrôle de la qualité des données

Pour garantir que les données importantes répondent aux attentes de votre organisation en matière de qualité, mettez en place des règles de qualité des données (SLA) qui contrôlent la conformité de vos données aux normes et peuvent prévoir des mesures correctives en cas de problèmes de qualité des données détectés.