Mesurez, surveillez et gérez la qualité de vos données pour vous assurer qu'elles répondent à vos attentes et à vos normes pour des cas d'utilisation spécifiques.
Les données de bonne qualité sont dans un état qui peut généralement être défini comme adapté à l'utilisation, sans défautou répondant aux attentes et aux exigences. La qualité des données est mesurée par rapport aux dimensions de qualité par défaut Exactitude, Exhaustivité, Cohérence, Actualité, Unicitéet Validité, ainsi qu'à toute dimension de qualité personnalisée.
L'analyse de la qualité des données fournit des réponses aux questions suivantes:
- Quelle est la qualité globale d'un actif de données?
- Parmi les actifs de données, lequel a la meilleure qualité?
- Comment la qualité d'un actif de données a-t-elle changé au fil du temps?
Exigences et restrictions
Pour la gestion de la qualité des données, les exigences et restrictions suivantes existent.
Services requis
La gestion de la qualité des données requiert les services suivants:
- IBM Knowledge Catalog
- DataStage ou DataStage as a Service Anywhere
Avec DataStage, vous pouvez exécuter des règles de qualité des données dans les régions prises en charge. Avec DataStage as a Service Anywhere, vous pouvez exécuter des règles de qualité des données en dehors d'IBM Cloud en utilisant des moteurs distants. Pour plus d'informations sur la configuration des moteurs distants, consultez la documentationDataStage as a Service Anywhere.
Outils de qualité des données
Vous utilisez les outils suivants:
Formats de données
Les formats de données suivants sont pris en charge:
- Tables à partir de sources de données relationnelles et non relationnelles
- Tableau : Avro, CSV, Parquet, ORC ; pour les ressources de données téléchargées à partir du système de fichiers local, CSV uniquement
Pour plus d'informations sur les connecteurs pris en charge, voir Sources de données prises en charge pour l'organisation et la qualité des données.
Taille des données
Les tâches de gestion de la qualité des données peuvent être effectuées sur des données de n'importe quelle taille.
Droits requis
Vos rôles déterminent les tâches de gestion de la qualité des données que vous pouvez effectuer:
- Pour afficher les définitions et les règles de qualité de données, vous devez disposer au moins du rôle Afficheur dans le projet.
- Pour créer, éditer ou supprimer des définitions et des règles de qualité de données, vous devez disposer du rôle Admin ou Editeur dans le projet. En outre, vous devez disposer du droit d'utilisateur Gérer les actifs de qualité de données .
- Pour exécuter des règles de qualité de données, vous devez avoir le rôle Administrateur ou Editeur dans le projet et le Exécuter les règles de qualité de données droit d'utilisateur.
- Pour visualiser les données qui ont causé des problèmes de qualité des données (la table de sortie) à partir de l'historique de l'exécution de la règle ou de la page Qualité des données, vous devez disposer de l'autorisation Accéder aux détails du problème de l'utilisateur. Cependant, la ressource de données dans le projet qui est créé pour la table de sortie est accessible à toute personne qui peut accéder à la connexion. Pour limiter l'accès à ces données, la connexion à la source de données où la table de sortie est stockée doit être configurée avec des informations d'identification personnelles.
- Pour créer, modifier ou supprimer des règles SLA relatives à la qualité des données, vous devez disposer de ces droits d'utilisateur :
- Accès aux artefacts de gouvernance
- Gérer les règles de qualité des données (SLA)
Espaces de travail
Vous pouvez effectuer des tâches de gestion de la qualité des données dans des projets. Les informations sur la qualité des données en lecture seule sont disponibles dans les catalogues.
Analyse et surveillance de la qualité de données
Utilisez l'analyse et la surveillance de la qualité des données pour évaluer les données en fonction de critères spécifiques. Utilisez ces critères d'évaluation à plusieurs reprises au fil du temps pour voir des changements importants dans la qualité des données en cours de validation.
Après la conception d'un contrôle de la qualité des données, vous disposez des options suivantes:
Créez une définition de qualité de données qui définit la logique de la vérification de données, quelle que soit la source de données. La définition contient des variables logiques ou des références que vous liez ou liez à des données réelles (par exemple, source de données, table et colonne ou tables jointes) lorsque vous créez une règle de qualité de données qui peut être exécutée.
Une fois que vous avez créé une règle de qualité de données avec les liaisons requises en fonction d'une définition de qualité de données sélectionnée, cette règle peut être exécutée. La règle produit des statistiques pertinentes et peut générer une table de sortie, en fonction de la configuration de la règle.
Créez une règle de qualité de données SQL.
La fonctionnalité d'une règle de qualité de données peut aller d'un simple test sur une seule colonne à l'évaluation de plusieurs colonnes dans et entre les sources de données.
Evaluation de la qualité des données
Pour déterminer si vos données sont de bonne qualité, vérifiez dans quelle mesure elles répondent à vos attentes et identifiez les anomalies dans les données. L'évaluation de la qualité des données permet également de comprendre la structure et le contenu de vos données.
Contrôle de la qualité des données
Pour garantir que les données importantes répondent aux attentes de votre organisation en matière de qualité, mettez en place des règles de qualité des données (SLA) qui contrôlent la conformité de vos données aux normes et peuvent prévoir des mesures correctives en cas de problèmes de qualité des données détectés.
En savoir plus
- Actifs de qualité de données
- Gestion des définitions de qualité de données
- Gestion des règles de qualité des données
- Evaluation de la qualité des données
- Conformité aux règles de l'accord de niveau de service (SLA) sur la qualité des données et remédiation
Rubrique parent : Préparation des données