Masquage des données avec le flux de masquage

Dernière mise à jour : 05 déc. 2024

Le flux de masquage permet aux administrateurs de données de produire des copies masquées des données pour les spécialistes des données, les analystes métier et les testeurs d'applications. Les données sont protégées avec des règles de protection qui s'appliquent automatiquement à toutes les données importées dans le catalogue.

Le flux de masquage introduit également des options de masquage avancées pour les règles de protection des données, telles que la préservation améliorée du format, la symbolisation par hachage unidirectionnel, la capacité à maintenir les relations et à accroître l'utilité des données masquées. Les règles de protection des données avec un masquage avancé ne fonctionnent que dans les projets.

Services requis: IBM Knowledge Catalog; Data Privacy (flux de masquage)
Format des données: Relationnel : tables dans des sources de données relationnelles
Taille des données: N'importe quelle taille

Avant de créer des flux de masquage, l'administrateur de données doit effectuer ces tâches pré-requises.

Une fois les tâches préalables effectuées, les administrateurs de données et les utilisateurs de données peuvent effectuer l'une des tâches suivantes :

Créer un nouveau projet et y ajouter des actifs de données à masquer.
Choisir un projet existant contenant des actifs de données.

Après avoir terminé l'une des tâches, cliquez sur Nouvel actif > Copier et masquer les données.

Rôles utilisateur dans le flux de masquage

En tant qu'administrateur de données (ou ingénieur en traitement de données), vous avez une bonne connaissance des actifs de données et des besoins en données des utilisateurs de données. Vous êtes responsable de la préparation des données pour le masquage et la configuration de l'accès utilisateur aux données masquées. Voir Tâches que les administrateurs de données doivent effectuer.

Si vous êtes utilisateur de données, tel que spécialiste des données, analyste métier, testeur ou développeur, c'est à l'administrateur de données d'organiser et de fournir les données protégées dont vous avez besoin pour faire votre travail. Voir les tâches que les utilisateurs de données peuvent effectuer.

Sources de données prises en charge

Le flux de masquage prend en charge les sources de données relationnelles et non relationnelles suivantes:

Apache Hive
Db2 LUW
Db2 Warehouse
MySQL
Netezza
Oracle
PostgreSQL
SQL Server
Teradata

Tâches préalables pour les administrateurs de données

Autorisations requises: Vous devez être un administrateur de compte IBM Cloud .

Au moment de l'installation du flux de masquage, au moins un compte administrateur est configuré dans votre organisation. Cet administrateur peut accorder l'accès administrateur à d'autres utilisateurs.

Préparez la privatisation des données en effectuant les tâches suivantes:

Création de catalogues.
Ajoutez des actifs de données aux catalogues en important automatiquement des actifs de données avec des métadonnées. Vous créez les connexions à vos données dans le catalogue de métadonnées. Lors de l'importation des actifs de données, sélectionnez comme cible de l'importation le catalogue créé à l'étape précédente. Voir Publication d'actifs d'un projet dans un catalogue.
Confirmation que les classes de données sont correctement affectées.
Configuration de règles de protection des données. Les règles de protection des données s'appliquent à tous les catalogues gouvernés et sont appliquées par le flux de masquage lorsque vous créez des copies masquées de données à l'aide de flux de masquage. Les options avancées de masquage des données ne sont activées que pour les classes de données.
Gestion de l'accès utilisateur en ajoutant des utilisateurs à un compte IBM Cloud et en configurant Cloud Pak for Data as a Service pour votre organisation.
Ajout d'utilisateurs de données à des catalogues en gérant l'accès à un catalogue.

Eviter les fuites de données involontaires

Déplacement d'actifs à partir de catalogues vers des projets

Par défaut, les règles de protection des données ne sont pas appliquées au propriétaire d'un actif, l'utilisateur qui a l'a ajouté au catalogue. Cela signifie que pour lui, les aperçus du catalogue ne sont pas protégés pour les actifs de données dont il est propriétaire.

Lorsque vous déplacez un actif d'un catalogue à un projet, l'actif dans le projet est une copie de celui du catalogue. Les actifs de projet ne sont pas liés aux règles de protection des données.
- Si la personne qui déplace l'actif est son propriétaire, l'aperçu de l'actif est démasqué pour tous les utilisateurs du projet.
- Si la personne qui déplace l'actif n'est pas son propriétaire, l'aperçu de l'actif est masqué pour tous les utilisateurs du projet.

Étant donné que les règles de protection des données ne sont pas appliquées pour les propriétaires d'actifs, lorsque les propriétaires d'actifs exécutent un flux de masquage, la copie de données chargée dans une base de données cible n'est pas masquée. Les données ne sont masquées que si le flux de masquage est exécuté par un utilisateur de données.

Meilleures pratiques pour éviter les fuites accidentelles de données

Pour éviter une fuite de données involontaire, suivez ces bonnes pratiques :

Le projet utilisé par l'administrateur pour importer les métadonnées dans le catalogue ne doit pas être utilisé pour les flux de masquage. Si vous voulez utiliser le même projet pour les importations de métadonnées et les flux de masquage, veillez à ce que tous les utilisateurs du projet soient autorisés à voir les données non masquées.
Les administrateurs de données ne doivent pas déplacer les données des catalogues à des projets pour créer les flux de masquage. Ils doivent ajouter les utilisateurs de données au catalogue comme afficheurs, et seuls ceux-ci doivent déplacer les données du catalogue au projet. Ils peuvent éventuellement ajouter d'autres utilisateurs au projet.

Eviter les erreurs liées à une insuffisance de mémoire

Lors d'un travail de masquage de flux, Spark peut tenter de lire la totalité d'une source de données en mémoire. Des erreurs peuvent se produire lorsque vous ne disposez pas de suffisamment de mémoire pour prendre en charge le travail. Le plus grand volume de données pouvant tenir dans le plus grand noeud de traitement Spark déployé est d'environ 12 Go.

Pour les travaux de flux de masquage dont l'utilisation de la mémoire est élevée, afin d'éviter les erreurs de mémoire insuffisante:

Limitez le nombre de programmes d'exécution et la taille des programmes d'exécution pour le travail.
Définissez les colonnes de la table source pour partitionner les données.
Lorsque les travaux de flux de masquage impliquent le déplacement d'une grande quantité de données, veillez à sélectionner les colonnes en fonction desquelles les données peuvent être partitionnées lors du travail de flux de masquage.

Sortie tronquée pour tenir compte des restrictions de longueur de colonne

La longueur de colonne est la longueur maximale définie pour une colonne dans une base de données pour les données de type chaîne.

Auparavant, la sortie de masquage générée ne tenait pas compte de la longueur de la colonne et le travail de flux de masquage échouerait si l'une des valeurs de sortie dépassait la longueur de la colonne.

A présent, la sortie générée est tronquée pour s'assurer qu'elle ne dépasse pas les restrictions de longueur de colonne.

Tâches préalables pour les utilisateurs de données

Les utilisateurs de données doivent être déjà membres de la plateforme ou avoir le niveau d'autorisation pour le rôle de spécialiste des données.

Autorisations requises: Vous devez avoir un IBM Cloud compte et avoir droit à IBM Knowledge Catalog Forfait allégé.

Autorisations facultatives

Les administrateurs de données peuvent vous accorder l'accès Editeur ou Afficheur aux catalogues.
Les administrateurs de données ou les autres utilisateurs de données peuvent également vous accorder l'accès aux projets individuels qu'ils créent.

Préparez des copies de données masquées en effectuant les tâches suivantes: